我是2020年7月买的别墅，因为当时有点违建，缺能过户就没有在意太多，到2020年10需要贷款发现购买的别墅因违建房子被冻结。造成贷不了款没有买卖权，我想问下我能把房子退回卖方吗？我能要求赔偿损失吗