如果您的房子是通过贷款方式购买的，并且已经以该房屋作为抵押物进行了贷款，那么您有权要求对方返还房屋。如果您认为对方的行为不合法或不合理，请立即寻求专业的法律帮助，以便了解您的权利和可能的救济途径。在处理此类纠纷时，建议您考虑聘请一位经验丰富的法律顾问，以确保您的权益得到充分保护。