您好！如果您在购房时未将房屋完全居住使用，则可能需要支付违约金。如果剩余的款项不足以抵偿违约金，那么可能会退还部分或全部剩余款项。具体处理方式取决于合同中的相关条款和法律规定。建议您详细阅读购房合同，并寻求专业的法律意见以确保您的权益得到保护。