您好，根据我国《民法典》的相关规定，如果买卖双方在购房时签订了书面的房屋买卖合同，并且已经支付了首付款，则该房屋的所有权应当属于买方。因此，即使卖方未按照合同约定的时间支付剩余款项，也不能视为卖方有权收回房屋。 然而，在您提供的案例中，卖方确实将房屋收回并拒绝退还剩余的房款。这种情况可能涉及到违约责任的问题，具体需要依据双方签订的合同以及相关的法律法规进行分析和判断。 建议您尽快与卖方沟通，了解具体情况，并寻求专业的法律意见，以便明确自己的权益保护方式。同时，也可以考虑向有关的法律援助机构或律师咨询，以获取更详细的法律建议。