在您所描述的情况下，如果房屋开发商未能及时交付房产并拒绝退还剩余款项，那么根据法律规定，您可以要求开发商赔偿因延迟交付而产生的损失。此外，如果您认为开发商违反了合同约定，您还可以考虑通过诉讼或其他途径寻求进一步的解决。 关于违约金的问题，通常情况下，除非有明确的合同规定或法律法规要求，否则违约金并非必须支付。然而，在您的情况下，由于您已经支付了一定比例的首付款，并且开发商未能按时履行合同义务，因此可能需要承担一定的违约责任。 请注意，上述建议仅供参考，具体的情况应由专业的法律顾问进行详细分析和指导。在处理此类争议时，确保所有相关文件都得到了妥善保管和遵守。