您好，根据您提供的信息，您和他人签订了房屋买卖合同，并且已经支付了一定的款项，但您现在不愿意继续履行合同并退还剩余款项。在这种情况下，您可能会面临违约责任。 根据《民法典》的规定，一方当事人违反合同约定，应当承担相应的违约责任。在您的情况下，如果您不履行合同义务，您可能需要向另一方支付违约金或赔偿损失。具体金额取决于合同的具体条款以及法律规定。 此外，根据《民法典》规定，如果一方当事人因不可抗力或其他正当理由而无法履行合同义务，可以免除违约责任。然而，在这种情况下，您应该及时通知对方，并提供相关的证明材料以支持您的主张。 最后，请注意，上述建议仅供参考，具体情况应根据双方签订的合同条款及当地法律法规进行分析和处理。建议您与对方协商解决，寻求友好解决方案。如果协商不成，您可以考虑通过诉讼途径解决。