您好！根据相关法律规定，如果房屋买卖合同中约定有违约金条款，并且该违约金数额未超出法定最高限额，那么您有权要求对方退还全部或部分已支付的款项。然而，在实际操作中，您可能需要与对方协商并达成一致意见，以解决争议。如果您认为对方的行为违反了相关法律法规或者协议条款，您可以考虑向当地人民法院提起诉讼，以维护自己的合法权益。同时，建议在处理此类纠纷时，尽量保持冷静和理性，避免采取极端措施，以免造成不必要的损失。