您好！根据法律规定，如果双方在购房合同中未明确约定违约金条款，则通常情况下不会产生违约金责任。因此，在您所描述的情况下，即使对方仅支付了4万元的首付，也不属于违约行为。 不过，建议您保留好相关证据，以备不时之需。如果您有其他法律问题或需要进一步的帮助，请随时告诉我。