我在去年12月卖房子，当时和买家签了个中介出的合同，定金十万，如果违约赔10万。今年二月我决定不卖了，并通知买家。买家同意。四月底我跟买家协商给他赔款。他说房价涨了，损失超过违约金，让我赔款50万。我不同意，他要提起诉讼。请问我该怎么办？