我于今年11月21日在房产中介处卖了一套房子，买方付了首款3万。后来我在外地工作的孩子知道了这事，就不让我们卖。之前买方付中介服务费9千元，买方为了省钱抛开中介，和我私下交易。11月30日左右我们通知买方我们不卖了。开始他家也同意叫我赔付1千元损失，我们也答应了，过了几分钟他家又叫我们赔付2千元.我们没答应。現在他家要起诉我们，请问我们应该如何应对。谢谢！