我在一中介公司把房子委托他们出售，商定出售价格为25万，并签订了付百分之一的手续费合同。之后有买家同意买下我家房子，并签订了购买合同，买家付了2万元的定金，有1万元中介说要放在他们手里，另外1万给了我，但是由于当时我与中介签订了百分之一的手续费，所以中介又在我那1万元里扣除了2500元。但是经过2天后买家因凑不齐钱不买了，中介公司也撒手不管了，买家还经常来我上班地方找我和解，但是这已经影响到我正常工作了。还请咨询一下我该怎么做？