2019年11月16日，买方《房屋买卖合同》购买我名下房屋，价格为159.2万元，定金2万元当场支付；合同约定首付款人民币100.2万于2019年12月10日支付。我按照合同要求搬离房屋，直到今日，买方仍未支付首付款。买方现已明确表示不购买房屋，并追要定金2万元。为履行合同，我搬家、租房投入很大精力、财力。买方不断电话骚扰。请问如何处理。谢谢！