我卖了我的房子，买方给我交了两万定金，我俩写的简单的纸条上，后来等了买房半个月他说房子不买了，钱凑不够，买不起，说差两万块钱，我说要不就我把家具家电拿走，这样给你便宜两万，他就是说不买了，我说不买了定金我也不可能退给你，因为当时写好的我违约了我把钱退给你，你违约了，我定金收回，上面有我俩的名字和手印，他就说那你卖吧，我不买了，后来我就卖给别人了，结果过了快一年了，他加我微信说让我退钱，我说你不买了我房子卖别人了，他说我没说不买啊，是你违约卖别人了，我去法院告你了，不信你问你家以前邻居，你违约卖给别人了，你钱要都退给我两份，请问律师这种情况应该怎样解决？