我想咨询一下，就是我买二手门面，通过中介，中介收了我的过户费，还有中介费，还有我的首付费都给他了，而且还给了房东定金，所有费用都打了收条，转账记录也有。一共给了他35万4千，然后就是他帮我办理按揭贷款，花了将就两个月的时间，我感觉时间太久了，还有就是他办事一拖在拖，他向我写了保证书，意思就是如果在规定时间内没有给我办理好过户，就把所有钱退还给我，如果我不买了，我的钱能退回来吗。如果像法院起诉他能把钱拿回来吗