一个朋友通过我想把他的一套抵账的房子卖掉，我给他找了一个客户，看房之后双方约定交五万订金，买房的这个说这钱交我这，我在给卖家，卖家说给他打个条这边没让打，我收到钱后给他打了5万的条，因为卖家这边也要见到定金我就给他转了两万，当时我跟买房的这家说房子如果不要了可以退，他也保证说这房一定要，结果他这边凑不齐钱想退钱我这边那3万给他了，卖家那两万不给他退，因为这买家还报了警说买房的这家是诈骗，弄得挺僵更不好退了，现在他想走法律程序说这钱是交了我手的想起诉我在让我起诉卖家，现在这情况能帮我分析分析吗？会不会最后退不出来的这钱有我承担呢