买了一套房，没签合同，因为环评没下来，所以只有买房时因为手续不全，所以只有一张借款协议，后来通过中介把房子卖了，借款协议上没有更买房人的名字，借款协议的名字还是我的名字，不过在协议上签了(我自愿将此套房转让给某某)，并且双方签字按手印了，现在买我这套房的人又不想买了，让把钱退给他，我不想退，他说让打官司