我想问一下，2010年买的房子，由于某些原因在2011年卖了。由于当时没有过户，所以双方签订的是房屋买卖协议，并没有公正，只说明了房子卖给了对方，怎么付款，过户也没有规定时间。买主因为没有按时缴纳房贷，五年内有27次逾期，好几次都是银行打电话才让他交的。因为房产证是我的名字，所以还贷也是以我的名义，现在我想贷款想买房都办不了，因为有多次逾期。我想问问这样的情况我把钱退给他，可以把房子收回来吗？应该怎么去做？