我的住宅楼房经过租户同意后卖了，口头协商退还全年租金，一周之内搬出，当时买方也在场，两天以后租户反悔了，而我与买方已经签订了买卖合同，收了定金四万。与租户协商，租户就不搬走，说是换地方睡不着觉，我该怎么办