没结婚前我出钱付首付买房，写男方名字，他贷款他还，结婚两年以后他私自把房子卖了，因为房子没有我名字我做不了主，房子卖了以后我要我那一部分钱他不给，说是离婚才会给我钱，让我签离婚协议书双方无财纠纷，办完离婚后他转给我三十万多点，我收到钱以后 ，用这个钱付了首付了二手房，我个人名义，卖完房子以后他也跟着住在我房子里不走，将近十个月，每天威胁骚扰，他说那三十多万是他借给我，现在他要回去他能要回吗他这属行