我现在为一个男人生了一个儿子，今天八岁，但他同时又和一个女人生了一儿一女，都没领结婚证，现在我要离开他，不过这男人不放手，并且威胁我的一处房产，说离开了必须归还他的房子，可是这是一个私房，是只有我一个人名字建造的，房子建好后他让我写了个协议书给他，竟思是要我要分开我就得把他出资建的这房还他，我想咨询一下他能要的走吗？