我离过一次婚，现在找的这个在一起过了六年但是没登记，他没文化不识字素质很差，谎话连篇，每年在外面打工拿回不多的钱而且越来越少，今年更少，7个月拿回900元钱，而且拿回个空的银行卡糊弄我，这样的情况已经多次了，忍了好几年今年不能忍了坚决不和他过了，但是现在的情况是他就是不走，他是望奎的我是新林的，现在住的这个楼是当初他买的毛坯房，写的我的名字，但是有协议说明了是他付的款，我签了字，在一起过之后我借的钱装修的，一起挣钱还的，我不想过了他还不同意，就是不走，请问这种情况怎么能分开？不过了这个楼是我的吗？谢谢解答