您好，我是一个离婚女人。2012年11月我离婚，在第二年我认识了现在的男人，本以为他是一个负责的男人，可我们交往下来，我发现他太自私，就说15年腊月，我在他上班的附近买房子了，他一分钱没出，今年又装修房子，我出了六七万，他拿了三四万块钱吧，都这样子了，他说我没给他安全感（他要我跟结婚办酒席，收礼了还他为装房子花的几万块钱），一个大男人找女人要安全感。如今，他离我买的房子近，我离得远，他不光说他的亲戚，甚至是他以前老婆的亲戚都去我房子里看过，我总觉得跟这样的男人在一起，我真的没安全感，您说我该怎么办？