你好，我结婚没有领证，只是办了酒席，，当时他给我了四万的彩礼，住在我的房子里，后来性格不合，她女儿当时上学住在那里，我也没有让他搬，我就出去打工了，在这期间也说过分手的事情，他提出要我给他差不多二十万，我没有答应，包括他家办酒席的钱，现在他经常去家里闹，我该怎么办