跟前男友在一起的时候，他来我家里帮忙干活，他开车载我，出了车祸，需要赔付死者家属二十多万，我因为对他的个人原因提出分手，他不同意，去我家里闹，以给我家里帮忙而出的事为理由，要求我家给他家赔付，我俩没有订婚，是存在恋爱关系的时候出的事，他现在经常去我家里闹，他的家里人也赖在我家不走，我该怎么处理