我的问题是，我2015年在家相亲订婚，订过婚就跟男方一起去了北京，相处一段时间我后发现我们和不来，不适合在一起，我就从北京回到了义乌。然后家里就把彩礼退给男方家了。过了一段时间男方家又去我家要钱，当初他家说退多少，我家里就退多少，现在又来要算怎么一回事，搞的我现在都不敢回家。一回家他家就闹着一钱。严重的伤害我的父母，让我家没有安宁，他还威胁我家里说要告我，我现在已经结婚有了孩子，这样我可以告他家扰民吗？