您好！夫妻双方已经离婚，当时离婚时，女方自己提出不要孩子，也不给抚养费，这三年以来也确实没给过也没管过，两个孩子归男方了，因孩子归男方房子也就归男方所以，男方给女方给五万块现金协议离了婚。可现在女方突然来男方无理取闹，甚至砸东西，辱骂等。。搅得男方家人不得安宁，精神崩溃。报警警察不管。请问该怎么办