双方离了婚，则男方应该搬离出女方家里，不搬出去的属于不当得利的违法行为；辱骂女方家人更是恶劣，直接报警，需要接受治安管理处罚。《治安管理处罚法》第四十二条规定，辱骂他人或者公然侮辱的，处五日以下拘留或者五百元以下罚款;情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。