婚内女方哺乳期，带着孩子，被男方一家人赶了出来，男方一个月只给2000元，不够孩子一个月奶粉钱，问男方拿多点钱买奶粉，男方不回复，女方还有一大堆衣服鞋袜，一个有金器的保险箱在男方家里，男方是广州地铁员工，是预备党员，多次要求女方交出个人档案给他政审，但是男方依旧不给多一分钱，男方工作一年年收入接近10万，不包括商品房的出租租金，请问这样算遗弃家庭成员，可以去他单位举报吗？