我和孩子的父亲离婚，婚后孩子和我一起居住，当初协议离婚孩子的抚养权归男方，孩子同我生活，可是孩子的父亲拒绝给孩子生活费，以让孩子回去为理由才给生活费，可是孩子不愿回去想同母亲生活，请问这样如果走法律程序应该怎么办