我是去年离婚的、因为当时我没有固定的住处、所以孩子没有要、我有两个孩子、一个男孩和女孩、当时离婚协议上是说付抚养费、但是这一年来他父母都不给我看孩子、我给孩子买的电话手表他家里人也不给带、我每次只能到学校去看孩子、现在他家还想和我要抚养费、请问我该怎么办