我是去年离婚的，离婚后孩子是由男方抚养，当初离婚协议是我要支付500元一个月，但是我们口头协议他说的是我愿意给就给不愿意给就不给，但是每个月的钱我都会用在孩子身上，现在我想要把孩子的抚养权拿回来，男方说不给抚养费