我与前夫2014年7月离婚，当时协议抚养权归男方，因孩子的爷爷奶奶舍不得孩子，要求抚养孩子，口头协议不要我抚养费，这几年也没有断过对孩子的扶养义务，给孩子买衣服鞋子之类的，都被孩子父亲给丢了，孩子上幼儿园，我也主动提出过出孩子的学费，被孩子的奶奶拒绝了，因去年孩子父亲再婚，又生一女，我去幼儿园看望孩子，孩子说要跟我走，于是孩子父亲就一脚踢孩子，说把孩子踢死，我就上前阻拦，结果被他打得差点流产，后因他拒付医药费，我去法院起诉医药费，他为了逃避负担医药费，上法院起诉要我的抚养费，并不是我不出抚养费，而是他这个人恶赌成性，又有家暴，抚养费给他孩子是享受不到的，会被他拿去赌博，之前他就经常拿孩子威胁我，找我要钱，而我为了见孩子，也给过他一些钱，从他再婚以后我就没在给过他，他就不让我见孩子，对孩子进行暴力，他对孩子进行暴力被监控拍下来了，现在在派出所，现在他起诉我要抚养费，不知道是为了钱，还是因为他又有一个女儿，这个女儿不想要了，我想申请法院变更抚养权，不知道应该怎么做