抚养权问题，男方法院判决抚养权归我，之前3年他走了没管过孩子，那三年抚养费不给，法官要求从现在开始算，也就是说给现在的钱，现在就得给他看孩子，自己辛辛苦苦养了3年不甘心，请问如果我不给他看孩子，他因为不给看孩子起诉我的话，我可以同时要求他把那3年的抚养费给了吗？胜算有多少？（因为起诉他是到他的家乡，连法官都向着他说话）