我2015年离婚，有三个孩子，两个小的判给男方，但一直在我这里，我妈带，现在他要把孩子要回去，我们都不想给他，孩子也不愿意去，。而且他没给过生活费，从2015离婚到现在就要来了15000块钱，从来没有看望过孩子，孩子不想跟他去，请问有什么办法吗？