夫妻双方离婚了，离婚当时大孩子11岁小孩子4岁，大孩子判给女方，小孩子给男方，但是离婚以后大孩子依旧是男方在抚养，女方从来没有给过抚养费也没有看过孩子，现在大孩子21岁小孩子14岁，两个孩子的抚养权可以调给男方吗？两个孩子以后需要赡养女方吗？