我未婚生有两子，大儿子9岁，小儿子3岁，都是未满周岁就送到我父母家中抚养，期间男方极少付抚养费，现已分手三年，孩子依然由我父母带，今年开始男方才开始给抚养费，且分手时双方私下写下协议孩子抚养权都归女方，现男方反悔称必须带走一个，但两个孩子都不愿意跟随，且我现已结婚并育有一子，这种情况下如果诉讼的话抚养权可以都归女方吗？