我和中国人男人生有一小男孩，孩子已经四岁多，离婚了，签离婚协议时抚养权给了男方，现在我认识美国未婚夫，正在办理移民美国手续，我很后悔当时把孩子抚养权签给了男方。我现在想变更孩子的抚养权，然后帮他移民到美国，孩子的父亲一直拒绝，我该如何夺回孩子的抚养权？