要想要回抚养权，对方不同意的话，你只能起诉到法院去，因为孩子你养大，你抚养的比较多，要回抚养权的可能性还是比较大的。