如果您与对方已经达成协议，并且双方都同意孩子由一方抚养，那么孩子可以跟随其中一方生活。如果你们无法就孩子的抚养权达成一致意见，建议寻求专业的法律帮助，以便更好地维护您和孩子的权益。