在法律上，如果双方已经通过协议离婚决定将子女归一方抚养，并且该协议已得到法院的认可和执行，则另一方不得擅自改变这种约定。然而，如果一方确实未能按照协议履行其抚养义务，例如不支付抚养费或其他相关费用，另一方可向法院申请变更抚养权或要求对方承担相应的法律责任。 需要注意的是，在任何情况下，更改子女的抚养权都需要遵循严格的程序，包括但不限于通知对方、提供证据证明对方未履行抚养义务等。此外，即使一方请求变更抚养权，也不能保证一定会成功，因为这需要满足一定的条件和标准。 因此，建议您首先确保自己与对方达成的协议是合法有效的，并且有充足的证据支持您的主张。同时，考虑寻求专业的法律帮助来处理此事，以确保自己的权益得到保护。