根据法律规定，父母对子女有教育和保护的义务，如果一方确实存在严重过错或者无法履行养育责任，则另一方有权请求解除婚姻关系并要求对方支付一定的抚养费用。然而，如果双方已经达成离婚协议，并且协议中明确约定由一方抚养孩子，那么另一方应当按照协议规定支付相应的抚养费用。此外，在任何情况下，孩子的最佳利益都是首要考虑的因素，因此建议您与对方进行协商，尽可能地寻求双方都能接受的解决方案。同时，您可以考虑向专业人士求助，如律师或心理咨询师，以帮助您更好地处理这一问题。