如果在离婚协议中明确约定孩子的抚养权归一方所有，并且另一方没有能力承担抚养责任时，那么该一方有权请求法院变更抚养权的归属或者解除抚养关系。在这种情况下，你可以尝试与对方进行沟通和协商，看是否可以达成新的抚养协议。如果没有达成一致，你也可以考虑通过诉讼程序来解决问题，比如申请变更抚养权或要求支付抚养费等。同时，考虑到孩子的利益，建议双方能够达成共识，以保护孩子的健康成长为首要原则。