您与配偶之间的协议可能不具有法律约束力。根据中国相关法律规定，父母对子女的抚养和教育有不可推卸的责任，并且应当以有利于孩子健康成长的原则进行。如果您的配偶不同意将孩子归您抚养，则建议双方协商解决，或者通过法院诉讼来确定孩子的抚养权归属。同时，作为父亲，您有权要求对方支付合理的抚养费用。在处理这类问题时，请务必尊重孩子的权益，尽可能达成共识。如果您需要更详细的法律帮助，请联系专业的律师。