根据您所描述的情况，如果您和您的丈夫已经离婚，并且协议书中明确表示孩子的抚养权归他所有，那么在法律上您的孩子应该由他抚养。然而，在实际生活中，如果双方都希望继续共同生活并且对孩子有良好的影响，可以通过协商来确定一个有利于孩子的抚养方案。 在这种情况下，您可以尝试与您的丈夫进行沟通，讨论如何让孩子们的生活更加和谐共处。这可能需要一些时间，但通过共同努力，可以找到一种既符合法律规定又能够满足家庭需求的方式。 此外，如果您仍然决定要结束这段关系并寻求离婚，建议考虑聘请一位专业的律师帮助您处理相关事宜，以确保整个过程合法合规。同时，了解相关的法律程序和要求，以及可能面临的风险和后果也是非常重要的。