首先，您有权拒绝您的丈夫这样做，并且要求他遵守与您的孩子之间的协议。在大多数国家和地区，父母有义务照顾和陪伴他们的子女，包括定期看望他们并确保他们得到必要的关注和支持。 如果您认为这种行为是非法或侵犯了孩子的权利，请考虑寻求法律帮助。例如，您可以联系当地的儿童保护服务或者家庭法庭，向他们报告这种情况，并请求采取适当的措施以保障孩子的安全和福利。 同时，也建议您尝试与您的丈夫进行沟通，了解他的想法和动机，并试图找到一个双方都能接受的解决方案。可能需要一些时间，但通过积极的对话和努力，可能会找到解决问题的方法。 最后，记得保持冷静和理性，避免情绪化的反应，这有助于解决当前的问题，同时也为未来的关系打下更好的基础。