您的情况确实比较复杂，需要综合考虑多种因素。首先，建议您先与您的丈夫进行沟通，了解他的态度和想法，并尝试找到解决问题的方法。如果沟通无效，可以寻求第三方的帮助，比如婚姻调解机构或心理咨询师的介入。 其次，在考虑是否离婚时，也要考虑到对孩子的未来影响。在孩子还小的时候，父母关系的好坏可能会影响他们的成长环境和情感发展。因此，即使离婚，也需要尽量减少对孩子的影响，确保孩子得到必要的照顾和支持。 最后，无论选择何种方式处理家庭纠纷，都需要注意保护自己的合法权益。如果您感到无法自行解决，或者担心自己的权益受到侵害，可以考虑聘请专业的律师帮助您。 希望以上信息能够帮到您，祝您早日解决问题。