您好！根据您描述的情况，建议您与您的丈夫进行沟通和协商。在没有达成一致的情况下，您可以考虑向人民法院提起诉讼。然而，在任何情况下，请确保您有充分的证据支持您的主张，并且了解并遵守当地关于家庭暴力或虐待行为的相关法律规定。同时，也可以寻求专业的法律帮助来指导和支持您处理这个复杂的问题。希望这些建议能够对您有所帮助。