您的情况涉及多个方面，建议您寻求专业的法律帮助和调解。首先，您可以考虑向当地的社区服务中心或居民委员会投诉，他们可以为您提供必要的法律援助和支持。其次，您可以考虑与丈夫沟通，了解他的态度和想法，并尝试找到一个双方都能接受的解决方案。最后，如果情况严重，您也可以考虑寻求法律途径来维护自己的权益，例如申请法院调解或提起诉讼。 同时，在处理此事的过程中，保持冷静和理智是非常重要的。避免情绪化的反应，而是尽量以理性的方式表达自己的需求和感受。在任何情况下，保护好自己和孩子的安全也是最重要的。