您的请求涉及家庭纠纷和法律问题。在处理此类案件时，需要根据具体情况来决定如何解决问题。 首先，您有权拒绝让您的丈夫离开家，并且可以考虑采取措施保护自己和孩子的安全。这可能包括报警、联系邻居或亲友寻求帮助等。同时，您可以与律师讨论是否有必要提起诉讼以保护自己的权益。 其次，在家庭暴力的情况下，法院可能会要求双方进行调解或判决禁止对方继续实施家庭暴力。如果法院认为必要，它可能会建议您与您的丈夫共同生活一段时间，以便了解其行为的原因和动机。 最后，如果您决定不与您的丈夫一起生活，您需要确保您的决定是出于爱和对孩子最好的利益。此外，您需要考虑到孩子的感受，尽可能地让他们参与到这个过程中。 请注意，以上信息仅供参考，具体解决方案应由专业人士提供。如果您有任何疑问或需要进一步的帮助，请咨询专业的律师或其他法律顾问。