在您的情况下，您需要考虑几个关键因素来决定是否让您的孩子留在您的身边。首先，孩子的健康和福祉是最重要的。如果您的丈夫对您不闻不问并且没有提供必要的支持，那么他可能不是一位负责任的父亲。 其次，考虑到您和您的丈夫之间的关系，以及您是否有足够的证据证明他的行为违反了婚姻法中的相关规定（例如，如果您认为他已经完全丧失了对家庭的责任），您可能有理由要求法院判决您与孩子保持联系。 然而，请记住，每个案件都是独特的，并且最终的决定应该基于具体的事实和情况。因此，在做出任何决定之前，建议您寻求专业的法律意见，以便了解有关法律程序、可能的后果和最佳实践的信息。 此外，如果您担心自己的安全或遭受暴力威胁，您可以考虑寻求庇护，以保护自己免受伤害。 最后，请记得，即使您选择让孩子继续住在您的身边，也需要确保他们的生活得到妥善照顾和支持。这包括为他们提供稳定的住所、教育和医疗保健等基本需求。 总之，这是一个复杂的问题，涉及多个方面的考虑。建议您寻求法律帮助，并根据具体情况制定策略。