首先，您需要考虑的是孩子的利益和家庭的和谐。如果您认为孩子是您的责任并且想要抚养他们，那么您可以考虑与丈夫协商并尝试解决问题。如果他拒绝承担任何责任或不愿意离婚，您可以寻求法律帮助来解决这个问题。然而，在做出决定之前，请确保了解所有可能的后果，并且您有足够的支持和资源来应对可能出现的问题。此外，建议您向专业人士寻求建议和支持，例如婚姻顾问或律师，以帮助您更好地理解自己的权利和选择。