首先，您需要明确的是，根据中国《民法典》等相关法律法规的规定，夫妻双方在婚姻关系存续期间应当互相尊重、互相关爱，共同抚养未成年子女，并对子女进行适当的教育和引导。如果您认为您的丈夫有责任照顾您的孩子，您可以考虑通过协商或调解的方式解决问题。 其次，如果您的丈夫拒绝履行抚养义务，您可以考虑向法院提起诉讼，要求他承担相应的法律责任。在起诉过程中，您可以提供证据证明您的丈夫没有尽到父亲的责任，包括但不限于孩子的学校记录、医疗报告等。 最后，建议您寻求专业的法律援助，以便更好地保护自己的权益。同时，也可以考虑与对方沟通，尝试找到一个双方都能接受的解决方案。