首先，您需要了解的是，婚姻中的经济责任通常由夫妻双方共同承担。如果您的丈夫因为工作需要借钱来做工，那么这笔债务应该被视为夫妻共同财产的一部分，并且应由夫妻双方共同偿还。此外，如果您和您的孩子长期处于贫困状态，可能会影响孩子的教育和发展机会。因此，建议您寻求专业的法律意见，以确定如何保护自己的权益，并确保孩子得到适当的照顾和支持。同时，您可以考虑与您的丈夫沟通，看看是否有其他解决方案或协议可以达成，例如增加家庭收入来源，或者寻找额外的工作机会等。