您的担心是合理的。根据中国的相关法律规定，如果夫妻一方以共同财产为他人提供担保或承担债务，而另一方不知道且不同意的，债权人可以要求另一方在婚姻关系存续期间偿还该债务。然而，这并不意味着对方必须承担全部责任。 如果您和您的丈夫已经离婚，那么您有权请求法院撤销之前的婚姻协议，并重新评估你们之间的财产分配。在这种情况下，您可能有权利要求被告（即前夫）归还他因婚姻期间借款所借的款项。 请记得，在处理此类案件时，请寻求专业的法律帮助，以便确保您的权益得到充分保护。