根据《中华人民共和国民法典》规定，夫妻双方共同债务应当以共同财产清偿。在您丈夫偿还的5万元中，其中一部分是用于偿还家庭债务，这部分债务不属于您的个人债务。因此，在离婚时，您可以要求从您与被告之间的共同财产中扣除这部分债务。 请注意，具体处理方式需要根据实际情况分析，并可能涉及法院的调解或判决过程。建议您寻求专业的法律帮助，以便更准确地了解自己的权利和义务。