在处理婚姻关系中，夫妻双方共同债务的处理是一个复杂的问题。根据中国法律规定，如果夫妻一方因个人行为导致的债务，且该债务与夫妻共同财产无关或无法证明是用于家庭生活的，另一方通常不需要承担连带责任。 然而，在您的情况下，借款被用作家庭生活用途（如购买房产等），则可能需要夫妻双方共同承担责任。此外，如果您丈夫在外有小三，并且借钱给小三是为了满足小三的要求或者是为了逃避家庭责任，这种行为可能导致夫妻之间存在严重的信任危机和情感伤害，这也可能影响到未来子女的成长环境和社会评价。 因此，在考虑是否一起偿还这笔债务时，请仔细评估这些因素，并寻求专业的法律意见以确保您的权益得到保护。同时，也可以通过沟通来解决当前的困境，尝试修复夫妻关系，避免对未来的不利影响。