在您的情况下，如果对方的丈夫得知了您与他妻子之间的关系，并且他们之间有亲密或不当的关系，这可能会构成诽谤罪。诽谤罪是指故意捏造并散布虚假事实，意图伤害他人名誉的行为。 在这种情况下，您可以考虑收集证据证明他们的行为是非法和恶意的。例如，保存的短信、电子邮件和其他文件可能作为证据支持您的指控。此外，您还可以向当地的警察局报告此事，以寻求进一步的帮助和支持。 请注意，任何行动之前，请确保您已经了解了所有相关的法律条款，并采取了适当的措施来保护自己免受不必要的风险。如果您需要更具体的法律建议，请咨询一位经验丰富的法律顾问。