如果有人散布不实言论，声称您的配偶有不忠行为，这可能构成对您名誉权的侵犯。在中国法律中，名誉权是公民的基本权利之一，受到法律保护。如果这些言论是虚假的，您可以采取以下措施： 1. **收集证据**：保存任何形式的诽谤言论，包括但不限于文字、录音、视频等。 2. **沟通警告**：首先尝试与散布谣言的人沟通，要求其停止侵权行为，并公开澄清事实。 3. **法律途径**：如果沟通无效，您可以向法院提起民事诉讼，要求对方停止侵权、消除影响、恢复名誉，并可要求赔偿精神损害。 4. **刑事责任**：如果诽谤行为严重，造成严重后果，根据《中华人民共和国刑法》的相关规定，诽谤者可能面临刑事责任。 5. **咨询律师**：在采取任何法律行动之前，建议咨询专业律师，以获得更具体的法律建议和指导。 维护名誉权是一个法律赋予的权利，通过合法途径解决此类问题，可以有效地保护自己的合法权益。