您的描述中提到您与丈夫存在不正当的关系，并且对方现在仍然保持与前妻之间的联系。在这种情况下，如果您的丈夫表示愿意签署忠诚协议并承诺不再与第三方发生性行为，这可能是一个积极的信号。 然而，为了确保自己的权益得到保障，您可以考虑采取一些法律措施来保护自己。首先，建议您收集所有相关证据，包括但不限于通话记录、短信、电子邮件等。这些证据可以帮助证明您对这段关系的不满和要求结束关系的愿望。 其次，如果您认为对方的行为已经严重侵犯了您的个人空间和隐私，您可以寻求法院的帮助。例如，通过申请禁止令（人身安全保护令），可以防止对方再次骚扰或接触您。 最后，建议您寻求专业的法律帮助，以便制定一个全面的策略，以确保自己的权益得到最大程度的保护。在决定是否采取法律行动之前，最好先咨询一位经验丰富的律师，以获得具体的法律建议。