根据中国相关法律规定，您有权要求对方停止侵害并承担相应的法律责任。如果您认为对方的行为构成诽谤罪，可以向法院提起刑事自诉或者民事诉讼，要求对方停止侵害，并赔偿您的精神损失和经济损失。同时，您可以考虑收集证据证明自己的清白，例如录音录像等。 在处理此类案件时，建议您寻求专业的法律帮助，以便更有效地维护自己的合法权益。