侮辱诽谤罪是指故意以暴力或者其他方法公然贬低他人人格，破坏他人名誉的行为。这种行为可能包括但不限于散布虚假信息、恶意攻击、造谣生事等。 在您的情况下，如果对方声称您和其他男性有不正当关系，并且威胁要破坏他们的家庭，这确实构成了对原告的人身攻击和名誉损害。因此，根据刑法的规定，这样的行为可能会构成侮辱诽谤罪。 不过，具体的定性还需要结合实际情况进行判断。如果您认为自己受到了不公正的对待或受到严重伤害，请及时寻求法律援助，通过合法途径维护自己的权益。同时，也建议采取积极措施保护自己，避免类似的事件再次发生。