首先，需要明确的是，“破坏家庭”是一个非常严重且带有贬义的词汇，在法律上并没有一个明确的定义。然而，通常情况下，如果一个人的行为导致了他人的婚姻关系破裂或对他人生活造成了实质性的伤害和影响，那么这种行为可以被认为是“破坏家庭”。 在您提到的情况下，您的朋友可能因为担心自己与您的关系可能会对他的妻子造成不利影响而做出这种言论。然而，我们需要确保我们的语言和行为不会伤害到任何人，并且应该基于事实和证据来作出判断。 如果您认为您的朋友的行为有不当之处，您可以考虑采取一些措施来维护自己的权益。例如，您可以向他们表达您的担忧并要求他们遵守道德规范，或者寻求专业的帮助，如心理咨询师或法律援助机构的帮助。 请注意，任何涉及个人隐私的信息都应该保密，除非得到对方同意或法律规定必须公开。因此，请确保您的沟通方式符合伦理标准。