遗弃罪是指对共同生活的家庭成员，尤其是配偶和子女，不履行扶养义务的行为。如果您的妻子与他人生育了孩子，并且这个男人没有履行应有的抚养责任，那么这种情况可能会被认定为遗弃行为。 然而，您提到的“那个人”（即那个男人）是否真的存在，以及他是否在实际中对你或您的孩子造成了实质性的伤害或忽视，这些都是需要具体证据来证明的问题。如果您有确凿的证据表明该男子确实未能履行其应尽的抚养义务，而且这种行为已经造成了严重的后果，那么您可能可以向法院提出指控，要求追究他的法律责任。 请注意，任何涉及家庭暴力或其他严重犯罪的情况都必须由专业的法律顾问进行评估和处理。在这种情况下，建议寻求法律援助并联系当地的法律机构或律师以获取更准确的信息和帮助。