根据法律规定，父母双方都有抚养和教育孩子的权利和义务。即使夫妻之间存在矛盾或冲突，也不能剥夺任何一方对孩子进行抚养和教育的权利。男方如果因为妻子婚外情而拒绝其见孩子，这在法律上是不被支持的。除非有充分证据证明妻子的行为对孩子的身心健康有严重不利影响，或者法院已经判决限制或剥夺妻子的探视权，否则男方无权单方面决定不让妻子见孩子。如果男方坚持这样做，可能会面临法律上的不利后果。建议男方通过法律途径解决与妻子的矛盾，而不是采取剥夺对方探视权的方式。