根据我国相关法律规定，猥亵不满十四周岁的幼女或者有特定人群的妇女是构成犯罪的行为。如果该男子猥亵的是50岁的智障女性，那么他的行为可能涉嫌犯罪。 然而，具体情况需要根据案件的具体事实和证据来判断。如果您有关于此类案件的疑问或需要进一步的帮助，请及时寻求专业的法律援助。