根据我国相关法律规定，离婚后，不直接抚养子女的一方有义务支付抚养费。如果夫妻双方未办理婚姻登记手续，但共同生活多年并生育子女的，视为事实婚姻关系。在双方离婚的情况下，孩子的抚养权通常会由法院判决给予更有条件照顾孩子的一方。 然而，在您提到的情形中，男子作为父亲没有取得孩子的抚养权，且女方有过错。因此，男方有权要求对方支付相应的抚养费用。至于是否可以起诉，这需要看当地的具体法律规定和具体案情。建议咨询当地的律师或人民法院以获取更准确的信息和指导。