可以起诉。但关键是要证明孩子由男方抚养对孩子成长不利，比如男方经济实力不足或者没有时间照顾孩子或者对孩子有虐待行为等。就算你拿不回孩子的抚养权，孩子还是归男方，根据婚姻法的规定，不直接抚养孩子的一方有探视权。你有权探望孩子，带孩子住几天，对方应当协助。你也可以就探视权提起诉讼。