根据您提供的信息，您的儿子可能需要由你来抚养。在任何情况下，都应确保孩子的安全和福利得到妥善照顾。 关于您提到的情况，如果没有证据证明男方忽视了对孩子的照顾或存在其他不当行为，那么法院可能会认为男方履行了他的抚养义务。然而，如果您能提供证据证明男方未能按照法律规定的方式履行他的抚养义务，例如未能及时照顾孩子或者对孩子缺乏关爱，这些情况可能导致法院考虑变更孩子的抚养权。 请记住，每个案件的具体情况都是不同的，因此最终的决定将取决于法官对所有相关事实的评估。建议您与专业的法律顾问进行详细讨论，以获取更准确的信息和指导。