在您的情况下，您和男方之间的关系比较复杂。由于双方都没有履行作为父亲的职责，这可能对孩子的成长产生负面影响。 根据中国婚姻法的规定，如果一方有能力和意愿抚养孩子，另一方通常需要协助并提供必要的支持。在这种情况下，您可以考虑以下几种情况。 如果您有能力并且愿意抚养孩子，那么您的孩子将由您来抚养。 如果您无法承担抚养责任，而男方又不愿意或者不能承担抚养责任，那么法院可能会判决您或男方中的一人抚养孩子，并要求对方支付抚养费。 在某些情况下，法院可能会决定让孩子与祖父母或其他亲戚共同生活，以确保孩子的基本需求得到满足。 最终的决定应该基于多个因素，包括但不限于孩子的福祉、双方的能力和意愿以及当地的法律规定。建议您咨询专业的法律顾问，以便更好地了解您的权利和义务。