根据我国相关法律规定，对于非婚生子女的抚养权和抚养费问题，应当由父母双方协商确定。如果双方同意并签订了书面协议，则按照协议执行；如果没有达成一致意见或者协议无效，则应依据法院判决或调解结果处理。在您的情况下，由于没有明确的协议或者协议无效，因此男方是否需要承担抚养责任取决于双方的具体约定以及法院的裁决。建议尽快与对方进行沟通，并寻求专业的法律帮助以确保自己的权益得到保障。