根据法律规定，如果夫妻双方协议离婚，子女的抚养权应当由双方协商确定。在您的情况下，男方需要承担起对孩子的抚养义务，并且支付相应的抚养费用。 如果您认为自己没有履行抚养义务，可以向法院提起诉讼要求对方支付抚养费。同时，您也可以寻求其他途径来解决这个问题，比如通过调解或者仲裁等方式。 此外，由于您提到的情况可能涉及家庭暴力等问题，建议您及时联系当地的法律援助机构或妇女权益保护组织，获取专业的法律帮助和指导。