关于抚养权的归属，需要根据具体情况来决定。一般来说，在没有明确约定的情况下，法院会优先考虑孩子的利益和健康权益。在您的情况下，如果孩子是您所生育，并且双方都同意由您抚养，则通常会有利于您的孩子健康成长。 至于男方的指控，如果您认为自己的行为确实存在不当之处，可以尝试通过合法途径寻求解决，例如向法院提起诉讼或申请调解等。同时，也要注意保护好自己，避免受到更多的伤害。 最后，建议您及时寻求专业的法律帮助，以确保自己的合法权益得到保障。