在您的情况下，如果您的女儿被男方合法地抚养并照顾，并且已经适应了这种生活模式，那么变更孩子的抚养权可能会有一定的难度。然而，如果您有充分的证据证明男方不适宜继续作为孩子的监护人，或者女方认为男方的行为对孩子的健康成长造成了不利影响，那么法院可能支持变更孩子的抚养权。 此外，您应该确保自己和子女的安全是最重要的考虑因素之一。因此，在做出任何决定之前，请与专业的法律顾问进行详细的讨论和规划，以确保所有相关的法律程序都被遵守，并最大程度上保护您和您女儿的利益。