我和前夫协议离婚，有一个女儿，协议扶养权归南方，男方把小孩给他母亲带，也就是小孩的奶奶，小孩奶奶把小孩长期带到小孩奶奶情人家里生活，这样会不会不利小孩成长？我可以通过法律要回扶养权吗？