我哥和我嫂子在孩子两岁左右离婚，离婚的时候孩子的抚养权归了我哥，因为双方地域不同，我哥贵州的，我嫂子四川的，结婚到离婚，孩子都在女方家成长的，期间孩子一切费用大部分都是女方出，2012年的时候接回来我妈带了半年多，之后不知何故女方家又来把孩子接走了，接走的时候说我们想要回来随时去，因为我们家亦是离异家庭，父母在我们十多岁就离婚了，母亲父亲各自再婚，哥哥一直在拉萨打工，因为这些种种并没有再把孩子带回来，之后于2015女方家开始想要抚养权，以我哥没有抚养孩子等原因准备起诉，后因找不到我哥，一直拖到现在，最近嫂子又在争抚养权，我想咨询一下，像我哥这样，抚养权会失去吗？