03年我和他认识后在一起了，他当时是已婚的家有一个女孩，05年我们生下一个女孩户口随我，08年生下一个男孩，男孩户口随他了，后来他离婚了后又和他前妻有一男孩，12年我们分开了两个孩子都是由我一人抚养到现在，他一直没有管过也没有给过抚养费，现在我想要把男孩的抚养权要过来他又不想给了，说要给他的妹妹抚养，我想咨询一下在这种情况下我能不能要回孩子的抚养权呢？我想把孩子户口转过到我户口