关于您提到的问题，根据我国相关法律规定，如果孩子的父母一方不履行抚养义务，另一方有权请求人民法院判决变更子女的抚养关系。然而，在您的情况下，由于您表姐已经与丈夫协议离婚，并且孩子一直由母亲和姥姥姥爷抚养，因此孩子目前是由母亲一人抚养。 在这种情况下，孩子爸爸提出要带走孩子的要求可能会遇到一定的阻力。因为按照法律规定，孩子应随其父母中的任何一个进行抚养，除非有特殊原因可以改变这种规定。 此外，您提到的孩子爸爸并没有尽到作为父亲的责任，这可能会影响到法院对抚养权案件的判断。但是，具体是否能够剥夺孩子爸爸的抚养权，还需要考虑多种因素，包括但不限于孩子的年龄、健康状况、生活环境等。 最后，请注意，以上信息仅供参考，具体情况需要依据具体的法律法规以及实际情况来进行分析和处理。建议您寻求专业的法律顾问帮助，以便得到更准确和详细的解答。