在决定是否要回孩子的抚养权时，建议您首先考虑的是孩子的最佳利益。如果您认为目前的环境对孩子的成长不利，您可以向法院提出申请，请求变更孩子的抚养权。但是，在这种情况下，您的陈述可能不足以说服法官支持您的主张。 为了更好地保护您的孩子，并确保他们的最佳利益得到保障，您可以寻求专业的家庭法专家的帮助，他们能够为您提供更具体和实际的指导和支持。此外，如果您的家庭条件确实存在问题，您可以考虑寻找社会资源或政府资助来改善生活条件。 请记住，最终决定权在于法院，他们会根据所有相关因素进行评估，并做出最适合孩子的判决。希望这些建议能帮助到您，但请注意，具体情况需要详细分析才能得出准确的结论。