根据法律规定，子女的抚养权一般会优先考虑孩子的利益。在处理涉及未成年人的案件时，法院通常会综合考虑双方的经济条件、教育背景、生活习惯、家庭关系等多方面因素来做出判决。因此，即使前夫曾经有过一次离婚经历，也不能直接推断出他不会对子女产生负面影响。 此外，孩子是否愿意跟随其母亲生活也是重要的考量因素之一。如果孩子已经四、五岁，并且与母亲建立了良好的关系和情感联系，那么可能会倾向于跟随母亲一起生活。 综上所述，您提到的情况可能有助于改善孩子跟随一方生活的可能性，但最终的决定需要基于全面的评估和考虑。建议您在咨询专业的法律顾问或通过调解等方式解决争议，以确保孩子的最佳利益得到保护。