首先，根据我国法律规定，离婚时双方可以协议决定子女抚养权归属。但是，法院一般会考虑以下因素来确定抚养权。 子女的年龄和意愿。一般来说，年龄小的孩子更倾向于跟随母亲生活。 父母的经济状况。通常，有稳定收入的一方可能更容易承担抚养费用。 家庭环境。包括居住环境、教育条件等。 一方是否有不良行为记录或家庭暴力历史。 其他特殊情况，如一方长期在外务工无法照顾孩子等。 在这种情况下，你提到的情况可能会增加孩子的抚养权难度。你的担心是有道理的，但具体结果取决于很多因素。建议你在起诉前与对方进行协商，并寻求专业人士的帮助，比如婚姻家庭咨询师，以提高成功的概率。同时，也可以考虑向法院申请调解或者通过第三方介入解决问题。