根据《中华人民共和国民法典》第三十六条的规定，父母对子女有抚养教育的权利和义务。因此，在双方协商一致的情况下，法院通常会支持孩子的随父或随母生活的意愿。然而，如果一方不愿意或者无法承担抚养责任，另一方有权提出变更抚养权的申请。 在您的情况下，您提到对方长期在外工作且对家庭不负责任，并且可能对孩子的生活造成不利影响。这种情况下，您作为父亲，可以向法院提起变更抚养权的诉讼请求，证明孩子需要由您照顾的理由。 同时，考虑到孩子即将进入小学阶段，学校和社会对其成长的影响至关重要。如果您认为继续让孩子跟随您生活对于其健康成长更为有利，那么也可以通过证据证明自己的能力来争取变更抚养权。 需要注意的是，最终是否能够成功变更抚养权取决于多个因素，包括但不限于孩子的情况、双方的经济状况、孩子的年龄等因素。建议您与律师详细沟通，以便更好地了解相关法律规定及策略运用。