在法律层面，您有权要求您的儿子跟随您生活。根据中国的法律规定，父母与子女之间的权利和义务是不可分割的。如果您认为自己更有利于孩子成长和发展，您可以向法院申请将孩子归还给您抚养。但是，请注意，这需要您提供充分的理由和支持文件，并且可能需要经过法律程序来确定孩子的最佳利益。 此外，在考虑是否将孩子归还给前夫时，也应考虑到双方家庭的情况以及孩子的情感需求。最终决定应该基于对整个家庭成员福祉的全面评估。同时，建议您寻求专业的法律意见以确保自己的权益得到保护。