根据中国婚姻法规定，如果夫妻双方未办理结婚登记手续而同居生活，但已经生育子女的，视为事实婚姻。在这种情况下，孩子可以跟随母亲一起生活，除非有相反证据证明孩子应当由父亲抚养。如果您想保留孩子的抚养权，请考虑收集有力证据支持您的主张，并与丈夫协商解决办法。