您的情况确实很困难。根据中国婚姻法的规定，您和您的丈夫之间的关系属于事实婚姻，因此您的孩子应当跟随您生活。如果您决定离婚，并且需要孩子的抚养权，您可以向法院提起诉讼并申请判决。在处理家庭纠纷时，建议您寻求专业的法律帮助，以确保自己的权益得到保护。 此外，对于夫妻双方的经济状况、子女教育等问题，也应当提前进行沟通和协商，以便为未来的共同生活做好准备。希望您能够尽快找到解决问题的方法，维护好自己和家人的幸福。