根据《中华人民共和国民法典》的规定，离婚有两种方式。 一、协议离婚。夫妻双方自愿达成离婚协议，并共同向婚姻登记机关申请离婚登记。 二、诉讼离婚。一方当事人请求人民法院判决解除其与另一方的婚姻关系的方式。 如果你们尚未办理结婚登记手续，且已生育了子女，可以考虑通过协议离婚的方式解除婚姻关系。在协议离婚时，需要明确约定子女抚养权归属、抚养费支付方式等事项，并对财产分割、债务清偿等方面作出合理安排。同时，考虑到孩子的成长和权益保护，协商一致后签订书面协议，由婚姻登记机关进行审查并颁发离婚证。 需要注意的是，在办理离婚手续过程中，应当注意收集、整理好相关的证据材料，包括但不限于结婚证书、出生证明、户口簿、子女的身份信息及健康状况等相关资料。此外，离婚后的子女抚养权变更、财产分割等问题也需妥善处理，以避免后续可能产生的纠纷。