《中华人民共和国民法典》规定，男女双方自愿离婚的，准予离婚。但是，有下列情形之一，调解无效的，应当准予离婚。 （一）重婚或者与他人同居； （二）实施家庭暴力或者虐待、遗弃家庭成员； （三）有赌博、吸毒等恶习屡教不改； （四）因感情不和分居满二年； （五）其他导致夫妻感情破裂的情形。 根据上述法律规定，如果夫妻一方存在重婚或与他人同居的情况，即使已经分居多年，另一方也可以要求解除婚姻关系。此外，《民法典》也对分居的规定进行了详细说明，如果夫妻双方因为感情不合而分居，且分居期间未共同生活，可以视为夫妻感情确已破裂。因此，在您所描述的情况下，如果男方坚持要求与您一起生活，并且双方均同意解除婚姻关系，您可以考虑通过法院诉讼程序来解决。