在您与工厂之间存在一份租赁合同，合同中可能包含了关于房屋使用权的条款。如果您想解除租赁关系并获得所租用的房屋所有权，通常需要按照租赁合同中的规定进行处理。如果合同中没有明确规定如何处置房屋，您可以尝试与工厂协商解决这个问题，或者通过法律途径解决问题。无论采取何种方式，都建议您仔细阅读租赁合同，并了解您的权利和义务。此外，如果您打算离职，应提前通知工厂，并根据公司的相关规定办理相关手续。