根据我国劳动法的规定，劳动者享有休息权。如果您自愿选择不上夜班，并且没有违反公司规定或者造成重大损失的情况下，工厂无权单方面解除劳动合同。不过，在这种情况下，您也可以考虑通过协商或者申请调解等方式解决问题。 如果您的情况比较特殊，比如长期加班导致身体状况恶化，或者工作环境存在安全隐患等，您可以向劳动监察部门反映情况，寻求帮助和解决。 请注意，以上建议仅供参考，具体问题需要结合实际情况进行分析和处理。如果涉及法律问题，请咨询专业的律师或人力资源专业人士。