根据《中华人民共和国劳动法》的规定，劳动者享有平等就业和选择职业的权利。如果上海工厂的工作量不大或者无法满足员工的需求，员工有权要求调换工作地点或岗位。 然而，在没有得到明确的调动通知的情况下，员工在未经同意的情况下擅自离开工作岗位到其他地方工作是不被允许的，可能会导致违反劳动合同约定的行为。此外，员工离开前应提前向用人单位提出申请，并获得批准。 因此，建议您与上海工厂沟通，了解是否需要调整您的工作安排。如果无法达成一致，可以考虑寻求人力资源部门的帮助，以保护自己的合法权益。同时，遵守公司的规章制度，尊重同事和上级领导，维护良好的工作氛围。