您好！根据我国劳动法的规定，劳动者享有在工作时间内的休息权和自由离开工作岗位的权利。因此，在正常的工作时间内，劳动者有权不受强迫或威胁的情况下离开工作岗位，而不受任何经济处罚。 在这种情况下，如果您的老板要求您必须回到饭店继续进行清洁工作，这可能违反了您的权利，并可能导致您面临被罚款的风险。建议您与老板协商解决这个问题，或者寻求相关部门的帮助以保护自己的权益。同时，也可以考虑向当地的人力资源和社会保障部门报告此事，以便采取必要的行动维护自己的合法权益。