在许多国家和地区，包括中国，在某些情况下，工厂可能会对员工的迟到行为设置一定的惩罚机制。例如，如果员工在晚上超过11点回到工厂工作，则可能被要求支付罚款或进行额外的工作。 然而，是否将这个情况视为违法需要具体分析。一般来说，工厂的规定应该是合理的，并且应该遵守当地的法律法规和劳动法规。例如，有些地方的法律允许企业根据实际情况制定一些管理措施，但必须符合法律规定，并确保这些措施不会侵犯员工的基本权利。 因此，对于这个问题，建议您查阅当地的相关法律法规，以确定工厂的行为是否合法。同时，如果您认为自己的权益受到了损害，可以寻求法律援助来维护自己的合法权益。