我想咨询一下，我20号因盗窃案（小米红米手机一部）被抓到派出所，21号被押送到看守所，24号被告知释放，然后又被带到了派出所，办理我案子的民警说案子还没有结束，不能还我自由之身，还要对我行政处罚，具体时间不详，直到现在我还不知道那部手机价值多少，既然自己释放，为什么还有行政处罚？？