根据劳动法规定，用人单位不得以任何形式向劳动者收取押金，包括但不限于保证金、风险金等。如果工厂要求您交押金才能进入工作场所，这本身就是违法的行为。您有权拒绝支付任何形式的押金，并可以向当地劳动监察大队投诉，要求工厂退还已收取的押金。同时，您也可以寻求法律援助，通过法律途径维护自己的合法权益。如果工厂因您拒绝交押金而不允许您进入工作场所，这可能构成对您劳动权利的侵犯，您可以要求工厂承担相应的法律责任。