根据《劳动民法典》的规定，劳动者与用人单位建立劳动关系后，应当按照约定履行义务。如果您没有与工厂签订书面劳动合同，也没有明确的协议或合同条款表明您需要支付给工厂的任何费用，那么您的要求是合理的。 此外，《中华人民共和国劳动争议调解仲裁法》也规定了，如果双方协商不成，可以向当地劳动争议仲裁委员会申请仲裁。因此，在这种情况下，您可以先尝试与工厂进行沟通和协商解决纠纷。如果无法达成一致，您可以选择提起劳动争议仲裁程序，维护自己的合法权益。