根据法律规定，从事出租汽车运营的驾驶员必须持有有效的《中华人民共和国机动车驾驶证》和相应的从业资格证件。您提到的“违章”行为可能与您的从业资格不符，因此您的驾驶证被扣留是合理的。 然而，在此情况下，您已经提交了处理违章的行为，并且也同意将违法行为交由运管部门处理。如果对方仍然拒绝将您的驾驶证移交给运管部门，那么这可能是不合法的。您可以向当地运管部门或相关执法机构进行投诉，以确保您的合法权益得到保护。 此外，建议您保存好相关的证据材料（如通话记录、短信等），以便日后作为维权的依据。同时，也可以考虑聘请专业的律师协助处理此事，以维护自己的权益。