您好，根据《中华人民共和国民法典》的规定，如果您与公司的代理协议中明确约定了代理费的支付方式和退还条件，且您在协议中明确表示了不希望继续担任代理人的行为，那么您可以要求公司按照约定退还相应的代理费用。如果公司坚持要求扣除代理费用，可能涉嫌违约或者侵犯您的权益，请您保留好相关证据，并考虑通过协商或诉讼等方式维护自己的合法权益。