您的情况比较复杂，建议您尽快联系相关法律专业人士进行咨询和协商解决。根据我国法律规定，如果您的行为是合法的，并且没有违反交通规则，那么您可以要求对方返还所收取的费用。但是，在实际操作中，可能会涉及到一些复杂的法律问题和程序，因此最好咨询专业的律师以获得更准确的指导和帮助。同时，也可以尝试与老板沟通，看是否可以达成双方都满意的解决方案。