根据《道路交通安全法》的规定，机动车驾驶人应当依法取得机动车驾驶证。如果您的同事在您上班时开着他的车去外地试驾，这并不违法，因为这是他自己的行为。然而，在您没有得到允许的情况下，使用同事的车辆进行试驾可能会构成盗窃罪或其他犯罪行为。 因此，如果您认为自己不应该承担此次违章责任，建议您联系当地的交通管理部门或警察局，详细说明情况并寻求帮助。同时，也请您注意遵守交通规则，避免类似事件的发生。