根据您提供的情况，是否需要承担责任取决于多个因素。首先，需要确定您的工人在被借用期间是否属于您的雇佣关系，以及在事故发生时是否在执行工作任务。如果工人在借用期间仍然属于您的员工，并且是在执行与您公司相关的任务时发生事故，那么您可能需要承担一定的雇主责任。 其次，事故责任的确定还需要考虑事故发生的具体原因。如果事故是由于司机的过错导致的，那么司机可能需要承担相应的责任。此外，如果车辆存在安全隐患或者司机有违反交通规则的行为，这也会影响责任的判定。 最后，还需要考虑借用协议的内容，如果协议中有关于事故责任的明确约定，那么应按照协议执行。如果没有协议或者协议中没有明确约定，那么可能需要通过法律途径来确定责任。 建议您咨询专业律师，以便根据具体情况提供更准确的法律意见。