工厂原本需要做报关退税，也发了报关资料给我！我也提交了报关资料给代理报关的人，我只说明了这些是报关资料，并未提及退税两个字，所以代理报关的人没有进行报关退税，导致现在工厂不能退税，而要求赔偿，这种情况我需要赔偿吗？