因交通事故,把人撞了，当时是去的小医院检查说没问题。责任是我方全责。当地派出所当日调解，双方达成共识，并出具调解协议书。但是伤者回去后第二天又去医院检查说时脚环处骨折，现在伤者家属又找到我们喊赔钱，已经交了部分医药费！请问这种情况我方可以不用负责吗？或者说可以让伤者也负部分责任吗？