我父亲被车撞了抢救无效死亡，我们和肇事者的姐姐签了个协议，赔偿36万，前期给了我们20万元，后期联系不上，剩下的16万没履行，我们写状纸，起诉到了法院，肇事者的姐姐要求归还前期给的20万的死亡赔偿金，扬言要起诉，怎么处理？