我开别人的车，出了交通事故，和一辆货车相撞，我是全责。对方无责，最后经人调节。我拿出两万块赔了我方车主，并且说好不在向我追究此事。事后双方修车费用，货车1.8万，我方7.06万。保险公司已经赔付对方车钱，但我方车主拒绝还给人家。后因我方车主没有钱去提回自己的车，再次过来找我讨要，并且列出误工维修等等一系列费用，如果我拒绝给钱，他现在要去起诉我