一个多星期以前我用我的车跟别人换了一辆，平等交换。双方都没加钱。写的协议，但是那个人的车没有还完贷款。还在正常还贷款的过程中，但是五天前他那个车的二手车交易公司在未通知我的情况下强行把车收走了。然后他现在说正在跟那边交涉。那边说得一次性还清贷款再加一万五的违约金。让我给他几天时间凑钱，然后我容了他五天时间。我想问问时间拖得久了对我起诉他有没有影响？我现在应该怎么办，他还让我再容他两天时间，