有个工厂之前在他那里打样，打样不合格客户现在取消订单了，我们还差一千多块钱没给他，现在我们要让他模具给我们，尾款结清了，也没让他赔偿其他损失，现在对方要要求我们把钱给他，但模具不肯退给我们，毕竟这个是我们公司出钱刻的模具，不可能给他的，现在就这样僵持不下，对方还说我们欠钱不还，要起诉我们，第一次遇到这么无良工厂，该怎么处理，不是我们不给钱，是他们不肯退模具