我在广州调皮屋童装进货，交了14000定金，说好货到验货付款，但是他现在说把货控到长沙不往下发，除非补齐尾款6000，但是装货我没在场，装货清单也不给我，也不知道装的是什么货，够不够20000货款的衣服，是不是按当时折扣算，现在他那边说没有说过货到当地付款，而是说货到当地省会付款，不然不下发，我就要求不发货就退定金，他们不让退，这个应该怎么处理？