你好，我是一名货车车主，昨天接了一单业务，从西安到河南濮阳的一车粗苯，货主在装车前说到河南濮阳卸车，装车后又让到山西卸车，他改变卸车地点，如果提前说去山西，我就不会接单了，我们之间闹的很不愉快，最后他同意去河南濮阳卸车，但我担心，他不给我结运费，我要求先付款再卸车，如不同意，我把货拉回家，请问这样做违法吗