我以前开了一个快递公司， 后来有一个快递委托我们派送她们的快件，费用一直不给结清 ，我们就用代收货款抵消，当时委托我们代派也没有任何书面协议，也无证据，我也没办法只能抵消，现在他找我想要回代收货款，这件事过去了10个月了 ，我可以拒绝他吗