我欲建造一个小木屋，于是与别人签订木材买卖合同，并通知自己的员工前去提货。后来我在某展销会上看到一座小木屋成品很合适，于是买下小木屋，并通过电话与那个人达成协议取消之前的合同。但此时木材己经交付。 请问此时木材应怎么处理，已经取消合同了我还需要付款吗