你好，是这样的我们与旅行社签订了一个去九寨沟的合同，他说是明天7点出发，然后我们问他三天后的八点可不可以回到成都，因为我们是10点的飞机，当时他一口答应，之后他又打电话对我们说明天4点就要出发，然后也没有办法8点到达，我们就说不去了，但他们说我们要退违约金，不然要是到今天的七点我们就一分钱都拿不到了，所以我想询问一下是他们违约还是我们违约呢？