在五月份的时候我商量和同学一起去旅游，我们决定去成都6个人租一套房子四天，一个人365。结果高考完后我的一位朋友因为家里不同意（他事先也没有告诉家长，是自己掏的钱），就不能去成都。所以我也没有办法去。这就牵扯到退房费的问题，我同行的其余伙伴说因为违约的是我们所以一分钱都不退，首先我们没有任何人签相关的协议，说某个人不去就不退房租之类的。最开始是一位同学负责收集大家的钱然后打给房东;现在我们在要钱，他们拒绝给钱。我们说那好我们就退房子，整个房子的违约金大家一起掏（因为没有协议说某个人退房某个人承担违约金），他们又拿起初他们并不想住这个房子因为照顾我们才选择的房子搪塞我们。请问现在我们怎么办？