我们和爱上租签了合同租的房子，当时看房的时候前房客还没搬走，所以看房只能看一下房屋结构，昨天准备搬家我们去搞卫生结果发现房子霉味很大，里面衣柜什么的全是湿的，肯本不能住人，要求中介退房或换房，但是中介说哪怕换房这个房子也不能退，除非有人愿意租才可以，等于就是在再给我找套房子，但是我要交两套房的房租。他们交房的时候也没说房子问题，我觉得是变相欺骗消费，现在想咨询一下我应该怎么办？