房屋律师咨询您好！我最近看了一个房子准备租下来，然后房东让签了一个合同。签的是11月20号开始，然后今天听说房子的上一家住户一家在里面得了害虫病，为了孩子考虑，我们决定不租了，房东有权利不退押金吗？我们还没有搬过去