根据我国相关法律规定，房屋租赁合同应当遵循平等自愿、协商一致的原则。如果您与房客之间存在有效的房屋租赁合同，并且该合同中约定的条件和条款没有违反法律法规的规定，则您可以要求对方按照合同规定支付租金并履行合同义务。 在您拒绝退还押金的情况下，房客有权向法院提起诉讼，请求解除租赁合同并要求您承担违约责任，包括但不限于支付违约金或者赔偿因未能按时搬离造成的损失。因此，在处理此类纠纷时，建议双方通过友好协商解决争议，以避免进一步的法律程序和不必要的经济损失。