您好！我想咨询一个法律问题，我对外出租的房子，到期后由于租户违约，因为我们房子是精装修而且是首次出租，本来约定是房子给对方公司老板一个人住的，所以我们租房价格也低于市场价，结果最后他们将房子变成了职工宿舍，他们两个职工也住到了里面，另外房子里面的墙壁损坏，家具损坏，所以我们想扣除一部分对方的押金，对方不认可也没有跟我们谈判如何解决，最后没有要押金交房走了，还有一把钥匙没有退给我们，现在过了一个多月了我们也不想拖着不解决，就联系他们解决此事，他们结果威胁我们说给我们计算着高利贷利息呢？让我们主动打给他们，否则就用极端的办法来解决。我们应该怎么办呢？