合同是2016年11月签的。乙方当时付款16000元。然后乙方一直到2017年12月都没有来使用房子，也没有缴纳租金。期间也没有联系，没有说明什么情况。因此甲方认为乙方是不继续租了，最初交的16000当做违约金。后来甲方把房子又租了出去。现在乙方上门要求退还16000元，说不退就上诉！想知道这件事甲方应该怎样？