你好！我租用别人的仓库签下了合同3年，注明一年一付。我先付了半年房租，下半年是写的欠条。上半年还没过完，房东把隔壁仓库租给了一个做油漆的，气味特别难闻，而且仓库漏雨，房东4-5个月都没修好，找过房东几次他说实在不行就搬走，把钱退给我，所以我另找了仓库搬出来了。现在找房东退钱，他却说我们签了合同没到期，要我付下半年租金给他，不然要走法律程序。请问我该怎么办？