我于去年12月在房屋中介签订了一份购房合同，附加内容里的交房日期为手续过户后的六个月，因为卖方的新房在装修，想延期一段时间交房，当时我建议的是2到3个月，但卖方说多写几个月吧，我肯定会提前搬走的，不会住六个月的，他一直这样要求，我特别为难，没有明确的表态，中介就把这个结果写到了合同里了，我四月份把手续办完的，现在卖方一直住着我的房子不搬，让中介多次交涉催搬果，他现在耍赖就是不搬家，并且一直强调要按合同规定的时间来办，我该怎么办？