我现在租了一个房子，合同是到8月15日，需要提前半个月交房租，上次我交房租到期时间是5月15日，现在我不想租房子了，他说我就要立刻搬家，我本该在1号前交房租，且合同写的延迟交付房租3日他们可以单方面解除合同，我的问题是他们现在能赶我走吗？