我有一套二手房，与去年12月底的时候通过中介有买家看中了，当时买家付了二万定金，因为根据上海市新的买房条例买家要连续交金满五年才有购房资格，他到今年的5月就满足条件了，所以双方约定到他满足购房条件后才正式走流程，于是我们就在中介的撮合下签了一份居间合同，约定1月底付首笔房款，3月底付第二笔，最后一笔走银行贷款。买家第一笔按时付了，第二笔拖到现在超过付款时间17天了，我能追究他的违约责任单方解除合同，追究他的违约金总房款的20%吗？