中介说是我的房子有人看上了，要买。让我付押金（违约金）3万，买房也交了押金（违约金），两个月期限到了，买房的没来中介说是买房的违约了，在我的一再讨要下，中介退了我的押金（违约金），另外买房的违约金一分没给，中介同意退2万，但拖了再拖，怎么办才能要上这两万？对中介的这种行为怎么处理？强调一下:我们之间没有合同，只有通话记录40多条。里面涉及到卖房的方方面面！