我在二手中介看中了一套房，房东在在外地，中介让我交意金，我交了2000元，由于其他原因，我不想买这个房子了，然后我让中介退意向金，他们说不退……当时意向金是房东收的，这个意向金可以退吗？