通过中介买房子，交了一万元的意向金。但是该房屋，不满足西安市未满五年不得上市交易的的交易条件。一万元意向金在中介的引导下给了业主，我也没有任何定金票据，手上只有意向金票据。我觉得该类房子后期的风险比较大，要求退还意向金，但是，中介方不退还该怎么办？