1月，在武汉看中锦绣龙城一套二手房，当时被中介忽悠，把意向金签成了定金单，我老婆还没有看过房子，怎么可能签定金单？另外我是不具备买房资格的，经多次协商无果，后发现该中介早前因违规操作已经被其加盟的总店清退，所以我不可能再跟他们继续后续事宜，现需要退回定金。请问该如何处理？能快速拿回自己的钱。