我就提议说让他把保证金退还给我，他听后很生气几乎吵起来，之后我又找他他就说这钱不是他拿的跟他没有关系，可我并不认识那女人，我一直都是和这个中介交接的，现在我该怎么办？怎么样才能追回我的损失