陪朋友退租的房子，提前打扫好卫生，东西收拾好，约定今天交接，房主没有按约定退订金，百般找茬，说打扫的不够干净，面盆划了一个口子，也重新给换了一个，说冰箱打扫的脏，因为朋友非常讨厌这个业主，全权委托我来谈，从头到尾我都是客气的语气，但是业主依旧不依不饶后来开始谩骂我。到现在为止依旧没有退钱，这种情况应该怎么办