我老婆10月30日下午和中介去看了一套房子，并和中介签订了一份协议书，并交了5000元诚意金，协议书上内容是如果中介和房东谈妥了价格而我方不买就不退回诚意金，晚上我去看了下房子，觉得不合适就不想买了，中介称已经和房主谈到了价格，说我们违约，拿这份协议书要挟不退诚意金，现在我上法院告中介，法官竟然判我们输了，现在怎么办