根据您提供的信息，您和中介之间存在关于房屋买卖的意向，并且已经支付了五万元作为购房定金。然而，在这个过程中，您决定不购买该房产。在这种情况下，通常情况下，如果双方达成一致并签订书面协议，中介会将定金退还给买方。 然而，由于您未与房东直接接触或签署任何正式文件，因此在没有明确证据证明您已实际收到房源的情况下，很难确定这笔款项是否应该归还给您。此外，如果您无法提供有效的证明，如银行转账记录、收据等，可能会影响法院对退款请求的支持力度。 建议您首先尝试联系中介，询问他们是否有您的定金收款记录。如果没有，您可以考虑通过其他途径寻求帮助，比如向当地消费者保护组织投诉，或者寻求律师的帮助来解决这个问题。无论如何，确保保留所有相关沟通记录和凭证以备后用。