根据您提供的情况，房主的哥哥没有买卖授权委托书，仅持有租赁授权委托书，这意味着他没有权利代表房主进行房屋买卖交易。因此，您与房主哥哥签订的购房协议可能存在效力问题。 首先，您可以与房主或房主的哥哥进行协商，说明情况并表达您希望解除合同并退回押金的意愿。如果协商无果，您可以委托律师提起诉讼。在诉讼中，您可以主张由于房主哥哥没有得到房主的买卖授权，因此合同无效或可撤销，要求返还已支付的定金。 在准备诉讼材料时，您需要收集和准备相关证据，包括但不限于购房协议、定金支付凭证、房主哥哥的租赁授权委托书等，以证明房主哥哥没有买卖房屋的授权。此外，法院可能会考虑合同无效或可撤销的具体情形，以及双方的过错程度。 请注意，诉讼可能会涉及一定的时间和成本，且结果可能存在不确定性。因此，在决定是否提起诉讼前，建议您咨询专业律师，对案件进行全面评估，并制定合适的法律策略。