在二手房交易中，定金通常是作为买卖双方达成初步协议的保证。如果您不想继续购买该二手房，并且希望退回已支付的定金，首先需要查看您与卖方及中介签订的合同或协议中关于定金的条款。 如果合同中有明确规定在您违约的情况下定金不予退还，那么中介不退还定金可能是基于合同约定。但是，如果合同中没有明确说明，或者您因为卖方或中介的违约行为而决定不购买，那么您有权要求退还定金。 此外，如果合同中存在不公平条款或者违反法律法规的情况，您可以依据《合同法》等相关法律法规，要求解除合同并退还定金。建议您咨询专业律师，根据合同内容和具体情况，评估您的权益并采取相应的法律行动。如果协商不成，您可以通过调解、仲裁或诉讼的方式解决争议。