您好！首先需要明确的是，在您所描述的情况下，可能存在几种不同的情况。 如果房屋买卖协议是经过您的代理签署的，并且该代理行为符合法律规定和合同约定，则该代理行为具有法律效力。 在这种情况下，如果房主已经将款项退还给您，并表示不再购买该房产，那么通常情况下，这被视为房主单方面终止了与您的交易。在这种情况下，您有权要求对方赔偿因无法完成交易而造成的损失。 如果房屋买卖协议是由您本人签署的，并且您知道或应当知道该协议的内容，但仍然签署了，那么该代理行为可能不具有法律效力。因此，您在签订合同时应仔细审查所有条款并确保自己了解其含义。 在任何情况下，如果您认为自己的权益受到侵害，请及时寻求专业的法律帮助，以维护自己的合法权益。 请注意，以上分析仅供参考，具体情况需根据具体情况进行判断。希望我的回答能够对您有所帮助。