您好！首先，根据《民法典》的规定，您与卖方之间的房屋买卖行为应当签订书面合同。如果双方没有签订正式的购房协议，那么该交易属于口头约定，并不具有法律效力。 其次，按照您的描述，您已经支付了20000元作为购房定金或保证金，但并没有实际签署购房协议。在这种情况下，您有权要求卖方退还这笔款项。您可以考虑通过协商解决这个问题，或者向当地的消费者保护组织寻求帮助。 最后，如果您对退款事宜有疑问，建议您及时联系卖家并了解具体的退款流程和所需材料。同时，也可以考虑聘请专业的房地产律师进行咨询，以确保自己的权益得到充分保障。