您好，根据您的描述，您与卖方达成的退房协议中明确约定了您需要退还给卖方的金额为2万元。如果您已经按照协议要求进行了退款，并且双方都已签署确认书，那么您有权要求卖方退回该款项。此外，由于您已经在协议中明确了退款的具体金额和方式，因此您可以直接向卖方提出退款请求，并要求其按照协议中的规定进行处理。如果卖方拒绝退款或拖延时间，您可以考虑通过法律途径解决争议，以维护自己的合法权益。希望我的回答对您有所帮助。