根据《中华人民共和国个人所得税法》及其实施条例的规定，对个人转让房屋的所得征收个人所得税。如果买方在支付购房款时已经预缴了部分税费，并且在办理过户手续后缴纳剩余税费，则可以向税务机关申请退还预缴的税费。然而，如果卖方没有及时将应由其承担的税费退还给买方，可能构成欺诈行为，应当承担相应的法律责任。 此外，由于您提到的金额（2万元和5000多元）之间存在差异，建议您尽快联系相关税务部门或律师事务所，了解具体情况并寻求专业的法律帮助。