根据《中华人民共和国民法典》的规定，如果双方在买卖合同中约定的定金数额为三万元，而实际交付的定金仅为二万元，那么应当按照实际交付的定金金额来计算违约责任。因此，在这种情况下，中介要求支付一万元违约金是有依据的。建议您与中介协商解决，或者通过法律途径寻求解决方案。