您好，我是房主，跟买家和中介签了卖房合同，合同约定违约金为房价的20%，房价是78,8万，我收了2万的定金，买家叫给中介1万的中介费，过了20天我本人不想卖了，卖房和贷款的手续都还没办，请问我只想赔付双倍的定金也就是4万给买家可以吗？要是买家不同意非要我支付20%违约金怎么办。如果买家起诉，法院会怎么判？谢谢！