请问，我的房子卖给对方，合同上写的订金是115000，首付85000，我全部收到他的是20万，合同上约定的是如果我违约了就要按照20万的双倍赔付给买方，我当时不懂就签字了，现在我才查到，如果我违约了，其实只要赔付订金的双倍就可以了的，我想请问这个还是要按照约定的20万的双倍赔付给买方吗？