根据法律规定，如果双方在合同中约定的违约金数额过高或者过低，可以请求人民法院予以适当调整。因此，您可以考虑向法院申请对违约金进行审查和调整。同时，您也可以要求对方承担双倍返还定金的责任。请注意，上述建议仅供参考，请根据具体情况与律师进一步商讨并寻求专业的法律意见。