我与对方没签订合同。 只是口头协议。 对方转让铺面，我去看。 当天晚上和对方达成协议支付给对方1万元定金。 于第二天中午支付了20万转让铺面的钱，因和对方达成协议。总价值40万的铺面分两次支付。在对方教我们如何经营，待手艺，铺面稳定后支付余下的尾款。 可现在因自身身体健康原因，无法适应当地环境、想退钱。 可对方不退。 坚持要我赔偿违约金总价值的20%。 可当初口头协议定金1万元。 我违约无权要回定金，退我本金就可以。 法律上怎么判