我从一个同村的人手里转包了20多亩土地,承包期为五年,但在今年年初的时候,政府要进行土地征用,征用的土地面积正好包括我从他手里转包的土地面积,我多次向他索要承包款,要求退款,他说要不把土地恢复原状就不退,这要求明显不合理,因为政府已经挖掉一部分了,合同承包协议上明确写着如果在承包期内遇到土地征用的问题,他会全额退还剩余年份的承包款,而且写着如果违约,将负违约责任，请问我该如何追回这笔钱，并且可以向他要求违约金吗？