2007年购买的小产权房 买卖双方均是本集体村民 由于房子没有房产证 当时就签订了一个联合建房协议 然后其中一条写了如果哪方违约 就支付违约金5万元。13年过去，现在2020年，物价上涨，买房反悔，想通过违约赔5万元的形式把房子重新要回去，合同无效的形式。请问律师，这个房子买方能重新要回去嘛？