你好，我现在想咨询一下一个合同纠纷，我们乡镇有一铺面位置很好，因为当初想要做生意而租不到铺面，我们村有一个姓万的人他认识乡政府的人就通过他帮我们签下了合同，当时定了两年合同，还交了两千块的压金，也是他用他的身份证定的，定好合同后他就把合同给我家了，我家一共装修门面用去了六万块钱，开了一年以后我家不想开了就租出去给别人开，租出去没多久，他就说他想要给他儿子开，我们也说钱也收了别人的了，也答应人家的事了就不好退回去，然后他就不高兴了，要我们把铺面要回来给他。我们也不好意思去要了，现在他来威胁我们说铺面他要收回去我们装修的那些也不准我们拆走了，他就是想要铺面而一分钱也不想给我家，我想问一下他这样对吗