我是宁乡市坝塘镇洋西村，在七年前组上有人建房子侵占了我家还是在七十年代我个母请人在那里用人工挖，人工挑土了几十个工的宅基地，当时在组上，村上领导和乡政府干部的协调下和这人唐某协商好了，由唐某用自己的自留土与刘某换了一块约三百平方的自留土还给我以后做宅基地，并写下协议，相关人员都签了字，村上领导和乡政府干部都签名公证了，现在这里搞建设了，这块地要征收了，但这个刘某以我至今没有在这块地上建房子为由，说他这块地不和唐某换了，这块地征收的补偿款应给他，而唐某在几年前因病死了，请问律师我该怎么处理。