律师您好，我爷爷以前和我叔叔家在一个院子里共同建的房子，房子进行过分割各自持有房产证，因为他家是做生意在家里生产机器噪音大影响老人休息，也为了方便他做生意，在01年的时候双方就协商换了房子，换在旁边他们夫妻购买的的一个单间，原来的整个院子就供他们做生意和居住，当时双方写了换房协议按了手印，协议上写了永久性换房，写了交换管理使用权，自愿换房空口无凭绝不反悔。但是房产证和土地证是没有交换的。现在他家据不承认协议要把房子换回来，我可以不换回来房子或者是他毁约要求赔偿呢？