我有一大伯二婚离婚时分给女方二间平房，他们二人婚后无子，只有女方带有子女。离婚后由于房子漏雨无法居住我当时正要翻建房子，他便通过村委会和我调换了宅基地，地基砌成后女方子女回来说还有他母亲的房子要继承，便不让我施工。而当才我并不知情。我想回我和我大伯签订的置换协议有效吗？我算不算善意第三人？