在原来的地方盖房子，邻居怕潮他的墙跟，他要求我把他的墙跟留了个0.4米的缝隙再把上面用钢筋混凝土打起来，才答应我盖房子，现在他反悔了，要求我把原来做好的锯开，再把0.4米的缝隙用混凝土全部打起来，才让我盖房子，我该怎么办？