在这种情况下，首先需要明确双方是否有书面协议或其他证据证明土地交换的事实。如果有书面协议，可以依据协议内容进行协商或通过法律途径解决。如果没有书面协议，但有其他证据（如证人证言、照片等）证明土地交换的事实，也可以作为解决争议的依据。 如果协商无效，你可以考虑以下几个步骤： 1. 收集证据：包括土地交换的证据、邻居房屋搭在你墙上的证据等。 2. 法律咨询：咨询专业律师，了解你的法律权益和可能的法律途径。 3. 行政途径：向当地土地管理部门或城建部门反映情况，寻求行政解决。 4. 法律途径：如果行政途径无法解决问题，可以向人民法院提起民事诉讼，要求对方停止侵权、恢复原状或赔偿损失。 在整个过程中，保持沟通和协商的态度，尽量通过和平方式解决问题。同时，注意保留所有与此事相关的书面材料和证据，以备不时之需。