首先，您提到的问题涉及到土地使用权和建筑物使用的关系。在中国，住宅用地属于集体所有制，而建筑物则属于个人财产。在没有征得所有人同意的情况下，在他人所有或使用的土地上修建房屋的行为是非法的，可能会导致民事纠纷或者刑事责任。 如果您已经取得了合法的土地使用权，并且在自己所有的部分上进行建设，那么您的行为应当受到保护。然而，如果邻居认为您的行为侵犯了他们的权益，他们有权要求您停止这种行为并采取适当的措施来恢复原有的环境状态。 在这种情况下，建议与邻居进行沟通，尝试协商解决问题。如果无法通过和平方式解决，您可以考虑向当地城市规划局或法院寻求帮助。同时，确保遵守相关法律法规，避免不必要的冲突和法律责任。