首先，您应该及时向当地的住房和城乡建设管理部门报告该情况，并提供相关的证据证明您的房屋建造过程符合法律规定。其次，您可以考虑与邻居进行协商，了解他们对您的行为的不满原因，尝试寻找双方都能接受的解决方案。如果协商无果，可以寻求调解或仲裁机构的帮助，以解决争议。最后，如果您认为自己的权益受到了侵害，也可以考虑通过诉讼程序来维护自己的合法权益。在处理此类纠纷时，重要的是要保持冷静和理性，遵守相关法律法规，尽量避免激化矛盾。