首先，您应该与邻居进行沟通，了解他们对您的担忧是否属实，并尝试找到一个双方都能接受的解决方案。如果您的邻居不同意采取行动，您可以考虑寻求社区或当地政府部门的帮助来解决这个问题。在任何情况下，确保保护自己和家人的安全是最重要的。