首先，您需要确定对方是否确实实施了违法行为。如果您认为他是在无意中导致事故或者仅仅是不小心摔倒，那么可能不需要立即采取行动。然而，如果有人明确表示他们想要逃避责任或掩盖事实，您应该考虑向警方报案并提供证据以支持您的指控。此外，您可以与邻居沟通，了解他的动机和行为，并寻求第三方的帮助来解决纠纷。在任何情况下，请确保保护好自己的安全和隐私，并遵守当地的法律规定。