根据法律规定，相邻权是指相邻各方在行使自己权利时，不得损害他人利益的权利。如果您与邻居就是否需要拆除围墙进行了口头协商并达成了一致意见，且已经履行相关手续，那么您可以依据之前的约定来处理此事。 然而，如果您的家人去世，您有权继承他们的遗产，并享有相应的权利。在这种情况下，您可以考虑向邻居家提出赔偿请求，要求其按照遗嘱或法定继承的方式给予适当的补偿。 此外，建议您及时联系专业的律师进行详细的咨询和指导，以确保自己的合法权益得到充分保护。同时，也请注意遵守当地的法律法规，避免因不当行为引发不必要的纠纷。