您的情况可能涉及土地权属纠纷。根据中国法律规定，土地所有权属于国家或集体所有，个人不得擅自占有和使用。因此，如果您的责任地被他人非法占用，您有权要求其归还，并可以采取法律手段维护自己的权益。 您可以向当地的土地管理部门（如乡镇政府、县民政局等）申请确认该块土地的归属权，以确定是否是您家所有的责任地。如果您认为自己对这块土地享有所有权，且对方拒绝归还，建议您收集相关证据，包括但不限于村委会出具的相关证明、书面协议、照片等，以及与邻居或其他知情人士的证言，以便在必要时作为诉讼依据。 在处理此类纠纷时，建议聘请专业的律师进行指导和帮助，以确保您的权益得到合法保护。同时，也可以考虑通过调解或者仲裁等方式解决争议，避免进一步的法律程序和成本。希望这些建议能够帮助到您。