首先，您需要收集证据证明您们家拥有该土地的所有权，并且有权阻止他人在您的土地上建造房屋。您可以向当地的政府机构（如村委会或县人民政府）报告这一情况，并要求他们介入调查并保护您的权益。 其次，如果政府未能采取行动，或者政府的行为不足以解决问题，您可能需要寻求其他途径来解决这个问题。例如，您可以考虑通过法律手段来维护自己的权利，比如起诉对方侵犯了您的土地使用权和财产权利。此外，也可以考虑聘请专业的律师团队协助处理相关事宜，以确保您的权益得到充分保障。 最后，请记住，无论采取何种方式维权，都需要遵守相关的法律法规，避免因不当行为而导致更严重的后果。希望上述建议能够对您有所帮助。