您所描述的情况可能涉及土地权属纠纷。根据我国《民法典》等相关法律规定，土地使用权是通过签订合同或协议获得的，并且需要经过一定的程序和手续才能变更或转让。如果您的自留地没有被征用或者未与政府签订相关协议，则该地块的所有权应归您所有。 如果您认为自己有权对他人在自家土地上建造房屋的行为提出异议并要求其拆除，您可以向当地村委会或其他相关部门反映情况，以期得到解决。同时，也可以考虑聘请专业的律师进行咨询，以便更好地维护自身的合法权益。 在处理此类纠纷时，重要的是要确保证据充分，如照片、视频等，以及有据可查的文件记录，这些都可以作为支持您的主张的重要证据。此外，了解当地的法律法规也是十分必要的，因为不同地区的政策可能会有所不同。 最后，请记得，在采取行动之前，尽量保持冷静，避免情绪化的决定，以免影响事情的进展。希望这些建议能够帮助您解决问题。