您好！根据我国《土地管理法》的规定，宅基地使用权属于集体所有，任何个人或单位不得非法占用。如果您的家人认为您家建房的行为侵犯了他的权利，您可以考虑以下几种解决方式。 与家人进行沟通和调解，了解他们的具体诉求，并尝试找到双方都能接受的解决方案。 如果调解不成，您可以向当地的土地管理部门或村委会反映情况，寻求帮助。他们可以根据相关法律规定，对宅基地使用情况进行调查并给出合理的建议。 如果对方仍然坚持不让您家建房，您可以考虑通过法律途径解决，比如申请行政复议或提起诉讼。 最后，为了维护自身权益，请确保所有的行为都符合法律法规的要求，避免因不当行为导致不必要的纠纷。祝您一切顺利！