您好，根据我国法律规定，如果您的房屋是合法取得并有土地使用权证和房产证的情况下，您有权要求对方返还该土地使用权，并赔偿相应的损失。如果您认为自己没有权利要回宅基地，建议您可以向当地国土部门或法院提起诉讼，以确定自己的权益是否受到侵犯。同时，也可以考虑通过协商解决纠纷，避免进一步的法律风险。