您有权要求对方将房屋搬离您的土地。根据中国《民法典》第368条的规定。“在法律规定或者合同约定的范围内，当事人可以自由转让、出租、抵押等权利。”如果您认为该坟墓对您使用土地构成妨碍，您可以向法院提起诉讼，请求法院判决对方将房屋搬离您的土地。同时，建议您与对方进行沟通协商，以解决争议，并避免进一步的纠纷。