您好！根据《中华人民共和国民法典》及相关的法律规定，如果在离婚协议中明确约定只涉及房屋的归属，并没有涉及到土地使用权的问题，那么在土地确权过程中，该协议中的约定应当被视为有效。因此，在土地确权时，您有权要求对方归还其持有的土地使用权。 请注意，具体操作时还需结合当地法律法规和实际情况进行，建议与专业的律师进行详细咨询和协商。