根据法律规定，您和对方之间存在租赁合同关系。根据该合同，您可以将土地出租给对方使用，并有权收取租金。如果双方同意解除租赁合同，则应提前通知对方并协商一致。如果您认为对方的行为侵犯了您的合法权益，可以采取相应的法律措施来维护自己的权益。同时，政府的拆迁行为属于公共利益的需要，需要得到合理的补偿，并且应当按照法定程序进行。因此，在这种情况下，您和对方可能需要寻求专业的法律帮助来解决争议。