我买了别人的单位的房屋团购指标，除了给了他指标费外，还以他的名义交了购房意向金，结果在催交第二次款项时，才发现，他跟开发商签的购房意向书上开发商没有盖章，并且在二次交款时，开发商要求签订正式购房合同里的房屋各种费用都比我们之前的购房意向书里高了。这能算卖指标的人欺诈或者他们单位欺诈吗？另外购房意向书上开发商要求购房指标不能转让。房屋比我买指标时，涨了有十万。我能要回我交的各种钱，并且退档吗？