根据您的描述，您与购房方之间存在口头协议，并且已经签署了房屋买卖合同。由于您和购房方没有签订正式的书面合同，因此在法律上可能不构成正式的交易关系。 如果之前购房方同意并支付了认筹金，而后来又拒绝签署正式合同，这可能导致您需要承担一定的责任。不过，具体的责任范围将取决于您是否违反了相关的法律法规或者双方之间的约定。如果您能够证明自己是通过正当途径获得购房资格并且履行了相关手续，那么您可能不会对后续的纠纷负责。 建议您及时联系专业的房地产律师或法律顾问，了解具体情况，并寻求合适的解决方案。同时，确保所有文件记录完整，以便将来处理类似情况时有据可依。