如果您在购买房屋时遇到了无法继续履行合同的情况，您有权要求退款。根据《中华人民共和国民法典》第68条的规定，一方当事人有确切证据证明对方违约的，可以解除合同，并要求对方承担赔偿责任。 具体到您的情况，如果乡政府在购房前已经承诺并完成了建设工作，但最终因各种原因未能按照约定进行施工，则您可以向乡政府提出解除合同的要求，并要求其退还已支付的款项。 此外，您还可以考虑通过诉讼的方式解决纠纷，以确保自己的合法权益得到保障。建议您与律师详细沟通，以便更好地了解相关法律规定和可能采取的措施。