您好！根据您提供的信息，如果在签订合同时，房屋价格为81万元，并且已经支付了5万元的定金。那么，如果您决定不继续履行购房合同，您需要按照双方约定的时间和方式退还剩余款项。具体而言，如果是通过银行转账，您可以向对方提供退款申请并附上相关证明文件（如银行转账记录），然后等待对方同意后进行退款。请注意，具体的退款流程可能因地区法规和合同条款而有所不同，请务必详细阅读购房合同中的退款条款，以确保您的权益得到保护。如果您有其他关于合同法的问题或需要进一步的帮助，请随时联系我。