根据您提供的信息，双方在8月12日通过中介签订了房屋买卖合同，并约定由中介收取定金1万元和违约金4万元。此外，中介还收取了中介费1万元。 如果双方未能完成交易，则需要按照合同约定支付相应的违约金。在此情况下，中介收取的中介费应当返还给买方。因此，在这种情况下，买方可能需要向中介退还1万元的中介费。同时，由于中介已经收取了其他费用，所以中介有权要求卖方支付相应的费用作为补偿。最终，双方可能会就这些款项进行协商并达成一致解决方案。