您好！根据我国《中华人民共和国民法典》的规定，当事人在订立合同时约定一方违约时应当向对方支付的违约金或者按照实际损失计算的赔偿额，称为违约金或赔偿金。因此，在二手房房屋买卖合同中约定如交易失败则由违约方承担所有中介费用是合理的。 关于是否可以退还这部分费用的问题，这取决于具体的法律规定和合同条款。一般来说，如果合同中有明确的退款协议或规定，且该协议或规定没有违反法律法规，那么可以在双方协商一致的情况下进行退款。然而，如果没有明确的退款协议或规定，或者存在其他争议，建议咨询专业的法律顾问以获取更详细的信息和解决方案。