很抱歉听到您的遭遇。首先，您有权要求退回五万元的办理费用。然而，这需要根据您所处的具体情况来判断。如果您已经向日本公司支付了办理费用，并且在回国前与公司进行了沟通并得到了答复，那么您可以尝试与日本公司进行协商，看是否有可能退款或修改协议。 如果协商无果，或者日本公司拒绝退款，您可以考虑通过法律途径解决问题。在中国，如果您的合法权益受到侵害，可以向当地人民法院提起诉讼。在诉讼过程中，您可以收集相关证据证明您的权益受到了侵害，并请求法院支持您的主张。 最后，建议您寻求专业的法律帮助，以便更好地保护自己的权益。希望您能够早日解决这个问题，恢复健康和安心地回到工作岗位上。