是这样的，我在国内找了一个中介公司帮我介绍日本的工作，合同工作期为三年，但是现在我打算回国了，并且提前了四个月和日本公司提出了离职申请，在日本公司同意我离职的情况下，国内的中介机构单方面要让我支付5万人民币违约金，说我之前是和中介机构签订的协议，如果在日本没有工作完3年，就要支付给中介机构5万元人民币的违约金，我想问这样的合同合法吗？和日本公司没关系，就是中介机构单方面问让我支付的