根据《中华人民共和国劳动民法典》第三十九条的规定，劳动者提前30日以书面形式通知用人单位，可以解除劳动合同。在您未到用人单位工作之前提出解除劳动关系，并且双方协商一致的情况下，您可以不承担任何违约责任。如果您确实需要离开，建议与用人单位进行沟通，看是否有其他协议或条款可以避免支付违约金。如果用人单位不同意您的要求，建议通过法律途径解决。