我被一家公司诱导签了贷款合同，刚去面试的时候说试岗两天然后培训，培训是要扣钱，当时只说在工资里扣没说要签贷款合同，然后第三天我去办入职手续，诱导我签了合同，现在我要走，公司那边说合同签完了要我赔偿违约金。我该怎么办