您好，我想问下，我在网上填了一份贷款的，然后有人联系我了，我也签了合同按了手印的，但是他没给我钱反而扣了我五千块钱，现在担保公司说让我先给他们交6800块钱，说银行把钱划到他们公司的，我感觉像是骗人的，我就说取消这个贷款，对方说我违约了，让我赔百分之二十的违约金，这个怎么办呀？我要负法律责任的吗？