根据法律规定，如果您的贷款没有交纳3000元的保证金，并且您已经与对方签订了合同，那么您可以要求对方退还这部分费用。如果您已经支付了违约金，而对方要求您再支付剩余的违约金，则可能存在一定的法律风险。因此，在处理此类争议时，请务必谨慎行事，并寻求专业的法律建议。