首先，您需要了解您的贷款合同中是否有关于逾期未归还款项是否退还保证金的规定。如果没有明确的条款，那么按照通常情况，银行或贷款机构有权要求您支付剩余的款项和可能的利息，并保留对保证金的任何权利。 在这种情况下，您可以尝试与贷款公司沟通，说明您的情况并询问他们是否有权收取剩余的款项以及保证金的问题。如果他们坚持要收回保证金，请确保您有证据证明他们的行为是合理的，例如合同中的相关条款或之前达成的协议。 如果您决定采取法律行动，建议咨询一位经验丰富的法律顾问以获取专业的意见和指导。同时，保持耐心和冷静，避免情绪化的反应，因为这可能会加剧问题。 最后，强烈建议您在处理此类纠纷时，尽可能地保存所有相关的文件和通信记录，以便将来可能需要使用这些信息来支持您的主张。