根据您提供的情况，您与对方签订的供货合同中明确约定了保证金条款以及对方不能按时支付货款时您有权终止合同的权利。对方未能按时支付货款，您已经按照合同约定行使了终止合同的权利。因此，您有权要求对方退还保证金。 在对方拒绝退还保证金的情况下，您可以采取以下步骤维护自己的合法权益： 1. **书面催告**：首先，您可以再次以书面形式向对方发出催告，明确指出对方违反合同义务，要求其退还保证金。 2. **收集证据**：准备好所有与合同相关的文件，包括合同文本、保证金支付凭证、货款支付记录、终止合同的通知等，以备后续可能的法律程序使用。 3. **协商解决**：如果可能，尝试与对方协商解决，以避免进一步的法律纠纷。 4. **法律途径**：如果协商无效，您可以向法院提起诉讼，要求对方退还保证金并可能要求赔偿因对方违约而造成的损失。 请注意，诉讼有时效限制，通常为三年，从知道或应当知道权利被侵害之日起计算。因此，建议您尽快采取行动，以免超过诉讼时效。同时，考虑到法律咨询的复杂性，建议您咨询专业律师，以便获得更具体和针对性的法律服务。