根据您提供的情况，如果合同中明确约定了在工程被政府征收的情况下，对方需要退还保证金，那么对方应当遵守合同条款，及时退还您的保证金。如果对方推迟不退还，您可以采取以下步骤： 1. **沟通协商**：首先尝试与对方进行沟通，明确表达您的诉求，并提醒他们合同中的相关条款。 2. **书面催款**：如果沟通无效，可以向对方发出书面催款函，正式要求他们按照合同约定退还保证金。 3. **法律咨询**：在采取进一步行动前，咨询专业律师，了解您的法律权益和可能的法律途径。 4. **诉讼或仲裁**：如果对方仍然拒绝退还保证金，您可以考虑通过法律途径解决，包括向法院提起诉讼或根据合同中的仲裁条款申请仲裁。 5. **证据收集**：在整个过程中，确保收集和保留所有相关的证据，包括合同文本、通信记录、催款函等，以便在法律程序中使用。 6. **注意时效**：注意合同中可能存在的时效条款或法律规定的诉讼时效，确保在有效期限内采取行动。 请记住，每个案件的具体情况可能有所不同，因此采取行动前最好咨询专业律师，以获得针对您具体情况的法律建议。