根据您提供的情况，您已经支付了100万元的保证金，但工程并未进行，且对方拖延退还保证金。在这种情况下，您有权通过法律途径要求对方退还保证金并可能要求赔偿损失。 首先，您需要审查合同条款，确认合同中关于保证金退还的具体约定，以及是否存在违约责任的相关条款。其次，您应收集所有相关证据，包括但不限于合同文本、收据、支付凭证、双方的通信记录等，以证明您的主张。 接下来，您可以向对方发出正式的催告函，要求其在合理期限内退还保证金。如果对方仍然不履行，您可以根据合同约定和相关法律规定，向有管辖权的人民法院提起诉讼。 在诉讼中，您可能需要聘请专业律师代理，以确保您的权益得到有效维护。律师将帮助您准备诉讼材料，提出合理的诉讼请求，并在法庭上为您辩护。 请注意，诉讼可能涉及一定的时间和成本，因此在决定起诉前，您应充分评估诉讼的必要性和可能的结果。同时，考虑到诉讼的复杂性，建议您尽快与专业律师联系，以便获得更具体的法律建议和帮助。