您好！根据您的描述，您在去年11月20日与对方签订了合同，并支付了工程定金20万元。然而，在该工程尚未完成的情况下，对方提出了退款的要求。在这种情况下，您是否有证据证明双方已经终止了合同关系？如果有，您可以向法院提起诉讼要求退还剩余的定金。同时，建议您保留好所有的交易记录和相关文件以备不时之需。希望我的回答对您有所帮助。