保证金是建筑工程合同的一部分，用于确保承包人按照合同规定的时间和质量完成施工任务。在工程未开始或终止的情况下，保证金通常可以退还给承包人。 根据《中华人民共和国招标投标法》第39条的规定，中标人的投标保证金应当自中标通知书发出之日起15日内退还。因此，在符合法律规定的情况下，如果工程没有开始或者终止，承包人可以在收到中标通知书后15天内要求返还保证金。 需要注意的是，具体退还金额应依据合同约定以及法律法规进行计算，包括但不限于违约金、利息等可能涉及的因素。同时，具体的退还程序需要遵循相关法规和合同条款，以确保权益得到保护。