在大多数情况下，当建筑队与政府劳动局签订合同并交纳保证金时，保证金是作为承包商履行义务的一种形式，并非用来退还的。因此，即使工程未开始或终止，保证金通常不会被退还给建筑队。这种保证金的作用是为了确保承包商能够按时完成工作并支付工资等费用。 然而，在某些特殊情况下，如建筑队未能按照协议规定的时间内进行施工，或者存在其他违反协议的情况，劳动局可能会要求建筑队退还保证金。这种情况下的退还可能需要根据具体情况进行协商和决定。 请注意，具体的法律条款和情况可能会因国家和地区而有所不同。建议您详细查阅相关法律规定，并寻求专业的法律顾问意见以获得准确的信息。