在合同中规定了违约金的条款后，如果一方违反了该约定，另一方有权要求支付违约金。然而，在某些情况下，法律规定或合同条款可能会允许双方协商解除合同并重新分配已支付的违约金和任何未使用的服务费用。这通常涉及到对合同的终止和赔偿机制。 在这种情况下，是否将剩余款项全部退还取决于具体的法律规定以及合同的具体条款。如果您是合同的一方，并且对方违反了合同中的规定，您可能有权要求对方按照合同的规定支付违约金。但同时，根据法律规定或者合同条款，您可以选择如何处理剩余款项，包括是否全额退款、部分退款等。因此，建议您详细阅读合同条款，了解您的权利和义务。如果有疑问，可以寻求专业的法律帮助来解释这些条款。