根据法律规定，如果借款人未按照合同约定的时间和金额还款，可能会面临高额罚息。但是，在某些情况下，您可能有权要求提前终止贷款协议，并且不支付剩余款项。然而，请注意，这需要详细了解您的具体情况和贷款协议条款，以便做出明智的决定。建议您与债权人沟通，了解他们的立场并考虑各种解决方案，包括但不限于寻求法律援助或调解。同时，避免延迟付款，以免产生更多的罚款和费用。