根据我国法律规定，对逾期还款的利息计算应当自逾期之日起计算。因此，在您的情况下，如果逾期时间已经超过五年，并且您没有偿还任何款项，那么银行有权向您追讨剩余的罚息。请注意，具体的执行情况可能需要依据当地的法律法规和案件具体情况来判断。建议您及时与银行或法律顾问联系，了解具体的情况并寻求法律意见。