你好，根据《中华人民共和国民法典》的规定，如果借款人违反借款协议约定逾期还款的，应当按照合同约定支付违约金。但是，违约金的数额不得超过银行同期贷款利率的四倍，否则超出部分无效。因此，在你的情况中，若双方在借款协议中约定的违约金超过了四倍的银行同期贷款利率，那么该约定可能因违反法律规定而无效。建议你在协商解决无果的情况下，及时寻求专业的法律帮助以维护自己的权益。