首先，需要明确的是，借款合同中的违约金条款通常会限制借款人支付利息。如果借款人在约定时间内没有偿还借款，债权人有权要求借款人按照合同规定支付违约金，但这种违约金不应超过银行同期贷款利率的四倍。 其次，在您提到的情况下，借款人在还款期限内未偿还借款，且拒绝支付违约金，这可能构成违约行为。在某些情况下，借款人可能会被要求支付违约金和赔偿损失，包括但不限于利息损失、交通费等。然而，具体金额应根据双方签订的合同以及当地法律规定进行计算。 最后，建议您及时与对方协商解决，并尽可能收集相关证据支持您的主张，以便维护自己的合法权益。如果情况无法自行解决，您可以考虑通过法律途径寻求帮助。希望以上信息对您有所帮助。