首先，您需要仔细审查借款合同的条款和条件。如果合同中明确规定了逾期还款的罚款或违约金，并且该金额已经从本金中扣除，则可能构成了违约行为。其次，您可以向对方提出要求退还剩余款项，并提供相关证据证明您的主张。同时，您也可以考虑聘请律师进行协商或诉讼程序，以维护自己的合法权益。在处理此类案件时，请务必确保遵守当地的法律规定，并寻求专业的法律建议和指导。