在这种情况下，首先需要查看租赁合同的具体条款，了解关于意向金退还的具体规定。如果合同中明确约定了违约责任为意向金的5%，并且没有其他条款限制或禁止退还剩余意向金，那么根据合同的约定，您应当有权要求退还意向金的95%。 如果对方拒绝退还剩余的意向金，您可以尝试以下几个步骤： 1. 与对方进行沟通，明确表达您的诉求，尝试协商解决。 2. 如果协商无效，可以依据合同条款向对方发出正式的书面通知，要求退还剩余的意向金。 3. 如果书面通知后对方仍然不退还，您可以根据合同约定的争议解决方式，比如协商、调解、仲裁或诉讼，采取相应的法律行动。 在采取法律行动之前，建议咨询专业律师，评估合同的合法性、有效性以及违约责任的具体条款，确保您的权益得到合法保护。同时，保留好所有与此事相关的书面证据，包括合同文本、支付凭证、沟通记录等，以备不时之需。