根据《中华人民共和国民法典》的规定，一方当事人无正当理由不履行或者迟延履行合同义务时，另一方可以要求其承担相应的违约责任。在您的情况下，如果车辆租赁合同中有明确的约定，且对方违反了该约定，那么对方有权向您主张违约责任。 然而，对于收取高额违约金的行为是否合理，还需要具体分析合同条款和实际情况。一般来说，违约金的数额应与违约行为的性质、金额大小等因素相适应，并考虑双方的过错程度。如果您认为自己并没有违反合同约定，或者对方的要求过高，您可以寻求法律帮助，通过协商或诉讼等方式解决问题。同时，建议保存好相关证据，以便日后维权时提供支持。