根据合同法的规定，如果租赁人提前终止租赁关系并要求支付违约金，则应退还押金。因此，您有权要求对方退还押金，并且可以要求对方按照约定的期限和方式返还剩余的租金。建议在与对方沟通之前保留好相关证据，以便在必要时使用。同时，也可以考虑向当地工商行政管理部门或消费者保护机构投诉，以维护自己的权益。