根据您描述的情况，您和出租方之间可能存在一种口头协议，但未签订书面合同。在这种情况下，如果出租方要求在租赁期间内退还押金并支付违约金，而您认为这部分违约金过高或不合理，则可以考虑通过协商解决。如果您认为您的权益受到损害，建议向当地消费者协会或其他相关机构投诉，以维护自己的合法权益。 此外，您可以寻求专业的法律帮助来处理此事，以便更好地保护自己的利益。律师可以帮助您分析情况，提供法律意见，并可能代表您进行诉讼。请记住，在任何纠纷中，遵守法律程序是至关重要的。