根据《中华人民共和国劳动民法典》的规定，劳动者可以随时通知用人单位解除劳动合同，并且不需要承担任何经济补偿。因此，您有权拒绝他们的要求并要求退还您的违约金。您可以向劳动监察部门投诉或申请劳动仲裁来维护自己的合法权益。同时，建议在签订合同时仔细阅读合同条款，明确双方的权利和义务，避免将来产生纠纷。