根据中国劳动法的相关规定，用人单位应当保证劳动者每周至少休息一天。如果用人单位安排劳动者加班，应当按照法定标准支付加班工资。如果用人单位未按照规定安排休息日或支付加班工资，劳动者可以向劳动监察部门投诉或申请劳动仲裁。 具体到您的情况，如果公司未按照劳动合同或国家规定安排足够的休息日，并且对您休息日的休息时间进行了罚款，这可能违反了劳动法的规定。您有权要求公司按照法定标准支付加班工资，并且对于不合理的罚款，您可以要求公司退还。如果公司拒绝，您可以通过法律途径维护自己的权益。建议首先与公司沟通，如果沟通无效，可以寻求法律援助或向劳动监察部门反映情况。