根据《中华人民共和国劳动民法典》第三十九条的规定，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。在您的情况下，您虽然没有早退和迟到的行为，但如果您已经完成了当天的工作任务，并且符合其他法律规定的情况，如因病或者因事请假等，那么可能不会被认定为严重违反规章制度。 因此，在这种情况下，如果您的工作表现良好，且已按期完成工作任务，则有可能不构成违法解除合同的情形。不过，具体情况还需要结合当地的法律法规以及实际情况来判断是否需要支付工资或赔偿金等问题。建议您与公司进行沟通，了解具体的解雇条款和处理方式。同时，也可以考虑向劳动监察部门或劳动争议调解委员会寻求帮助，以维护自己的合法权益。