20年的时候，我开了家彩票店，当时朋友介绍了个20岁出头的小伙子在我店内工作。我当时去忙别的生意了，店子就交给他打理。规定工作时间是早上八点到下午四点。可是他基本每天迟到两到三个小时才去开店。我一直不知道此事，一直按全勤给他开的工资。一直到半年后，体彩中心考评我才知道这回事，我后来找他追要我多给的工资，当时他没钱，就从他大学毕业的学费里拿了3600给我，我也没让他再多给了。实际应该多给了在五六千的样子。现在他家知道他没大学毕业，学费还我了。准备起诉我。请问我有责任吗