您好，我想咨询一下，我是独生女，父亲去世的早，去世后独生子女费一直往卡上打钱，一直打了十年，计划生育处没有及时除名，现在计划生育要求退还这一部分钱，我有没有义务退还？这是谁的责任？