父母在我9岁离异，但是在父母离异之前我一直跟外公生活，从未和父亲生活过法院判决我给母亲，父亲从未出过抚养费，离异后，父亲再婚生了一个儿子以后，没过多久又离婚，孩子跟女方他老了可以拒绝赡养父亲吗