我想咨询一下，我父母离异20年，今年我20岁，我跟着母亲生活，父亲这些年来只来看过我两三次，就对我一直不管不闻不问，我想问我在他年老的时候，我是否有赡养他的义务，还有这么多年来他一直拒绝履行抚养费义务，该如何处理