父亲出外务工20年，在与我母亲还没离婚的情况下又另找女人并生下了一个女儿，现在他要退休了，要回来让我抚养他，我想问一下怎么可以不抚养他，如果抚养他是不是可以让另一个孩子跟我共同抚养