夫妻双方离婚，孩子一开始是父亲的，父亲没有办法抚养要出去打工，孩子又给了母亲，母亲已经成家了，这个抚养费要怎么出？孩子在父亲这里时候，母亲一直没有给抚养费，孩子到了母亲这里父亲还需要交各种费用吗？