你好，我离婚了，离婚时我们两个都争小孩，但是他说小孩不给他，他就不离，最后给了他，但是这几年都是他家妈领着，读了两年书，前段时间假期我接过来，现在开学他奶奶就不管了，说我爱领就让我领，她没能力养，我前夫这两天没管过小孩，出去打工也没给过他家妈一分钱，他是个无赖，我想争抚养权，但是法庭说要他亲自来才可以，但是一直找不到人，这怎么办，如果他一直耍无赖不回来怎么办，