你好，我想问一下，我和孩子出来五六年了，他父亲没有给一分钱抚养费，我现在想离婚，不要他的抚养费，就是希望他以后不要来打扰我们母子就可以了，他去年有去起诉离婚一次，第二次没有起诉，我现在想跟他离婚，可是他不回来，我找不到人，应该怎么办？