您好，我想处理离婚孩子的抚养权问题。孩子现在5岁半，从小由外婆带大的，因为孩子的奶奶爱赌钱找我欠高利贷人都找不到，爷爷爱喝酒，跟别人打架现在家养伤，最主要是他们一家人都没有工作，包括孩子的父亲，孩子的父亲也是爱喝酒，然后每天孩子也不管，每天晚上1点左右回家，睡觉到第二天下午然后起床又出去，对孩子不管不问的，这样已经持续3年多了，结婚到现在没有工作过怎天喝酒，我上班养家。现在我没办法跟他在一起了，不想过这样的日子了，影响孩子也影响我，我的意思是现在孩子还小他也不愿意跟爸爸在一起，等他长大些他爸爸再带，然后随时想看都可以，他不答应他说他要小孩，我想问这种情况怎么办？