你好，我想咨询一下，我离婚五年多了，当时离婚的时候孩子抚养权是归我，男方付生活费，但是男方只付了几个月，后来就没付了，后来我到外工作，孩子在老家，有时我父母带，有时男方也会带，但是男方不负责任，不怎么管孩子，我在在工作这段时间小孩的所有费用几乎我是我出。还有现在他外面欠帐，而且借钱的时候留得电话是我家人的，连小孩的也留了，我怕他还不出钱，那些人会威胁到小孩，然后我现在想把小孩带过来和我一起，就是想问一下抚养费该怎么办？之前我也跟男方说过，但是无动于衷！