我和我前夫离婚今年三年了，离婚协议书上他是答应给孩子抚养费每个月两千元，我们离婚还是有联系的，他没有正事的给过抚养费，就是我没钱的时候就找他，然后他就给点，我大概的算了一下有三万多，今年三四月份我租房子他给拿了一万二千块钱，租完房子就闹僵了，我就住了十多天，他就一直在那住，我想起诉他，要抚养费，租的房子我也没住，都是他一直在住，他给我拿的租房子钱，我是不是可以不用给他？