我的弟弟今天17岁，不听家人劝阻执意和一个27岁的女的在一起，现在女的怀孕3个多月。我的父母离异，我跟我妈，弟弟跟爸爸。爸爸非常生气，期间给他很多钱挥霍，现在两人一直不上班，一直在家玩伸手向我爸爸要钱。请问这种情况，我父亲是否可以拒绝抚养我弟弟，拒绝给他们钱？