我想咨询个关于孩子抚养权的问题。我和孩子他妈已离婚，孩子5岁了（还有个小的，女，半岁在我家带），一直在她家带，但她有精神分裂症，已入院，她家里不肯放，说我没给过抚养费，我确实没拿过很多钱，但儿子从出生开始的奶粉一直是我供应的，另外零零散散的给过一些现金，每次几百。我们在民政局办的协议离婚，协议上写明2个孩子归我抚养的。请问律师，我能要回儿子回我家带吗？