未办理结婚证，现在怀孕有5个月，男方已经说如果以后不和他在一起，他就不管小孩并且也不给抚养费怎么办，我和他写有一份协议，说的是现在与我有一待产小孩，并且上边写明他愿意抚养小孩，并且抚养权归他，他现在不认这份协议的话可以吗