我是一位离异的妈妈，有一个五周零两个月的男孩，我们是协议离婚的，小孩的抚养权归男方，我就付抚养费每月1500元，另外小孩的学费，看病医药费，还有奶粉费都是一人一半的，由于爸爸上班比较忙，小孩就由奶奶照顾，但是由于最近奶奶身体不好没有精力再去照顾小孩，他就和我商量叫我每天下午4点去接小孩一直到他下班回来为止时间大概到晚上九点这样，我说我要上班4点来接那是做不到的，我就提出建议要么就是去找个另临时工就管几个小孩，我下班了再去接小孩一直到他下班为止，费用我们到时候平分，他就很气愤，说这样不行说我没有尽到做母亲的抚养义务，真的是向他说的那样吗？