我是离婚的，有两个小孩老大儿子老二女儿，离婚的时候协议书上写的儿子跟他女儿跟我，离婚一年后我女儿奶奶帮我带了一年小孩，现在我女儿跟我在一起了，但是他爸爸让我把小孩送回家不然就让他妈来接孩子，这种情况我应该怎么做呢