我是离婚的，有两个小孩，老大儿子老二女儿，离婚的时候协议书上写的儿子跟前夫女儿跟我，离婚一年多以后我女儿奶奶帮我带了一年的小孩，现在我女儿回到我身边了但是我前夫说不给我了，让我一个星期之内送小孩回家不然就让他妈来接孩子，这种我应该怎么做呢