您好，我们协议离婚三年了，我有两个女儿一个9岁一个8岁，两个小孩一起长大感情非常好，可以说她们就是彼此心理的精神依靠，当初我们离婚因为担心两个小孩分开会对小孩有影响，那时候他也是和非常好的爸爸，所以我同意了两个小孩都跟着爸爸，协议上没有写我要支付扶养费，但这三年来小孩的衣服生活用品我也都有承担，可现在他精神障碍住进了精神病医院在治疗，24小时也需要人跟着照顾，小孩现在跟着70多岁的爷爷在家，因为爷爷身体也不是很好，所以我跟担心就想带孩子回我老家一段时间也让他好好治疗，可他现在死活不准我带孩子去玩，他不让我带小孩走的原因是说我在外面跟别的男人勾勾搭搭的，这样的情况我要怎么办才好？