探视权按照离婚协议书或者民事调解书约定的方式进行探视，你没有义务把小孩带到男方爸爸妈妈住，已经超出你的协助义务。如离婚协议书或者民事调解书没有带走探视的内容，你也没有义务把小孩让男方带走，毕竟小孩很小不能离开母亲，超出离婚协议书或者民事调解书约定的你可以拒绝。