接下来我们看看另一个马尔可夫链的例子
这个例子有时被称作“迷宫老鼠”模型，我们很快就会知道为什么
前一张幻灯片里，我教过你怎样寻找一个转移矩阵的稳态向量
用的方法是解一组与之对应的线性方程
那么这个迷宫老鼠模型说的是什么呢？
左边的这幅图大致地画了迷宫里的一只老鼠
我们把这个迷宫设计得非常简单，里面有三个房间
房间用1、2、3标上号，老鼠就在迷宫里面自由移动
从一个房间跑到另一个房间
你可以把老鼠想象成是在决定下一步要转移到哪个房间
每个决定都是概率事件，通过这种方式
我们就可以用概率来粗略地模拟一个人工智能系统
下面就让我们画一个有向图，明确地显示出转移概率
然后以此为基础我们构造转移矩阵
好，我已经把这个例子的有向图和转移矩阵画出来了
你会注意到几件事：
第一，我没有给老鼠保持静止不动的机会，它总是会移动
这从有向图就能看出来。比如，假设老鼠是在1号房间里
如果它跑到3号房间的概率是0.5，跑到2号房间的概率也是0.5
那么它还待在1号房间的概率就是0
这对于所有房间都是成立的，你可以看看剩下的转移概率
然后你可以估计一下转移矩阵长什么样
保证我们能大概理解它