接下来我们看看另一个马尔可夫链的例子

这个例子有时被称作“迷宫老鼠”模型，我们很快就会知道为什么

前一张幻灯片里，我教过你怎样寻找一个转移矩阵的稳态向量

用的方法是解一组与之对应的线性方程

那么这个迷宫老鼠模型说的是什么呢？

左边的这幅图大致地画了迷宫里的一只老鼠

我们把这个迷宫设计得非常简单，里面有三个房间

房间用1、2、3标上号，老鼠就在迷宫里面自由移动

从一个房间跑到另一个房间

你可以把老鼠想象成是在决定下一步要转移到哪个房间

每个决定都是概率事件，通过这种方式

我们就可以用概率来粗略地模拟一个人工智能系统

下面就让我们画一个有向图，明确地显示出转移概率

然后以此为基础我们构造转移矩阵

好，我已经把这个例子的有向图和转移矩阵画出来了

你会注意到几件事：

第一，我没有给老鼠保持静止不动的机会，它总是会移动

这从有向图就能看出来。比如，假设老鼠是在1号房间里

如果它跑到3号房间的概率是0.5，跑到2号房间的概率也是0.5

那么它还待在1号房间的概率就是0

这对于所有房间都是成立的，你可以看看剩下的转移概率

然后你可以估计一下转移矩阵长什么样

保证我们能大概理解它