信息论简介

1.1 信息的基本单元：比特

我是Seth Lloyd，MIT的量子力学工程教授

同时我也是圣塔菲研究院的兼职教员

在这个系列视频中我会告诉你一些关于信息和信息论的知识

显而易见，这个世界充满了信息
我们正处于由超高速计算机

高带宽通信技术，智能手机等引起的高速信息革命浪潮中

但“信息是什么？”

我们怎样描述它？我们怎样用科学和数学的处理它？

Gregory Bateson有一句名言，“什么是信息？”

所以，是差异产生了新的不同吗？(译者的翻译不是很准确，原文如下：
so, is it the difference that makes a difference)

这是什么意思？事实上我也不清楚这是什么意思

“差异产生了不同”，解释它对我来说太难了

但让我们先从不同的角度看差异的概念，信息(Information)来源于

来源于拉丁语中的告知(Inform)，即改变形式
所以信息与是什么创造了我们自己有关

是什么让我成为我？像我DNA中的基因信息，或者是我衬衫的颜色，或者是我的脱发

这些都是我具有的一些特征，所以“什么是信息”

关于这个问题的一个好的想法是“我们怎么样测量信息”

我们能测量信息吗？信息的基本组成单元是什么？

关于这个的一个绝妙的想法是将它与能量联系起来

能量是一个很古老的概念，它来自亚里士多德

能子（Energon）

能子是内部的功
尔刚（Ergon）是功的单位，同时也可以看做一个功
（注：尔刚是用热表示功的一种单位）

而能子就是某种东西的内部的功

多年前，1998年，当我毕业后第一次参加圣塔菲的暑期学校

我曾经在当地的一间酒吧EI Farol闲逛，一个当地的小酒吧

我在那里和坐在我旁边的一个人聊天

这个人，他的工作是去别人家里清洁有害的“晶体振动”

他告诉我，晶体中的振动有着巨大的能量

这种晶体本质上是好的和正面的，但是有时晶体也会吸收来自参观者的负面能量

因此他执行涉及海豚能量和天使的仪式来祛除晶体中的能量

因此我告诉他，“你看，我是一名物理学家。晶体振动
的确有能量的存在，但是这些能量是很微小的

晶体中的这些振动能量远远小于这块奶酪的能量。”

然后他告诉我，他凭借海豚的能量和天使的生命赚了多少钱

然后我不得不闭嘴，因为他挣的钱比我作为一个博士后更多

在洛斯阿拉莫斯（Los Alamos）

所以. . . 关于能量的一个重要的事实是我们能测量它

关于能量研究的重大突破在19世纪

当时人们认识到热是能量的一种形式，能量能被转换为功

你可以测量热量的能量，同时你可以测量做功的能量

无论它是来源于天使、还是海豚、还是水晶。

对信息的来说同样如此

所以我们认为信息是非常重要的。

信息是我们从iPhone上得到的东西，它是你告诉我的
我告诉你的东西，它可以区分你我

但如果我们真的可以尝试衡量信息，那么我们实际上已经取得了很大的进步

事实上，众所周知，我们有一个信息的基本单元

比特（Bit）

比特是一个信息单位，代表一位二进制数字，由IBM的约翰·图特（John Tukey）发明

并被现代信息理论的创始人克劳德·香农（Claude Shannon）所认可

这个想法中，比特是对差异的一种测量

一比特区分两种可能的状态，通常被称为0和1

但它也可以表示任意两种对立的状态，真和假，对和错，热和冷

例如你说有些东西很热，有些东西很冷
这些表明信息的本质是一样的

信息革命中处理信息的方式是通过计算机，这是一种处理信息的设备

它们把信息分解成最微小的部分——比特，然后再加工这些比特

例如，把0变成1，把1变成0，这就是一种比特的反转

在逻辑运算中，这种运算被称为非（NOT）

非真就为假，非假就为真

如果我们有这个二进制的信息概念，我们可以讨论组成信息的基本单位，比特

我们也可以讨论信息处理

最后，我们现在参与其中的信息革命就是如此

把信息分解为最基本的单位，比特

然后以系统的方式改变这些比特

事实上，如果你来观察我们的大脑——我们用来处理信息的工具

我们的神经元从许多其他神经元获取信息

然后从一个休止态，我们称为0，变为激发态，我们称为1

之后，这个信息比特，1，这个激发态经过处理

并发送电信号传递到其他的神经元上

其他的神经元再自己进行处理

我们大脑的信息处理过程就是这样，将信息比特转化，处理，传递

同样的过程也存在于我们的PC、Mac、iPod、iPhone

或者其他任何一种信息处理的工具中

这门课的重点是，我们有一个信息基本单元（比特）

我们能够测量信息

我们要了解信息论及其所需要的计算

所以，接下来让我们更详细的讨论这些工作