Shannon于1948那年发表了著名的论文，“关于通信的数学理论（A Mathematical Theory of Communication）“，论文提出的理论的核心是一个简单却十分通用的通信模型：发送器将信息编码为信号，该信号会受噪声影响，然后由接收器解码。模型虽然简单但却包含了两个十分关键的要素：将信号源和噪声源从要设计的通信系统中剥离，并对这两个源分别进行概率建模。 在Shannon的理论提出之前，通信问题通常被视为确定性信号的重建问题：如何转换受物理介质扭曲的接收信号，以尽可能准确地重建原始信号。而Shannon的才智体现在他认为通信的关键是信号的不确定性。他假设信号源会生成许多种可能的信息进行通信，每条信息都有一定的概率；而概率噪声进一步增加了接收器解码的随机性。正是这一假设将通信问题从物理层面转移到了抽象的数学层面，使得Shannon可以使用概率对不确定性进行建模。所以不确定性才是通信的魅力。毕竟，如果我在写这篇专栏的时候你已经知道我要写什么了，那一切便失去了意义。 在这篇具有里程碑意义的论文中，Shannon分三部分系统地给出了通信的基本限制。有一个概念贯穿始终，那就是“bit（比特）”：用来描述不确定性的基本单位，可以是1或0。尽管Shannon表示这一单词是由数学家John Tukey（约翰·图基）在其备忘录中首先使用的，但他仍是第一个在论文中提出并使用这个词的人。 首先，Shannon提出了一个用于表示信息的每秒最小比特数的公式，他称之为entropy rate（熵率）， H。该数量化了特定信号源将生成哪种消息的不确定程度。熵率越低，不确定性就越小，因此更容易将信息压缩成更短的东西。例如，以每分钟100个英文字母的速度发短信意味着每分钟发送图片条可能的消息，每条消息由100个字母序列表示。图片，因此，人们可以将所有的这些可能性编码成470比特。如果序列的可能性相同，那么由Shannon的公式可以得出熵率是每分钟470比特。实际上，某些序列比其他序列出现的可能性要大得多，熵率也低得多，从而可以进行更大程度上的压缩。 其次，Shannon给出了一个可以在有噪声情况下进行可靠通信的每秒最大比特数的公式，他称之为系统的容量， C。该数表示接收器可以解析信息不确定性的最大速率，可以视为通信的速度极限。 最后，Shannon表示，只有当H<C时，来自信号源的信息才能在有噪声的情况下进行可靠的通信。我们可以将信息类比成水流，只有当水流的流速小于管道的容量时，水流才能在管道内正常地流通，信息也是一样。

内容中包含的图片若涉及版权问题，请及时与我们联系删除