在“人类群星闪耀时”系列的首篇中，我们回顾了被誉为计算机科学之父的图灵传奇的一生，展示了他对当今世界科技发展的巨大贡献。图灵让人类打开了可计算的大门，汹涌发展的计算科学裹挟着不断进步的电子技术，从电子管到晶体管，人类第一次掌握到如此巨大的算力，并凭借其创造出一个个伟大的奇迹。
今天人类能够制造包含数亿晶体管的芯片，神威·太湖之光超算能够每秒进行12.54京（亿亿）次浮点运算！然而，计算技术只是第三次工业革命的半壁江山，孤雁难飞，孤掌难鸣，世界不仅仅需要算力，更需要信息！信息是计算之源，整理与获取信息才是计算的目的！
写到这里，相信有小伙伴已经猜到今天的嘉宾了。因为说到信息技术，无论如何也绕不过这位大佬——克劳德·艾尔伍德·香农。相较于图灵，香农显得有些不为人知。一方面，图灵的人生更富有传奇色彩，并以一场悲剧收尾，从而更加广为人知；另一方面，香农本人也比较低调，在出名后主动远离聚光灯，而不是成为某种科学神话的代言人。在对科学，对人类发展上的贡献，个人认为香农的贡献甚至要高于图灵。
克劳德·艾尔伍德·香农图源网络
◆◆◆◆◆
一天才总是相似的克劳德·香农于年4月30日出生在美国密歇根州一个只有几千人的小镇，他的父母分别是法官和中学校长，有着良好的生长和学习环境。值得一提的是香农的祖父，是一位农场主+发明家，还拥有改良洗衣机的专利，对香农也产生了很大的影响，嗯，至少从今天来看是这样的。
20岁时，香农获得了密歇根大学的数学学士学位和电气工程学士学位（天才的常规操作，我一点也不意外），此后香农又去了麻省理工学院攻读硕士学位。2年后，他凭借硕士学位论文ASymbolicAnalysisofRelayandSwitchingCircuits（继电器与开关电路的符号分析）获得电气工程硕士学位。这篇论文通过将布尔运算和电路状态相联系，赋予了电路数学表达，使得设计复杂的大规模电气系统成为可能，并使得电路成为可以像布尔运算一样，完成逻辑推理（想一想“与，或，非”这些逻辑门电路，构建起今天的计算机，就不难想象这篇论文的意义，再回想下我的论文，撑死算是在建成的大厦里挂上一幅画）。ASymbolicAnalysisofRelayandSwitchingCircuits图源网络
又2年后，香农获得了数学博士学位，研究的是生物学中的代数问题，还抽空研究了微分分析器解常微分方程。毕业后，25岁的香农手握两个学士学位，一个硕士学位，一个博士学位，进入贝尔电话公司工作。◆◆◆◆◆
二划破时代的闪电年，历史在这一年被分割，一方面，贝尔实验室研发出了晶体管，引发了后来的电子技术革命。更重要的是，香农的论文AMathematicalTheoryofCommunication（通信的一个数学理论）横空出世，犹如一声惊雷，震撼了整个学界！在这篇论文之前，尽管电话，电台已经广泛应用，但信息本身一直是一个模糊的概念，人们很难判断一句话，一通电话，一封信，到底包含了多少信息。而香农的论文，给出了信息的定义和衡量信息量的准则，给出了信息传输的最大容量，构建了信息科学的根基。AMathematicalTheoryofCommunication图源网络
那么信息的本质到底是什么呢？如果我告诉你“明天太阳从东方升起”，那可能对你而言毫无信息可言；但如果我告诉你“我的支付宝密码是xxxx”，那你不但得到了很多信息，还能让我变成穷光蛋。香农抓住了其中的重点：信息可以消除不确定性，而消除了多少不确定性，就可以用来表征信息量。对于一个信号源，如果他发出一个“符号”的概率是%，（这里的一个符号，不论是“01”还是一个汉字或者几个汉字或者是英文字母，甚至是鼓点或者外星语言，完全没有区别，只是表征形式不同而已）那这个信源就完全没有不确定性，我不用接收就知道他以后一万年还是发那一个符号，信息量为0。举个例子，如果你只会一直发出“阿阿阿阿”的声音，那别人也无法获得任何信息。如果你会“阿巴阿巴”，那你还是有可能能够传输信息的，注意是有可能啊，如果你的“巴”永远跟在“阿”后面，那其实“阿巴”整体是一个符号，还是没有信息，而且这个信号是冗余的。那么，这里就要引入香农的信息熵概念了，信息熵用来衡量信息量，并有三个性质：概率越大，信息量越少信息量非负可加，多个不确定（独立）事件发生带来的信息量是各个事件信息量之和根据这三个性质，香农给出了数学上信息熵的定义：简洁，有力！如果取log底数为2，单位就是我们熟知的bit。通过这个公式，还能够确定传输信息最小编码长度，指导我们把越大概率的值编码为越短的编码，把“阿巴”优化成“阿”。研究人员根据语言统计数据，带入到香农的信息熵公式中，计算得到汉字的平均信息熵超过了9bit，而英文字母则在1bit左右。后续的相关研究表明，同样的文本，汉语版本使用压缩算法进行压缩的压缩效率是数种主流语言中最低的，也就是说汉语的冗余量最小，更接近信息熵上界。哈哈，汉语难不是没有道理的哈。此外，香农还定义了信道能够传输的最大上限，也就是信道容量，它与带宽和信噪比相关。这就是著名的香农公式，甚至可以说是信息通讯领域的牛顿定律。从这里你就能知道为什么5G比4G要更快了，很简单，忽略编码，调制，频带利用率和MIMO（可以理解为多开）上的提升，单纯看带宽，LTE的带宽是20M，NR的带宽是M，5倍提升就这么出来了。可以看到，即使到今天的信息技术，仍然是坚定地构建在香农所搭建的信息通讯基石之上的。值得一提的是，香农这篇论文AMathematicalTheoryofCommunication（通信的一个数学理论），在一年后整理为论文集时，就更名为TheMathematicalTheoryofCommunication（通信的数学理论）。你以为到这就结束了？并没有，仅仅过了一年，年香农就再发表了一篇重磅论文CommunicationTheoryofSecrecySystems（保密系统的通信理论），这篇论文将加密技术从艺术（玄学）一跃提升为科学，构建了保密系统的理论基石。在香农眼中，加密过程本质上和信道的干扰是相同的，只是这种干扰是人为设计的。香农给出了衡量加密效果的手段——唯一解距离，也就是可能解出唯一有意义明文所需要的最少密文。香农还证明了，世界上最安全的密码系统：密钥一次性且完全随机，密文和明文长度一致，理论上无法破译（恐怕现实上也无法实现）。◆◆◆◆◆
三天才的碰撞上一篇中提到了图灵在二战中发挥的作用，当然香农也没闲着。他在贝尔实验室研究火力控制以及密码学，同样做出了伟大的贡献。还记得上一篇中说图灵曾经前往美国交流嘛，年，这两位天才就在贝尔实验室见了面。期间他们讨论到人造思维机器的设想，香农告诉图灵，他不仅仅满足于向这台“人造大脑”里输入数据，还希望把文化也灌输进去！年，香农制作了一只会走迷宫的机器老鼠，这只老鼠通过金属触须以及隐藏着许多继电器开关和控制老鼠的磁铁的金属迷宫，实现了简单的走迷宫“智能”，此外，香农还实现了图灵的想法，在洛斯阿拉莫斯的MANIAC计算机上实现了国际象棋的下棋程序。香农的“智能”老鼠图源网络年美国计算机协会以图灵之名成立了计算机领域的最高奖项“图灵”奖。同样，年，IEEE也以香农之名，创立了信息领域的最高奖项“香农奖”，更有意思的是，第一届“香农奖”得主，正式香农本人。◆◆◆◆◆四返璞归真年轻时候的香农，就热衷骑着独轮车上下班。而到了晚年，香农完全沉迷在了杂耍中，他不但自己钻研杂耍技术，还制造各种奇奇怪怪的机器，下棋机器人啊，杂耍机器人啊，折叠刀，机器手臂之类的，各种东西都能在他的“熵宅”中找到。香农和他的“玩具”图源网络年，“国际信息研讨会”上，香农出席了，但他并不是去发表研究成果，也不是去与后辈交流，而是给大家带来了杂耍抛物表演，真是越活越仙了。
杂耍大师香农图源网络不同于图灵的英年早逝，香农一直活到了新世纪，尽管香农老年时患上了阿尔茨海默病，没能完成他的《统一的杂耍场理论》，但也算是过完了伟大而又有趣的一生。年2月24日，香农在马萨诸塞州Medford辞世，享年84岁。贝尔实验室和MIT均发表讣告，尊崇香农为信息论及数字通信时代的奠基人。图灵和香农算是我的祖师爷，所以我首先写了这两位传奇般的大佬，纪念他们开创的世界，也算是一点点私心吧。
在我看来，两三百年之后，当人们回过头来看我们的时候，他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓香农的名字。学校里仍然会教授信息论。
RichardBlahut关联阅读要用机器对抗机器！
预览时标签不可点收录于话题#个上一篇下一篇
