通信人家园

 找回密码
 注册
搜索
热搜: 家园 活动
查看: 1754|回复: 4

纪念香农诞辰102年 [复制链接]

军衔等级:

  上士

注册时间:
2016-9-11
发表于 2018-5-2 09:21:11 |显示全部楼层
本帖最后由 咖啡不放糖 于 2018-5-2 09:34 编辑

                                                                                          
640?wx_fmt=jpeg
克劳德·艾尔伍德·香农(Claude Elwood Shannon ),1916年4月30日—2001年2月26日。

      今天是香农诞辰102年,他是信息论和人工智能的奠基人,他的研究成果深远的影响着这个时代,他谦逊的品格也鼓舞着后来人不断进取,这是一个值得被人铭记的名字,正因为信息的传播打破了时空的限制,像空气和水一样廉价,如果世人传颂我的故事,让他们说,我曾与英雄同在,我活在信息时代。

640?wx_fmt=png


      1943年,第二次世界大战正使全世界处于动荡不安之中,同时也是全球精英突破各种困难之时,克劳德·香农和阿兰·图灵正是在这阶段认识的,他们在研究如何破译轴心国的加密信息。他们曾在贝尔实验室餐厅共进午餐,他们都相信机器可以被赋予思考的力量。双方的讨论会很激烈,香农提议将有“文化的东西”灌入电子的大脑中,图灵则说“不,我对建造一颗强大的大脑不感兴趣,我只想要一颗普通的大脑。”,这些聊天让人目瞪口呆,机器能被赋予智能么?

      香农在研究密码学时,发现任何语言都有一定的统计结构和冗余。比如,在一篇文章中,去掉某些词,并不影响这篇文章包含的信息。香农估计,英语的冗余度是百分之五十。随着研究的深入,香农对“信息论”的存在逐渐清晰,他兴奋的说:“对于信息论的研究而言,与信息的‘意义’基本无关”。1948年,香农发表了《通信的数学理论》,揭示出:信息的意义不是在语义上衡量的,而是数学上的。简单的说,一些信息出现的可能性大或者一些信息更重要,这样的说法都是建立在概率基础上的。香农又通过数学方法定义了信息熵、信道容量等概念,到20世纪60年代,信息论发展成为了关于信息、信息传输和信息处理的新学科。

      1949年夏的一天,香农用铅笔在活页纸上自上而下而下的画了一条竖线,并在旁边写下了10的幂,从100 到1013 。他将坐标轴命名为“比特存储容量”。然后他开始列举一些可以储存的东西,在103 下,香农写下了打孔卡片,在104 处,他写下了“单行距打字页面”(有32种可能),在105 附近,他写下了不同寻常的东西:“人类的基因构成”,这种科学思考可谓史无前例,因为人类的DNA结构要等上几年才会被提出,香农还是猜的太保守了,起码低了四个数量级。在107 的级别上,是一本厚厚的《无线电工程师学会学报》,在 109级别,则是《不列颠百科全书》,1011比特是一小时的电视节目,而一小时的彩色电影,就要超过1013比特了。最后,就在下1014,香农写下了他所能想象的最大信息量:美国国会图书馆。
640?wx_fmt=png

香农的活页纸

       1951年,香农则展示了一个机器人,尽管它不聪明,外表也不像人,但是它给观众留下了深刻印象,因为它能学会走迷宫,他们称它为“香农的老鼠”。


20180502092845.jpg
香农的老鼠
       这些看起来有点不可思议,尤其是香农的老鼠,它具有学习的能力,不同于以往人类发明的其它机器。这些具有开创性的工作,是如何完成的?香农和其他信息论的先驱们到底是怎么开创了一个基础学科的?我做一个简要的介绍。

       熵的概念,最早起源于物理学,用于度量热力学系统的无序程度,1865年,热力学的主要奠基人鲁道夫首先使用了该词,他发现了一种量,这种量与能量无关,他就称之为“熵”。香农首先将熵用于描述信息的不确定性,因为无序程度和不确定性,其背后都带有随机分布的特点,熵的计算被定义为:
640?wx_fmt=png

    其中,X代表一个离散型随机变量, p(x)为其概率分布函数。当对数函数以2为底时,熵的单位是比特。熵的大小不取决于X的实际值,而仅依赖其概率分布。这个公式也被称为香农熵。

    当有多个随机变量表示多个关联的事件时,事件之间相互影响。


640?wx_fmt=png
    以上三个公式分别是两个随机变量(X,Y)的联合熵条件熵互信息,其证明过程采用香农熵、联合概率分布函数,链式法则。我们使用互信息来衡量不同事件空间,两个信息的相关性。熵与互信息存在关系,通俗的说,任何新信息的增加,都不会使得原有信息的熵增加。就像我们玩德州扑克,不管你的表情如何改变,只要做了改变,都会被精明的玩家窥探到你手中的牌怎么样,因为你增加了信息,在牌局中,那些面无表情的人是最可怕的,一些人还会带着帽子、墨镜来掩饰自己的情绪。另外一个例子,伟大的发明和公司,往往是使熵降低的,比如互联网搜索引擎使人们获取信息的成本很低,从而解决了信息的不对称,有利于阶层之间的流动,使熵降低。

640?wx_fmt=png
熵与互信息的关系



香农的通信系统模型
    下图是香农提出的通信系统模型。

640?wx_fmt=png

香农模型

    信源是发送信息的主体,信宿是接收者,信道是信息传送的通道,编码泛指将信源的信息转换成适合通过信道传送的信号的设备,译码是编码的相反的设备。信道可以分为两大类:有线信道和无线信道。有线信道包括光纤、电缆等沿导线的电磁波传递介质,无线信道则是依赖于自由空间来传递电磁波。此外,信道也可以分为有无记忆、连续还是离散等方式。信号在通过信道时,会有延时,还有伴有固定或时变的损耗,在通信系统中,这部分信道被成为干扰。干扰的来源可能是人为、自然和设备内部。

    信道容量是指该信道中,每个字符平均能传送的最大信息量,信道容量等于输入与输出的互信息的最大可能值。
640?wx_fmt=png
信道容量

    在通信系统中,信息需要编解码,然后在信道中传输,香农信道编码定理,描述了信息传输速率与信道容量的关系:如果信源的信息速率小于信道容量,那么则存在一种编码方式,能保证发送信息的误差任意小。也就是说,通过不可靠的信道,实现可靠的信息传输。在人们不具备更好的信道的条件下,如何将现有信道发挥到最大的利用价值,香农给出了一个极限。在香农以前,在这个问题上,物理学家和数学家总是聊不到一起,直到香农的三大定理给大家一个评价标准。有趣的是,当时香农并没有给出这个结论的证明,这个证明直到后来才被人推导出来。近些年来,信道编码取得重要进展,已经实现了无误差编码方式。

最大熵模型
    在信息论中,熵是用来度量信息的不确定程度的,熵增定律说明了一个孤立系统有朝着熵增的方向发展的趋势,进而呈现出一种最无序的、最不确定的状态。最大熵就是使系统处于熵最大的状态 - 满足已有事件,无偏的对待不确定事件,即对未确定的事件,认为是等概率出现的。最大熵原理即是认为,在统计学习里,所有的模型中,熵最大的模型是最好的模型。

    最大熵原理对目前机器学习的优化算法而言是举足轻重的,是训练人工神经网络的指导思想。

640?wx_fmt=png
最大熵模型求解过程

    因为信息处理和信息传输,就像是一枚硬币的两面,这枚硬币就是“信息”。以上公式看起来繁琐,实际上,对于一个给定了数据集的机器学习任务,就是构建特征f,然后,使用凸优化方法求极值。对于一个有等式约束的优化问题,使用拉格朗日乘子法,对上式中各变量求导数,然后令各方程为0,并组成方程组,然后对方程组求解。

信息论与人工智能
640?wx_fmt=png
    越是深入的了解前人的工作,越能感受到,信息论和人工智能源起一处,我们可以很容易的将二者联系起来,比如机器学习的模型充当了信息论中的编译码器的角色,引入信息论中的哈夫曼编码的算法可以加快网络的训练速度,使用最大熵或交叉熵构造机器学习的代价函数,对抗网络很类似于信息论中的信道均衡的抽头系数的训练 --- 通信的成功应用正在让人工智能快速成长。

    香农在成功面前是虚怀若谷的,在20世纪五十年代,香农一边从事火控系统和密码学方面的工作,一边苦苦思考他对信息的设想,他独自一人住在纽约格林尼治村的公寓里,与同事几乎没有交往,因为他们都搬到了新泽西的新总部,而他却选择留在西街的旧办公楼,他不需要向别人解释自己在干什么,毕竟他从事的是战争工作,有时候,他会去办公楼对面的微波研究组闲逛,并且在那里认识了贝蒂·摩尔,1948年,两人开始约会,随后在1949年初结婚,也就是在那个时候,他成为了人人都在谈论的科学家。

20180502093315.jpg
香农谈论工作

    香农是一个可以与牛顿、爱因斯坦、特斯拉等科学伟人相提并论的非凡人物。我们看不到那些被历史遮盖的事实,他有没有低谷的时候,他克服困难后的喜悦,但是我相信,他被周围的人爱着,也在努力爱这个世界,他坚持自己的事业,追求科学的乐趣,真正以谦逊的态度看待自己的成功。

    今天,我们工作是后香农时代的人工智能单元,我们在他的生日上感谢他的贡献,

20180502093412.jpg
高通联合创始人维特比先生谈香农

概率的本质不是自然的随机,而是人类的无知。希尔伯特说过一句名言:我们必须知道,我们必将知道。如果世人传颂我的故事,让他们说,我曾与英雄同在。
               


军衔等级:

  大将

注册时间:
2007-12-10
发表于 2018-5-2 14:56:46 |显示全部楼层
其实挺深奥的
通信行业的朋友欢迎加入通信驿站群75414609一起交流讨论!

军衔等级:

  中士

注册时间:
2016-6-26
发表于 2018-5-2 16:52:34 |显示全部楼层
前几天刚看到用熵来计算数据集划分
仔细想想 数学确实伟大

军衔等级:

  下士

注册时间:
2012-8-8
发表于 2018-5-3 08:03:45 |显示全部楼层
“概率的本质不是自然的随机,而是人类的无知”
以前学概率论和数理统计的时候确实太无知了。

军衔等级:

  上等兵

注册时间:
2017-3-6
发表于 2018-5-4 15:16:30 |显示全部楼层
香农定理很多都看不懂。
您需要登录后才可以回帖 登录 | 注册

Archiver|手机版|C114 ( 沪ICP备12002292号 )|联系我们 |网站地图  

GMT+8, 2018-5-21 23:07 , Processed in 0.124999 second(s), 17 queries , Gzip On.

Copyright © 1999-2017 C114 All Rights Reserved

Discuz Licensed

回顶部