通信人家园

标题: 专题： 信息论之香农熵---简单排列组合解释，易懂（11.21更新）  [查看完整版帖子] [打印本页]
时间:  2014-11-9 22:44
作者: Ricky_X_F     标题: 专题： 信息论之香农熵---简单排列组合解释，易懂（11.21更新）

本帖最后由 Ricky_X_F 于 2014-11-27 03:57 编辑

“通信原理自述”连载60-1.jpg
“通信原理自述”连载60-2.jpg
“通信原理自述”连载60-3.jpg

来自“通信新读--从原理到应用”部分手稿，链接：“通信新读--从原理到应用”


附件: “通信原理自述”连载60-1.jpg (2014-11-9 22:41, 59.32 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ4OTQxfDRhMWUyOTg5fDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载60-2.jpg (2014-11-9 22:41, 68.77 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ4OTQyfDhkYWU1NzYzfDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载60-3.jpg (2014-11-9 22:42, 58.57 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ4OTQzfDIzNmNiMTBkfDE3NjEzOTgwNzh8MHww
时间:  2014-11-9 23:21
作者: Ricky_X_F

注： 括号里上（a）下（b）两个数表示组合数，即从a个东西选取b个的不同选法个数。
时间:  2014-11-10 14:46
作者: laolu999

顶Ricky_X_F ，这是再更新的节奏？:
时间:  2014-11-11 00:56
作者: Ricky_X_F

家园副管09 发表于 2014-11-10 14:46
顶Ricky_X_F ，这是再更新的节奏？:

谢谢副管支持，看情况啊，比较空闲就分享一些。
时间:  2014-11-11 00:58
作者: Ricky_X_F

“通信原理自述”连载61-1.jpg
“通信原理自述”连载61-2.jpg


附件: “通信原理自述”连载61-1.jpg (2014-11-11 00:57, 69.86 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5MDE1fGZiZDdlOTE4fDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载61-2.jpg (2014-11-11 00:57, 102.67 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5MDE2fGFhMTI4NjExfDE3NjEzOTgwNzh8MHww
时间:  2014-11-11 01:09
作者: Ricky_X_F

注：请读者朋友在上面的证明中，对K取对数展开验证，注意对T取极限。
时间:  2014-11-11 12:55
作者: gmsyw

有点意思：）
时间:  2014-11-11 13:38
作者: Gallager

很不错的组合解释，这个还是第一次见到！
时间:  2014-11-11 13:46
作者: Gallager

有个小瑕疵，这里的证明只考虑了有限的信息集合，还需考虑可数无穷&连续情况下的信息集合，特别是在连续情况下，如果长度为T个符号，传输速率为R，那么就有2^(T*R)个可以分辨的序列。（传统的证明方法应该是用typical set，您是否可以给出组合的解释呢？期待！）
时间:  2014-11-12 01:32
作者: Ricky_X_F

Gallager 发表于 2014-11-11 13:46
有个小瑕疵，这里的证明只考虑了有限的信息集合，还需考虑可数无穷&连续情况下的信息集合，特别是在连续情况 ...

这里处理离散有限集合的方法，后续会推广到连续分布。不过和你这里提到的连续信号有点区别，暂时我们还没讨论任何传输的问题，所以和速率无关。
时间:  2014-11-12 14:07
作者: wuyuanjie

“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷”时，“11.1”中的序列出现的概率很大很大，不代表其他序列不会出现。
时间:  2014-11-12 14:08
作者: wuyuanjie

“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷”时，“11.1”中的序列出现的概率很大很大，不代表其他序列不会出现。
时间:  2014-11-12 17:18
作者: Gallager

wuyuanjie 发表于 2014-11-12 14:08
“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷 ...

言之有理
时间:  2014-11-12 17:19
作者: Gallager

Ricky_X_F 发表于 2014-11-12 01:32
这里处理离散有限集合的方法，后续会推广到连续分布。不过和你这里提到的连续信号有点区别，暂时我们还没 ...

谢谢
时间:  2014-11-13 05:15
作者: Ricky_X_F

本帖最后由 Ricky_X_F 于 2015-3-13 02:36 编辑
wuyuanjie 发表于 2014-11-12 14:07
“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷 ...

是的，是无限趋近于1。其他序列是可能出现，其出现概率无限趋近于0。
时间:  2014-11-13 05:18
作者: Ricky_X_F

“通信原理自述”连载61-3.jpg
“通信原理自述”连载61-4.jpg


附件: “通信原理自述”连载61-3.jpg (2014-11-13 05:18, 65.74 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5MjAyfDY5YWI5MTFlfDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载61-4.jpg (2014-11-13 05:18, 68.74 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5MjAzfGRiZDY3MGJhfDE3NjEzOTgwNzh8MHww
时间:  2014-11-16 23:08
作者: Ricky_X_F

推广到连续随机变量的熵：

“通信原理自述”连载62-1.jpg
“通信原理自述”连载63-2.jpg


附件: “通信原理自述”连载62-1.jpg (2014-11-16 23:07, 66.96 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5NDk3fDc5ODU4ZmQ2fDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载63-2.jpg (2014-11-16 23:08, 100.42 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5NDk4fGU5MzYxOTUxfDE3NjEzOTgwNzh8MHww
时间:  2014-11-21 00:26
作者: Ricky_X_F

正态（高斯）分布香农熵计算：

“通信原理自述”连载63-3.jpg
“通信原理自述”连载63-4.jpg


附件: “通信原理自述”连载63-3.jpg (2014-11-21 00:24, 34.45 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5ODYxfDQ0ZDUyNjYxfDE3NjEzOTgwNzh8MHww

附件: “通信原理自述”连载63-4.jpg (2014-11-21 00:25, 66.64 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MjQ5ODYyfGEzYjcyY2JlfDE3NjEzOTgwNzh8MHww
时间:  2016-11-2 20:17
作者: Ricky_X_F

本帖最后由 Ricky_X_F 于 2016-11-3 08:23 编辑

这里面的内容，将逐步会在 阿贝尔课堂 里分享。
这次是视频现场形式播出，
欢迎关注。目前视频内容：
第 1 期：你会被这个小女孩鄙视吗？
第 2 期：陈景润证明的1+2，你以为就是你以为的吗？
第 3 期：有没有如此幸运的姑娘？
第 4 期：阿贝尔（Abel）课堂介绍
第 5 期：阿贝尔课堂见面会，她握了多少？
第 6 期：赌你一笔画不出简单的“田”字？敢试吗？
第 7 期：唐僧取经走对了路线吗？有多少条？

以及其它周边相关内容。


时间:  2016-11-8 11:24
作者: Ricky_X_F

目前关注已过200人，希望有你喜欢的，有启发的。论坛里了解我风格的朋友，应该知道，我就喜欢整干货。

公众号：阿贝尔Abel课堂 abel-qrcode.jpg


附件: abel-qrcode.jpg (2016-11-8 11:18, 27.31 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=MzAyNzU0fGQ4MWUxNjEyfDE3NjEzOTgwNzh8MHww
时间:  2016-11-9 10:36
作者: wangwt07

谢谢楼主分享
时间:  2016-12-6 09:51
作者: Ricky_X_F

更新到：
第 16 期：电影《美丽心灵》华人主角，原来是他
时间:  2017-4-19 07:54
作者: Ricky_X_F

本帖最后由 Ricky_X_F 于 2017-6-21 09:06 编辑

之前写的关于香农信息论的简介"A Brief Introduction on Shannon's Information Theory", 收录在 The Net Advance of Physics: Information, http://web.mit.edu/redingtn/www/netadv/Xinformati.html,
麻省理工（MIT）维护资源，里面收录了很多经典资料。
时间:  2018-9-23 19:29
作者: Ricky_X_F

对应的英文版，关于香农信息论的简介"A Brief Introduction on Shannon's Information Theory", 被收录在麻省理工资源： The Net Advance of Physics: Information, http://web.mit.edu/redingtn/www/netadv/Xinformati.html,
。
时间:  2018-11-3 21:23
作者: Ricky_X_F

最新被收录的文章是 Edward Witten的，此人牛得不要不要的：爱德华·威滕，美国犹太裔数学物理学家、菲尔兹奖得主，也是普林斯顿高等研究院教授。他是弦理论和量子场论的顶尖专家，创立了M理论。爱德华·威滕被视为当代最伟大的物理学家之一，他的一些同行甚至认为他是爱因斯坦的后继者之一。

该文章前半部分---经典信息论---和我那篇介绍的思路有些相似，有兴趣的可以读读。 edward-witten.JPG


附件: edward-witten.JPG (2018-11-3 21:22, 114.77 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=Mzc3Nzg3fDJlZTRhYjMwfDE3NjEzOTgwNzh8MHww



通信人家园 (https://www.txrjy.com/) Powered by C114