专题： 信息论之香农熵---简单排列组合解释，易懂（11.21更新）

Ricky_X_F

来自“通信新读--从原理到应用”部分手稿，链接：“通信新读--从原理到应用”

Ricky_X_F

通信技术你问我答 (积分兑奖)

注： 括号里上（a）下（b）两个数表示组合数，即从a个东西选取b个的不同选法个数。

laolu999

顶Ricky_X_F ，这是再更新的节奏？:

Ricky_X_F

家园副管09 发表于 2014-11-10 14:46
顶Ricky_X_F ，这是再更新的节奏？:

谢谢副管支持，看情况啊，比较空闲就分享一些。

Ricky_X_F

Ricky_X_F

注：请读者朋友在上面的证明中，对K取对数展开验证，注意对T取极限。

gmsyw

有点意思：）

Gallager

很不错的组合解释，这个还是第一次见到！

Gallager

有个小瑕疵，这里的证明只考虑了有限的信息集合，还需考虑可数无穷&连续情况下的信息集合，特别是在连续情况下，如果长度为T个符号，传输速率为R，那么就有2^(T*R)个可以分辨的序列。（传统的证明方法应该是用typical set，您是否可以给出组合的解释呢？期待！）

Ricky_X_F

Gallager 发表于 2014-11-11 13:46
有个小瑕疵，这里的证明只考虑了有限的信息集合，还需考虑可数无穷&连续情况下的信息集合，特别是在连续情况 ...

这里处理离散有限集合的方法，后续会推广到连续分布。不过和你这里提到的连续信号有点区别，暂时我们还没讨论任何传输的问题，所以和速率无关。

wuyuanjie

“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷”时，“11.1”中的序列出现的概率很大很大，不代表其他序列不会出现。

wuyuanjie

“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷”时，“11.1”中的序列出现的概率很大很大，不代表其他序列不会出现。

Gallager

wuyuanjie 发表于 2014-11-12 14:08
“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷 ...

言之有理

Gallager

Ricky_X_F 发表于 2014-11-12 01:32
这里处理离散有限集合的方法，后续会推广到连续分布。不过和你这里提到的连续信号有点区别，暂时我们还没 ...

谢谢

Ricky_X_F

wuyuanjie 发表于 2014-11-12 14:07
“哈哈 11.1”证明的应该是“T->无穷”时，典型序列的个数，不是T个符号能表示的所有序列的个数。“T->无穷 ...

是的，是无限趋近于1。其他序列是可能出现，其出现概率无限趋近于0。

Ricky_X_F

Ricky_X_F

推广到连续随机变量的熵：

Ricky_X_F

正态（高斯）分布香农熵计算：

Ricky_X_F

这里面的内容，将逐步会在 阿贝尔课堂 里分享。
这次是视频现场形式播出，
欢迎关注。目前视频内容：
第 1 期：你会被这个小女孩鄙视吗？
第 2 期：陈景润证明的1+2，你以为就是你以为的吗？
第 3 期：有没有如此幸运的姑娘？
第 4 期：阿贝尔（Abel）课堂介绍
第 5 期：阿贝尔课堂见面会，她握了多少？
第 6 期：赌你一笔画不出简单的“田”字？敢试吗？
第 7 期：唐僧取经走对了路线吗？有多少条？

以及其它周边相关内容。

Ricky_X_F

目前关注已过200人，希望有你喜欢的，有启发的。论坛里了解我风格的朋友，应该知道，我就喜欢整干货。

公众号：阿贝尔Abel课堂