香农理论获得突破！

杨学志

香农于1948年发表了“A Mathematical Theory of Communication”一文，代表了信息论的诞生。 在此文当中，香农定义了信息论的基本概念，比如自信息，互信息，熵，微商，以及信息的度量单位bit，并且给出了信道容量的概念。一个AWGN信道

                           Y=X+Z,

其中X,Y,Z分别是复数形式的输入信号，输出信号和高斯白噪声， 其信道容量为

                           C=log(1+S/N),

其中，S为输入信号的功率，N是白噪声功率。

与这个公式伴随的是信道编码定理，意思是说，必定存在一个编码方式，如果速率小于C，则误码率可以任意小。这是香农理论最核心的部分，引导了通信产业的发展。在其指引之下，经过几十年全球科学家的共同探索，终于发明了Turbo，LDPC和Polar码等充分接近香农限的编码，也广泛应用于3G/4G/5G通信系统当中。

但是，香农的工作集中于最简单的AWGN信道，而无线通信当中最普遍的是衰落信道。 因此衰落信道的容量也一直是信息论领域的研究热点。

一个衰落信道可以模型化为
                      Y=GX+Z,

其中G为信道增益。 在目前的理论当中，把衰落信道分为快衰落信道和慢衰落信道。
在快衰落信道当中，信道编码块的长度历经了多个信道相干时间，信道容量被定义为遍历容量。
                        C=\int log(1+|G|^2S/N)dG.

在慢衰落信道当中， 信道编码块的长度远远小于信道的相干时间，因此信道容量被认为是一个取决于信道增益的随机变量。 由于信道增益G可以任意小，因此对于任何一个速率，误码率总是大于零， 因此认为慢衰落信道的严格意义上的信道容量为零。 基于此，发展了中断容量理论 outage capacity。

但是我发现， outage capacity理论是错误的，它根部不是香农意义上的容量。

在信道编码定理当中，证明的方法是产生一个随机码。相应地， 信道和噪声也是随机产生的。 也就是说。 信道和噪声在时域的统计和样本空间相同，也就是说信道是遍历的（ergodic）.也就是说，信道的遍历性是信息论的基本假设。

但是这个隐含的条件长期被信息论学界所忽视，因此试图定义non-ergodic信道的容量，代表作是Verdu的文章“A general formula for channel capacity, IEEE Transactions on Information Theory 40, no. 4 (1994): 1147-1157”。 这篇文章从motivation到basic concept都是错的。


我经过长期的研究， 否定了outage capacity理论， 并提出了统一的衰落信道容量理论。


新的理论指出，总有一个信道信息与用户数据相伴随，并且信道信息与信道的衰落速率成单调增的关系。 这也意味着信道容量可能随信道的说落速率递减。虽然这个结论没能够严格证明， 但是得到了一个渐进递减的结论。虽然在理论上尚需完善，对工程的指导意义已经很充分了。


应该说，这是自信息论诞生以来最重要的进展，没有之一。


目前正在TIT进行第三轮的评审，并公开在ArXiv上 （Capacity of Fading Channels without Channel Side Information）。 欢迎讨论。

右耳猫6213

通信技术你问我答 (积分兑奖)

这是楼主原创吗？不明觉厉

杨学志

杨学志_5G创新： 你就说什么条件吧。
回复
ñ赞
4月27日 22:36
杨学志_5G创新：回复@Read_Gallager:信息论学了个半吊子，脾气还不小。
回复
ñ赞
4月28日 11:07
Read_Gallager：回复@铯版:陈兄辛苦了，多说无益。
回复
ñ赞
4月28日 09:39
杨学志_5G创新：回复@杨学志_5G创新: 这位是清华的博士生，所以就要求严一点。
回复
ñ赞
4月28日 02:12
铯版：回复@杨学志_5G创新:睡了睡了。祝你的论文最后能被接受
回复
ñ赞
4月28日 00:40
铯版：回复@杨学志_5G创新:那你的强迫症可真严重，建议研究数学
回复
ñ赞
4月28日 00:37
杨学志_5G创新：回复@铯版: 好吧。就这几句话，如果我是你导师的话，我会劝你退学的。 不适合做研究工作。
回复
ñ赞
4月28日 00:33
铯版：回复@杨学志_5G创新:用你说的那套所谓错误的中断容量理论呗。在你看来，它确实和传统的信息论，无论从信道建模还是分析方法，都显得“格格不入”，甚至是“错误的”。在我看来它把慢衰落这件事情直接给简化了，完了居然还解决了现实中的很多问题，对与错又有什么关系呢，仅此而已。
回复
ñ赞
4月28日 00:30
杨学志_5G创新：回复@铯版: 你用什么呢？
回复
ñ赞
4月28日 00:26
铯版：回复@杨学志_5G创新:我看明白你的观点了。人家不用piece-wise ergodic得到了一套中断容量理论，你觉得“不这么看就不要讨论信息论了”，所以认为他做的东西是错的呗。
回复
ñ赞
4月28日 00:25
杨学志_5G创新：回复@铯版: 存在不存在都没关系。 整个信息论都是关于ergodic信道的，对于non-ergodic的，要视作piece-wise ergodic来处理，才能用信息论。不这么看就不要讨论信息论了。
回复
ñ赞
4月28日 00:21
杨学志_5G创新：回复@铯版: 是“实现任意小误码率”的前提条件包括无限长编码”
回复
ñ赞
4月28日 00:19
铯版：回复@杨学志_5G创新:OK那我们的理解是一致的。那剩下的讨论话题就是，现实生活中是不是存在non-ergodic的慢衰落信道。
回复
ñ赞
4月28日 00:17
铯版：回复@杨学志_5G创新:为防止口误，先确认一点，“不能实现任意小误码率”的前提条件包括长编码吗？据我所知香农定理里的反向结论是不包括长编码条件的。
回复
ñ赞
4月28日 00:16
杨学志_5G创新：回复@铯版: 不是。
回复
ñ赞
4月28日 00:15
杨学志_5G创新：回复@铯版: 那是因为你所说的慢衰落信道是臆想的。自己弄个短编码，但是却依据长编码的结论，说不能实现任意小误码率。 你看出这个错误了吗？
回复
ñ赞
4月28日 00:12
铯版：回复@杨学志_5G创新:我不确定你对ergodic的理解是不是有误。我举个信道模型，Y = X * G + Z。其中G很特殊，它满足：g_i = sin(i + theta0)，其中g_i代表第i个符号对应的信道衰落，theta0是一个常数随机变量。那么这个信道你认为它是不是ergodic的？
回复
ñ赞
4月28日 00:11
铯版：回复@杨学志_5G创新:我看过你的论述了，并没有绕开ergodic的问题，而是不管三七二十一，说实际信道就是ergodic的。同时注意另一个条件“信道长度N足够大”，而这件事情在慢衰落场景下是不成立的。
回复
ñ赞
4月28日 00:08
杨学志_5G创新：回复@铯版: 我专门批评了Verdu关于non-ergodic信道容量的论文，完全概念错误。
回复
ñ赞
4月28日 00:07
杨学志_5G创新：回复@铯版: 这个问题我的论文也专门论述过了
回复
ñ赞
4月28日 00:05
铯版：回复@杨学志_5G创新:对有记忆信道的处理如你所述，然而需要注意，这种处理方式对信道依然有要求，即信道是ergodic的。对于高斯平稳随机过程，只要信道长度N足够大，信道就是ergodic的。但是对于如我所述的“奇异”信道，N趋于无穷它也不是ergodic的。对于这种奇异情形，用互信息一用一个错。
回复
ñ赞
4月28日 00:04
杨学志_5G创新：回复@铯版: 当然是可以用“I(X; Y)”实现无差错传输了。
回复
ñ赞
4月28日 00:01
杨学志_5G创新：回复@铯版: 对，但是不完全。但是我知道你对这块的理解都是对的。你只是还没理解如何把一个记忆信道转化为无记忆信道，方法就是用把N个相关的信道联合考虑，用一个联合概率来表示。 当N趋向无穷的时候，块间的相关性可以忽略后就互信息来表达信道容量了。 如果不用互信息，你说说用什么表达容量？
回复
ñ赞
4月27日 23:59
铯版：回复@铯版:我继续说吧。如果你所说的香农意义下的容量是指“I(X; Y)”，那么对于慢衰落信道，这个表达式的数值确实不为0。然而由于香农定理的成立条件，这个表达式的值在慢衰落信道中没有意义，它不代表任何东西。当我们说传统的香农容量严格为零时，并不是说I(X; Y)=0，而是说不可能以R>0无误传输信息
回复
ñ赞
4月27日 23:57
杨学志_5G创新：回复@铯版: 这些话表明你已经迷茫了。 再复习一下信息论，好好体会一下我的文章。
回复
ñ赞
4月27日 23:52
铯版：回复@杨学志_5G创新:我试着梳理一下你的思路。你认为，香农容量是I(X; Y)，对吗？
回复
ñ赞
4月27日 23:51
铯版：回复@杨学志_5G创新:我不太能肯定你说的“香农意义的容量”是什么。如果说是最大互信息，那么它不适用于非离散无记忆的场合。所以对于非离散无记忆的场景，当你说“香农容量”的时候，我会认为你在表述“无误传输可达速率”的意思，毕竟后者是适用于任意信道的，只是很多情况下结果是平凡的。
回复
ñ赞
4月27日 23:50
杨学志_5G创新：回复@铯版: 对，我就是说你在犯错。
回复
ñ赞
4月27日 23:47
铯版：回复@杨学志_5G创新:无论是否有记忆，用定义（无误传输）肯定是不会错的（特别是针对这类特殊的随机过程）。而我看到你总是在找现成的答案或公式。但这些公式的成立条件通常是很苛刻的，比如要求信道的随机过程需要满足各种条件，稍不留神就会犯错。
回复
ñ赞
4月27日 23:46
铯版：回复@杨学志_5G创新:这是一个很特殊的随机过程，这样的随机过程事实上并不是香农讨论的情形（离散无记忆），如果认可这一点（香农不讨论这样的过程），那么“这个信道至少可类比于误码率为p的BSC信道，这个信道的容量是1-H(p)”这句话的最后部分就不成立了，因为香农算出的1-H(p)在此处无意义
回复
ñ赞
4月27日 23:43
更多21条回复c
铯版
铯版：比如你问"目前的主流观点是，从中断容量推断出慢衰落信道的严格意义上的香农容量为零。 这是怎么推的？"，那么答案是，根据中断容量信道模型和信道容量的定义推出来的。
回复
ñ赞
4月27日 19:01
铯版：回复@杨学志_5G创新:陈霜，清华信息与通信工程博士
回复
ñ赞
4月27日 22:41
杨学志_5G创新：回复@铯版: 你报个身份上来，我跟你讨论。我建议是实名公开讨论。当然你要是不愿意也可以私下谈。
回复
ñ赞
4月27日 22:35
铯版：回复@杨学志_5G创新:可我看你说的话，怕是你没想明白还以为文章里写的很清楚了
回复
ñ赞
4月27日 22:30
杨学志_5G创新：回复@铯版: 那还问这样的问题，怕是没看懂。
回复
ñ赞
4月27日 22:29
铯版：回复@杨学志_5G创新:我很早就完整的看完了，你又把我当外行了……
回复
ñ赞
4月27日 22:26
杨学志_5G创新：回复@铯版:建议你看看我的论文，你所有的关切我都解答了。
回复
ñ赞
4月27日 22:25
铯版：回复@杨学志_5G创新:哦哦哦，说白了你认为现在的中断容量信道模型不对是吧？
回复
ñ赞
4月27日 22:18
铯版：回复@杨学志_5G创新:抱歉我可能没明白你说的是我依据的哪一点。
回复
ñ赞
4月27日 22:17
杨学志_5G创新：我是说你依据的这个东西错了。

balancex

真的假的？如果是真的，为啥长时间没有人意识到这个问题呢？

Lisely

mark

savie

原创吗？

杨学志

savie 发表于 2019-5-17 15:05
原创吗？

必须原创

savie

那可以去申请专利了

gzljp

诺贝尔奖吗

阿高

想請問對工程的指导意义比較具體的描述是?

還有對論文中可以延伸到多天線系統是有麼好處?