通信人家园

标题: 香农理论获得突破!  [查看完整版帖子] [打印本页]

时间:  2019-5-1 14:32
作者: 杨学志     标题: 香农理论获得突破!

本帖最后由 杨学志 于 2019-5-1 14:35 编辑

香农于1948年发表了“A Mathematical Theory of Communication”一文,代表了信息论的诞生。 在此文当中,香农定义了信息论的基本概念,比如自信息,互信息,熵,微商,以及信息的度量单位bit,并且给出了信道容量的概念。一个AWGN信道

                           Y=X+Z,

其中X,Y,Z分别是复数形式的输入信号,输出信号和高斯白噪声, 其信道容量为

                           C=log(1+S/N),

其中,S为输入信号的功率,N是白噪声功率。

与这个公式伴随的是信道编码定理,意思是说,必定存在一个编码方式,如果速率小于C,则误码率可以任意小。这是香农理论最核心的部分,引导了通信产业的发展。在其指引之下,经过几十年全球科学家的共同探索,终于发明了Turbo,LDPC和Polar码等充分接近香农限的编码,也广泛应用于3G/4G/5G通信系统当中。

但是,香农的工作集中于最简单的AWGN信道,而无线通信当中最普遍的是衰落信道。 因此衰落信道的容量也一直是信息论领域的研究热点。

一个衰落信道可以模型化为
                      Y=GX+Z,

其中G为信道增益。 在目前的理论当中,把衰落信道分为快衰落信道和慢衰落信道。
在快衰落信道当中,信道编码块的长度历经了多个信道相干时间,信道容量被定义为遍历容量。
                        C=\int log(1+|G|^2S/N)dG.

在慢衰落信道当中, 信道编码块的长度远远小于信道的相干时间,因此信道容量被认为是一个取决于信道增益的随机变量。 由于信道增益G可以任意小,因此对于任何一个速率,误码率总是大于零, 因此认为慢衰落信道的严格意义上的信道容量为零。 基于此,发展了中断容量理论 outage capacity。

但是我发现, outage capacity理论是错误的,它根部不是香农意义上的容量。

在信道编码定理当中,证明的方法是产生一个随机码。相应地, 信道和噪声也是随机产生的。 也就是说。 信道和噪声在时域的统计和样本空间相同,也就是说信道是遍历的(ergodic).也就是说,信道的遍历性是信息论的基本假设。

但是这个隐含的条件长期被信息论学界所忽视,因此试图定义non-ergodic信道的容量,代表作是Verdu的文章“A general formula for channel capacity, IEEE Transactions on Information Theory 40, no. 4 (1994): 1147-1157”。 这篇文章从motivation到basic concept都是错的。


我经过长期的研究, 否定了outage capacity理论, 并提出了统一的衰落信道容量理论。


新的理论指出,总有一个信道信息与用户数据相伴随,并且信道信息与信道的衰落速率成单调增的关系。 这也意味着信道容量可能随信道的说落速率递减。虽然这个结论没能够严格证明, 但是得到了一个渐进递减的结论。虽然在理论上尚需完善,对工程的指导意义已经很充分了。


应该说,这是自信息论诞生以来最重要的进展,没有之一。


目前正在TIT进行第三轮的评审,并公开在ArXiv上 (Capacity of Fading Channels without Channel Side Information)。 欢迎讨论。






时间:  2019-5-3 10:41
作者: 右耳猫6213

这是楼主原创吗?不明觉厉
时间:  2019-5-3 18:51
作者: 杨学志

杨学志_5G创新: 你就说什么条件吧。
回复
ñ赞
4月27日 22:36
杨学志_5G创新:回复@Read_Gallager:信息论学了个半吊子,脾气还不小。
回复
ñ赞
4月28日 11:07
Read_Gallager:回复@铯版:陈兄辛苦了,多说无益。
回复
ñ赞
4月28日 09:39
杨学志_5G创新:回复@杨学志_5G创新: 这位是清华的博士生,所以就要求严一点。
回复
ñ赞
4月28日 02:12
铯版:回复@杨学志_5G创新:睡了睡了。祝你的论文最后能被接受
回复
ñ赞
4月28日 00:40
铯版:回复@杨学志_5G创新:那你的强迫症可真严重,建议研究数学
回复
ñ赞
4月28日 00:37
杨学志_5G创新:回复@铯版: 好吧。就这几句话,如果我是你导师的话,我会劝你退学的。 不适合做研究工作。
回复
ñ赞
4月28日 00:33
铯版:回复@杨学志_5G创新:用你说的那套所谓错误的中断容量理论呗。在你看来,它确实和传统的信息论,无论从信道建模还是分析方法,都显得“格格不入”,甚至是“错误的”。在我看来它把慢衰落这件事情直接给简化了,完了居然还解决了现实中的很多问题,对与错又有什么关系呢,仅此而已。
回复
ñ赞
4月28日 00:30
杨学志_5G创新:回复@铯版: 你用什么呢?
回复
ñ赞
4月28日 00:26
铯版:回复@杨学志_5G创新:我看明白你的观点了。人家不用piece-wise ergodic得到了一套中断容量理论,你觉得“不这么看就不要讨论信息论了”,所以认为他做的东西是错的呗。
回复
ñ赞
4月28日 00:25
杨学志_5G创新:回复@铯版: 存在不存在都没关系。 整个信息论都是关于ergodic信道的,对于non-ergodic的,要视作piece-wise ergodic来处理,才能用信息论。不这么看就不要讨论信息论了。
回复
ñ赞
4月28日 00:21
杨学志_5G创新:回复@铯版: 是“实现任意小误码率”的前提条件包括无限长编码”
回复
ñ赞
4月28日 00:19
铯版:回复@杨学志_5G创新:OK那我们的理解是一致的。那剩下的讨论话题就是,现实生活中是不是存在non-ergodic的慢衰落信道。
回复
ñ赞
4月28日 00:17
铯版:回复@杨学志_5G创新:为防止口误,先确认一点,“不能实现任意小误码率”的前提条件包括长编码吗?据我所知香农定理里的反向结论是不包括长编码条件的。
回复
ñ赞
4月28日 00:16
杨学志_5G创新:回复@铯版: 不是。
回复
ñ赞
4月28日 00:15
杨学志_5G创新:回复@铯版: 那是因为你所说的慢衰落信道是臆想的。自己弄个短编码,但是却依据长编码的结论,说不能实现任意小误码率。 你看出这个错误了吗?
回复
ñ赞
4月28日 00:12
铯版:回复@杨学志_5G创新:我不确定你对ergodic的理解是不是有误。我举个信道模型,Y = X * G + Z。其中G很特殊,它满足:g_i = sin(i + theta0),其中g_i代表第i个符号对应的信道衰落,theta0是一个常数随机变量。那么这个信道你认为它是不是ergodic的?
回复
ñ赞
4月28日 00:11
铯版:回复@杨学志_5G创新:我看过你的论述了,并没有绕开ergodic的问题,而是不管三七二十一,说实际信道就是ergodic的。同时注意另一个条件“信道长度N足够大”,而这件事情在慢衰落场景下是不成立的。
回复
ñ赞
4月28日 00:08
杨学志_5G创新:回复@铯版: 我专门批评了Verdu关于non-ergodic信道容量的论文,完全概念错误。
回复
ñ赞
4月28日 00:07
杨学志_5G创新:回复@铯版: 这个问题我的论文也专门论述过了
回复
ñ赞
4月28日 00:05
铯版:回复@杨学志_5G创新:对有记忆信道的处理如你所述,然而需要注意,这种处理方式对信道依然有要求,即信道是ergodic的。对于高斯平稳随机过程,只要信道长度N足够大,信道就是ergodic的。但是对于如我所述的“奇异”信道,N趋于无穷它也不是ergodic的。对于这种奇异情形,用互信息一用一个错。
回复
ñ赞
4月28日 00:04
杨学志_5G创新:回复@铯版: 当然是可以用“I(X; Y)”实现无差错传输了。
回复
ñ赞
4月28日 00:01
杨学志_5G创新:回复@铯版: 对,但是不完全。但是我知道你对这块的理解都是对的。你只是还没理解如何把一个记忆信道转化为无记忆信道,方法就是用把N个相关的信道联合考虑,用一个联合概率来表示。 当N趋向无穷的时候,块间的相关性可以忽略后就互信息来表达信道容量了。 如果不用互信息,你说说用什么表达容量?
回复
ñ赞
4月27日 23:59
铯版:回复@铯版:我继续说吧。如果你所说的香农意义下的容量是指“I(X; Y)”,那么对于慢衰落信道,这个表达式的数值确实不为0。然而由于香农定理的成立条件,这个表达式的值在慢衰落信道中没有意义,它不代表任何东西。当我们说传统的香农容量严格为零时,并不是说I(X; Y)=0,而是说不可能以R>0无误传输信息
回复
ñ赞
4月27日 23:57
杨学志_5G创新:回复@铯版: 这些话表明你已经迷茫了。 再复习一下信息论,好好体会一下我的文章。
回复
ñ赞
4月27日 23:52
铯版:回复@杨学志_5G创新:我试着梳理一下你的思路。你认为,香农容量是I(X; Y),对吗?
回复
ñ赞
4月27日 23:51
铯版:回复@杨学志_5G创新:我不太能肯定你说的“香农意义的容量”是什么。如果说是最大互信息,那么它不适用于非离散无记忆的场合。所以对于非离散无记忆的场景,当你说“香农容量”的时候,我会认为你在表述“无误传输可达速率”的意思,毕竟后者是适用于任意信道的,只是很多情况下结果是平凡的。
回复
ñ赞
4月27日 23:50
杨学志_5G创新:回复@铯版: 对,我就是说你在犯错。
回复
ñ赞
4月27日 23:47
铯版:回复@杨学志_5G创新:无论是否有记忆,用定义(无误传输)肯定是不会错的(特别是针对这类特殊的随机过程)。而我看到你总是在找现成的答案或公式。但这些公式的成立条件通常是很苛刻的,比如要求信道的随机过程需要满足各种条件,稍不留神就会犯错。
回复
ñ赞
4月27日 23:46
铯版:回复@杨学志_5G创新:这是一个很特殊的随机过程,这样的随机过程事实上并不是香农讨论的情形(离散无记忆),如果认可这一点(香农不讨论这样的过程),那么“这个信道至少可类比于误码率为p的BSC信道,这个信道的容量是1-H(p)”这句话的最后部分就不成立了,因为香农算出的1-H(p)在此处无意义
回复
ñ赞
4月27日 23:43
更多21条回复c
铯版
铯版:比如你问"目前的主流观点是,从中断容量推断出慢衰落信道的严格意义上的香农容量为零。 这是怎么推的?",那么答案是,根据中断容量信道模型和信道容量的定义推出来的。
回复
ñ赞
4月27日 19:01
铯版:回复@杨学志_5G创新:陈霜,清华信息与通信工程博士
回复
ñ赞
4月27日 22:41
杨学志_5G创新:回复@铯版: 你报个身份上来,我跟你讨论。我建议是实名公开讨论。当然你要是不愿意也可以私下谈。
回复
ñ赞
4月27日 22:35
铯版:回复@杨学志_5G创新:可我看你说的话,怕是你没想明白还以为文章里写的很清楚了
回复
ñ赞
4月27日 22:30
杨学志_5G创新:回复@铯版: 那还问这样的问题,怕是没看懂。
回复
ñ赞
4月27日 22:29
铯版:回复@杨学志_5G创新:我很早就完整的看完了,你又把我当外行了……
回复
ñ赞
4月27日 22:26
杨学志_5G创新:回复@铯版:建议你看看我的论文,你所有的关切我都解答了。
回复
ñ赞
4月27日 22:25
铯版:回复@杨学志_5G创新:哦哦哦,说白了你认为现在的中断容量信道模型不对是吧?
回复
ñ赞
4月27日 22:18
铯版:回复@杨学志_5G创新:抱歉我可能没明白你说的是我依据的哪一点。
回复
ñ赞
4月27日 22:17
杨学志_5G创新:我是说你依据的这个东西错了。

时间:  2019-5-4 21:38
作者: balancex

真的假的?如果是真的,为啥长时间没有人意识到这个问题呢?
时间:  2019-5-7 14:22
作者: Lisely

mark
时间:  2019-5-17 15:05
作者: savie

原创吗?
时间:  2019-5-18 03:17
作者: 杨学志

savie 发表于 2019-5-17 15:05
原创吗?

必须原创
时间:  2019-5-20 11:33
作者: savie

那可以去申请专利了
时间:  2019-5-22 10:27
作者: gzljp

诺贝尔奖吗
时间:  2019-12-15 22:40
作者: 阿高

想請問對工程的指导意义比較具體的描述是?

還有對論文中可以延伸到多天線系統是有麼好處?





通信人家园 (https://www.txrjy.com/) Powered by C114