什么是信息论122

　　信息论

　　开放分类：哲学、信息

　　总述（来源:信息论南丰公益书院）

　　信息论

　　信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

　　信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

　　香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：

　　H=-∑pilogpi

　　i

　　这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。南丰公益书院

　　信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

　　互信息(MutualInformation)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

　　I(X,Y)=H(X)+H(Y)-H(X,Y)

　　其中H(X,Y)是联合熵(JointEntropy)，其定义为：

　　H(X,Y)=-∑p(x,y)logp(x,y)

　　x,y

　　互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

　　应用

　　信息论被广泛应用在：

　　南丰公益书院

　　编码学

　　密码学与密码分析学

　　数据传输

　　数据压缩

　　检测理论

　　估计理论

　　信息论第一定律

　　信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

　　信息论的研究范围极为广阔。一般把信息论分成三种不同类型：

　　(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

　　(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。

　　(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

　　信息就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。

　　信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

　　——摘自《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）

　　什么是信息论

　　信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：H=-∑pilogpii这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(MutualInformation)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：I(X,Y)=H(X)+H(Y)-H(X,Y)其中H(X,Y)是联合熵(JointEntropy)，其定义为：H(X,Y)=-∑p(x,y)logp(x,y)x,y互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。

　　什么是信息论

　　信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。信息是一切系统保持一定结构、实现其功能的基础。狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。

　　什么是信息论

　　中文名称：信息论英文名称：informationtheory

　　定义1：关于信息量度量和信息编码、信号处理和分析的科学理论。应用学科：地理学（一级学科）；数量地理学（二级学科）

　　定义2：应用数理统计方法研究信息处理和传递的理论。应用学科：资源科技（一级学科）；资源信息学（二级学科）

　　什么是“熵”？

　　熵

　　熵

　　shāng

　　◎物理学上指热能除以温度所得的商，标志热量转化为功的程度。

　　◎科学技术上泛指某些物质系统状态的一种量（liàng）度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。

　　◎在信息论中，熵表示的是不确定性的量度。

　　1.只有当你所使用的那个特定系统中的能量密度参差不齐的时候，能量才能够转化为功，这时，能量倾向于从密度较高的地方流向密度较低的地方，直到一切都达到均匀为止。正是依靠能量的这种流动，你才能从能量得到功。

　　江河发源地的水位比较高，那里的水的势能也比河口的水的势能来得大。由于这个原因，水就沿着江河向下流入海洋。要不是下雨的话，大陆上所有的水就会全部流入海洋，而海平面将稍稍升高。总势能这时保持不变。但分布得比较均匀。

　　正是在水往下流的时候，可以使水轮转动起来，因而水就能够做功。处在同一个水平面上的水是无法做功的，即使这些水是处在很高的高原上，因而具有异常高的势能，同样做不了功。在这里起决定性作用的是能量密度的差异和朝着均匀化方向的流动。

　　熵是混乱和无序的度量.熵值越大,混乱无序的程度越大.我们这个宇宙是熵增的宇宙.热力学第二定律,体现的就是这个特征.生命是高度的有序,智慧是高度的有序.在一个熵增的宇宙为什么会出现生命?会进化出智慧?(负熵)热力学第二定律还揭示了,局部的有序是可能的,但必须以其他地方更大无序为代价.人生存,就要能量,要食物,要以动植物的死亡(熵增)为代价.万物生长靠太阳.动植物的有序,又是以太阳核反应的衰竭(熵增),或其他的熵增形势为代价的.人关在完全封闭的铅盒子里,无法以其他地方的熵增维持自己的负熵.在这个相对封闭的系统中,熵增的法则破坏了生命的有序.熵是时间的箭头,在这个宇宙中是不可逆的.熵与时间密切相关,如果时间停止流动,熵增也就无从谈起.任何我们已知的物质能关住的东西,不是别的,就是时间.低温关住的也是时间.生命是物质的有序结构.结构与具体的物质不是同一个层次的概念.就象大厦的建筑材料,和大厦的式样不是同一个层次的概念一样.生物学已经证明,凡是到了能上网岁数的人,身体中的原子,已经没有一个是刚出生时候的了.但是,你还是你,我还是我,生命还在延续.倒是死了的人,没有了新陈代谢,身体中的分子可以保留很长时间.意识是比生命更高层次的有序.可以在生命之间传递.说到这里,我想物质与意识的层次关系应该比较清楚了.这里之所以将唯物二字加上引号.是因为并不彻底.为什么熵减是这个宇宙的本质,还没法回答.（摘自人民网BBS论坛）

　　不管对哪一种能量来说，情况都是如此。在蒸汽机中，有一个热库把水变成蒸汽，还有一个冷库把蒸汽冷凝成水。起决定性作用的正是这个温度差。在任何单一的、毫无差别的温度下——不管这个温度有多高——是不可能得到任何功的。

　　“熵”(entropy)是德国物理学家克劳修斯(RudolfClausius,1822–1888)在1850年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。

　　在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。

　　因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。

　　对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。

　　人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。

　　克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。

　　2.信息论中的熵：信息的度量单位：由信息论的创始人Shannon在著作《通信的数学理论》中提出、建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。

　　Shannon公式：I(A)=-logP(A)

　　I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的平均值：

　　H=-SUM(pi*log(pi)),i=1,2…N。H称为熵。

　　什么是 熵

　　熵

　　熵

　　shāng

　　◎物理学上指热能除以温度所得的商，标志热量转化为功的程度。

　　◎科学技术上泛指某些物质系统状态的一种量（liàng）度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。

　　1.只有当你所使用的那个特定系统中的能量密度参差不齐的时候，能量才能够转化为功，这时，能量倾向于从密度较高的地方流向密度较低的地方，直到一切都达到均匀为止。正是依靠能量的这种流动，你才能从能量得到功。

　　江河发源地的水位比较高，那里的水的势能也比河口的水的势能来得大。由于这个原因，水就沿着江河向下流入海洋。要不是下雨的话，大陆上所有的水就会全部流入海洋，而海平面将稍稍升高。总势能这时保持不变。但分布得比较均匀。

　　正是在水往下流的时候，可以使水轮转动起来，因而水就能够做功。处在同一个水平面上的水是无法做功的，即使这些水是处在很高的高原上，因而具有异常高的势能，同样做不了功。在这里起决定性作用的是能量密度的差异和朝着均匀化方向的流动。

　　熵是混乱和无序的度量.熵值越大,混乱无序的程度越大.我们这个宇宙是熵增的宇宙.热力学第二定律,体现的就是这个特征.生命是高度的有序,智慧是高度的有序.在一个熵增的宇宙为什么会出现生命?会进化出智慧?(负熵)热力学第二定律还揭示了,局部的有序是可能的,但必须以其他地方更大无序为代价.人生存,就要能量,要食物,要以动植物的死亡(熵增)为代价.万物生长靠太阳.动植物的有序,又是以太阳核反应的衰竭(熵增),或其他的熵增形势为代价的.人关在完全封闭的铅盒子里,无法以其他地方的熵增维持自己的负熵.在这个相对封闭的系统中,熵增的法则破坏了生命的有序.熵是时间的箭头,在这个宇宙中是不可逆的.熵与时间密切相关,如果时间停止"流动",熵增也就无从谈起."任何我们已知的物质能关住"的东西,不是别的,就是"时间".低温关住的也是"时间".生命是物质的有序"结构"."结构"与具体的物质不是同一个层次的概念.就象大厦的建筑材料,和大厦的式样不是同一个层次的概念一样.生物学已经证明,凡是到了能上网岁数的人,身体中的原子,已经没有一个是刚出生时候的了.但是,你还是你,我还是我,生命还在延续.倒是死了的人,没有了新陈代谢,身体中的分子可以保留很长时间.意识是比生命更高层次的有序.可以在生命之间传递.说到这里,我想物质与意识的层次关系应该比较清楚了.这里之所以将"唯物"二字加上引号.是因为并不彻底.为什么熵减是这个宇宙的本质,还没法回答.（摘自人民网BBS论坛）

　　不管对哪一种能量来说，情况都是如此。在蒸汽机中，有一个热库把水变成蒸汽，还有一个冷库把蒸汽冷凝成水。起决定性作用的正是这个温度差。在任何单一的、毫无差别的温度下——不管这个温度有多高——是不可能得到任何功的。

　　“熵”(entropy)是德国物理学家克劳修斯(RudolfClausius,1822–1888)在1850年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。

　　在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。

　　因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。

　　对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。

　　人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。

　　克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。

　　2.信息论中的熵：信息的度量单位：由信息论的创始人Shannon在著作《通信的数学理论》中提出、建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。

　　Shannon公式：I(A)=-logP(A)

　　I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的平均值：

　　H=-SUM(pi*log(pi)),i=1,2…N。H称为熵。

2020-10-14

上一篇：澳门的市花是什么

下一篇：货腰什么意思