信息论算法
① <信息论与编码>论文
《信息论与编码》，专业基础课，4学时/周；四届，180人
《信息论基础》，专业必修课，4学时/周；五届，1000人
《电子信息工程专业导论》，专业必修课，4学时/周；二届，400人
《信息论与编码》（研究生），专业必修课，4学时/周；五届，200人
《多媒体信息压缩与编码》（博士研究生），专业必修课，2学时/周；二届，12人
承担的实践性教学
本科课程设计，45人/年
本科生毕业设计，5人/年
硕士生毕业论文，6人/年
博士生毕业论文，2人/年
主持的教学研究课题
考试成绩评定方法研究，合肥工业大学教学研究项目，2005-2006，主持
信息安全专业的教学与实践研究，安徽省教育厅教学重点研究项目，2003-2006，第二主持
计算机科学与技术专业实践教学与创新体系研究，安徽省教育厅教学重点研究项目，2007-2009，主要参与
计算机科学与技术专业本科教学课程体系建设与改革研究，安徽省教育厅省级教学研究项目，2005-2007，主要参与
发表的教学相关论文
培养具有高尚道德的拔尖人才，研究生教育，2001年
卷积编码原理的解释，电气电子教学学报，2007年
一种BCH/CRC混合差错控制编码方法，第17届计算机科学与技术应用学术会议论文集，2006年
一种改进的等范数最近邻码本矢量搜索算法，合肥工业大学学报(自然科学版)，2007年
部分国外电子信息类教材编写特点，合肥工业大学学报(社会科学版)，2007年
获得的教学表彰/奖励
安徽省教学名师，安徽省教育厅，2007年
安徽省优秀教师，安徽省教育厅，2004年
国家政府特殊津贴，国务院，1997年
第二届TI中国DSP大奖赛“特殊贡献奖”，竞赛组织委员会，2006年
第二届TI中国DSP大奖赛算法组一等奖的指导教师，2006年
第三届TI中国DSP大奖赛系统组一等奖的指导教师，2008年
第五届“挑战杯”全国大学生课外学术科技作品竞赛“园丁奖”，竞赛组织委员会，1997年
首届安徽省大学生挑战杯课外学术科技作品竞赛一等奖的指导教师，2005年
合肥工业大学本科毕业设计（论文）优秀指导教师，合肥工业大学，2006年
② 信息论的创始人是谁
香农
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：
(2)信息论算法扩展阅读：
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系。
信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如数字用户线路（DSL））。这个领域处在数学、统计学、计算机科学、物理学、神经科学和电机工程学的交叉点上。
信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、信息论安全性和信息度量等。
③ 信息的定义
1．前言
目前关于信息存在各种各样的定义，这其中尚未有完全得到公认的定义。中国科学院编写的《21世纪100个交叉科学难题》一书中已把“信息是什么”列入100个难题之中。究其原因，这些定义都具有一定的局限性，都要么陷入偏颇片面，好比盲人摸象，要么陷入空洞无物，不能够提供具有具体意义的内涵。本文试图分析这些定义，同时也指出它们的局限性，并且在此基础上给出信息的新度量指标，同时为融合信息论和人工智能等学科提供基础。
2．信息的定义及其分析
我们来分析目前流行的信息的定义，我们把它分为如下几类：
（1）抽象型的信息定义：
信息就是信息，既不是物质也不是能量 (Wiener,1948) 。
信息是一种场 (Eepr,1971) 。
信息是系统的复杂性 ( 张学文等 ) 。
信息不是物质，它是物质状态的映射 ( 张学文等 ) 。
信息是事物相互作用的表现形式。
信息是事物联系的普遍形式。
信息是与控制论系统相联系的一种功能现象 ( Укра u нчев ,1963) 。
信息是被反映的物质的属性 ( 刘长林， 1985) 。
信息是人与外界相互作用的过程中所交换的内容的名称 (Wiener,1948) 。
信息是作用于人类感觉器官的东西。
信息是选择的自由度 (Hartley,1928) 。
信息是通信传输的内容 (Wiener,1950) 。
信息是加工知识的原材料 (Brillouin,1956) 。
信息是控制的指令 (Wiener,1950) 。
信息就是消息。
信息就是信号。
信息就是数据。
信息就是情报。
信息就是知识。
信息是一种关系 (Longo,1975) 。
信息是物质的普遍属性。
信息是事物相互作用过程的表征。
信息是结构的表达。
信息是人脑对客观事物属性的能动反映。
信息是物质与意识的中介,是认识的中介。
信息是指人类共享的一切知识。
信息＝数据＋意义（Floridi，2005）
信息一般泛指我们所说的消息、情报、指令、数据、信号等有关周围环境的知识。
信息是我们适应外部世界并使这种适应为外部世界所感到的过程中同外部世界进行交换内容的名称。
信息，就是“意、文、义”三个范畴的总称 (邹晓辉) 。
信息是生活主体同外部客体之间有关情况的消息。
信息本身就是一种模式和组织形式。
信息，并不是指事物本身，而是指用来表明事物或通过事物发出的消息、情报、指令、数据、信号中所包含的东西。
信息是一种能创造价值和能交换的知识，是与资本、劳动共同构成的生产三要素之一。
信息是客观存在的东西。
信息既是主观与客观相互联系、作用的媒介，又是物质世界与精神世界相互作用、联系的桥梁。
信息是物质的普遍属性；它表述它所属的物质系统，在同任何其他物质系统全面相互作用（或联系）的过程中，以质、能波动的形式所呈现的结构、状态和历史。（黎鸣）
信息是标志间接存在的哲学范畴，它是物质（直接存在）存在方式和状态的自身显示。（邬焜）
信息是精确形式与明确内容和意义的必然对应关系（萧瑞宁，2005）。
洪昆辉也定义了信息的体系：本体论的信息是事物及现象的存在方式之一，它是通过一定的媒介对事物及状态的一种显示（映射、反映），它标志事物及现象的间接存在。认识论层次的信息是指通过特定媒介，主体对主客体相互关系存在的映射、显示。
钟义信还提出了一套完整性的信息定义体系，他说：为了得到清晰的认识，我们应当根据不同的条件区分不同的层次来给出信息的定义。最高的层次是普遍的层次，也是无条件约束的层次，我们把它叫做本体论层次。在这个层次上定义的信息是最广义的信息，它的适用最广。然后，如果引入一个条件来约束一下，则最高层次的定义就变为次高层次的定义，而次高层次的信息定义的适用范围就比最高层次定义的范围要窄；所引入的约束条件越多，定义的层次就越低，它所定义的信息的适用范围就越窄。这样，根据引入的条件的不同，就可以给出不同层次和不同适用范围的信息定义；这些不同的信息定义的系列，就构成了信息定义的体系。他提出了自己的信息定义体系：
本体论层次的信息，就是事物运动的状态和 ( 状态改变的 ) 方式。
认识论层次的信息，就是认识主体所感知或所表述的事物运动的状态和方式。
语法信息，就是主体所感知或所表述的事物运动状态和方式的形式化关系。
语义信息，就是认识主体所感知或所表述的事物运动状态和方式的逻辑含义。
语用信息，就是认识主体所感知或所表述的事物运动状态和方式相对于某种目的的效用。
……
上面的这类定义，明显具有很宽的包容性，但是缺乏具体的内容，这类的定义太泛泛，没有在多大程度上消除不确定性，而信息论中认为信息是消除的不确定性的东西，因而可以认为提供的信息量太少，也不便于信息的研究，本文也不对此类没有研究意义的定义进行评论。当然这些定义也没有考虑到下面我们要提出的信息的可靠性问题，把信息当作一种完全可靠的反映，而实际情况是信息往往不反映真实情况，与实际情况有偏离，甚至是颠倒。
（2）以差异、有序性和不确定性等类似的指标来定义的信息定义：
信息是事物之间的差异 (Longo,1975) 。
信息是集合的变异度 (Ashby,1956) 。
信息是用以消除随机不定性的东西 (Shannon,1948) 。
信息是物质和能量在时间和空间中分布的不均匀性 (Eepr,1971) 。
信息是收信者事先所不知道的报导。
信息是系统组织程度的度量 (Wiener,1948) 。
信息是被反映的变异度 ( У∧ cy ∧， 1968) 。
信息是负熵 (Brillouin,1956) 。
信息是有序性的度量 (Wiener,1948) 。
信息是使概率分布发生变动的东西 (特里比斯，Tribes etal, 1971) 。
信息是被反映的差异。
信息是事物组织性，有序性的表征。
信息是消息接受者预先不知道的报道。
信息是组织程度，能使物质系统有序性增强，减少破坏、混乱和噪音。
信息是有秩序的量度。
信息是能用来消除或减少信宿关于信源不确定的东西。
信息= 数据－知识（邹晓辉）。
信息是客体相对于主体的变化。
信息就是相对于任何存在的相对变化，而这种相对变化是可以被分别、识别、了别的。一般而言信息是以某种非决定性所表达的决定性（冯向军）。
李炳铁定义了一套信息体系：信息从本质方面的定义就是物质的变化，信息从度量方面定义就是物质的变化程度；信息从意义方面定义就是人脑的反映，是意识的表现，是信息的内容；信息从广义方面定义就是物质的态（状态、形态），是信息的形式；
信息指数据、消息中所包含的意义，它可以使消息中所描述的事件的不肯定性减少。
信息是事物现象示为 (事体、事件)属性标识的集合。（这里忽视了一个前提的存在，现象示为 (事体、事件)的属性标识本身就是不确定的，不固定的，可能还是无穷的，而本定义的前提是属性标识已经确定）。
这一类的定义具有可以度量，可以研究的优势，但是在笔者看来却天生具有很大的局限性。上面举出了历史上比较着名的关于信息的几乎所有的定义，可以看出，凡是这类反映差异，有序性和不确定性的定义中，都忽视了一个很重要，根本性的因素，那就是信息的可靠度和完备程度。而信息的价值之所以存在，是因为它具有一定的可靠性，同时信息越是完备，也越是为决策提供可靠的资源，而是否确定，则是次要的，人们一般情况下不会有意去追求信息的确定性，但是会有意追求信息的可靠性和完备性。目前的广义信息量，全信息量和统一信息理论都没有考虑到信息的可靠程度这一根本性的问题。
3．信息定义的局限性分析
仙农（Shannon，又译香农）的信息论一直是主流，其他的信息理论的提出者也没有在很大程度上否定它的利用熵的计算公式，因此我们直接对他的信息论进行分析。我们举一个例子：所有可能的消息（或者事件）看作一个集合{m1，m2，m3，m4，……，mn}，设知道一个先验的条件甲，根据这个条件，可以得出事件mi的先验概率是p1(mi)，它不是等概率分布，我们后来另外知道了一个条件乙，该条件下事件是等概率分布的。我们把消息及其对应的概率称为消息集合系统（或者称为带概率集合）。
先验的消息集合系统
条件乙确定的消息集合系统
注意这里的条件乙得出概率是独立得出的，条件甲和乙是相互独立的。它没有考虑先验概率（及其条件甲）的存在，则考虑条件甲和条件乙同时存在的时候，事件的概率应该是一个折衷。由于先验的概率是非等概率的，而条件乙下是等概率的。经过一个折衷运算以后，最终概率相对与先验概率的不确定性一定是增加了，根据信息论的算法，信息量不是增加反而是减少了。
根据一般人的感觉，应当说知道的条件越多，我们的信息越多。但是上面的例子却是一个反例。如果有一个信息，确定程度高，但是却反而不可靠，而另外一个针对同一问题的信息，不那么确定，但是却更加可靠。那么如果在确定性与可靠性之间，人们一般会选择哪个呢？显然人们大多数情况下愿意选择可靠度高的信息。这说明信息还需要有关于可靠度方面的度量指标，但是目前的信息论中关于信息的定义都直接用对不确定性的消除来定义信息，本身就把信息量作为唯一的一个指标了，其实事件的概率本身也是不确定的，否则不可能从小于1的值最后变成0或者1，这说明这个概率依然是不确定的，不可靠的。固然可靠度是一个难于度量的，难于定义的量。但是，笔者认为不确定性的度量同样不是能够简单就能度量的。之所以在通信中能够加以度量，是因为忽视了许多因素的存在。
再举一个例子：当获得消息“所有的事件都是等概率发生的”的时候，对这句话（所有的事件发生呈现什么样的概率分布）而言，它消除了不确定性。但是对于这里的指的所有事件发生而言，它们不可能是更加确定，如果已经存在所有事件发生先验概率，而且不是等概率分布的，则信息是更加不确定了，信息量不是增加而是减少；而如果是没有先验概率，或者先验概率是一个等概率分布，则信息已经到了不确定性的极限，概率分布不变，信息量不变。这个问题的产生是因为信息不是独立的，信息是相互衍生的，概率分布是可以传递的。再比如，在一次一密体制中，如果已知密文，并且已知密钥是等概率分布的这两个条件，我们可以得出明文是等概率分布的。对于我们确定密文，确定密钥的概率分布而言，这两个条件消除了不确定性，但是对于分析明文而言，不确定性不可能是增加，因而信息量不可能是增加。
仙农认为信息是消除不确定性的东西，这说明没有得到信息前信息是不确定的，得到信息以后依然可能是不确定的，而不确定的信息往往是不可靠的，它的可靠程度本身就是一个值得考虑的问题。如果都不可靠的，那么怎么证明哪个对哪个错呢？而且还存在这样的问题，更加可靠的信息和不那么可靠的信息是否可以比较信息量呢？我们如果不考虑准确可靠性，则可以随便就可以自己胡乱编造大量的与现实无关的信息，但是这样的不可靠的信息是没有意义的。
假如把信息的确定性当作唯一的指标，则可以随便制定某一事件的概率为1，其余事件的概率为0就可以了。或者我们把信息的确定性当作首要考虑的指标，其次考虑其可靠性，则我们也可以指定概率最大的事件概率为1，其余事件为0。如果如此，信息论就变得相当的简单了。显然现实中人们不是这样的。由此可见，可靠程度是信息的一个首要指标。既然可靠程度是一个指标，则如何让信息最可靠就是一个重要的目标。
众所周知，信息论适用范围非常狭隘，信息论使用在日常生活领域会漏洞百出。仙农自己也深知信息论的局限性，对信息论的滥用非常愤慨，并措辞严厉地指出人们过度夸大了信息论的重要性，超过了其实际价值，并且要求人们对它的理论的应用不要超出随机统计领域。曾和Shannon合着《通信的数学理论》一书的W.Weaver在该书中的一篇论文中就提出通信的三个水平：水平A——通信的技术问题，如Shannon理论研究的；水平B——考虑到语义问题；水平C——考虑到效用或价值问题。
为什么会如此呢？因为在通信中，只需要正确地得到被发送的消息，被发送的消息可以认为是绝对可靠的，同时也不需要考虑它衍生其他消息的过程，以及对语义的判断，对消息的利用等问题。
再考虑第一类信息定义，也往往把信息作为一种事实或者事物的反映，从而可以认为它们也认为信息是绝对正确和可靠的。对于其他的定义，则都没有提及关于信息的不可靠性。
以上的例子时候违背条件熵不增的结论，下面分析香农对条件熵的定义，已知条件（X，Y）∽p(x,y)。在文献[2]中，香农首先将条件熵H(X | Y）定义为：在不同的y的取值下的x的熵的（加权）平均
H(X|Y）＝ （1）
根据公式（1），可以得出H(X|Y）≤H(X）。
于是得出了条件熵不增加，只可能减少的结论，进而得出了信息是消除不确定性的东西。但是公式（1）并不与我们的例子想违背。因为再公式（1）中只是把不同的事件yj发生的情况下X的熵进行了简单的加权平均，只能说是条件熵的加权平均。可见，已知关于Y的条件后，X的熵只是在平均意义上不增加，单个条件熵并不是绝对意义上不增加。限于篇幅和主题，我们尚且不讨论仙农在此中出现一些其他问题。
4．新信息定义的提出
根据以上的分析，笔者在这里对信息的定义做一个修改，不能尽善尽美，但是能够消除目前定义的一些缺陷，一方面尽量防止概念的狭隘、片面性，另外一方面也避免概念过大，过于空洞而不能提供可以测度，可以理解的“信息”，笔者给出信息的定义如下：信息是在受限制的条件下（比如编码长度限制，分析计算能力限制，分辨率限制等）和考虑各种代价的情况下，尽力追求更高的准确性和可靠性的前提下，通过各种被认可的条件、因素、事实和知识等，以各种被认为精确的或者近似的算法，理论等技术手段或者是人工手段（思考等），采用在一定程度可信的方式直接或间接获得的（被信息处理者认为）对事物更加可靠认识的，可以消除、增加或者不改变不确定性的东西。
我们在上面的定义中，强调了过去被忽视的信息的相对性和不完全可靠性。理由如下：信息是相对的，它是相对于当时的被认可的条件（包括信息，知识，规律等）而言的，而这些被认可的条件的可靠性和完备性是相对的，因此它的可靠性，完备性也是相对的。由于采取的推算方法可能不是绝对正确、可信、科学和理性的，而且还可能掺杂人为主观因素，从而引入各种偏差，所以得到的信息并不与已知所有的条件（包括信息，知识，规律）应该得出的完全客观正确的信息一致的，这是相对性的另外一个方面；信息是可以进化的，更多的条件导致信息更加可靠和完备，信息不是静态的；在没有绝对可靠（正确）的信息的情况下，多个具有一定可靠程度的相关信息是相互协调和折衷的，有绝对可靠的信息存在时，其他的信息应当与它保持一致。注意笔者除了认为不确定性可以增加以外，还认为在可靠度或者准确性增加的情况下，不确定性不改变也是信息的增加。信息的更完备的定义是集可靠度和信息量两个指标于一体。当然在信息的判断中，除了采用客观的算法和信息处理工具进行分析以外，往往还需要人的直接判断，这种判断往往掺杂个人的主观偏见，失误和偏差等主观因素。客观的算法和处理工具也未必是完全准确的判断，而可能是近似的，考虑不周全的，估计性的判断，而且可能判断是不完备的，比如本来可以根据已知的信息衍生出新的信息，从而与其他的相关的信息进行折衷整合，但是如果没有考虑到衍生出该新的信息，则判断是不完备的。
在此还需要说明追求准确性、完备性和可靠性应该是信息论的目标，是前提，而不确定性的消除是一种瓜熟蒂落的自然结果，可以说是一种副产品，不过有时候也可能是不确定性增加或者不变。
在这里的定义中，我们还强调了信息的产生的方式，产生信息的基础，信息的处理方式。这为进行各种信息的获取，信息的处理，信息的融合，信息的运用奠定了一个基础。
5．相对信息论的信息产生模型
为了区别于以往的信息论（包括广义信息论、统一信息理论和全信息论）中存在不考虑信息的可靠性和完备性或者认为信息就是完全可靠完备的局限性，我们以相对信息论区别于其他的信息论。物理中物体运动的相对性是它的参照系，而这里信息的相对性针对的是我们认定的条件，包括那些信息的可靠的，那些信息是不可信的，它们的可靠程度如何等等。我们建立一个信息产生的模型：首先，信息处理者从各方收集信息，比如可以从不同的人或者资料来获取信息，这许多的信息需要进行相关的处理，处理者可以根据各种已知的知识，规律等等来进一步衍生新的信息，好比机械设备在获得一定的作用的时候，它会根据机械设备的机制来作用于其他的物体，从而衍生了新的作用。衍生的信息以及最初获得的各种信息之间本身还可能不一致，有些是相互补充的，有些则是不一致的， 因此需要整合和折衷，这好比机械设备产生的一些作用导致一些被作用的物体相互发生碰撞，产生反作用，或者由于力的作用在同一个物体上，力的作用不一致的时候，最终对物体的作用是这些力的综合。折衷整合的时候需要以我们认定的条件为基础，包括各个信息的可靠程度。
依据知识，规律等衍生信息
衍生的新信息
衍生的新信息
信息的折衷整合
信息的获得
信息的获得
信息的获得
图1 相对信息论的信息产生模型
6．结束语
本文列举了信息的定义，并且进行了分析，指出一类定义具有舍本逐末的缺陷，即不重视信息的可靠程度，却把信息所带来的不确定性消除作为唯一的内容，这不利于信息论在人工智能和社会信息科学等领域的应用，特别是社会信息科学问题相对其他的信息科学问题更加复杂，更加具有相对性、多元性、多重的不确定性和模糊性，因而更加具有相对性。这里提供的定义为信息论在非通信领域的应用提供了很好的基础，这样可以让信息论更加名副其实，因为目前的信息量大多数情况下是应用在通信领域，它仅仅是与信息相关的一个环节。本文的内容仅仅涉及到信息论的部分层面，仙农信息论还有许多缺陷，一些学者也有所研究，在此不赘述。
④ 信息量的计算方法
信息论创始人C.E.Shannon，1938年首次使用比特（bit）概念：1（bit）= 。它相当于对二个可能结局所作的一次选择量。信息论采用对随机分布概率取对数的办法，解决了不定度的度量问题。
m个对象集合中的第i个对象，按n个观控指标测度的状态集合的
全信息量TI= 。
从试验后的结局得知试验前的不定度的减少，就是申农界定的信息量，即
自由信息量FI=－∑pi ，（i=1,2，…，n）。
式中pi是与随机变量xi对应的观控权重，它趋近映射其实际状态的分布概率。由其内在分布构成引起的在试验前的不定度的减少，称为先验信息或谓约束信息量。风险是潜藏在随机变量尚未变之前的内在结构能（即形成该种结构的诸多作用中还在继续起作用的有效能量）中的。可以显示、映射这种作用的是
约束信息量BI=TI-FI。
研究表明，m个观控对象、按n个观控指标进行规范化控制的比较收益优选序，与其自由信息量FI之优选序趋近一致；而且各观控对象“愈自由，风险愈小”；约束信息量BI就是映射其风险的本征性测度，即风险熵。
把信息描述为信息熵，是状态量，其存在是绝对的；信息量是熵增，是过程量，是与信息传播行为有关的量，其存在是相对的。在考虑到系统性、统计性的基础上，认为：信息量是因具体信源和具体信宿范围决定的，描述信息潜在可能流动价值的统计量。本说法符合熵增原理所要求的条件：一、“具体信源和信宿范围”构成孤立系统，信息量是系统行为而不仅仅是信源或信宿的单独行为。二、界定了信息量是统计量。此种表述还说明，信息量并不依赖具体的传播行为而存在，是对“具体信源和具体信宿”的某信息潜在可能流动价值的评价，而不是针对已经实现了的信息流动的。由此，信息量实现了信息的度量。
⑤ 信息论与机器学习有着怎样的关系
信息论与机器学习同为涉及计算机科学和应用数学等学科的分支领域，这两门交叉学科在起源和应用上有很多相似之处。信息论的理论体系相对成熟一些。机器学习这些年比较受欢迎，理论和应用的扩充发展速度远远更快且看不到饱和的趋势。两个方向互有交叉，但主要还是机器学习中借用信息论的方法以此拓展理论研究和应用场景，比较典型的就是借鉴信息理论创造和改进学习算法
⑥ 信息理论与编码的图书信息2
书名:信息理论与编码
图书编号:693777
出版社:人民邮电出版社
定价:21.0
ISBN:711512067
作者:吕锋
出版日期:2004-02-01
版次:1
开本:16开
简介:
本书系统地讲述了信息论的基础理论。全书分8章，分别讨论了信息的度量、信源无失真编码、信道编码、信息率失真函数、网络信息论以及信息安全的理论与方法。
本书注重基本概念，论述力求简明，可作为高等院校通信类、信息类、电子工程类及相关专业的教材，也可供有关科研人员参考。
目录:
第一章绪论
1.1信息的基本概念
1.1.1信息概念的复杂性
1.1.2信息的定义
1.2信息论的研究目的和内容
1.2.1信息传输基本模型
1.2.2信息论研究的内容
1.2.3目前信息论的主要研究成果
1.3信息论的发展历程与应用概述
1.3.1信息论发展简史
1.3.2信息论的应用
习题
第二章信息的度量
2.1信源模型
2.2信息的描述
2.3不确定性与信息
2.3.1自信息量
2.3.2联合自信息量
2.3.3条件自信息量
2.3.4自信息量的性质和相互关系
2.3.5互信息量及其性质
2.4离散随机变量的(统计)平均不确定性度量--离散熵
2.4.1离散熵
2.4.2离散熵的性质
2.5联合熵和条件熵
2.5.1联合熵
2.5.2条件熵
2.5.3各类熵之间的关系
2.6平均互信息量及其性质
2.7离散无记忆信源的扩展
2.8离散有记忆信源的熵
2.9马尔可夫信源的信息熵
2.9.1马尔可夫链
2.9.2马尔可夫信源
2.9.3马尔可夫信源的信息熵
2.10离散信源的信息(速)率和信息含量效率
2.11连续随机变量的熵和平均互信息量
2.11.1连续随机变量的熵
2.11.2连续随机变量的联合熵、条件熵以及平均互信息量
2.11.3微分熵的极大化问题
2.11.4连续信源的熵功率
本章主要概念
习题
第三章信道模型和信道容量
3.1信道模型与信道分类
3.2离散无记忆信道的数学模型
3.3概率的计算问题
3.4信道的疑义度、散布度和平均互信息
3.4.1信道的疑义度
3.4.2信道的散布度
3.4.3信道的平均互信息
3.5信道容量
3.5.1信道容量的定义
3.5.2离散无噪信道的信道容量
3.5.3离散对称信道
3.5.4一般DMC达到信道容量的充要条件
3.5.5信道容量的迭代算法
3.6扩展信道及其信道容量
3.6.1扩展信道的数学模型
3.6.2扩展信道的平均互信息量和信道容量
3.7信道的组合
3.7.1串联信道
3.7.2独立并联信道
3.8信源与信道的匹配
3.9连续信道及其信道容量
3.9.1连续信道的数学模型
3.9.2加性高斯噪声信道的信道容量
3.9.3一般加性噪声信道的信道容量的界
3.10波形信道及其信道容量
本章主要概念
习题
第四章离散无记忆信源无失真编码
4.1信源编码概论
4.2码的惟一可译性
4.2.1常见码及其惟一可译性
4.2.2码树和Kraft不等式
4.3定长编码定理和定长编码方法
4.4变长编码定理
4.5变长编码方法
4.5.1霍夫曼编码
4.5.2费诺编码
4.5.3香农编码
4.6几种实用的无失真信源编码
4.6.1游程编码
4.6.2算术编码
4.6.3基于字典的编码
本章主要概念
习题
第五章有噪信道编码
5.1译码规则与错误概率
5.2两种典型的译码规则
5.3平均差错率与信道编码
5.3.1简单重复编码
5.3.2对符号串编码
5.4汉明距离
5.5有噪信道编码定理
5.5.1联合典型序列
5.5.2有噪信道编码定理的证明
5.6Fano不等式和有噪信道编码逆定理
5.7线性分组码
5.7.1线性分组码的生成矩阵和校验矩阵
5.7.2汉明距离和码的纠、检错能力
5.7.3线性码的伴随式与伴随式译码
本章主要概念
习题
第六章限失真信源编码
6.1失真测度
6.2信息率失真函数及其性质
6.2.1信息率失真函数的定义
6.2.2信息率失真函数的性质
6.3限失真信源编码定理
6.4信息率失真函数的计算
6.4.1离散信源信息率失真函数的参量表示计算方法
6.4.2离散信源信息率失真函数的迭代计算方法
本章主要概念
习题
第七章网络信息论基础
7.1概论
7.2网络信道的分类
7.3典型信源编码模型
7.4多随机变量联合典型序列
7.5相关信源编码
7.6多址接入信道
7.7高斯多址接入信道
7.8广播信道
7.9中继信道
7.10具有边信息的信源编码和数据压缩
本章主要概念
习题
第八章信息安全与密码学基础
8.1信息安全概述
8.2网络模型与安全服务功能
8.2.1开放系统互联OSI模型
8.2.2安全分层原则
8.2.3安全服务功能
8.2.4网络安全对策
8.3密码学基础知识
8.3.1基本术语
8.3.2代替密码
8.4密码算法的数学背景
8.4.1信息论
8.4.2复杂性理论
8.4.3数论基础
8.5数据加密标准(DES)
8.5.1数据加密标准的开发
8.5.2DES算法概要
8.5.3初始置换
8.5.4密码运算函数f(R,K)
8.5.5密钥置换
8.5.6扩展置换
8.5.7S盒替代
8.5.8P盒置换
8.5.9逆初始置换
8.5.10DES的安全性
8.5.11DES的硬件实现
8.6公开密钥算法
8.6.1公开密钥密码体制
8.6.2背包公钥密码
8.6.3RSA公钥加密
8.6.4数字签名
本章主要概念
习题
参考书目
⑦ 香农信息论的局限性
香农信息论本身在当今的科研与工业界已经表现出强烈的局限性。其实过去有很多经典的理论在现今已完全不适用。比如在无线通信领域，经典的MIMO beamforming经工业界验证，根本无法用电路实现，因为beamforming的信号处理的算法都过于复杂，而完全不具有实时性。通信/信息论领域在最近20年内虽然出现了一些活跃的研究方向，除了多天线技术MIMO，其它几乎所有的依然只是停留在理论阶段而毫无现实意义。与其通过多年信息论的研究，做出种种不切实际的假设，往往还要付出各种开销，把某种通信情形下的带宽提高一丁点，不如直接让中国移动再花10万买一个新基站或者让中国电信多拉一根光纤以直接实现扩容。
这种局限性在国外顶尖大学信息论研究的人员变化上也有明显的反映：比如信息论精英云集的斯坦福大学，当年那些提出种种经典理论的教授们，现在早已停止大规模招生，沉寂学界，等待退休。这些顶尖学府新加盟的年轻教授，都是现今前沿学科的卓越研究者，而鲜有像通信/信息论这种已经非常成熟的领域的研究者。
这种局限性也体现在当今IT巨头们的业务重组中。通信/信息论仅仅是信息学科的冰山一角，信息学科/信息产业的其它方面依然非常活跃。比如中国最大的IT企业华为，早已公开宣布通信业务进入天花板期，需要寻找新的业务增长点；拥有信息论的发源地——贝尔实验室的阿尔卡特-朗讯，早已衰败不堪；其他传统通信企业比如诺基亚西门子常年亏损，面临裁员危机；中兴华为等中国IT企业纷纷高调进军云计算；谷歌、亚马逊等云计算领军企业早已在硅谷赚得钵盆满满。
通信/信息论到现在最大的问题是，它们本来应该是工程学科，应该有很好的工程应用，可是在最近20年中变成了纯理论的研究，完全脱离了工业实际。因此这样的研究它们自己也被工业界抛弃。学校里的研究主要是基于研究者的假设，研究者自身由于没有机会接触工业实际，不可能考虑到实际的工程需求；他们往往也不会考虑算法的实现复杂度与电路实现的实时性，而仅仅是追求一个他们自己可以求出的解，用以发表论文。以至于这个领域绝大多数的研究仅仅只是追求复杂、漂亮的数学表达，而完全脱离了它们的工程本源。
科研最先进的美国大学早已淡化通信/信息论领域的研究与教育，而世界其他地方和中国国内依然在“跟进”别人几年前甚至十几年前的研究，继续投入资金人力在已经十分成熟的领域做没有太多意义的探索。这会造成巨大的资金和人力浪费。同时，招入大量学生学习入门此领域必须的大量晦涩难懂的数学亦是浪费学生学习实用技术的时间，误人前程。
⑧ 求 信息论与编码 学习心得
学习信息论与编码感想
多媒体信息是未来人类获取信息最主要的载体，因此它已成为目前世界上技术开发和研究的热点。视频信息作为多媒体信息中最被关注、数据量最大的一员，现在也正面临着一场其意义不亚于从模拟到数字的技术进步革新：从传统的矩形DCT变换编码到根据视频内容、划分对象、分别变换编码的新的编码方法。
一、传统的编码方式
传统的视频编码是以视频信号的数字量为编码对象的，与视频信息的内容无关，无论是M-JPEG、MPEG-1还是MPEG-2，都是以DCT矩形变换块为变换编码单元，对DCT块内图像的亮度和色度进行特征取样，提取像素；采用帧间编码、运动估测技术，在参考帧帧内DCT编码的基础上，对DCT块内图像的像素特征进行差值预测编码。基于矩形DCT编码的视频编码在设计思想上只考虑到对信号数据进行处理的需要（比如小的比特率以利于传输、高的比特率以保证质量），但未考虑视频信息--图像内容本身的含义和重要性，以及视频信息应用者的主观需求（比如部分内容的提取功能）。另外，这种基?quot;块"的压缩算法在低码率时容易产生"方块效应"和"抽帧"，大大缩小了视频信息的应用领域。
小波变换是一种新的变换编码方法，它与DCT变换相比，考虑到了视频信号对不同应用环境的自适应性（不同的清晰度与比特率），可以将基础图像层与增强图像层分离编码传输，用户可根据实际情况选择是否打开增强图像层。但无论用户选择是或否，被传送的视频信息却都是一样的。
二、 基于内容对象的编码
1、 VO与VOP概念的引入
传统的视频编码方式是将整个视频信号作为一个内容单体来处理，其本身不可再分割，而这与人类对视觉信息的判别法则，也就是大脑对视神经导入的视觉信号的处理方法是完全不同的。这就决定了我们不可能将一个视频信息完整的从视频信号中提取出来，比如：将加有台标和字幕的视频恢复成无台标、字幕的视频。解决问题的惟一途径就是在编码时就将不同的视频信息载体--视频对象VO（Video Objects）区分开，独立编码传送，将图像序列中的每一帧，看成是由不同的VO加上活动的背景所组成。VO可以是人或物，也可以是计算机生成的2D或3D图形。VO具有音频属性，其属性赋值可能?quot;有"或者是"无"。但音频的具体内容数据是独立于视频编码、传输的。VO概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化。提高了视频信号的交互性和灵活性，使得更广泛的视频应用和更多的内容交互功能成为可能。
现代图像编码理论指出，人眼捕获图像信息的本质是"轮廓－纹理"，即人眼感兴趣的是VO的一些表面特性，如形状、运动、纹理等。VO的表面往往是不规则的、千变万化的，但可将其视为一定视角下，n个形状规则的、具有一定纹理的剖面的组合的连续运动，这些剖面的组合称为视频对象面VOP(Video Object Profile)。VOP描述了VO在一定视角条件下的表面特性。VOP的编码主要由两部分组成：一个是形状编码，另一个是纹理和运动信息编码。VOP纹理编码和运动的预测、补偿在原理上同MPEG-2基本一致，而形状编码技术则是首次应用在图像编码领域。
2、新的编码技术
合成VO的独立编码 在以前，2D或3D动画被看作是视频的一部分，并一概以视频的方法来处理。实际上，根据合成VO的合成机理和特性，大部分合成VO都可以用通用的有关图形文本的多种表达方式来描述。非复杂性合成VO将被视为一种独立于视频的数据类型来编码，并定义了其描述框架、通用的数据流结构和灵活的接口。而复杂性合成VO和自然VO的编码方法，将采用以下的编码方法。
基于矩形窗口的VOP分割 考虑到与现有标准的兼容，目前已得到应用的VO编码技术，比如MPEG4，仍采用了基于矩形窗口的内容分割法。编码时，首先利用像素特征统计，将每一个VOP都限定在一个矩形窗口内，称之为VOP窗口(VOP Window),取窗的原则为：长、宽均为16像素的整数倍（便于对现有标准的兼容和将来的扩展），同时保证VOP窗口中非VOP的宏块数目最少。目前标准中的视频帧可认为是一个无VOP的特例，在编码过程中将形状编码模块屏蔽掉就可以了。在一个VOP窗口内，VOP剖面的形状也是采用8×8像素的矩形形状。针对不同的VOP，可以根据不同的应用场合和运动、变化的特点，采用固定的或可变的VOP帧频（即VOP刷新频率）。
矩形窗口分割法并不能体现VOP的具体形状信息。为了确认采用矩形窗口分割法的VOP的形状信息，就引入了形状编码技术。形状编码其实并不是什么新技术，它在计算机图形学、计算机视觉领域早有应用。而目前的视频编码标准中的位图技术其实就是形状编码的简单特例。位图采用矩阵的形式来表示二值（0或1）的形状信息，具有较高的编码效率和较低的运算复杂度。VOP的形状信息有两类：边缘信息和灰度信息。边缘信息用0、1来表示VOP的形状，0表示非VOP区域，1表示VOP区域。对于包含一定透明度的VOP区域，可以用灰度信息（取值0～255之间）来表示透明程度，其中0表示完全透明，255表示完全不透明。对于模糊边缘部分，可将其视为灰度信息从周围已知VOP区域的灰度值向0值的过渡区域，采用内插法确定其形状信息。
基于小波变换的VOP分割 基于矩形窗口的VOP分割依旧存在"块效应"问题，而基于小波变换的VOP分割则可以很好的解决这个问题，而且由于这种分割方法的本身就包含了VOP的形状信息，所以无需另对形状信息进行判别与编码。基于小波变换的VOP分割方法是目前最为活跃的视频编码课题研究领域，各种算法不断的被发表，但基本上可以划分为两类方法：
1、利用图像灰度特征分割：不同的图像具有不同的灰度分布，利用小波变换，将图像变换到小波域，产生各层、各子带图像。小波变换后，大部分的能量是集中在低频子带图像上，即大面积的平均灰度区域信息主要在低频子带图像中体现。根据信息论的原理，确定多个灰度阈值，可以将具有不同灰度的VOP从低频子带图像中分离。同时再利用高频子带图像以及模糊数学模型，确定每一个VOP的边缘信息。利用图像灰度特征分割的小波变换，是沿扫描方向的单方向变换。
2、利用图像纹理特征分割：纹理是一种局部特征反复出现的结果，它体现了图像的局部频域信息。对于一幅数字图像，进行多方向的小波变换是可行的，比如对一帧画面进行垂直方向或对角线方向的小波变换。经过多种小波变换后可得到不同方向的各子带图像，它们各自蕴涵着不同纹理的局部频谱信息和纹理走向等信息。对具有相同频谱特征的图像局部进行聚类分析，并根据纹理频谱和纹理走向确定该聚类的纹理边缘。根据信息论原理和运动估测，将运动矢量具有相关性的聚类二次归类于不同的对象（即VOP），并影射成不同灰度显示。多级小波变换的结果最多可线性的影射成0～255灰度级显示。进行小波变换的方向越多，各方向的夹角越小，图像分割也就越准确，但计算量也随之迅速膨胀。根据局域纹理中心频率的变化自适应地选择小波变换的级数（几个方向的变换）和方向，有助于在图像分割的准确性和计算量之间达到平衡。正如本文前面所述，人眼捕获图像信息的本质?quot;轮廓－纹理"，故基于多方向小波变换的提取图像特征、分割纹理图像的方法符合人眼视觉生理的特点，是纹理图像分析的重要发展方向。
无论是哪一种方法，当得到不同VOP的不同灰度表示之后，通过类似于键技术的多通道处理，即可得到多个原始的彩色VOP。目前实验表明，基于小波变换的图像分割在边界上仍有些模糊，但总体效果还是相当满意的，达到了分割纹理图像的目的。
VOP运动信息编码和运动补偿 人眼在观看图像时，会自动跟踪人所感兴趣的VOP。即人看的不是时间轴上的信息，而是VOP的运动轨迹---光流轴上的信息。光流轴是VOP上的一点在活动图像上的运动轨迹，它在不同的帧中位于不同的空间位置，其意义在于：VOP自身的各种变化都将映射于光流轴上的一点。光流轴信息的独立编码将带来诸多好处：（1）在编码时，对于刚性VOP，由于它在运动中不会发生形状和纹理上的变化，故该VOP只需要完成一次采样、编码，而后就只需发出几个运动矢量指明它的光流轴即可；对于非刚性VOP，只需在发生变化时才需要重新采样、编码，这就使得不同的VOP采用不同的VOP帧频成为可能，将编码的数据率最低限度的降低。（2）VOP在运动中的各种变化都将"留迹"于光流轴，当在进行运动补偿时，比如不同制式之间的转换或者慢动作的制作，就可以根据光流轴映射信息，采用内插法得出时间轴上某一确定点的VOP状态，达到无损转换的目的。（3）在时间轴上，简单的将一个图像序列的两路信号叠加，随即噪波和图像的活动部分都得不到增强；若在光流轴上进行信号叠加，活动图像的降噪问题就得到了简单解决。
VOP的运动估测是指：分析两个或更多帧上的VOP，确定光流轴，以判断下一帧中VOP可能出现的位置。VOP的运动补偿是指：根据VOP光流轴的取向和光流轴上VOP自身变化得映射信息，矫正VOP在时间轴上的运动矢量。运动预测和运动补偿技术可以去除图像信息中的时间冗余成分，VOP的运动信息编码可视为从像素向任意形状的VOP的延伸。
纹理编码 在已得到实际应用的MPEG-4中，VOP的纹理编码基本上仍采用基于8×8像素块的DCT方法，有3种模式：帧内编码模式(I-VOP)、帧间预测编码模式(P-VOP)和帧间双向预测编码模式(B-VOP)。编码时，对于完全位于VOP内的像素块，则采用经典的DCT方法；对于完全位于VOP之外的像素块则不进行编码；对于部分在VOP内，部分在VOP外的像素块则首先采用图像填充技术来获取VOP之外的像素值，之后再进行DCT编码。
依据视觉特性的纹理编码目前仍处于理论研究阶段，其目标是：建立常见纹理局部特征符号集，定义描述纹理分布、走向的多媒体语言。以人脸为例：人脸定义参数（FDP）描述了特定人脸纹理形状模型与通用人脸模型之间的差别，通过接收到的各种FDP，能把通用的人脸模型变换成由其形状和纹理确定的特定人脸。人脸动画参数（FAP）描述了特定的人脸表情与中性表情的变化关系，通过接收到的各种FAP能生成人脸的各种表情以及与声音同步的嘴唇活动等。这样的合成编码不仅可极大地提高编码效率（可获得1kbps的超低码率），而且为制作新的人脸等对象提供了方便。
分级编码 多媒体的应用场合具有不同的信道带宽、处理能力、显示能力及用户需求，要求在解码端支持时域、空间及质量的上伸缩性，即分级编码。分级编码可以通过视频对象层VOL(Video Object Layer)的数据结构来实现。每一种分级编码都至少有2层VOL，低层称为基本层，高层称为增强层。空间伸缩性可通过增强层强化基本层的空间分辨率来实现，因此在对增强层中的VOP进行解码之前，必须先对基本层中相应的VOP进行解码。同样对于时域伸缩性，可通过增强层来增加视频序列中某个VO(特别是运动的VO)的帧率，使其与其余区域相比更为平滑。
三、 新的技术标准--MPEG 4
首次采用VO编码技术的视频编码标准是由MPEG 4。MPEG 4于1999年年初正式成为国际标准(标准号为ISO/IEC 14496)，在1999年12月的后继版本中增加了可变形、半透明视频对象及其工具的先进功能，它进一步提高了编码效率，并与第一版反向兼容。
1、MPEG 4标准的构成
1） DMIF（The Dellivery Multimedia Integration Framework）：多媒体传送整体框架协议。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供灵活的算法及工具，用于实现音视频数据的有效编码及更为灵活的存取。它解决了多领域中多媒体应用个性化交互操作的问题。
2） 解码器：定义了MPEG-4系统特殊的解码模式（SDM），要求特殊的缓冲区和实时模式。
3） 音频编码：支持自然声音和合成声音，支持音频的对象特征。
4） 视频编码：支持自然和合成的视觉对象，合成的视觉对象包括2D、3D动画和人面部表情动画等。
5） 场景描述BIFS（Binary Format for Scene description）：关于一组VO的时空结构关系的参数信息，主要描述了各VO在一具体背景下的相互关系与同步等问题，以及VO及其背景的知识产权保护等问题。BIFS与VO对象特征信息的编码、传输是相对独立的。场景描述信息编码及其的独立传输是实现用户端编辑操作的关键：在解码之后和场景合成之前，用户可以通过对BIFS参数的重新设置来对VO 进行多种编辑操作，如增减、缩放、平移，甚至一些特技效果。
下面的表格反映了MPEG体系的部分技术指标。MPEG-4是高比率有损压缩（比如将一个9 GB的DVD视频压缩拷贝到只有700MB空间的CD-ROM上），其图像质量始终无法与MPEG-2相比。当MPEG-4与MPEG-2的码率输出相同时，其质量仍稍逊于MPEG-2。同时，MPEG 4对硬件的要求也较高。事实上，我们注意到MPEG-4在保证令人满意的图像质量的情况下，更注重较低的数据率和灵活的交互功能。
2、MPEG 4编码器
MPEG 4编码简化原理图如图一。
对于输入视频序列，通过分析确认n个视觉目的对象为编码对象，将其认定为n个VO（n=1,2,3…），对每一个VO编码后形成这个VO的VOP数据流。VOP的编码包括对运动(采用运动预测方法)及形状、纹理(采用变换编码方法)的编码。由于VOP具有任意形状，因此要求编码方案可以处理形状(Shape)和透明(Transparency)信息，这就是与只能处理矩形帧序列的现有视频编码标准的根本区别。在MPEG-4中，矩形帧被认为是VOP的一个特例，这时编码系统不用处理形状信息，退化为类似于MPEG-1、MPEG-2的传统编码系统，同时也实现了与现有标准的兼容。除去VO的其余图像部分--背景，仍采用传统的矩形DCT变换编码；VO场景描述信息（VO自身信息，如VO对象的知识产权、和VO间的位置、逻辑关系等）也要进行编码，最后和VOP流、背景一起送入MPEG 4帧复合器，生成MPEG 4流输出。
需指出的是：在VO分割后，每一个VO都需要一个VOP编码通道，在图一中只画出了一个。多个VOP帧发生器的输出在MPEG 4帧复合器中可实现灵活地多路复用编码或同步并行传输编码，以适应各种传输环境和要求。MPEG 4解码是以上编码过程的逆过程。可以看出，独立于背景的VO编码可以实现接收端的用户对VO对象进行选择性地操作。
3、MPEG 4视频编码功能与特点
MPEG 4标准的制定有两个目标：低比特率的多媒体通信和多工业的多媒体通信的综合。即MPEG-4遵循灵活的编码工具框架体系，设计了一个开放的编码系统，对于不同的应用采用不同的编码算法，以达到低比特率通信的目标。MPEG-4解码器是可编程的，相应的解码信息可与内容本身一起传输下载。与现有的MPEG-1和MPEG-2视频压缩相比，MPEG-4视频有一些重要的改进：
1）基于内容的交互功能: MPEG-4提供了全新的交互方式，根据制作者的具体自由度设计，在有限的时间内可实现对多媒体VO的时域随机存取（从不同的源获取内容或向不同的源发送内容）、快速搜索、改变场景的视角、改变场景中物体的位置、大小和形状，或对该对象进行置换甚至清除。
2）支持自然及合成信息的混合编码（NHC：Synthetic and Natural Hybrid Coding）：MPEG-4支持合成信息的编码，可对合成的VO及其活动信息进行参数化描述。对于频繁出现的视觉对象则分别定义了它们的纹理形状和动画参数。
3）高效编码：包括视频VO数据的高效编码和多个并发数据的有效同步编码。
4）基于内容的伸缩性：是指分级编码后，纹理、图像和视频基于内容的伸缩性，视频序列中时域、空间及质量的伸缩性，表现为时域实时或非实时、数据率大小及重建的图像质量上。
5）可变的最终输出：不同的码率意味着支持不同的功能集。功能集的底层是VLBV核心(VLBV：Very Low Bit Rate Video)，它为最低达5-64kbits/s视频操作与应用提供算法与工具，支持较低的空间分辨率(低于352×288像素)和较低的帧频(低于15Hz)。VLBV核心功能包括：矩形图像序列的有效编码、多媒体数据库的搜索和随机存取。MPEG-4的HBV(HBV: High Bit Rate Video,范围在64kbits/s-4Mbits/s之间)同样支持上述功能，但它同时还支持较高的空间与时间分辨率。其输入可以是ITU-R 601的标准信号，因此其典型应用为数字电视广播与交互式检索。
与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互式AV服务以及远程监控。MPEG-4是第一个允许用户端操作的的视频编码标准。MPEG 4的特点非常适合于互联网上的交互式影视服务：可适应各种应用终端的物理网络环境，可实现对视音频内容的交互操作，具有下载解码能力（在一定的硬件基础上，可下载解码工具，对不同编码方式的内容进行解码处理）。MPEG-4的设计目标还有更广的适应性和可扩展性：因特网多媒体应用、交互式视频游戏、实时可视通信、交互式存储媒体应用、广播电视、演播室技术及电视后期制作、多媒体内容存储和检索、采用面部动画技术的虚拟会议、多媒体邮件、移动通信条件下的多媒体应用、可视化合作实验室场景应用、远程视频监控、通过ATM网络等进行的远程数据库业务等等。
从矩形帧到VOP，MPEG-4顺应了现代图像压缩编码的发展潮流，即从基于DCT的传统编码向基于对象和内容的现代编码的转变。从这个意义上讲，MPEG-4视频编码技术翻开了图像编码史上崭新的一页。
四、 MPEG 4视频产品
在2001 NAB会展上，多家公司推出了他们的MPEG 4产品。Amnis公司推出了基于IP平台的MPEG4视频流技术，展示了可以重放MPEG1, MPEG2和MPEG4的桌面软件。Envivo 公司陈列了他们的应用于IP网络或MPEG2节目数据广播的MPEG4端到端解决方案。该方案是纯软件的，支持视频、音频和合成的2D动画的MPEG4方式编码，以及对MPEG 4文件的版权保护。Optibase公司推出的MGW系列是一个插件式的多通道流服务器系列，可插入不同的编码模块以适应不同的需求，其中MGW 4000是支持MPEG4（兼容MPEG1和MPEG2）的流服务器。Optibase还推出了支持多媒体和交互MPEG4流的IP实时编码、分配平台。最后，Optibase展示了从MPEG 1到MPEG 4的实时转码技术。Philips 提供了一个从制作到重放的、端到端的网上MPEG-4解决方案：包括互动内容编辑器（支持网上MPEG-4视频流的搜索、剪辑和编辑）、实时软件MPEG-4编码器（甚至支持简单视频和AAC音频的无线编码）、通用多点分配IP平台和解码软件（WebCine' player支持Win95,Win2000和NT操作系统；WinCE用于手提电脑；Trimedia是一个网上广播机顶盒）。SUN 公司也推出了他们的通用MPEG-4流服务器。
微软在它现在的WIN98和WIN2000操作系统中也已加入了一个MPEG-4的播放器，叫做Divx。它可以回放仍是以.AVI为后缀的MPEG 4文件。Divx可以附加到MPEG-4的数据流中，并可以进行设置以适应不同的使用要求。Divx视频编码技术是由 Microsoft MPEG4 V3 修改而来，使用MPEG 4压缩算法，打破了ASF的种种协定。但MPEG4毕竟是一种高比率有损压缩，其图象质量始终无法和 DVD 的 MPEG2 相比，即便是在MPEG4码率和DVD码率差不多时，总体效果还是有距离（在杂乱的细节上稍有模糊）。所以目前的MPEG4 只能面向于娱乐和欣赏方面的市场。
市场上的第一张DIVX-MPEG4格式的影碟《活火熔城》，长98分钟，采用512×288 16:9格式，帧频24帧/秒，64KB立体声音频。影片由720×480 16:9 30帧/秒的MPEG2制式转刻，刻在单张CD盘片上。
六、结 尾
在最后结束本文的时候，作者还想说一些与本文有关的阐述文字。由于工程实现与商机、市场的原因，我们所获得的工程技术成果经常是落后于科学家已经得心应手、并能信手拈来的实际的最前沿科技成果。MPEG-4标准即是多因素集合作用的结果，如果不考虑对已有产品的兼容，它还可以做得更好。
VOP编码方式是视频信号处理技术从数字化进入智能化得初探。另外，已VOP技术为依托，也使得模式识别技术从对符号的识别进入到对图形识别的更新的领域。资料表明，此类研究已经更进一步的逼近人脑对视觉信息的处理方式。人类永远不停的在揭示自然界无穷奥妙的同时，也更深入的探索人类自身。
⑨ 什么是ID3算法
ID3算法是由Quinlan首先提出的。该算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。以下是一些信息论的基本概念：
定义1：若存在n个相同概率的消息，则每个消息的概率p是1/n，一个消息传递的信息量为-Log2(1/n)
定义2：若有n个消息，其给定概率分布为P=(p1,p2…pn)，则由该分布传递的信息量称为P的熵，记为
。
定义3：若一个记录集合T根据类别属性的值被分成互相独立的类C1C2..Ck，则识别T的一个元素所属哪个类所需要的信息量为Info(T)=I(p)，其中P为C1C2…Ck的概率分布，即P=(|C1|/|T|,…..|Ck|/|T|)
定义4：若我们先根据非类别属性X的值将T分成集合T1,T2…Tn，则确定T中一个元素类的信息量可通过确定Ti的加权平均值来得到，即Info(Ti)的加权平均值为：
Info(X, T)=(i=1 to n 求和)((|Ti|/|T|)Info(Ti))
定义5：信息增益度是两个信息量之间的差值，其中一个信息量是需确定T的一个元素的信息量，另一个信息量是在已得到的属性X的值后需确定的T一个元素的信息量，信息增益度公式为：
Gain(X, T)=Info(T)-Info(X, T)
ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定集合的测试属性。对被选取的测试属性创建一个节点，并以该节点的属性标记，对该属性的每个值创建一个分支据此划分样本.
数据描述
所使用的样本数据有一定的要求,ID3是:
描述-属性-值相同的属性必须描述每个例子和有固定数量的价值观。
预定义类-实例的属性必须已经定义的,也就是说,他们不是学习的ID3。
离散类-类必须是尖锐的鲜明。连续类分解成模糊范畴(如金属被“努力,很困难的,灵活的,温柔的,很软”都是不可信的。
足够的例子——因为归纳概括用于(即不可查明)必须选择足够多的测试用例来区分有效模式并消除特殊巧合因素的影响。
属性选择
ID3决定哪些属性如何是最好的。一个统计特性,被称为信息增益,使用熵得到给定属性衡量培训例子带入目标类分开。信息增益最高的信息(信息是最有益的分类)被选择。为了明确增益,我们首先从信息论借用一个定义，叫做熵。每个属性都有一个熵。
⑩ 信息论的图书信息一
书名：信息论
出版社：哈尔滨工程大学出版社
作者: 唐世伟刘贤梅
ISBN: 9787811332780
开本： 16
页数: 217
定价： 25.00元 本书共分七章，第一章为绪论，介绍信息的基本概念和定义，信息论的起源、发展和研究内容；第二章为信源与信源熵，介绍各种熵的概念、性质、定理等；第三章为无失真信源编码，介绍了信源的定长和变长编码定理、方法，以及几种实用的无失真信源编码；第四章为限失真信源编码，介绍了信息率失真函数的定义、性质、计算及语音、图像信号的预测编码；第五章为信道及信道容量，介绍了单符号离散信道、多符号离散信道和多用户信道的信道模型及信道容量的计算；第六章为信道编码，介绍了信道编码的基本概念、信道编码定理、线性分组码和循环码；第七章为网络信息安全及密码学，介绍了密码学的基本概念、各种加密算法及数字签名等技术。