資訊理論演算法
① <資訊理論與編碼>論文
《資訊理論與編碼》，專業基礎課，4學時/周；四屆，180人
《資訊理論基礎》，專業必修課，4學時/周；五屆，1000人
《電子信息工程專業導論》，專業必修課，4學時/周；二屆，400人
《資訊理論與編碼》（研究生），專業必修課，4學時/周；五屆，200人
《多媒體信息壓縮與編碼》（博士研究生），專業必修課，2學時/周；二屆，12人
承擔的實踐性教學
本科課程設計，45人/年
本科生畢業設計，5人/年
碩士生畢業論文，6人/年
博士生畢業論文，2人/年
主持的教學研究課題
考試成績評定方法研究，合肥工業大學教學研究項目，2005-2006，主持
信息安全專業的教學與實踐研究，安徽省教育廳教學重點研究項目，2003-2006，第二主持
計算機科學與技術專業實踐教學與創新體系研究，安徽省教育廳教學重點研究項目，2007-2009，主要參與
計算機科學與技術專業本科教學課程體系建設與改革研究，安徽省教育廳省級教學研究項目，2005-2007，主要參與
發表的教學相關論文
培養具有高尚道德的拔尖人才，研究生教育，2001年
卷積編碼原理的解釋，電氣電子教學學報，2007年
一種BCH/CRC混合差錯控制編碼方法，第17屆計算機科學與技術應用學術會議論文集，2006年
一種改進的等范數最近鄰碼本矢量搜索演算法，合肥工業大學學報(自然科學版)，2007年
部分國外電子信息類教材編寫特點，合肥工業大學學報(社會科學版)，2007年
獲得的教學表彰/獎勵
安徽省教學名師，安徽省教育廳，2007年
安徽省優秀教師，安徽省教育廳，2004年
國家政府特殊津貼，國務院，1997年
第二屆TI中國DSP大獎賽「特殊貢獻獎」，競賽組織委員會，2006年
第二屆TI中國DSP大獎賽演算法組一等獎的指導教師，2006年
第三屆TI中國DSP大獎賽系統組一等獎的指導教師，2008年
第五屆「挑戰杯」全國大學生課外學術科技作品競賽「園丁獎」，競賽組織委員會，1997年
首屆安徽省大學生挑戰杯課外學術科技作品競賽一等獎的指導教師，2005年
合肥工業大學本科畢業設計（論文）優秀指導教師，合肥工業大學，2006年
② 資訊理論的創始人是誰
香農
香農被稱為是「資訊理論之父」。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《通信的數學理論》作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為「熵」）的定義：
(2)資訊理論演算法擴展閱讀：
資訊理論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信道編碼定理、信源－信道隔離定理相互聯系。
資訊理論的基本內容的應用包括無損數據壓縮（如ZIP文件）、有損數據壓縮（如MP3和JPEG）、信道編碼（如數字用戶線路（DSL））。這個領域處在數學、統計學、計算機科學、物理學、神經科學和電機工程學的交叉點上。
資訊理論對航海家深空探測任務的成敗、光碟的發明、手機的可行性、互聯網的發展、語言學和人類感知的研究、對黑洞的了解，以及許多其他領域都影響深遠。資訊理論的重要子領域有信源編碼、信道編碼、演算法復雜性理論、演算法資訊理論、資訊理論安全性和信息度量等。
③ 信息的定義
1．前言
目前關於信息存在各種各樣的定義，這其中尚未有完全得到公認的定義。中國科學院編寫的《21世紀100個交叉科學難題》一書中已把「信息是什麼」列入100個難題之中。究其原因，這些定義都具有一定的局限性，都要麼陷入偏頗片面，好比盲人摸象，要麼陷入空洞無物，不能夠提供具有具體意義的內涵。本文試圖分析這些定義，同時也指出它們的局限性，並且在此基礎上給出信息的新度量指標，同時為融合資訊理論和人工智慧等學科提供基礎。
2．信息的定義及其分析
我們來分析目前流行的信息的定義，我們把它分為如下幾類：
（1）抽象型的信息定義：
信息就是信息，既不是物質也不是能量 (Wiener,1948) 。
信息是一種場 (Eepr,1971) 。
信息是系統的復雜性 ( 張學文等 ) 。
信息不是物質，它是物質狀態的映射 ( 張學文等 ) 。
信息是事物相互作用的表現形式。
信息是事物聯系的普遍形式。
信息是與控制論系統相聯系的一種功能現象 ( Укра u нчев ,1963) 。
信息是被反映的物質的屬性 ( 劉長林， 1985) 。
信息是人與外界相互作用的過程中所交換的內容的名稱 (Wiener,1948) 。
信息是作用於人類感覺器官的東西。
信息是選擇的自由度 (Hartley,1928) 。
信息是通信傳輸的內容 (Wiener,1950) 。
信息是加工知識的原材料 (Brillouin,1956) 。
信息是控制的指令 (Wiener,1950) 。
信息就是消息。
信息就是信號。
信息就是數據。
信息就是情報。
信息就是知識。
信息是一種關系 (Longo,1975) 。
信息是物質的普遍屬性。
信息是事物相互作用過程的表徵。
信息是結構的表達。
信息是人腦對客觀事物屬性的能動反映。
信息是物質與意識的中介,是認識的中介。
信息是指人類共享的一切知識。
信息＝數據＋意義（Floridi，2005）
信息一般泛指我們所說的消息、情報、指令、數據、信號等有關周圍環境的知識。
信息是我們適應外部世界並使這種適應為外部世界所感到的過程中同外部世界進行交換內容的名稱。
信息，就是「意、文、義」三個范疇的總稱 (鄒曉輝) 。
信息是生活主體同外部客體之間有關情況的消息。
信息本身就是一種模式和組織形式。
信息，並不是指事物本身，而是指用來表明事物或通過事物發出的消息、情報、指令、數據、信號中所包含的東西。
信息是一種能創造價值和能交換的知識，是與資本、勞動共同構成的生產三要素之一。
信息是客觀存在的東西。
信息既是主觀與客觀相互聯系、作用的媒介，又是物質世界與精神世界相互作用、聯系的橋梁。
信息是物質的普遍屬性；它表述它所屬的物質系統，在同任何其他物質系統全面相互作用（或聯系）的過程中，以質、能波動的形式所呈現的結構、狀態和歷史。（黎鳴）
信息是標志間接存在的哲學范疇，它是物質（直接存在）存在方式和狀態的自身顯示。（鄔焜）
信息是精確形式與明確內容和意義的必然對應關系（蕭瑞寧，2005）。
洪昆輝也定義了信息的體系：本體論的信息是事物及現象的存在方式之一，它是通過一定的媒介對事物及狀態的一種顯示（映射、反映），它標志事物及現象的間接存在。認識論層次的信息是指通過特定媒介，主體對主客體相互關系存在的映射、顯示。
鍾義信還提出了一套完整性的信息定義體系，他說：為了得到清晰的認識，我們應當根據不同的條件區分不同的層次來給出信息的定義。最高的層次是普遍的層次，也是無條件約束的層次，我們把它叫做本體論層次。在這個層次上定義的信息是最廣義的信息，它的適用最廣。然後，如果引入一個條件來約束一下，則最高層次的定義就變為次高層次的定義，而次高層次的信息定義的適用范圍就比最高層次定義的范圍要窄；所引入的約束條件越多，定義的層次就越低，它所定義的信息的適用范圍就越窄。這樣，根據引入的條件的不同，就可以給出不同層次和不同適用范圍的信息定義；這些不同的信息定義的系列，就構成了信息定義的體系。他提出了自己的信息定義體系：
本體論層次的信息，就是事物運動的狀態和 ( 狀態改變的 ) 方式。
認識論層次的信息，就是認識主體所感知或所表述的事物運動的狀態和方式。
語法信息，就是主體所感知或所表述的事物運動狀態和方式的形式化關系。
語義信息，就是認識主體所感知或所表述的事物運動狀態和方式的邏輯含義。
語用信息，就是認識主體所感知或所表述的事物運動狀態和方式相對於某種目的的效用。
……
上面的這類定義，明顯具有很寬的包容性，但是缺乏具體的內容，這類的定義太泛泛，沒有在多大程度上消除不確定性，而資訊理論中認為信息是消除的不確定性的東西，因而可以認為提供的信息量太少，也不便於信息的研究，本文也不對此類沒有研究意義的定義進行評論。當然這些定義也沒有考慮到下面我們要提出的信息的可靠性問題，把信息當作一種完全可靠的反映，而實際情況是信息往往不反映真實情況，與實際情況有偏離，甚至是顛倒。
（2）以差異、有序性和不確定性等類似的指標來定義的信息定義：
信息是事物之間的差異 (Longo,1975) 。
信息是集合的變異度 (Ashby,1956) 。
信息是用以消除隨機不定性的東西 (Shannon,1948) 。
信息是物質和能量在時間和空間中分布的不均勻性 (Eepr,1971) 。
信息是收信者事先所不知道的報導。
信息是系統組織程度的度量 (Wiener,1948) 。
信息是被反映的變異度 ( У∧ cy ∧， 1968) 。
信息是負熵 (Brillouin,1956) 。
信息是有序性的度量 (Wiener,1948) 。
信息是使概率分布發生變動的東西 (特里比斯，Tribes etal, 1971) 。
信息是被反映的差異。
信息是事物組織性，有序性的表徵。
信息是消息接受者預先不知道的報道。
信息是組織程度，能使物質系統有序性增強，減少破壞、混亂和噪音。
信息是有秩序的量度。
信息是能用來消除或減少信宿關於信源不確定的東西。
信息= 數據－知識（鄒曉輝）。
信息是客體相對於主體的變化。
信息就是相對於任何存在的相對變化，而這種相對變化是可以被分別、識別、了別的。一般而言信息是以某種非決定性所表達的決定性（馮向軍）。
李炳鐵定義了一套信息體系：信息從本質方面的定義就是物質的變化，信息從度量方面定義就是物質的變化程度；信息從意義方面定義就是人腦的反映，是意識的表現，是信息的內容；信息從廣義方面定義就是物質的態（狀態、形態），是信息的形式；
信息指數據、消息中所包含的意義，它可以使消息中所描述的事件的不肯定性減少。
信息是事物現象示為 (事體、事件)屬性標識的集合。（這里忽視了一個前提的存在，現象示為 (事體、事件)的屬性標識本身就是不確定的，不固定的，可能還是無窮的，而本定義的前提是屬性標識已經確定）。
這一類的定義具有可以度量，可以研究的優勢，但是在筆者看來卻天生具有很大的局限性。上面舉出了歷史上比較著名的關於信息的幾乎所有的定義，可以看出，凡是這類反映差異，有序性和不確定性的定義中，都忽視了一個很重要，根本性的因素，那就是信息的可靠度和完備程度。而信息的價值之所以存在，是因為它具有一定的可靠性，同時信息越是完備，也越是為決策提供可靠的資源，而是否確定，則是次要的，人們一般情況下不會有意去追求信息的確定性，但是會有意追求信息的可靠性和完備性。目前的廣義信息量，全信息量和統一信息理論都沒有考慮到信息的可靠程度這一根本性的問題。
3．信息定義的局限性分析
仙農（Shannon，又譯香農）的資訊理論一直是主流，其他的信息理論的提出者也沒有在很大程度上否定它的利用熵的計算公式，因此我們直接對他的資訊理論進行分析。我們舉一個例子：所有可能的消息（或者事件）看作一個集合{m1，m2，m3，m4，……，mn}，設知道一個先驗的條件甲，根據這個條件，可以得出事件mi的先驗概率是p1(mi)，它不是等概率分布，我們後來另外知道了一個條件乙，該條件下事件是等概率分布的。我們把消息及其對應的概率稱為消息集合系統（或者稱為帶概率集合）。
先驗的消息集合系統
條件乙確定的消息集合系統
注意這里的條件乙得出概率是獨立得出的，條件甲和乙是相互獨立的。它沒有考慮先驗概率（及其條件甲）的存在，則考慮條件甲和條件乙同時存在的時候，事件的概率應該是一個折衷。由於先驗的概率是非等概率的，而條件乙下是等概率的。經過一個折衷運算以後，最終概率相對與先驗概率的不確定性一定是增加了，根據資訊理論的演算法，信息量不是增加反而是減少了。
根據一般人的感覺，應當說知道的條件越多，我們的信息越多。但是上面的例子卻是一個反例。如果有一個信息，確定程度高，但是卻反而不可靠，而另外一個針對同一問題的信息，不那麼確定，但是卻更加可靠。那麼如果在確定性與可靠性之間，人們一般會選擇哪個呢？顯然人們大多數情況下願意選擇可靠度高的信息。這說明信息還需要有關於可靠度方面的度量指標，但是目前的資訊理論中關於信息的定義都直接用對不確定性的消除來定義信息，本身就把信息量作為唯一的一個指標了，其實事件的概率本身也是不確定的，否則不可能從小於1的值最後變成0或者1，這說明這個概率依然是不確定的，不可靠的。固然可靠度是一個難於度量的，難於定義的量。但是，筆者認為不確定性的度量同樣不是能夠簡單就能度量的。之所以在通信中能夠加以度量，是因為忽視了許多因素的存在。
再舉一個例子：當獲得消息「所有的事件都是等概率發生的」的時候，對這句話（所有的事件發生呈現什麼樣的概率分布）而言，它消除了不確定性。但是對於這里的指的所有事件發生而言，它們不可能是更加確定，如果已經存在所有事件發生先驗概率，而且不是等概率分布的，則信息是更加不確定了，信息量不是增加而是減少；而如果是沒有先驗概率，或者先驗概率是一個等概率分布，則信息已經到了不確定性的極限，概率分布不變，信息量不變。這個問題的產生是因為信息不是獨立的，信息是相互衍生的，概率分布是可以傳遞的。再比如，在一次一密體制中，如果已知密文，並且已知密鑰是等概率分布的這兩個條件，我們可以得出明文是等概率分布的。對於我們確定密文，確定密鑰的概率分布而言，這兩個條件消除了不確定性，但是對於分析明文而言，不確定性不可能是增加，因而信息量不可能是增加。
仙農認為信息是消除不確定性的東西，這說明沒有得到信息前信息是不確定的，得到信息以後依然可能是不確定的，而不確定的信息往往是不可靠的，它的可靠程度本身就是一個值得考慮的問題。如果都不可靠的，那麼怎麼證明哪個對哪個錯呢？而且還存在這樣的問題，更加可靠的信息和不那麼可靠的信息是否可以比較信息量呢？我們如果不考慮准確可靠性，則可以隨便就可以自己胡亂編造大量的與現實無關的信息，但是這樣的不可靠的信息是沒有意義的。
假如把信息的確定性當作唯一的指標，則可以隨便制定某一事件的概率為1，其餘事件的概率為0就可以了。或者我們把信息的確定性當作首要考慮的指標，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其餘事件為0。如果如此，資訊理論就變得相當的簡單了。顯然現實中人們不是這樣的。由此可見，可靠程度是信息的一個首要指標。既然可靠程度是一個指標，則如何讓信息最可靠就是一個重要的目標。
眾所周知，資訊理論適用范圍非常狹隘，資訊理論使用在日常生活領域會漏洞百出。仙農自己也深知資訊理論的局限性，對資訊理論的濫用非常憤慨，並措辭嚴厲地指出人們過度誇大了資訊理論的重要性，超過了其實際價值，並且要求人們對它的理論的應用不要超出隨機統計領域。曾和Shannon合著《通信的數學理論》一書的W.Weaver在該書中的一篇論文中就提出通信的三個水平：水平A——通信的技術問題，如Shannon理論研究的；水平B——考慮到語義問題；水平C——考慮到效用或價值問題。
為什麼會如此呢？因為在通信中，只需要正確地得到被發送的消息，被發送的消息可以認為是絕對可靠的，同時也不需要考慮它衍生其他消息的過程，以及對語義的判斷，對消息的利用等問題。
再考慮第一類信息定義，也往往把信息作為一種事實或者事物的反映，從而可以認為它們也認為信息是絕對正確和可靠的。對於其他的定義，則都沒有提及關於信息的不可靠性。
以上的例子時候違背條件熵不增的結論，下面分析香農對條件熵的定義，已知條件（X，Y）∽p(x,y)。在文獻[2]中，香農首先將條件熵H(X | Y）定義為：在不同的y的取值下的x的熵的（加權）平均
H(X|Y）＝ （1）
根據公式（1），可以得出H(X|Y）≤H(X）。
於是得出了條件熵不增加，只可能減少的結論，進而得出了信息是消除不確定性的東西。但是公式（1）並不與我們的例子想違背。因為再公式（1）中只是把不同的事件yj發生的情況下X的熵進行了簡單的加權平均，只能說是條件熵的加權平均。可見，已知關於Y的條件後，X的熵只是在平均意義上不增加，單個條件熵並不是絕對意義上不增加。限於篇幅和主題，我們尚且不討論仙農在此中出現一些其他問題。
4．新信息定義的提出
根據以上的分析，筆者在這里對信息的定義做一個修改，不能盡善盡美，但是能夠消除目前定義的一些缺陷，一方面盡量防止概念的狹隘、片面性，另外一方面也避免概念過大，過於空洞而不能提供可以測度，可以理解的「信息」，筆者給出信息的定義如下：信息是在受限制的條件下（比如編碼長度限制，分析計算能力限制，解析度限制等）和考慮各種代價的情況下，盡力追求更高的准確性和可靠性的前提下，通過各種被認可的條件、因素、事實和知識等，以各種被認為精確的或者近似的演算法，理論等技術手段或者是人工手段（思考等），採用在一定程度可信的方式直接或間接獲得的（被信息處理者認為）對事物更加可靠認識的，可以消除、增加或者不改變不確定性的東西。
我們在上面的定義中，強調了過去被忽視的信息的相對性和不完全可靠性。理由如下：信息是相對的，它是相對於當時的被認可的條件（包括信息，知識，規律等）而言的，而這些被認可的條件的可靠性和完備性是相對的，因此它的可靠性，完備性也是相對的。由於採取的推算方法可能不是絕對正確、可信、科學和理性的，而且還可能摻雜人為主觀因素，從而引入各種偏差，所以得到的信息並不與已知所有的條件（包括信息，知識，規律）應該得出的完全客觀正確的信息一致的，這是相對性的另外一個方面；信息是可以進化的，更多的條件導致信息更加可靠和完備，信息不是靜態的；在沒有絕對可靠（正確）的信息的情況下，多個具有一定可靠程度的相關信息是相互協調和折衷的，有絕對可靠的信息存在時，其他的信息應當與它保持一致。注意筆者除了認為不確定性可以增加以外，還認為在可靠度或者准確性增加的情況下，不確定性不改變也是信息的增加。信息的更完備的定義是集可靠度和信息量兩個指標於一體。當然在信息的判斷中，除了採用客觀的演算法和信息處理工具進行分析以外，往往還需要人的直接判斷，這種判斷往往摻雜個人的主觀偏見，失誤和偏差等主觀因素。客觀的演算法和處理工具也未必是完全准確的判斷，而可能是近似的，考慮不周全的，估計性的判斷，而且可能判斷是不完備的，比如本來可以根據已知的信息衍生出新的信息，從而與其他的相關的信息進行折衷整合，但是如果沒有考慮到衍生出該新的信息，則判斷是不完備的。
在此還需要說明追求准確性、完備性和可靠性應該是資訊理論的目標，是前提，而不確定性的消除是一種瓜熟蒂落的自然結果，可以說是一種副產品，不過有時候也可能是不確定性增加或者不變。
在這里的定義中，我們還強調了信息的產生的方式，產生信息的基礎，信息的處理方式。這為進行各種信息的獲取，信息的處理，信息的融合，信息的運用奠定了一個基礎。
5．相對資訊理論的信息產生模型
為了區別於以往的資訊理論（包括廣義資訊理論、統一信息理論和全資訊理論）中存在不考慮信息的可靠性和完備性或者認為信息就是完全可靠完備的局限性，我們以相對資訊理論區別於其他的資訊理論。物理中物體運動的相對性是它的參照系，而這里信息的相對性針對的是我們認定的條件，包括那些信息的可靠的，那些信息是不可信的，它們的可靠程度如何等等。我們建立一個信息產生的模型：首先，信息處理者從各方收集信息，比如可以從不同的人或者資料來獲取信息，這許多的信息需要進行相關的處理，處理者可以根據各種已知的知識，規律等等來進一步衍生新的信息，好比機械設備在獲得一定的作用的時候，它會根據機械設備的機制來作用於其他的物體，從而衍生了新的作用。衍生的信息以及最初獲得的各種信息之間本身還可能不一致，有些是相互補充的，有些則是不一致的， 因此需要整合和折衷，這好比機械設備產生的一些作用導致一些被作用的物體相互發生碰撞，產生反作用，或者由於力的作用在同一個物體上，力的作用不一致的時候，最終對物體的作用是這些力的綜合。折衷整合的時候需要以我們認定的條件為基礎，包括各個信息的可靠程度。
依據知識，規律等衍生信息
衍生的新信息
衍生的新信息
信息的折衷整合
信息的獲得
信息的獲得
信息的獲得
圖1 相對資訊理論的信息產生模型
6．結束語
本文列舉了信息的定義，並且進行了分析，指出一類定義具有捨本逐末的缺陷，即不重視信息的可靠程度，卻把信息所帶來的不確定性消除作為唯一的內容，這不利於資訊理論在人工智慧和社會信息科學等領域的應用，特別是社會信息科學問題相對其他的信息科學問題更加復雜，更加具有相對性、多元性、多重的不確定性和模糊性，因而更加具有相對性。這里提供的定義為資訊理論在非通信領域的應用提供了很好的基礎，這樣可以讓資訊理論更加名副其實，因為目前的信息量大多數情況下是應用在通信領域，它僅僅是與信息相關的一個環節。本文的內容僅僅涉及到資訊理論的部分層面，仙農資訊理論還有許多缺陷，一些學者也有所研究，在此不贅述。
④ 信息量的計算方法
資訊理論創始人C.E.Shannon，1938年首次使用比特（bit）概念：1（bit）= 。它相當於對二個可能結局所作的一次選擇量。資訊理論採用對隨機分布概率取對數的辦法，解決了不定度的度量問題。
m個對象集合中的第i個對象，按n個觀控指標測度的狀態集合的
全信息量TI= 。
從試驗後的結局得知試驗前的不定度的減少，就是申農界定的信息量，即
自由信息量FI=－∑pi ，（i=1,2，…，n）。
式中pi是與隨機變數xi對應的觀控權重，它趨近映射其實際狀態的分布概率。由其內在分布構成引起的在試驗前的不定度的減少，稱為先驗信息或謂約束信息量。風險是潛藏在隨機變數尚未變之前的內在結構能（即形成該種結構的諸多作用中還在繼續起作用的有效能量）中的。可以顯示、映射這種作用的是
約束信息量BI=TI-FI。
研究表明，m個觀控對象、按n個觀控指標進行規范化控制的比較收益優選序，與其自由信息量FI之優選序趨近一致；而且各觀控對象「愈自由，風險愈小」；約束信息量BI就是映射其風險的本徵性測度，即風險熵。
把信息描述為信息熵，是狀態量，其存在是絕對的；信息量是熵增，是過程量，是與信息傳播行為有關的量，其存在是相對的。在考慮到系統性、統計性的基礎上，認為：信息量是因具體信源和具體信宿范圍決定的，描述信息潛在可能流動價值的統計量。本說法符合熵增原理所要求的條件：一、「具體信源和信宿范圍」構成孤立系統，信息量是系統行為而不僅僅是信源或信宿的單獨行為。二、界定了信息量是統計量。此種表述還說明，信息量並不依賴具體的傳播行為而存在，是對「具體信源和具體信宿」的某信息潛在可能流動價值的評價，而不是針對已經實現了的信息流動的。由此，信息量實現了信息的度量。
⑤ 資訊理論與機器學習有著怎樣的關系
資訊理論與機器學習同為涉及計算機科學和應用數學等學科的分支領域，這兩門交叉學科在起源和應用上有很多相似之處。資訊理論的理論體系相對成熟一些。機器學習這些年比較受歡迎，理論和應用的擴充發展速度遠遠更快且看不到飽和的趨勢。兩個方向互有交叉，但主要還是機器學習中借用資訊理論的方法以此拓展理論研究和應用場景，比較典型的就是借鑒信息理論創造和改進學習演算法
⑥ 信息理論與編碼的圖書信息2
書名:信息理論與編碼
圖書編號:693777
出版社:人民郵電出版社
定價:21.0
ISBN:711512067
作者:呂鋒
出版日期:2004-02-01
版次:1
開本:16開
簡介:
本書系統地講述了資訊理論的基礎理論。全書分8章，分別討論了信息的度量、信源無失真編碼、信道編碼、信息率失真函數、網路資訊理論以及信息安全的理論與方法。
本書注重基本概念，論述力求簡明，可作為高等院校通信類、信息類、電子工程類及相關專業的教材，也可供有關科研人員參考。
目錄:
第一章緒論
1.1信息的基本概念
1.1.1信息概念的復雜性
1.1.2信息的定義
1.2資訊理論的研究目的和內容
1.2.1信息傳輸基本模型
1.2.2資訊理論研究的內容
1.2.3目前資訊理論的主要研究成果
1.3資訊理論的發展歷程與應用概述
1.3.1資訊理論發展簡史
1.3.2資訊理論的應用
習題
第二章信息的度量
2.1信源模型
2.2信息的描述
2.3不確定性與信息
2.3.1自信息量
2.3.2聯合自信息量
2.3.3條件自信息量
2.3.4自信息量的性質和相互關系
2.3.5互信息量及其性質
2.4離散隨機變數的(統計)平均不確定性度量--離散熵
2.4.1離散熵
2.4.2離散熵的性質
2.5聯合熵和條件熵
2.5.1聯合熵
2.5.2條件熵
2.5.3各類熵之間的關系
2.6平均互信息量及其性質
2.7離散無記憶信源的擴展
2.8離散有記憶信源的熵
2.9馬爾可夫信源的信息熵
2.9.1馬爾可夫鏈
2.9.2馬爾可夫信源
2.9.3馬爾可夫信源的信息熵
2.10離散信源的信息(速)率和信息含量效率
2.11連續隨機變數的熵和平均互信息量
2.11.1連續隨機變數的熵
2.11.2連續隨機變數的聯合熵、條件熵以及平均互信息量
2.11.3微分熵的極大化問題
2.11.4連續信源的熵功率
本章主要概念
習題
第三章信道模型和信道容量
3.1信道模型與信道分類
3.2離散無記憶信道的數學模型
3.3概率的計算問題
3.4信道的疑義度、散布度和平均互信息
3.4.1信道的疑義度
3.4.2信道的散布度
3.4.3信道的平均互信息
3.5信道容量
3.5.1信道容量的定義
3.5.2離散無噪信道的信道容量
3.5.3離散對稱信道
3.5.4一般DMC達到信道容量的充要條件
3.5.5信道容量的迭代演算法
3.6擴展信道及其信道容量
3.6.1擴展信道的數學模型
3.6.2擴展信道的平均互信息量和信道容量
3.7信道的組合
3.7.1串聯信道
3.7.2獨立並聯信道
3.8信源與信道的匹配
3.9連續信道及其信道容量
3.9.1連續信道的數學模型
3.9.2加性高斯雜訊信道的信道容量
3.9.3一般加性雜訊信道的信道容量的界
3.10波形信道及其信道容量
本章主要概念
習題
第四章離散無記憶信源無失真編碼
4.1信源編碼概論
4.2碼的惟一可譯性
4.2.1常見碼及其惟一可譯性
4.2.2碼樹和Kraft不等式
4.3定長編碼定理和定長編碼方法
4.4變長編碼定理
4.5變長編碼方法
4.5.1霍夫曼編碼
4.5.2費諾編碼
4.5.3香農編碼
4.6幾種實用的無失真信源編碼
4.6.1遊程編碼
4.6.2算術編碼
4.6.3基於字典的編碼
本章主要概念
習題
第五章有噪信道編碼
5.1解碼規則與錯誤概率
5.2兩種典型的解碼規則
5.3平均差錯率與信道編碼
5.3.1簡單重復編碼
5.3.2對符號串編碼
5.4漢明距離
5.5有噪信道編碼定理
5.5.1聯合典型序列
5.5.2有噪信道編碼定理的證明
5.6Fano不等式和有噪信道編碼逆定理
5.7線性分組碼
5.7.1線性分組碼的生成矩陣和校驗矩陣
5.7.2漢明距離和碼的糾、檢錯能力
5.7.3線性碼的伴隨式與伴隨式解碼
本章主要概念
習題
第六章限失真信源編碼
6.1失真測度
6.2信息率失真函數及其性質
6.2.1信息率失真函數的定義
6.2.2信息率失真函數的性質
6.3限失真信源編碼定理
6.4信息率失真函數的計算
6.4.1離散信源信息率失真函數的參量表示計算方法
6.4.2離散信源信息率失真函數的迭代計算方法
本章主要概念
習題
第七章網路資訊理論基礎
7.1概論
7.2網路信道的分類
7.3典型信源編碼模型
7.4多隨機變數聯合典型序列
7.5相關信源編碼
7.6多址接入信道
7.7高斯多址接入信道
7.8廣播信道
7.9中繼信道
7.10具有邊信息的信源編碼和數據壓縮
本章主要概念
習題
第八章信息安全與密碼學基礎
8.1信息安全概述
8.2網路模型與安全服務功能
8.2.1開放系統互聯OSI模型
8.2.2安全分層原則
8.2.3安全服務功能
8.2.4網路安全對策
8.3密碼學基礎知識
8.3.1基本術語
8.3.2代替密碼
8.4密碼演算法的數學背景
8.4.1資訊理論
8.4.2復雜性理論
8.4.3數論基礎
8.5數據加密標准(DES)
8.5.1數據加密標準的開發
8.5.2DES演算法概要
8.5.3初始置換
8.5.4密碼運算函數f(R,K)
8.5.5密鑰置換
8.5.6擴展置換
8.5.7S盒替代
8.5.8P盒置換
8.5.9逆初始置換
8.5.10DES的安全性
8.5.11DES的硬體實現
8.6公開密鑰演算法
8.6.1公開密鑰密碼體制
8.6.2背包公鑰密碼
8.6.3RSA公鑰加密
8.6.4數字簽名
本章主要概念
習題
參考書目
⑦ 香農資訊理論的局限性
香農資訊理論本身在當今的科研與工業界已經表現出強烈的局限性。其實過去有很多經典的理論在現今已完全不適用。比如在無線通信領域，經典的MIMO beamforming經工業界驗證，根本無法用電路實現，因為beamforming的信號處理的演算法都過於復雜，而完全不具有實時性。通信/資訊理論領域在最近20年內雖然出現了一些活躍的研究方向，除了多天線技術MIMO，其它幾乎所有的依然只是停留在理論階段而毫無現實意義。與其通過多年資訊理論的研究，做出種種不切實際的假設，往往還要付出各種開銷，把某種通信情形下的帶寬提高一丁點，不如直接讓中國移動再花10萬買一個新基站或者讓中國電信多拉一根光纖以直接實現擴容。
這種局限性在國外頂尖大學資訊理論研究的人員變化上也有明顯的反映：比如資訊理論精英雲集的斯坦福大學，當年那些提出種種經典理論的教授們，現在早已停止大規模招生，沉寂學界，等待退休。這些頂尖學府新加盟的年輕教授，都是現今前沿學科的卓越研究者，而鮮有像通信/資訊理論這種已經非常成熟的領域的研究者。
這種局限性也體現在當今IT巨頭們的業務重組中。通信/資訊理論僅僅是信息學科的冰山一角，信息學科/信息產業的其它方面依然非常活躍。比如中國最大的IT企業華為，早已公開宣布通信業務進入天花板期，需要尋找新的業務增長點；擁有資訊理論的發源地——貝爾實驗室的阿爾卡特-朗訊，早已衰敗不堪；其他傳統通信企業比如諾基亞西門子常年虧損，面臨裁員危機；中興華為等中國IT企業紛紛高調進軍雲計算；谷歌、亞馬遜等雲計算領軍企業早已在矽谷賺得缽盆滿滿。
通信/資訊理論到現在最大的問題是，它們本來應該是工程學科，應該有很好的工程應用，可是在最近20年中變成了純理論的研究，完全脫離了工業實際。因此這樣的研究它們自己也被工業界拋棄。學校里的研究主要是基於研究者的假設，研究者自身由於沒有機會接觸工業實際，不可能考慮到實際的工程需求；他們往往也不會考慮演算法的實現復雜度與電路實現的實時性，而僅僅是追求一個他們自己可以求出的解，用以發表論文。以至於這個領域絕大多數的研究僅僅只是追求復雜、漂亮的數學表達，而完全脫離了它們的工程本源。
科研最先進的美國大學早已淡化通信/資訊理論領域的研究與教育，而世界其他地方和中國國內依然在「跟進」別人幾年前甚至十幾年前的研究，繼續投入資金人力在已經十分成熟的領域做沒有太多意義的探索。這會造成巨大的資金和人力浪費。同時，招入大量學生學習入門此領域必須的大量晦澀難懂的數學亦是浪費學生學習實用技術的時間，誤人前程。
⑧ 求 資訊理論與編碼 學習心得
學習資訊理論與編碼感想
多媒體信息是未來人類獲取信息最主要的載體，因此它已成為目前世界上技術開發和研究的熱點。視頻信息作為多媒體信息中最被關注、數據量最大的一員，現在也正面臨著一場其意義不亞於從模擬到數字的技術進步革新：從傳統的矩形DCT變換編碼到根據視頻內容、劃分對象、分別變換編碼的新的編碼方法。
一、傳統的編碼方式
傳統的視頻編碼是以視頻信號的數字量為編碼對象的，與視頻信息的內容無關，無論是M-JPEG、MPEG-1還是MPEG-2，都是以DCT矩形變換塊為變換編碼單元，對DCT塊內圖像的亮度和色度進行特徵取樣，提取像素；採用幀間編碼、運動估測技術，在參考幀幀內DCT編碼的基礎上，對DCT塊內圖像的像素特徵進行差值預測編碼。基於矩形DCT編碼的視頻編碼在設計思想上只考慮到對信號數據進行處理的需要（比如小的比特率以利於傳輸、高的比特率以保證質量），但未考慮視頻信息--圖像內容本身的含義和重要性，以及視頻信息應用者的主觀需求（比如部分內容的提取功能）。另外，這種基?quot;塊"的壓縮演算法在低碼率時容易產生"方塊效應"和"抽幀"，大大縮小了視頻信息的應用領域。
小波變換是一種新的變換編碼方法，它與DCT變換相比，考慮到了視頻信號對不同應用環境的自適應性（不同的清晰度與比特率），可以將基礎圖像層與增強圖像層分離編碼傳輸，用戶可根據實際情況選擇是否打開增強圖像層。但無論用戶選擇是或否，被傳送的視頻信息卻都是一樣的。
二、 基於內容對象的編碼
1、 VO與VOP概念的引入
傳統的視頻編碼方式是將整個視頻信號作為一個內容單體來處理，其本身不可再分割，而這與人類對視覺信息的判別法則，也就是大腦對視神經導入的視覺信號的處理方法是完全不同的。這就決定了我們不可能將一個視頻信息完整的從視頻信號中提取出來，比如：將加有台標和字幕的視頻恢復成無台標、字幕的視頻。解決問題的惟一途徑就是在編碼時就將不同的視頻信息載體--視頻對象VO（Video Objects）區分開，獨立編碼傳送，將圖像序列中的每一幀，看成是由不同的VO加上活動的背景所組成。VO可以是人或物，也可以是計算機生成的2D或3D圖形。VO具有音頻屬性，其屬性賦值可能?quot;有"或者是"無"。但音頻的具體內容數據是獨立於視頻編碼、傳輸的。VO概念的引入，更加符合人腦對視覺信息的處理方式，並使視頻信號的處理方式從數字化進展到智能化。提高了視頻信號的交互性和靈活性，使得更廣泛的視頻應用和更多的內容交互功能成為可能。
現代圖像編碼理論指出，人眼捕獲圖像信息的本質是"輪廓－紋理"，即人眼感興趣的是VO的一些表面特性，如形狀、運動、紋理等。VO的表面往往是不規則的、千變萬化的，但可將其視為一定視角下，n個形狀規則的、具有一定紋理的剖面的組合的連續運動，這些剖面的組合稱為視頻對象面VOP(Video Object Profile)。VOP描述了VO在一定視角條件下的表面特性。VOP的編碼主要由兩部分組成：一個是形狀編碼，另一個是紋理和運動信息編碼。VOP紋理編碼和運動的預測、補償在原理上同MPEG-2基本一致，而形狀編碼技術則是首次應用在圖像編碼領域。
2、新的編碼技術
合成VO的獨立編碼 在以前，2D或3D動畫被看作是視頻的一部分，並一概以視頻的方法來處理。實際上，根據合成VO的合成機理和特性，大部分合成VO都可以用通用的有關圖形文本的多種表達方式來描述。非復雜性合成VO將被視為一種獨立於視頻的數據類型來編碼，並定義了其描述框架、通用的數據流結構和靈活的介面。而復雜性合成VO和自然VO的編碼方法，將採用以下的編碼方法。
基於矩形窗口的VOP分割 考慮到與現有標準的兼容，目前已得到應用的VO編碼技術，比如MPEG4，仍採用了基於矩形窗口的內容分割法。編碼時，首先利用像素特徵統計，將每一個VOP都限定在一個矩形窗口內，稱之為VOP窗口(VOP Window),取窗的原則為：長、寬均為16像素的整數倍（便於對現有標準的兼容和將來的擴展），同時保證VOP窗口中非VOP的宏塊數目最少。目前標准中的視頻幀可認為是一個無VOP的特例，在編碼過程中將形狀編碼模塊屏蔽掉就可以了。在一個VOP窗口內，VOP剖面的形狀也是採用8×8像素的矩形形狀。針對不同的VOP，可以根據不同的應用場合和運動、變化的特點，採用固定的或可變的VOP幀頻（即VOP刷新頻率）。
矩形窗口分割法並不能體現VOP的具體形狀信息。為了確認採用矩形窗口分割法的VOP的形狀信息，就引入了形狀編碼技術。形狀編碼其實並不是什麼新技術，它在計算機圖形學、計算機視覺領域早有應用。而目前的視頻編碼標准中的點陣圖技術其實就是形狀編碼的簡單特例。點陣圖採用矩陣的形式來表示二值（0或1）的形狀信息，具有較高的編碼效率和較低的運算復雜度。VOP的形狀信息有兩類：邊緣信息和灰度信息。邊緣信息用0、1來表示VOP的形狀，0表示非VOP區域，1表示VOP區域。對於包含一定透明度的VOP區域，可以用灰度信息（取值0～255之間）來表示透明程度，其中0表示完全透明，255表示完全不透明。對於模糊邊緣部分，可將其視為灰度信息從周圍已知VOP區域的灰度值向0值的過渡區域，採用內插法確定其形狀信息。
基於小波變換的VOP分割 基於矩形窗口的VOP分割依舊存在"塊效應"問題，而基於小波變換的VOP分割則可以很好的解決這個問題，而且由於這種分割方法的本身就包含了VOP的形狀信息，所以無需另對形狀信息進行判別與編碼。基於小波變換的VOP分割方法是目前最為活躍的視頻編碼課題研究領域，各種演算法不斷的被發表，但基本上可以劃分為兩類方法：
1、利用圖像灰度特徵分割：不同的圖像具有不同的灰度分布，利用小波變換，將圖像變換到小波域，產生各層、各子帶圖像。小波變換後，大部分的能量是集中在低頻子帶圖像上，即大面積的平均灰度區域信息主要在低頻子帶圖像中體現。根據資訊理論的原理，確定多個灰度閾值，可以將具有不同灰度的VOP從低頻子帶圖像中分離。同時再利用高頻子帶圖像以及模糊數學模型，確定每一個VOP的邊緣信息。利用圖像灰度特徵分割的小波變換，是沿掃描方向的單方向變換。
2、利用圖像紋理特徵分割：紋理是一種局部特徵反復出現的結果，它體現了圖像的局部頻域信息。對於一幅數字圖像，進行多方向的小波變換是可行的，比如對一幀畫面進行垂直方向或對角線方向的小波變換。經過多種小波變換後可得到不同方向的各子帶圖像，它們各自蘊涵著不同紋理的局部頻譜信息和紋理走向等信息。對具有相同頻譜特徵的圖像局部進行聚類分析，並根據紋理頻譜和紋理走向確定該聚類的紋理邊緣。根據資訊理論原理和運動估測，將運動矢量具有相關性的聚類二次歸類於不同的對象（即VOP），並影射成不同灰度顯示。多級小波變換的結果最多可線性的影射成0～255灰度級顯示。進行小波變換的方向越多，各方向的夾角越小，圖像分割也就越准確，但計算量也隨之迅速膨脹。根據局域紋理中心頻率的變化自適應地選擇小波變換的級數（幾個方向的變換）和方向，有助於在圖像分割的准確性和計算量之間達到平衡。正如本文前面所述，人眼捕獲圖像信息的本質?quot;輪廓－紋理"，故基於多方向小波變換的提取圖像特徵、分割紋理圖像的方法符合人眼視覺生理的特點，是紋理圖像分析的重要發展方向。
無論是哪一種方法，當得到不同VOP的不同灰度表示之後，通過類似於鍵技術的多通道處理，即可得到多個原始的彩色VOP。目前實驗表明，基於小波變換的圖像分割在邊界上仍有些模糊，但總體效果還是相當滿意的，達到了分割紋理圖像的目的。
VOP運動信息編碼和運動補償 人眼在觀看圖像時，會自動跟蹤人所感興趣的VOP。即人看的不是時間軸上的信息，而是VOP的運動軌跡---光流軸上的信息。光流軸是VOP上的一點在活動圖像上的運動軌跡，它在不同的幀中位於不同的空間位置，其意義在於：VOP自身的各種變化都將映射於光流軸上的一點。光流軸信息的獨立編碼將帶來諸多好處：（1）在編碼時，對於剛性VOP，由於它在運動中不會發生形狀和紋理上的變化，故該VOP只需要完成一次采樣、編碼，而後就只需發出幾個運動矢量指明它的光流軸即可；對於非剛性VOP，只需在發生變化時才需要重新采樣、編碼，這就使得不同的VOP採用不同的VOP幀頻成為可能，將編碼的數據率最低限度的降低。（2）VOP在運動中的各種變化都將"留跡"於光流軸，當在進行運動補償時，比如不同制式之間的轉換或者慢動作的製作，就可以根據光流軸映射信息，採用內插法得出時間軸上某一確定點的VOP狀態，達到無損轉換的目的。（3）在時間軸上，簡單的將一個圖像序列的兩路信號疊加，隨即噪波和圖像的活動部分都得不到增強；若在光流軸上進行信號疊加，活動圖像的降噪問題就得到了簡單解決。
VOP的運動估測是指：分析兩個或更多幀上的VOP，確定光流軸，以判斷下一幀中VOP可能出現的位置。VOP的運動補償是指：根據VOP光流軸的取向和光流軸上VOP自身變化得映射信息，矯正VOP在時間軸上的運動矢量。運動預測和運動補償技術可以去除圖像信息中的時間冗餘成分，VOP的運動信息編碼可視為從像素向任意形狀的VOP的延伸。
紋理編碼 在已得到實際應用的MPEG-4中，VOP的紋理編碼基本上仍採用基於8×8像素塊的DCT方法，有3種模式：幀內編碼模式(I-VOP)、幀間預測編碼模式(P-VOP)和幀間雙向預測編碼模式(B-VOP)。編碼時，對於完全位於VOP內的像素塊，則採用經典的DCT方法；對於完全位於VOP之外的像素塊則不進行編碼；對於部分在VOP內，部分在VOP外的像素塊則首先採用圖像填充技術來獲取VOP之外的像素值，之後再進行DCT編碼。
依據視覺特性的紋理編碼目前仍處於理論研究階段，其目標是：建立常見紋理局部特徵符號集，定義描述紋理分布、走向的多媒體語言。以人臉為例：人臉定義參數（FDP）描述了特定人臉紋理形狀模型與通用人臉模型之間的差別，通過接收到的各種FDP，能把通用的人臉模型變換成由其形狀和紋理確定的特定人臉。人臉動畫參數（FAP）描述了特定的人臉表情與中性表情的變化關系，通過接收到的各種FAP能生成人臉的各種表情以及與聲音同步的嘴唇活動等。這樣的合成編碼不僅可極大地提高編碼效率（可獲得1kbps的超低碼率），而且為製作新的人臉等對象提供了方便。
分級編碼 多媒體的應用場合具有不同的信道帶寬、處理能力、顯示能力及用戶需求，要求在解碼端支持時域、空間及質量的上伸縮性，即分級編碼。分級編碼可以通過視頻對象層VOL(Video Object Layer)的數據結構來實現。每一種分級編碼都至少有2層VOL，低層稱為基本層，高層稱為增強層。空間伸縮性可通過增強層強化基本層的空間解析度來實現，因此在對增強層中的VOP進行解碼之前，必須先對基本層中相應的VOP進行解碼。同樣對於時域伸縮性，可通過增強層來增加視頻序列中某個VO(特別是運動的VO)的幀率，使其與其餘區域相比更為平滑。
三、 新的技術標准--MPEG 4
首次採用VO編碼技術的視頻編碼標準是由MPEG 4。MPEG 4於1999年年初正式成為國際標准(標准號為ISO/IEC 14496)，在1999年12月的後繼版本中增加了可變形、半透明視頻對象及其工具的先進功能，它進一步提高了編碼效率，並與第一版反向兼容。
1、MPEG 4標準的構成
1） DMIF（The Dellivery Multimedia Integration Framework）：多媒體傳送整體框架協議。MPEG-4標准將眾多的多媒體應用集成於一個完整的框架內，旨在為多媒體通信及應用環境提供靈活的演算法及工具，用於實現音視頻數據的有效編碼及更為靈活的存取。它解決了多領域中多媒體應用個性化交互操作的問題。
2） 解碼器：定義了MPEG-4系統特殊的解碼模式（SDM），要求特殊的緩沖區和實時模式。
3） 音頻編碼：支持自然聲音和合成聲音，支持音頻的對象特徵。
4） 視頻編碼：支持自然和合成的視覺對象，合成的視覺對象包括2D、3D動畫和人面部表情動畫等。
5） 場景描述BIFS（Binary Format for Scene description）：關於一組VO的時空結構關系的參數信息，主要描述了各VO在一具體背景下的相互關系與同步等問題，以及VO及其背景的知識產權保護等問題。BIFS與VO對象特徵信息的編碼、傳輸是相對獨立的。場景描述信息編碼及其的獨立傳輸是實現用戶端編輯操作的關鍵：在解碼之後和場景合成之前，用戶可以通過對BIFS參數的重新設置來對VO 進行多種編輯操作，如增減、縮放、平移，甚至一些特技效果。
下面的表格反映了MPEG體系的部分技術指標。MPEG-4是高比率有損壓縮（比如將一個9 GB的DVD視頻壓縮拷貝到只有700MB空間的CD-ROM上），其圖像質量始終無法與MPEG-2相比。當MPEG-4與MPEG-2的碼率輸出相同時，其質量仍稍遜於MPEG-2。同時，MPEG 4對硬體的要求也較高。事實上，我們注意到MPEG-4在保證令人滿意的圖像質量的情況下，更注重較低的數據率和靈活的交互功能。
2、MPEG 4編碼器
MPEG 4編碼簡化原理圖如圖一。
對於輸入視頻序列，通過分析確認n個視覺目的對象為編碼對象，將其認定為n個VO（n=1,2,3…），對每一個VO編碼後形成這個VO的VOP數據流。VOP的編碼包括對運動(採用運動預測方法)及形狀、紋理(採用變換編碼方法)的編碼。由於VOP具有任意形狀，因此要求編碼方案可以處理形狀(Shape)和透明(Transparency)信息，這就是與只能處理矩形幀序列的現有視頻編碼標準的根本區別。在MPEG-4中，矩形幀被認為是VOP的一個特例，這時編碼系統不用處理形狀信息，退化為類似於MPEG-1、MPEG-2的傳統編碼系統，同時也實現了與現有標準的兼容。除去VO的其餘圖像部分--背景，仍採用傳統的矩形DCT變換編碼；VO場景描述信息（VO自身信息，如VO對象的知識產權、和VO間的位置、邏輯關系等）也要進行編碼，最後和VOP流、背景一起送入MPEG 4幀復合器，生成MPEG 4流輸出。
需指出的是：在VO分割後，每一個VO都需要一個VOP編碼通道，在圖一中只畫出了一個。多個VOP幀發生器的輸出在MPEG 4幀復合器中可實現靈活地多路復用編碼或同步並行傳輸編碼，以適應各種傳輸環境和要求。MPEG 4解碼是以上編碼過程的逆過程。可以看出，獨立於背景的VO編碼可以實現接收端的用戶對VO對象進行選擇性地操作。
3、MPEG 4視頻編碼功能與特點
MPEG 4標準的制定有兩個目標：低比特率的多媒體通信和多工業的多媒體通信的綜合。即MPEG-4遵循靈活的編碼工具框架體系，設計了一個開放的編碼系統，對於不同的應用採用不同的編碼演算法，以達到低比特率通信的目標。MPEG-4解碼器是可編程的，相應的解碼信息可與內容本身一起傳輸下載。與現有的MPEG-1和MPEG-2視頻壓縮相比，MPEG-4視頻有一些重要的改進：
1）基於內容的交互功能: MPEG-4提供了全新的交互方式，根據製作者的具體自由度設計，在有限的時間內可實現對多媒體VO的時域隨機存取（從不同的源獲取內容或向不同的源發送內容）、快速搜索、改變場景的視角、改變場景中物體的位置、大小和形狀，或對該對象進行置換甚至清除。
2）支持自然及合成信息的混合編碼（NHC：Synthetic and Natural Hybrid Coding）：MPEG-4支持合成信息的編碼，可對合成的VO及其活動信息進行參數化描述。對於頻繁出現的視覺對象則分別定義了它們的紋理形狀和動畫參數。
3）高效編碼：包括視頻VO數據的高效編碼和多個並發數據的有效同步編碼。
4）基於內容的伸縮性：是指分級編碼後，紋理、圖像和視頻基於內容的伸縮性，視頻序列中時域、空間及質量的伸縮性，表現為時域實時或非實時、數據率大小及重建的圖像質量上。
5）可變的最終輸出：不同的碼率意味著支持不同的功能集。功能集的底層是VLBV核心(VLBV：Very Low Bit Rate Video)，它為最低達5-64kbits/s視頻操作與應用提供演算法與工具，支持較低的空間解析度(低於352×288像素)和較低的幀頻(低於15Hz)。VLBV核心功能包括：矩形圖像序列的有效編碼、多媒體資料庫的搜索和隨機存取。MPEG-4的HBV(HBV: High Bit Rate Video,范圍在64kbits/s-4Mbits/s之間)同樣支持上述功能，但它同時還支持較高的空間與時間解析度。其輸入可以是ITU-R 601的標准信號，因此其典型應用為數字電視廣播與互動式檢索。
與MPEG-1和MPEG-2相比，MPEG-4的特點是其更適於互動式AV服務以及遠程監控。MPEG-4是第一個允許用戶端操作的的視頻編碼標准。MPEG 4的特點非常適合於互聯網上的互動式影視服務：可適應各種應用終端的物理網路環境，可實現對視音頻內容的交互操作，具有下載解碼能力（在一定的硬體基礎上，可下載解碼工具，對不同編碼方式的內容進行解碼處理）。MPEG-4的設計目標還有更廣的適應性和可擴展性：網際網路多媒體應用、互動式視頻游戲、實時可視通信、互動式存儲媒體應用、廣播電視、演播室技術及電視後期製作、多媒體內容存儲和檢索、採用面部動畫技術的虛擬會議、多媒體郵件、移動通信條件下的多媒體應用、可視化合作實驗室場景應用、遠程視頻監控、通過ATM網路等進行的遠程資料庫業務等等。
從矩形幀到VOP，MPEG-4順應了現代圖像壓縮編碼的發展潮流，即從基於DCT的傳統編碼向基於對象和內容的現代編碼的轉變。從這個意義上講，MPEG-4視頻編碼技術翻開了圖像編碼史上嶄新的一頁。
四、 MPEG 4視頻產品
在2001 NAB會展上，多家公司推出了他們的MPEG 4產品。Amnis公司推出了基於IP平台的MPEG4視頻流技術，展示了可以重放MPEG1, MPEG2和MPEG4的桌面軟體。Envivo 公司陳列了他們的應用於IP網路或MPEG2節目數據廣播的MPEG4端到端解決方案。該方案是純軟體的，支持視頻、音頻和合成的2D動畫的MPEG4方式編碼，以及對MPEG 4文件的版權保護。Optibase公司推出的MGW系列是一個插件式的多通道流伺服器系列，可插入不同的編碼模塊以適應不同的需求，其中MGW 4000是支持MPEG4（兼容MPEG1和MPEG2）的流伺服器。Optibase還推出了支持多媒體和交互MPEG4流的IP實時編碼、分配平台。最後，Optibase展示了從MPEG 1到MPEG 4的實時轉碼技術。Philips 提供了一個從製作到重放的、端到端的網上MPEG-4解決方案：包括互動內容編輯器（支持網上MPEG-4視頻流的搜索、剪輯和編輯）、實時軟體MPEG-4編碼器（甚至支持簡單視頻和AAC音頻的無線編碼）、通用多點分配IP平台和解碼軟體（WebCine' player支持Win95,Win2000和NT操作系統；WinCE用於手提電腦；Trimedia是一個網上廣播機頂盒）。SUN 公司也推出了他們的通用MPEG-4流伺服器。
微軟在它現在的WIN98和WIN2000操作系統中也已加入了一個MPEG-4的播放器，叫做Divx。它可以回放仍是以.AVI為後綴的MPEG 4文件。Divx可以附加到MPEG-4的數據流中，並可以進行設置以適應不同的使用要求。Divx視頻編碼技術是由 Microsoft MPEG4 V3 修改而來，使用MPEG 4壓縮演算法，打破了ASF的種種協定。但MPEG4畢竟是一種高比率有損壓縮，其圖象質量始終無法和 DVD 的 MPEG2 相比，即便是在MPEG4碼率和DVD碼率差不多時，總體效果還是有距離（在雜亂的細節上稍有模糊）。所以目前的MPEG4 只能面向於娛樂和欣賞方面的市場。
市場上的第一張DIVX-MPEG4格式的影碟《活火熔城》，長98分鍾，採用512×288 16:9格式，幀頻24幀/秒，64KB立體聲音頻。影片由720×480 16:9 30幀/秒的MPEG2制式轉刻，刻在單張CD碟片上。
六、結 尾
在最後結束本文的時候，作者還想說一些與本文有關的闡述文字。由於工程實現與商機、市場的原因，我們所獲得的工程技術成果經常是落後於科學家已經得心應手、並能信手拈來的實際的最前沿科技成果。MPEG-4標准即是多因素集合作用的結果，如果不考慮對已有產品的兼容，它還可以做得更好。
VOP編碼方式是視頻信號處理技術從數字化進入智能化得初探。另外，已VOP技術為依託，也使得模式識別技術從對符號的識別進入到對圖形識別的更新的領域。資料表明，此類研究已經更進一步的逼近人腦對視覺信息的處理方式。人類永遠不停的在揭示自然界無窮奧妙的同時，也更深入的探索人類自身。
⑨ 什麼是ID3演算法
ID3演算法是由Quinlan首先提出的。該演算法是以資訊理論為基礎，以信息熵和信息增益度為衡量標准，從而實現對數據的歸納分類。以下是一些資訊理論的基本概念：
定義1：若存在n個相同概率的消息，則每個消息的概率p是1/n，一個消息傳遞的信息量為-Log2(1/n)
定義2：若有n個消息，其給定概率分布為P=(p1,p2…pn)，則由該分布傳遞的信息量稱為P的熵，記為
。
定義3：若一個記錄集合T根據類別屬性的值被分成互相獨立的類C1C2..Ck，則識別T的一個元素所屬哪個類所需要的信息量為Info(T)=I(p)，其中P為C1C2…Ck的概率分布，即P=(|C1|/|T|,…..|Ck|/|T|)
定義4：若我們先根據非類別屬性X的值將T分成集合T1,T2…Tn，則確定T中一個元素類的信息量可通過確定Ti的加權平均值來得到，即Info(Ti)的加權平均值為：
Info(X, T)=(i=1 to n 求和)((|Ti|/|T|)Info(Ti))
定義5：信息增益度是兩個信息量之間的差值，其中一個信息量是需確定T的一個元素的信息量，另一個信息量是在已得到的屬性X的值後需確定的T一個元素的信息量，信息增益度公式為：
Gain(X, T)=Info(T)-Info(X, T)
ID3演算法計算每個屬性的信息增益，並選取具有最高增益的屬性作為給定集合的測試屬性。對被選取的測試屬性創建一個節點，並以該節點的屬性標記，對該屬性的每個值創建一個分支據此劃分樣本.
數據描述
所使用的樣本數據有一定的要求,ID3是:
描述-屬性-值相同的屬性必須描述每個例子和有固定數量的價值觀。
預定義類-實例的屬性必須已經定義的,也就是說,他們不是學習的ID3。
離散類-類必須是尖銳的鮮明。連續類分解成模糊范疇(如金屬被「努力,很困難的,靈活的,溫柔的,很軟」都是不可信的。
足夠的例子——因為歸納概括用於(即不可查明)必須選擇足夠多的測試用例來區分有效模式並消除特殊巧合因素的影響。
屬性選擇
ID3決定哪些屬性如何是最好的。一個統計特性,被稱為信息增益,使用熵得到給定屬性衡量培訓例子帶入目標類分開。信息增益最高的信息(信息是最有益的分類)被選擇。為了明確增益,我們首先從資訊理論借用一個定義，叫做熵。每個屬性都有一個熵。
⑩ 資訊理論的圖書信息一
書名：資訊理論
出版社：哈爾濱工程大學出版社
作者: 唐世偉劉賢梅
ISBN: 9787811332780
開本： 16
頁數: 217
定價： 25.00元 本書共分七章，第一章為緒論，介紹信息的基本概念和定義，資訊理論的起源、發展和研究內容；第二章為信源與信源熵，介紹各種熵的概念、性質、定理等；第三章為無失真信源編碼，介紹了信源的定長和變長編碼定理、方法，以及幾種實用的無失真信源編碼；第四章為限失真信源編碼，介紹了信息率失真函數的定義、性質、計算及語音、圖像信號的預測編碼；第五章為信道及信道容量，介紹了單符號離散信道、多符號離散信道和多用戶信道的信道模型及信道容量的計算；第六章為信道編碼，介紹了信道編碼的基本概念、信道編碼定理、線性分組碼和循環碼；第七章為網路信息安全及密碼學，介紹了密碼學的基本概念、各種加密演算法及數字簽名等技術。