數據壓縮技術

① 數據壓縮的基本原理

數據壓縮的基本原理

--------------------------------------------------------------------------------

數據壓縮技術就是對原始數據進行數據編碼或壓縮編碼。

目前常用的壓縮編碼有：冗餘壓縮法（無損壓縮法、熵編碼）和熵壓縮法（有損壓縮法）兩類。

無損壓縮是可逆的；有損壓縮是不可逆的。

--------------------------------------------------------------------------------

變長編碼

使用長度可變的代碼來對以不同頻率出現的樣本進行編碼。

1·Huffman編碼

Huffman編碼又稱最佳編碼。

Huffman編碼過程是：

*將信源符號按概率遞減順序排列；

*把兩個最小的概率加起來，作為新符號的概率；

*重復上述兩步驟，直到概率的和達到1為止；

*在每次合並消息時，將被合並的消息賦予1和0或賦予0和1；

*尋找從每一信源符號到概率為1的路經，記錄下路經上的1和0；

*對每一符號寫出從碼樹的根到終結點1、0序列。

例：對信源

[X1，X2，X3，X4，X5，X6]=[0.25，0.25，0.20，0.15，0.10，0.05]

進行Huffman編碼。

其中：X1=01；X2=10；X3=11；X4=000；X5=0010；X6=0011。

2·算術編碼

算術編碼是一種二元編碼。

這種編碼方法是在不考慮信源統計的情況下，只要監視一小段時間內碼字出現的頻率，不管統計是平穩的或非平穩的，編碼的碼率總能趨近於信源熵值，每次迭代的編碼演算法只處理一個數據符號，並且只有算術運算。

對二進制編碼來說，信源符號只有兩個。在算術編碼的初級階段，可設一個大概率Pe和小概率Qe，然後對被編碼比特流符號進行判斷。

其步驟：

*設編碼初始化子區間為[0，1]，Qe從0算起，則Pe=1-Qe。

*確定子區間起始位置：子區間起始位置=前子區間的長度+ 當前符號的區間左端X前子區間長度

*確定新子區間長度：新子區間長度=前子區間的長度X當前符號的概率

*隨著被編碼數據流符號的輸入，子區間逐漸縮小，

*最後得到的子區間長度決定了表示該區域內的某一個數所需的位數。

例：P42

--------------------------------------------------------------------------------

預測編碼

（自習）

--------------------------------------------------------------------------------

變換編碼

變換編碼是指對信號進行變換後在編碼。

例如：

典型的編碼結構是：

--------------------------------------------------------------------------------

模型編碼

模型編碼是指採用模型的方法對傳輸的圖像進行參數估測。

模型編碼有：隨機馬爾可夫場和分形圖像編碼。

1·分形的概念

分形的含義是其組成部分以某種方式與整體相似的形（一類無規則、混亂而復雜），其局部與整體有相似性的體系，即：自相似性體系。

2·分形編碼

*基本原理：分形的方法是把一幅數字圖像，通過一些圖像處理技術將原始圖像分成一些子圖像，然後在分形集中查找這樣的子圖像。分形集存儲許多迭代函數，通過迭代函數的反復迭代，可以恢復原來的子圖像。

分形編碼壓縮的步驟：

第一步：把圖像劃分為互不重疊的、任意大小的的D分區；

第二步：劃定一些可以相互重疊的、比D分區大的R分區；

第三步：為每個D分區選定仿射變換表。

分形編碼解壓步驟：

首先從文件中讀取D分區劃分方式的信息和仿射變換系數等數據；

然後劃定兩個同樣大小的緩沖區給D圖像和R圖像，並把R初始化到任一初始階段；

根據仿射變換系數把其相應的R分區做仿射變換，並用變換後的數據取代該D分區的原有數據；

對D中所有的D分區都進行上述操作，全部完成後就形成一個新的D圖像；

再把新D圖像的內容拷貝到R中，把新R當作D，D當作R，重復操作（迭代）。

。分形編碼的特點：

壓縮比高，壓縮後的文件容量與圖像像素數無關，在壓縮時時間長但解壓縮速度快。

--------------------------------------------------------------------------------

② 數據壓縮分為哪三類

數據壓縮分為兩類，有三種分法：

1、即時壓縮和非即時壓縮

即時壓縮是將語音信號轉化為數字信號，同時進行壓縮，然後即時通過Internet傳送出去。即時壓縮一般應用在影像、聲音數據的傳送中。

非即時壓縮是在需要的情況下才進行，沒有即時性。非即時壓縮一般不需要專門的設備，直接在計算機中安裝並使用相應的壓縮軟體即可。

2、數字壓縮和文件壓縮

數字壓縮是專指一些具有時間性的數據，這些數據常常是即時採集、即時處理或傳輸的。

文件壓縮是專指對將要保存在磁碟等物理介質的數據進行壓縮，如一篇文章數據、一段音樂數據、一段程序編碼數據等的壓縮。

3、無損壓縮與有損壓縮

無損壓縮利用數據的統計冗餘進行壓縮，所以無損壓縮的壓縮比一般比較低。這類方法廣泛應用於文本數據、程序和特殊應用場合的圖像數據等需要精確存儲數據的壓縮。

有損壓縮方法利用了人類視覺、聽覺對圖像、聲音中的某些頻率成分不敏感的特性，允許壓縮的過程中損失一定的信息。有損壓縮廣泛應用於語音、圖像和視頻數據的壓縮。

(2)數據壓縮技術擴展閱讀：

無損壓縮格式可以很方便地還原成WAV，還能直接轉壓縮成MP3、Ogg等有損壓縮格式，甚至可以在不同無損壓縮格式之間互相轉換，而不會丟失任何數據。

這一點比起有損格式要強。因為有損壓縮格式的二次編碼（從一種有損格式轉換成另一種有損格式，或者格式不變而調整比特率）意味著丟失更多的信號，帶來更大的失真。

參考資料來源：

網路——數據壓縮

網路——無損壓縮

③ 數據壓縮技術分為哪兩類

數據壓縮分為兩類，按照標准不一樣，有三種分法：


1、即時壓縮和非即時壓縮即時壓縮是將語音信號轉化為數字信號，同時進行壓縮，然後即時通過Internet傳送出去。即時壓縮一般應用在影像、聲音數據的傳送中。非即時壓縮是在需要的情況下才進行，沒有即時性。非即時壓縮一般不需要專門的設備，直接在計算機中安裝並使用相應的壓縮軟體即可。2、數字壓縮和文件壓縮數字壓縮是專指一些具有時間性的數據，這些數據常常是即時採集、即時處理或傳輸的。文件壓縮是專指對將要保存在磁碟等物理介質的數據進行壓縮，如一篇文章數據、一段音樂數據、一段程序編碼數據等的壓縮。3、無損壓縮與有損壓縮無損壓縮利用數據的統計冗餘進行壓縮，所以無損壓縮的壓縮比一般比較低。這類方法廣泛應用於文本數據、程序和特殊應用場合的圖像數據等需要精確存儲數據的壓縮。有損壓縮方法利用了人類視覺、聽覺對圖像、聲音中的某些頻率成分不敏感的特性，允許壓縮的過程中損失一定的信息。有損壓縮廣泛應用於語音、圖像和視頻數據的壓縮。

④ 數據壓縮技術的性能指標有哪些

數據壓縮技術有三個主要指標
一是壓縮比要大；
二是實現壓縮的演算法要簡單，就是速度快；
三是恢復效果要好，要盡可能地完全恢復原始數據。

⑤ 數據壓縮技術的數據壓縮技術

在現今的電子信息技術領域，正發生著一場有長遠影響的數字化革命。由於數字化的多媒體信息尤其是數字視頻、音頻信號的數據量特別龐大，如果不對其進行有效的壓縮就難以得到實際的應用。因此，數據壓縮技術已成為當今數字通信、廣播、存儲和多媒體娛樂中的一項關鍵的共性技術。
1．什麼是數據壓縮
其作用是：能較快地傳輸各種信號，如傳真、Modem通信等；
在現有的通信干線並行開通更多的多媒體業務，如各種增值業務；緊縮數據存儲容量，如 CD－ROM、VCD和DVD等；
降低發信機功率，這對於多媒體移動通信系統尤為重要。
由此看來，通信時間、傳輸帶寬、存儲空間甚至發射能量，都可能成為數據壓縮的對象。
2．數據為何能被壓縮
首先，數據中間常存在一些多餘成分，既冗餘度。如在一份計算機文件中，某些符號會重復出現、某些符號比其他符號出現得更頻繁、某些字元總是在各數據塊中可預見的位置上出現等，這些冗餘部分便可在數據編碼中除去或減少。冗餘度壓縮是一個可逆過程，因此叫做無失真壓縮，或稱保持型編碼。
其次，數據中間尤其是相鄰的數據之間，常存在著相關性。如圖片中常常有色彩均勻的背影，電視信號的相鄰兩幀之間可能只有少量的變化影物是不同的，聲音信號有時具有一定的規律性和周期性等等。因此，有可能利用某些變換來盡可能地去掉這些相關性。但這種變換有時會帶來不可恢復的損失和誤差，因此叫做不可逆壓縮，或稱有失真編碼、摘壓縮等。
此外，人們在欣賞音像節目時，由於耳、目對信號的時間變化和幅度變化的感受能力都有一定的極限，如人眼對影視節目有視覺暫留效應，人眼或人耳對低於某一極限的幅度變化已無法感知等，故可將信號中這部分感覺不出的分量壓縮掉或「掩蔽掉」。這種壓縮方法同樣是一種不可逆壓縮。
對於數據壓縮技術而言，最基本的要求就是要盡量降低數字化的在碼事，同時仍保持一定的信號質量。不難想像，數據壓縮的方法應該是很多的，但本質上不外乎上述完全可逆的冗餘度壓縮和實際上不可逆的嫡壓縮兩類。冗餘度壓縮常用於磁碟文件、數據通信和氣象衛星雲圖等不允許在壓縮過程中有絲毫損失的場合中，但它的壓縮比通常只有幾倍，遠遠不能滿足數字視聽應用的要求。在實際的數字視聽設備中，差不多都採用壓縮比更高但實際有損的嫡壓縮技術。
只要作為最終用戶的人覺察不出或能夠容忍這些失真，就允許對數字音像信號進一步壓縮以換取更高的編碼效率。摘壓縮主要有特徵抽取和量化兩種方法，指紋的模式識別是前者的典型例子，後者則是一種更通用的摘壓縮技術。
3數字音、視頻的壓縮標准
數字音頻壓縮技術標准分為電話語音壓縮、調幅廣播語音壓縮和調頻廣播及CD音質的寬頻有頻壓縮3種。
（1）電話（200HZ－3.4kHZ）語音壓縮，主要有國際電信聯盟（ITU）的G.711（64kbit/s、G.721（32kbit/s）、G.728（16kbit/s）和G.729（8kbit/的建議等，用於數字電話通信。
（2）調幅廣播（50HZ－7kHZ）語音壓縮，採用ITU的G.722（64kbit/s）建議，用於優質語音、音樂、音頻會議和視頻會議等。
（3）調頻廣播（20HZ－15kHZ）及CD音質（20HZ－20kH）的寬頻音頻壓縮，主要採用MPEG－1或2雙杜比AC－3等建議，用於CD、MD、MPC、VCD、DVD、HDTV和電影配音等。
視頻壓縮技術標准主要有：
①ITU H.261建議，用於ISDN信道的PC電視電話、桌面視頻會議和音像郵件等通信終端。
②MPEG－1視頻壓縮標准，用於 VCD、MPC、PC/TV一體機、交互電視ITV和電視點播VOD。
③MPEG－2/ITU H.262視頻標准，主要用於數字存儲。視頻廣播和通信，如HDTV、CATV、DVD、VOD和電影點播MOD等。
④ITU H.263建議，用於網上的可視電話、移動多媒體終端、多媒體可視圖文、遙感、電子郵件、電子報紙和互動式計算機成像等。
⑤MPEG－4和 ITU H.VLC/L低碼率多媒體通信標准仍在發展之中。
4．數據壓縮的實現
在各種數據類型中，最難實現的是數字機頻的實時壓縮，因為視頻信號尤其是HDTV信號所佔據的帶寬甚寬，實時壓縮需要很高的處理速度。現在，視頻解碼以及音頻的編碼、解碼多依賴於專用晶元或數字信號處理器（DSP）未完成，並已有許多廠商推出了音視合一的單片MPEG－1、MPEG－2解碼器。我國在發展數據壓縮技術過程中，則充分利用了軟體人才優勢。
在軟體實現方面，由於PC主機的處理能力正在飛速提高，直接利用主CPU編程實現各種視聽壓縮和解碼演算法對於桌面系統及家用多媒體將越來越有吸引力。
1996年上半年，Intel向全球軟體界發布了它的微處理器媒體擴展（MMX）技術。這種技術主要是在Pentium或Pentium Pro晶元中增加了8個64位寄存器和57條功能強大的新指令，以提高多媒體和通信應用程序中某些計算密集的循環速度。MMX採用單指令多數據（SIMD）技術並行處理多個信號采樣值，可使不同的應用程序性能成倍提高。如：視頻壓縮可提高1.5倍，圖像處理可提高40倍，音頻處理可提高3.7偌，語音識別可提高1.7倍，三維動畫可提高20倍。
與Pentium完全兼容的P55C晶元是1998年3月正式推出的。以後推出的Pentium、Pentium pro或P7等CPU，均將支持MMX指令。
在數據壓縮的硬體實現方面，根本的出路是要有自己的音像壓縮晶元（特別是解壓晶元），不管是專用集成電路（ASIC）實現，還是藉助於通用DSP來編程。
而這一類晶元，目前還只是「霧里看花」。
不過我們相信，在不久的將來，這些也會成為現實。

⑥ 數據壓縮方法有幾種

實現數據壓縮技術方法有兩種：一是在信源編碼過程中進行壓縮，IEEE的MPEG專家組已發展制訂了ISO/IEC13818(MPEG-2)國際標准，MPEG-2採用不同的層和級組合即可滿足從家庭質量到廣播級質量以及將要播出的高清晰度電視質量不同的要求，其應用面很廣，它支持標准解析度16:9寬屏及高清晰度電視等多種格式，從進入家庭的DVD到衛星電視、廣播電視微波傳輸都採用了這一標准。二是改進信道編碼，發展新的數字調制技術，提高單位頻寬數據傳送速率。如，在歐洲DVB數字電視系統中，數字衛星電視系統(DVB-S)採用正交相移鍵控調制(OPSK)；數字有線電視系統(DVB-C)採用正交調幅調制(QAM)；數字地面開路電視系統就(DVB-T)採用更為復雜的編碼正交頻分復用調制(COFDM)。

⑦ 數據壓縮技術分為哪兩類使用方法是什麼

【導讀】數據壓縮技術是大數據傳輸過程中需要採用的一種數據存儲方法。那麼數據壓縮技術分為哪兩類?使用方法是什麼呢?為此小編今天就來和大家細細聊聊關於數據壓縮技術那些事，同時也提醒各位大數據工程師在使用數據壓縮過程中的一些注意事項及使用方法。

在數據壓縮中，通過使用比原始數據更少的位來對數據進行編碼，數據壓縮有兩種方法：無損壓縮，它消除了冗餘但不丟失任何原始數據;有損數據壓縮，可通過刪除不必要或不太重要的信息來修改數據，在大數據的傳輸和存儲中使用數據壓縮非常重要，因為它減少了IT部門必須為該數據提供的網路帶寬和存儲量，同樣重要的是，您實際上並不想保留某些類型的大數據，例如作為物聯網(IoT)通信數據一部分的設備間握手引起的抖動。

為了最大程度地利用大數據進行數據壓縮，您必須知道何時何地使用不同類型的數據壓縮工具和公式。選擇數據壓縮方法時，請牢記以下幾條有用的准則：

何時使用無損數據壓縮

如果您有一個大數據應用程序，並且無法承受丟失任何數據的麻煩，並且需要解壓縮壓縮的每個位元組的數據，那麼您將需要一種無損的數據壓縮方法，當您壓縮來自資料庫的數據時，即使您意味著必須存儲更多的數據，也希望進行無損數據壓縮。在選擇將此數據重新提交到其資料庫時，您需要解壓縮完整數據，以便它可以與資料庫端的數據匹配並進行存儲。

何時使用有損數據壓縮

有時您不需要或不需要所有數據，例如物聯網和網路設備的抖動，您不需要這些數據，只需提供給您業務所需的上下文信息的數據即可。第二個示例是在數據壓縮過程的前端可能使用的數據壓縮公式中使用人工智慧(AI)，如果您正在研究一個特定的問題，並且只希望與該問題直接相關的數據，則可以決定讓數據壓縮公式不包含與該問題無關的任何數據。

如何選擇正確的編解碼器

一個編解碼器是一個硬體，軟體的組合，壓縮和解壓縮數據，所以它在大數據壓縮和解壓縮操作的核心作用，編解碼器有許多種，因此為正確的數據或文件類型選擇正確的編解碼器很重要，您選擇的編解碼器類型將取決於您嘗試壓縮的數據和文件類型，有無損和有損數據的編解碼器，也有一些編解碼器必須將所有數據文件作為「整體」處理，而其他編解碼器可以將數據分割開，以便可以對其進行並行處理，然後在其目的地重新組合，某些編解碼器設置用於可視數據，而其他編解碼器僅處理音頻數據。

為什麼數據壓縮很重要?

確定將用於大數據的數據壓縮類型是大數據操作的重要組成部分，僅在資源端，IT人員就無法承受處理失控和迅速發展的存儲的成本，即使必須完整存儲數據，也應盡可能地對其進行壓縮，也就是說，您可以採取其他步驟來限制存儲和處理，以及針對大數據壓縮中採用的演算法和方法的最適合操作，掌握這些選項是IT部門的關鍵數據點。

以上就是小編今天給大家整理分享關於「數據壓縮技術分為哪兩類?使用方法是什麼?」的相關內容希望對大家有所幫助。小編認為要想在大數據行業有所建樹，需要考取部分含金量高的數據分析師證書，這樣更有核心競爭力與競爭資本。

⑧ 數據壓縮技術的三個主要指標是什麼

數據壓縮技術有三個主要指標，一是壓縮前後所需的信息存儲量之比要大；二是實現壓縮的演算法要簡單，壓縮、解壓縮速度快，盡可能地做到實時壓縮和解壓縮；三是恢復效果要好，要盡可能地完全恢復原始數據。