数据压缩技术

① 数据压缩的基本原理

数据压缩的基本原理

--------------------------------------------------------------------------------

数据压缩技术就是对原始数据进行数据编码或压缩编码。

目前常用的压缩编码有：冗余压缩法（无损压缩法、熵编码）和熵压缩法（有损压缩法）两类。

无损压缩是可逆的；有损压缩是不可逆的。

--------------------------------------------------------------------------------

变长编码

使用长度可变的代码来对以不同频率出现的样本进行编码。

1·Huffman编码

Huffman编码又称最佳编码。

Huffman编码过程是：

*将信源符号按概率递减顺序排列；

*把两个最小的概率加起来，作为新符号的概率；

*重复上述两步骤，直到概率的和达到1为止；

*在每次合并消息时，将被合并的消息赋予1和0或赋予0和1；

*寻找从每一信源符号到概率为1的路经，记录下路经上的1和0；

*对每一符号写出从码树的根到终结点1、0序列。

例：对信源

[X1，X2，X3，X4，X5，X6]=[0.25，0.25，0.20，0.15，0.10，0.05]

进行Huffman编码。

其中：X1=01；X2=10；X3=11；X4=000；X5=0010；X6=0011。

2·算术编码

算术编码是一种二元编码。

这种编码方法是在不考虑信源统计的情况下，只要监视一小段时间内码字出现的频率，不管统计是平稳的或非平稳的，编码的码率总能趋近于信源熵值，每次迭代的编码算法只处理一个数据符号，并且只有算术运算。

对二进制编码来说，信源符号只有两个。在算术编码的初级阶段，可设一个大概率Pe和小概率Qe，然后对被编码比特流符号进行判断。

其步骤：

*设编码初始化子区间为[0，1]，Qe从0算起，则Pe=1-Qe。

*确定子区间起始位置：子区间起始位置=前子区间的长度+ 当前符号的区间左端X前子区间长度

*确定新子区间长度：新子区间长度=前子区间的长度X当前符号的概率

*随着被编码数据流符号的输入，子区间逐渐缩小，

*最后得到的子区间长度决定了表示该区域内的某一个数所需的位数。

例：P42

--------------------------------------------------------------------------------

预测编码

（自习）

--------------------------------------------------------------------------------

变换编码

变换编码是指对信号进行变换后在编码。

例如：

典型的编码结构是：

--------------------------------------------------------------------------------

模型编码

模型编码是指采用模型的方法对传输的图像进行参数估测。

模型编码有：随机马尔可夫场和分形图像编码。

1·分形的概念

分形的含义是其组成部分以某种方式与整体相似的形（一类无规则、混乱而复杂），其局部与整体有相似性的体系，即：自相似性体系。

2·分形编码

*基本原理：分形的方法是把一幅数字图像，通过一些图像处理技术将原始图像分成一些子图像，然后在分形集中查找这样的子图像。分形集存储许多迭代函数，通过迭代函数的反复迭代，可以恢复原来的子图像。

分形编码压缩的步骤：

第一步：把图像划分为互不重叠的、任意大小的的D分区；

第二步：划定一些可以相互重叠的、比D分区大的R分区；

第三步：为每个D分区选定仿射变换表。

分形编码解压步骤：

首先从文件中读取D分区划分方式的信息和仿射变换系数等数据；

然后划定两个同样大小的缓冲区给D图像和R图像，并把R初始化到任一初始阶段；

根据仿射变换系数把其相应的R分区做仿射变换，并用变换后的数据取代该D分区的原有数据；

对D中所有的D分区都进行上述操作，全部完成后就形成一个新的D图像；

再把新D图像的内容拷贝到R中，把新R当作D，D当作R，重复操作（迭代）。

。分形编码的特点：

压缩比高，压缩后的文件容量与图像像素数无关，在压缩时时间长但解压缩速度快。

--------------------------------------------------------------------------------

② 数据压缩分为哪三类

数据压缩分为两类，有三种分法：

1、即时压缩和非即时压缩

即时压缩是将语音信号转化为数字信号，同时进行压缩，然后即时通过Internet传送出去。即时压缩一般应用在影像、声音数据的传送中。

非即时压缩是在需要的情况下才进行，没有即时性。非即时压缩一般不需要专门的设备，直接在计算机中安装并使用相应的压缩软件即可。

2、数字压缩和文件压缩

数字压缩是专指一些具有时间性的数据，这些数据常常是即时采集、即时处理或传输的。

文件压缩是专指对将要保存在磁盘等物理介质的数据进行压缩，如一篇文章数据、一段音乐数据、一段程序编码数据等的压缩。

3、无损压缩与有损压缩

无损压缩利用数据的统计冗余进行压缩，所以无损压缩的压缩比一般比较低。这类方法广泛应用于文本数据、程序和特殊应用场合的图像数据等需要精确存储数据的压缩。

有损压缩方法利用了人类视觉、听觉对图像、声音中的某些频率成分不敏感的特性，允许压缩的过程中损失一定的信息。有损压缩广泛应用于语音、图像和视频数据的压缩。

(2)数据压缩技术扩展阅读：

无损压缩格式可以很方便地还原成WAV，还能直接转压缩成MP3、Ogg等有损压缩格式，甚至可以在不同无损压缩格式之间互相转换，而不会丢失任何数据。

这一点比起有损格式要强。因为有损压缩格式的二次编码（从一种有损格式转换成另一种有损格式，或者格式不变而调整比特率）意味着丢失更多的信号，带来更大的失真。

参考资料来源：

网络——数据压缩

网络——无损压缩

③ 数据压缩技术分为哪两类

数据压缩分为两类，按照标准不一样，有三种分法：


1、即时压缩和非即时压缩即时压缩是将语音信号转化为数字信号，同时进行压缩，然后即时通过Internet传送出去。即时压缩一般应用在影像、声音数据的传送中。非即时压缩是在需要的情况下才进行，没有即时性。非即时压缩一般不需要专门的设备，直接在计算机中安装并使用相应的压缩软件即可。2、数字压缩和文件压缩数字压缩是专指一些具有时间性的数据，这些数据常常是即时采集、即时处理或传输的。文件压缩是专指对将要保存在磁盘等物理介质的数据进行压缩，如一篇文章数据、一段音乐数据、一段程序编码数据等的压缩。3、无损压缩与有损压缩无损压缩利用数据的统计冗余进行压缩，所以无损压缩的压缩比一般比较低。这类方法广泛应用于文本数据、程序和特殊应用场合的图像数据等需要精确存储数据的压缩。有损压缩方法利用了人类视觉、听觉对图像、声音中的某些频率成分不敏感的特性，允许压缩的过程中损失一定的信息。有损压缩广泛应用于语音、图像和视频数据的压缩。

④ 数据压缩技术的性能指标有哪些

数据压缩技术有三个主要指标
一是压缩比要大；
二是实现压缩的算法要简单，就是速度快；
三是恢复效果要好，要尽可能地完全恢复原始数据。

⑤ 数据压缩技术的数据压缩技术

在现今的电子信息技术领域，正发生着一场有长远影响的数字化革命。由于数字化的多媒体信息尤其是数字视频、音频信号的数据量特别庞大，如果不对其进行有效的压缩就难以得到实际的应用。因此，数据压缩技术已成为当今数字通信、广播、存储和多媒体娱乐中的一项关键的共性技术。
1．什么是数据压缩
其作用是：能较快地传输各种信号，如传真、Modem通信等；
在现有的通信干线并行开通更多的多媒体业务，如各种增值业务；紧缩数据存储容量，如 CD－ROM、VCD和DVD等；
降低发信机功率，这对于多媒体移动通信系统尤为重要。
由此看来，通信时间、传输带宽、存储空间甚至发射能量，都可能成为数据压缩的对象。
2．数据为何能被压缩
首先，数据中间常存在一些多余成分，既冗余度。如在一份计算机文件中，某些符号会重复出现、某些符号比其他符号出现得更频繁、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少。冗余度压缩是一个可逆过程，因此叫做无失真压缩，或称保持型编码。
其次，数据中间尤其是相邻的数据之间，常存在着相关性。如图片中常常有色彩均匀的背影，电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声音信号有时具有一定的规律性和周期性等等。因此，有可能利用某些变换来尽可能地去掉这些相关性。但这种变换有时会带来不可恢复的损失和误差，因此叫做不可逆压缩，或称有失真编码、摘压缩等。
此外，人们在欣赏音像节目时，由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限，如人眼对影视节目有视觉暂留效应，人眼或人耳对低于某一极限的幅度变化已无法感知等，故可将信号中这部分感觉不出的分量压缩掉或“掩蔽掉”。这种压缩方法同样是一种不可逆压缩。
对于数据压缩技术而言，最基本的要求就是要尽量降低数字化的在码事，同时仍保持一定的信号质量。不难想象，数据压缩的方法应该是很多的，但本质上不外乎上述完全可逆的冗余度压缩和实际上不可逆的嫡压缩两类。冗余度压缩常用于磁盘文件、数据通信和气象卫星云图等不允许在压缩过程中有丝毫损失的场合中，但它的压缩比通常只有几倍，远远不能满足数字视听应用的要求。在实际的数字视听设备中，差不多都采用压缩比更高但实际有损的嫡压缩技术。
只要作为最终用户的人觉察不出或能够容忍这些失真，就允许对数字音像信号进一步压缩以换取更高的编码效率。摘压缩主要有特征抽取和量化两种方法，指纹的模式识别是前者的典型例子，后者则是一种更通用的摘压缩技术。
3数字音、视频的压缩标准
数字音频压缩技术标准分为电话语音压缩、调幅广播语音压缩和调频广播及CD音质的宽带有频压缩3种。
（1）电话（200HZ－3.4kHZ）语音压缩，主要有国际电信联盟（ITU）的G.711（64kbit/s、G.721（32kbit/s）、G.728（16kbit/s）和G.729（8kbit/的建议等，用于数字电话通信。
（2）调幅广播（50HZ－7kHZ）语音压缩，采用ITU的G.722（64kbit/s）建议，用于优质语音、音乐、音频会议和视频会议等。
（3）调频广播（20HZ－15kHZ）及CD音质（20HZ－20kH）的宽带音频压缩，主要采用MPEG－1或2双杜比AC－3等建议，用于CD、MD、MPC、VCD、DVD、HDTV和电影配音等。
视频压缩技术标准主要有：
①ITU H.261建议，用于ISDN信道的PC电视电话、桌面视频会议和音像邮件等通信终端。
②MPEG－1视频压缩标准，用于 VCD、MPC、PC/TV一体机、交互电视ITV和电视点播VOD。
③MPEG－2/ITU H.262视频标准，主要用于数字存储。视频广播和通信，如HDTV、CATV、DVD、VOD和电影点播MOD等。
④ITU H.263建议，用于网上的可视电话、移动多媒体终端、多媒体可视图文、遥感、电子邮件、电子报纸和交互式计算机成像等。
⑤MPEG－4和 ITU H.VLC/L低码率多媒体通信标准仍在发展之中。
4．数据压缩的实现
在各种数据类型中，最难实现的是数字机频的实时压缩，因为视频信号尤其是HDTV信号所占据的带宽甚宽，实时压缩需要很高的处理速度。现在，视频解码以及音频的编码、解码多依赖于专用芯片或数字信号处理器（DSP）未完成，并已有许多厂商推出了音视合一的单片MPEG－1、MPEG－2解码器。我国在发展数据压缩技术过程中，则充分利用了软件人才优势。
在软件实现方面，由于PC主机的处理能力正在飞速提高，直接利用主CPU编程实现各种视听压缩和解码算法对于桌面系统及家用多媒体将越来越有吸引力。
1996年上半年，Intel向全球软件界发布了它的微处理器媒体扩展（MMX）技术。这种技术主要是在Pentium或Pentium Pro芯片中增加了8个64位寄存器和57条功能强大的新指令，以提高多媒体和通信应用程序中某些计算密集的循环速度。MMX采用单指令多数据（SIMD）技术并行处理多个信号采样值，可使不同的应用程序性能成倍提高。如：视频压缩可提高1.5倍，图像处理可提高40倍，音频处理可提高3.7偌，语音识别可提高1.7倍，三维动画可提高20倍。
与Pentium完全兼容的P55C芯片是1998年3月正式推出的。以后推出的Pentium、Pentium pro或P7等CPU，均将支持MMX指令。
在数据压缩的硬件实现方面，根本的出路是要有自己的音像压缩芯片（特别是解压芯片），不管是专用集成电路（ASIC）实现，还是借助于通用DSP来编程。
而这一类芯片，目前还只是“雾里看花”。
不过我们相信，在不久的将来，这些也会成为现实。

⑥ 数据压缩方法有几种

实现数据压缩技术方法有两种：一是在信源编码过程中进行压缩，IEEE的MPEG专家组已发展制订了ISO/IEC13818(MPEG-2)国际标准，MPEG-2采用不同的层和级组合即可满足从家庭质量到广播级质量以及将要播出的高清晰度电视质量不同的要求，其应用面很广，它支持标准分辨率16:9宽屏及高清晰度电视等多种格式，从进入家庭的DVD到卫星电视、广播电视微波传输都采用了这一标准。二是改进信道编码，发展新的数字调制技术，提高单位频宽数据传送速率。如，在欧洲DVB数字电视系统中，数字卫星电视系统(DVB-S)采用正交相移键控调制(OPSK)；数字有线电视系统(DVB-C)采用正交调幅调制(QAM)；数字地面开路电视系统就(DVB-T)采用更为复杂的编码正交频分复用调制(COFDM)。

⑦ 数据压缩技术分为哪两类使用方法是什么

【导读】数据压缩技术是大数据传输过程中需要采用的一种数据存储方法。那么数据压缩技术分为哪两类?使用方法是什么呢?为此小编今天就来和大家细细聊聊关于数据压缩技术那些事，同时也提醒各位大数据工程师在使用数据压缩过程中的一些注意事项及使用方法。

在数据压缩中，通过使用比原始数据更少的位来对数据进行编码，数据压缩有两种方法：无损压缩，它消除了冗余但不丢失任何原始数据;有损数据压缩，可通过删除不必要或不太重要的信息来修改数据，在大数据的传输和存储中使用数据压缩非常重要，因为它减少了IT部门必须为该数据提供的网络带宽和存储量，同样重要的是，您实际上并不想保留某些类型的大数据，例如作为物联网(IoT)通信数据一部分的设备间握手引起的抖动。

为了最大程度地利用大数据进行数据压缩，您必须知道何时何地使用不同类型的数据压缩工具和公式。选择数据压缩方法时，请牢记以下几条有用的准则：

何时使用无损数据压缩

如果您有一个大数据应用程序，并且无法承受丢失任何数据的麻烦，并且需要解压缩压缩的每个字节的数据，那么您将需要一种无损的数据压缩方法，当您压缩来自数据库的数据时，即使您意味着必须存储更多的数据，也希望进行无损数据压缩。在选择将此数据重新提交到其数据库时，您需要解压缩完整数据，以便它可以与数据库端的数据匹配并进行存储。

何时使用有损数据压缩

有时您不需要或不需要所有数据，例如物联网和网络设备的抖动，您不需要这些数据，只需提供给您业务所需的上下文信息的数据即可。第二个示例是在数据压缩过程的前端可能使用的数据压缩公式中使用人工智能(AI)，如果您正在研究一个特定的问题，并且只希望与该问题直接相关的数据，则可以决定让数据压缩公式不包含与该问题无关的任何数据。

如何选择正确的编解码器

一个编解码器是一个硬件，软件的组合，压缩和解压缩数据，所以它在大数据压缩和解压缩操作的核心作用，编解码器有许多种，因此为正确的数据或文件类型选择正确的编解码器很重要，您选择的编解码器类型将取决于您尝试压缩的数据和文件类型，有无损和有损数据的编解码器，也有一些编解码器必须将所有数据文件作为“整体”处理，而其他编解码器可以将数据分割开，以便可以对其进行并行处理，然后在其目的地重新组合，某些编解码器设置用于可视数据，而其他编解码器仅处理音频数据。

为什么数据压缩很重要?

确定将用于大数据的数据压缩类型是大数据操作的重要组成部分，仅在资源端，IT人员就无法承受处理失控和迅速发展的存储的成本，即使必须完整存储数据，也应尽可能地对其进行压缩，也就是说，您可以采取其他步骤来限制存储和处理，以及针对大数据压缩中采用的算法和方法的最适合操作，掌握这些选项是IT部门的关键数据点。

以上就是小编今天给大家整理分享关于“数据压缩技术分为哪两类?使用方法是什么?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。

⑧ 数据压缩技术的三个主要指标是什么

数据压缩技术有三个主要指标，一是压缩前后所需的信息存储量之比要大；二是实现压缩的算法要简单，压缩、解压缩速度快，尽可能地做到实时压缩和解压缩；三是恢复效果要好，要尽可能地完全恢复原始数据。