pigz解压
发布时间: 2023-06-09 19:54:33
file xxx.z 看看这个文件是什么文件
扩展名改为大写的Z,然后用uncompress解压缩试试
❷ 生信小工具之:并行解压神器pigz
这次推送给大家带来一个并行解压的神器 pigz 。简单来说,由Mark Adler编写的pigz基本上就是并行gzip,可以有效的提高解压或者压缩的速度。默认情况下,它使用与你的处理器所拥有的相同数量的线程进行压缩。
那问题来了,它有多快?我使用pigz和gzip测试了一些较小文件( 8G未压缩)和一个大( 70G未压缩)文件的压缩和解压缩步骤。然后,这些步骤都是在我的服务器中完成的,具有96个内核和1TB RAM的服务器上完成的(不同配置测出的数据会有所不同)。
每个文件的大小大概为8.7到8.8G
这里预防你不清楚 real,user,sys 三者的区别,简单解析一下:
这里我们单单比较运行的速度看real就好了,可以看到使用了 pigz 之后压缩的速度比 gzip 快了接近40倍。
每个文件大约2.5G
再次解压的速度使用pigz也有一定幅度的提升。
文件大小约为75G
文件大小大约为22G
从上面的结果来看 pgiz 表现是相当不错,当你处理大量的数据时,恰当的使用它能够减少很多你无聊等待解压或者压缩的时间,进而提高你的工作效率。当然这也是其中一种方法。还有很多其它方式能够达到相同的效果,例如使用 parallel + gzip , 又或者 Parafly + gzip 等等的方式。如果大家感兴趣,在日后的推文可以专门讨论一下并行运行的技巧工具等这个话题。
热点内容