pigz解壓
發布時間: 2023-06-09 19:54:33
file xxx.z 看看這個文件是什麼文件
擴展名改為大寫的Z,然後用uncompress解壓縮試試
❷ 生信小工具之:並行解壓神器pigz
這次推送給大家帶來一個並行解壓的神器 pigz 。簡單來說,由Mark Adler編寫的pigz基本上就是並行gzip,可以有效的提高解壓或者壓縮的速度。默認情況下,它使用與你的處理器所擁有的相同數量的線程進行壓縮。
那問題來了,它有多快?我使用pigz和gzip測試了一些較小文件( 8G未壓縮)和一個大( 70G未壓縮)文件的壓縮和解壓縮步驟。然後,這些步驟都是在我的伺服器中完成的,具有96個內核和1TB RAM的伺服器上完成的(不同配置測出的數據會有所不同)。
每個文件的大小大概為8.7到8.8G
這里預防你不清楚 real,user,sys 三者的區別,簡單解析一下:
這里我們單單比較運行的速度看real就好了,可以看到使用了 pigz 之後壓縮的速度比 gzip 快了接近40倍。
每個文件大約2.5G
再次解壓的速度使用pigz也有一定幅度的提升。
文件大小約為75G
文件大小大約為22G
從上面的結果來看 pgiz 表現是相當不錯,當你處理大量的數據時,恰當的使用它能夠減少很多你無聊等待解壓或者壓縮的時間,進而提高你的工作效率。當然這也是其中一種方法。還有很多其它方式能夠達到相同的效果,例如使用 parallel + gzip , 又或者 Parafly + gzip 等等的方式。如果大家感興趣,在日後的推文可以專門討論一下並行運行的技巧工具等這個話題。
熱點內容