知乎冷數據存儲
Ⅰ HDFS EC 在知乎的應用
知乎通過採用糾刪碼（Erasure Coding）技術（簡稱 EC）在 HDFS 文件系統中的應用，優化了數據存儲策略，以減少冗餘存儲帶來的成本開銷。在 Hadoop 2 版本中，HDFS 通過冗餘副本確保數據可靠性，然而，隨著數據量的持續增長，這種方法導致了較高的存儲成本。
EC 技術在 HDFS 中的引入，允許在保證數據可靠性的同時，節省存儲空間。HDFS 中的 EC 編碼分為 XOR 和 RS 兩大類，以 RS-6-3-1024K 為例，相較於三副本方式，最高可節省約 50% 的存儲空間。
在 EC 的應用中，存在性能和功能限制。性能方面，每個文件塊由原始的三副本擴展為九個 Block 的 Block Group，且這九個 Block 必須分布於不同機器，這增加了讀取操作的復雜性。功能限制方面，EC 文件不支持修改操作，因此不適用於頻繁讀取或追加的目錄。
針對這一限制，知乎提出了冷熱文件分級策略，通過文件產出時間、訪問頻次和訪問時間三個特徵，將數據分為冷熱文件。產出時間較近的文件，即使訪問頻次不高，也可能被標記為熱文件；而訪問頻次高，產出時間久遠的文件則被歸類為熱文件。結合這些特徵，知乎採用動態參數設置，根據目錄或 Hive 表分區的特性，進行冷熱文件的區分。
在文件轉存 EC 方式上，由於 HDFS 缺乏直接轉換功能，知乎採用 cp 或 distcp 工具將文件復制到 EC 目錄，再替換原文件。文件轉存 EC 的策略可以按文件粒度或目錄粒度進行，文件粒度轉換可更精確地節省存儲空間，但目錄粒度轉換受限於平均大小的粗略估算。
為了解決文件轉存過程中的復雜性，知乎開發了 EC Worker 工具，基於 distcp 實現，用於批量處理數據轉換任務。EC Worker 以輕量客戶端程序運行，能夠支撐上千個 distcp 任務同時執行。
在 EC 文件損壞修復方面，知乎使用 HDFS 中的 stripe 存儲機制，通過簡單的邏輯判斷，可以檢查 EC 文件是否損壞並定位損壞的 blockId。對於損壞的 block，修復過程涉及從對應 DataNode 機器上刪除並重建，但在大規模修復時，快速定位損壞 block 所在磁碟路徑成為關鍵問題。知乎通過配置 DataNode 的許可權介面，以及使用 find 命令或 iptables 排除特定 DataNode 的入流量，實現了快速定位和修復。
總體而言，知乎通過 HDFS EC 技術實現了存儲空間的有效優化。在實際應用中，需注意版本兼容性問題，建議升級到較高版本的 Hadoop 或者確保引入的 EC 相關 patch，以避免潛在的 bug 和問題。通過持續優化和調整，EC 技術在 HDFS 中的應用為知乎提供了更為經濟、高效的數據存儲解決方案。
Ⅱ 移動硬碟該買什麼牌子知乎
移動硬碟什麼牌子好
移動硬碟推薦：東芝、希捷、西部數據、創見、三星。
1、東芝
東芝是存儲界的老牌廠商之一，技術實力強勁，其移動硬碟以機械硬碟為主，各系列基本只有外觀上的差別，性能差距很小，可以隨便買。
V9系列在東芝移動硬碟中算相對高端的一個系列，有多種顏色外殼可選，外殼為無螺絲設計，只有卡扣，附帶數據加密軟體，基準測試中基本在110-150MB/s左右，高於一般移動硬碟中常見的80~120MB/s區間。
2、希捷
希捷是數據存儲產品的全球領導者，是人盡皆知的「老廠牌」，產品實力與口碑兼具。它的移動硬碟也基本是機械硬碟，所屬幾個系列基本只是外觀、外殼材質上的區別。希捷睿翼系列採用塑料外殼，在幾個系列中最便宜，在保證讀寫速度的同時，性價比會相對高些。但這種差價其實並不大，1T版本的產品售價約330元，約合0.35元／GB，如果容量需求不大，1T版本應該夠用了。
3、西部數據
西部數據也是機械硬碟行業巨頭之一，在並購了日立後，穩坐硬碟行業老大的位置。攜帶型移動硬碟分為「元素」與MyPassport兩個系列，其中「元素」系列採用塑料外殼。
這點和希捷睿翼其實是差不多的，由於「元素」系列採用塑料外殼，相比金屬外殼成本較低，所以價格也相對較低，「新元素」讀寫速度可達120MB/s以上，性能差距和其他系列也極小。
4、創見
創見25M3移動硬碟定位於具備軍規級別防滑防塵、防刮防震能力的2.5英寸移動硬碟，外殼以橡膠包覆，內層具備抗震強化支架以及特殊硬碟懸吊系統。這款移動硬碟從1.2米高度自由落體運動仍可保護硬碟與資料，適合經常「手滑」的人群。
5、三星
三星T3跟其他的移動硬碟都不一樣，它的核心是一款固態硬碟，所以1T的價格都可以買好多個機械硬碟型的移動硬碟了，當然速度上來說那就快得不止一點點，常規的讀寫速度達到了，讀取500M/S，寫入至少都有190M/S的樣子，所以對於有拷貝資料速度快的需求的朋友，還是可以考慮的，而且外觀更小巧，也比較漂亮，內置的ssd也是三星自己的，質量還是非常好的。
哪個牌子的移動硬碟更耐用？
用過很多品牌，東芝的不錯，但有好多高仿的，建議用西部數據的，京東或蘇寧買有保障
移動硬碟市場分為固態硬碟和機械硬碟兩類產品。
總體來說，機械硬碟怕摔速度慢，尤其是面對大量碎片文件時，且怕摔。
固態硬碟不怕摔速度快，更適合用於安裝系統或者存放需要使用的程序、游戲之類的。但長時間不使用（通電）可能會丟失數據，某些情況下寫入量大會掉速。
1、機械硬碟：適合用來做備份盤
相比固態，機械盤便宜，放置久了掉數據概率低一些，另外pmr類型的機械盤能恢復數據，因此更適合用來做備份盤。
但機械盤不防震，2.5寸盤普遍怕長時間連續通電（接路由器7X24更是作死），故障率普遍高於固態。
品牌：主要是希捷、西數、東芝、日立
目前市售所有品牌基本都是用的希捷、西數、東芝、hgst（日立）其中之一。其他牌子的移動硬碟盤體基本都是這四家其中之一生產的，只是殼子不同。個人認為不同品牌之間質量無顯著差別，坊間認為希捷質量較差些，但實際上各家翻車的都不少。有數據機構統計過自家使用的伺服器硬碟的可靠性，結果是HGST最好希捷最差，但這個結果不一定能代表消費級硬碟和2.5寸硬碟的可靠性。
2固態硬碟：更輕更快更抗摔，但不適合存放冷數據
固態移動硬碟適合對速度需求高且震動多的使用工況。
但固態數據丟失（尤其是主控損壞的情況下）無法恢復，同時數年不通電有丟失數據的可能，加上單位容量價格高（此乃主要原因），因此冷數據還是更推薦PMR機械盤。個人認為除容量價格比，其他任何情況下固態都優於SMR機械盤。
TLC和QLC：對可靠性影響不大，主要是體驗差距
理論上可靠性TLCQLC。但相比顆粒，主控晶元對可靠性影響更大些。
日常使用中qlc主要問題還是連續寫入慢，所以不建議購買容量不足1T（900g）的QLC產品。
另外qlc盤建議留20%左右的空餘容量，以免掉速。
以後QLC會越來越多，TLC會越來越少。成品固態移動硬碟目前還沒有qlc，以後肯定會有。建議早買早享受，晚買用電子垃圾。
個人經驗：硬碟最容易壞的部件是介面，最容易造成盤體損壞的原因是不安全刪除和供電不良
再次強調介面問題，傳統的typeb的介面很容易損壞。介面損壞輕則接觸不良，從而造成供電不穩，對硬碟造成傷害大大增加故障概率；重則直接導致硬碟無法使用。因此建議有條件統一選擇typec介面的產品。
1.容量，事實上，在過去的6年裡，硬碟容量的變化遠遠小於想像。如果你是移動硬碟的主要用戶，比如，拍攝視頻，經常用單反相機拍照備份，或者喜歡和同學交流。讓我們從3T開始。現在京東的價格大約在800元左右；如果你只是偶爾拷貝一下數據，備份一些手機的照片和資料，老實說，1T就夠了，2T就夠了(價格在350到550之間)；有更大的磁碟，例如4-8T。我的建議是，您可以再購買兩個磁碟，並為彼此進行災難恢復備份，而不是容量更大的磁碟，這樣會更好。畢竟，硬碟壽命很長；500克現在不值得買，因為價格基本上和1T一樣。
2.現在介面基本上是流行的3.0，也就是說，USB埠中的塑料柱是藍色的，2.0是黑色或白色的；如果兩邊都是3.0界面，你會覺得復制的速度是一天一地；所以一定要選擇3.0；
3.大小，因為單個磁碟現在可以是3T或更大，購買2.5。雖然3.5很便宜，但動力尾翼卻相當麻煩；
4.品牌。近年來，我使用了希捷、西方數碼和東芝。其中一個屬於希捷的盤子有問題。但是這張光碟是由作為時間機器的mac製成的。我不知道是因為他讀和寫得太多還是怎麼的。兩年後，他喜歡發出吱吱的聲音。東芝和西部數字目前沒有發現任何問題，主要是因為我不認為有這么多的閱讀和寫作。我又看了一遍京東的移動硬碟。近年來，希捷和西部數碼已經更新了一些不同系列的2.5，所以你可以購買一個有更多評估。
5.硬碟速度，其實這個問題不必糾纏。現在大多數2.5磁碟基本上是5400轉/分。此外，還有一種沒有速度的固態硬碟，但購買1T也是機械硬碟價格的幾倍，這是不劃算的；
6.固態硬碟和機械硬碟一樣，硬碟技術日新月異。雖然固態硬碟已經發展了多年，但其性能非常出色，但其性價比絕對不如機械硬碟。我認為這是製造商的陰謀，他們根本沒有動力在擠出利益之前升級。如果對性能有強烈需求，記得買固態硬碟。
7.在市場上，實際上有兩個7的品牌。可信賴的固態硬碟。英特爾和三星希望以低廉且實用的價格購買他們的普通系列，並快速購買他們的專業系列。
移動硬碟主要部分是硬碟，硬碟盒兩個部分。
硬碟一般都是西數，希捷，hgst。
硬碟盒主要是主板。
大品牌的移動硬碟可以選擇西數，希捷，東芝。或者選擇SSD移動硬碟，比機械硬碟耐摔。
啥也不多說，三星，金士頓。相信我靠譜
看你買什麼類型的硬碟了，如果是機械硬碟的話就是希捷和西數，如果是固態硬碟，就是三星東芝和西數。
直接說重點，移動硬碟還是希捷比較靠譜
在一段時間的對比後，買的三星的硬碟
固態硬碟
當然是固態硬碟中的東芝。
1、西部數據：它是來自美國的數據存儲設備品牌，於1970年創立，在八大移動品牌中首先推薦它，因為它在移動硬碟的研製方面很出色，秉持著品質第一的理念，加上數字化和專業的管理體系，受到無數消費者的青睞。
2、東芝：這個牌子來自日本，創立於1875年，原名是東京芝浦電氣株式會社，旗下的產品主要包括了家用電器、重型電機、通訊、電子、數碼產品等。東芝在虛擬空間存儲上，一直都有非常好的口碑，而且銷量也非常不錯。
3、愛國者：愛國者創立於1993年，是我國知名的一個數碼科技品牌，要說哪個牌子的移動硬碟好，這個牌子值得推薦，愛國者專注IT產品的研發，所以受到很多消費者的歡迎，硬碟低檔到高檔產品線豐富。
4、日立：日立的創立時間，和前面幾個品牌相比要晚一些，它成立於2003年，產品類別上，日立環球存儲科技公司迎合市場的需求，提供了一系列業界領先的產品組合，包括了1英寸、2.5英寸及3.5英寸硬碟存儲設備及方案。
5、萊斯：它成立於1989年，是法國的一個存儲設備製造商，有一定的知名度，一直以品質而在業內著稱，它家的移動硬碟也非常值得推薦，旗下有不少產品在國際上獲得過大獎。萊斯的研發力量強大，售後服務完善。
移動硬碟什麼牌子好用
希捷睿翼移動硬碟和東芝都不錯。
1、希捷睿翼移動硬碟。
希捷睿翼4T移動硬碟，其穩重的外觀屬於耐看。它具有超大的容量，以高性價比讓人印象深刻。數據傳輸上，希捷睿翼4T移動硬碟相比同類產品（非SSD）的表現也非常不錯，讀取速度可達到146MB/s,可以滿足日常使用需求，整體測試成績較為穩定。
2、東芝移動硬碟。
東芝在NAND存儲的優勢就不多說，東芝XS700搭載東芝最新的3DBiCSFLASH存儲器，配合USB3.1Gen2Type-C數據傳輸，官方提供的讀取速度550MB/s、寫入速度500MB/s，比原來的物理移動硬碟快了4~5倍，如果實際測試真能達到這個速度，性能可謂是很彪悍了。
移動硬碟的使用要注意以下問題：
1、不要長時間使用。使用用料一般的移動硬碟，最好不要插在計算機上長期工作，移動硬碟是用來臨時交換或存儲數據的，不是一個本地硬碟。相比於內置硬碟會時刻都工作在惡劣的環境下，應該盡量縮短工作時間。
2、不要整理磁碟碎片。不要給移動硬碟整理磁碟碎片，否則會很容易損傷硬碟。如果確實需要整理，方法可採用將整個分區裡面的數據都拷貝出來，再拷貝回去。
3、不要混用供電線。不要混用供電線，由於移動硬碟盒的供電線存在專用現象，供電線介面電壓可能會有所不同，亂插輕則燒盒子，重則燒硬碟。
4、切忌摔打。切忌摔打，輕拿輕放；注意溫度，不要過熱；乾燥防水，先退後拔