知乎冷数据存储
Ⅰ HDFS EC 在知乎的应用
知乎通过采用纠删码（Erasure Coding）技术（简称 EC）在 HDFS 文件系统中的应用，优化了数据存储策略，以减少冗余存储带来的成本开销。在 Hadoop 2 版本中，HDFS 通过冗余副本确保数据可靠性，然而，随着数据量的持续增长，这种方法导致了较高的存储成本。
EC 技术在 HDFS 中的引入，允许在保证数据可靠性的同时，节省存储空间。HDFS 中的 EC 编码分为 XOR 和 RS 两大类，以 RS-6-3-1024K 为例，相较于三副本方式，最高可节省约 50% 的存储空间。
在 EC 的应用中，存在性能和功能限制。性能方面，每个文件块由原始的三副本扩展为九个 Block 的 Block Group，且这九个 Block 必须分布于不同机器，这增加了读取操作的复杂性。功能限制方面，EC 文件不支持修改操作，因此不适用于频繁读取或追加的目录。
针对这一限制，知乎提出了冷热文件分级策略，通过文件产出时间、访问频次和访问时间三个特征，将数据分为冷热文件。产出时间较近的文件，即使访问频次不高，也可能被标记为热文件；而访问频次高，产出时间久远的文件则被归类为热文件。结合这些特征，知乎采用动态参数设置，根据目录或 Hive 表分区的特性，进行冷热文件的区分。
在文件转存 EC 方式上，由于 HDFS 缺乏直接转换功能，知乎采用 cp 或 distcp 工具将文件复制到 EC 目录，再替换原文件。文件转存 EC 的策略可以按文件粒度或目录粒度进行，文件粒度转换可更精确地节省存储空间，但目录粒度转换受限于平均大小的粗略估算。
为了解决文件转存过程中的复杂性，知乎开发了 EC Worker 工具，基于 distcp 实现，用于批量处理数据转换任务。EC Worker 以轻量客户端程序运行，能够支撑上千个 distcp 任务同时执行。
在 EC 文件损坏修复方面，知乎使用 HDFS 中的 stripe 存储机制，通过简单的逻辑判断，可以检查 EC 文件是否损坏并定位损坏的 blockId。对于损坏的 block，修复过程涉及从对应 DataNode 机器上删除并重建，但在大规模修复时，快速定位损坏 block 所在磁盘路径成为关键问题。知乎通过配置 DataNode 的权限接口，以及使用 find 命令或 iptables 排除特定 DataNode 的入流量，实现了快速定位和修复。
总体而言，知乎通过 HDFS EC 技术实现了存储空间的有效优化。在实际应用中，需注意版本兼容性问题，建议升级到较高版本的 Hadoop 或者确保引入的 EC 相关 patch，以避免潜在的 bug 和问题。通过持续优化和调整，EC 技术在 HDFS 中的应用为知乎提供了更为经济、高效的数据存储解决方案。
Ⅱ 移动硬盘该买什么牌子知乎
移动硬盘什么牌子好
移动硬盘推荐：东芝、希捷、西部数据、创见、三星。
1、东芝
东芝是存储界的老牌厂商之一，技术实力强劲，其移动硬盘以机械硬盘为主，各系列基本只有外观上的差别，性能差距很小，可以随便买。
V9系列在东芝移动硬盘中算相对高端的一个系列，有多种颜色外壳可选，外壳为无螺丝设计，只有卡扣，附带数据加密软件，基准测试中基本在110-150MB/s左右，高于一般移动硬盘中常见的80~120MB/s区间。
2、希捷
希捷是数据存储产品的全球领导者，是人尽皆知的“老厂牌”，产品实力与口碑兼具。它的移动硬盘也基本是机械硬盘，所属几个系列基本只是外观、外壳材质上的区别。希捷睿翼系列采用塑料外壳，在几个系列中最便宜，在保证读写速度的同时，性价比会相对高些。但这种差价其实并不大，1T版本的产品售价约330元，约合0.35元／GB，如果容量需求不大，1T版本应该够用了。
3、西部数据
西部数据也是机械硬盘行业巨头之一，在并购了日立后，稳坐硬盘行业老大的位置。便携式移动硬盘分为“元素”与MyPassport两个系列，其中“元素”系列采用塑料外壳。
这点和希捷睿翼其实是差不多的，由于“元素”系列采用塑料外壳，相比金属外壳成本较低，所以价格也相对较低，“新元素”读写速度可达120MB/s以上，性能差距和其他系列也极小。
4、创见
创见25M3移动硬盘定位于具备军规级别防滑防尘、防刮防震能力的2.5英寸移动硬盘，外壳以橡胶包覆，内层具备抗震强化支架以及特殊硬盘悬吊系统。这款移动硬盘从1.2米高度自由落体运动仍可保护硬盘与资料，适合经常“手滑”的人群。
5、三星
三星T3跟其他的移动硬盘都不一样，它的核心是一款固态硬盘，所以1T的价格都可以买好多个机械硬盘型的移动硬盘了，当然速度上来说那就快得不止一点点，常规的读写速度达到了，读取500M/S，写入至少都有190M/S的样子，所以对于有拷贝资料速度快的需求的朋友，还是可以考虑的，而且外观更小巧，也比较漂亮，内置的ssd也是三星自己的，质量还是非常好的。
哪个牌子的移动硬盘更耐用？
用过很多品牌，东芝的不错，但有好多高仿的，建议用西部数据的，京东或苏宁买有保障
移动硬盘市场分为固态硬盘和机械硬盘两类产品。
总体来说，机械硬盘怕摔速度慢，尤其是面对大量碎片文件时，且怕摔。
固态硬盘不怕摔速度快，更适合用于安装系统或者存放需要使用的程序、游戏之类的。但长时间不使用（通电）可能会丢失数据，某些情况下写入量大会掉速。
1、机械硬盘：适合用来做备份盘
相比固态，机械盘便宜，放置久了掉数据概率低一些，另外pmr类型的机械盘能恢复数据，因此更适合用来做备份盘。
但机械盘不防震，2.5寸盘普遍怕长时间连续通电（接路由器7X24更是作死），故障率普遍高于固态。
品牌：主要是希捷、西数、东芝、日立
目前市售所有品牌基本都是用的希捷、西数、东芝、hgst（日立）其中之一。其他牌子的移动硬盘盘体基本都是这四家其中之一生产的，只是壳子不同。个人认为不同品牌之间质量无显着差别，坊间认为希捷质量较差些，但实际上各家翻车的都不少。有数据机构统计过自家使用的服务器硬盘的可靠性，结果是HGST最好希捷最差，但这个结果不一定能代表消费级硬盘和2.5寸硬盘的可靠性。
2固态硬盘：更轻更快更抗摔，但不适合存放冷数据
固态移动硬盘适合对速度需求高且震动多的使用工况。
但固态数据丢失（尤其是主控损坏的情况下）无法恢复，同时数年不通电有丢失数据的可能，加上单位容量价格高（此乃主要原因），因此冷数据还是更推荐PMR机械盘。个人认为除容量价格比，其他任何情况下固态都优于SMR机械盘。
TLC和QLC：对可靠性影响不大，主要是体验差距
理论上可靠性TLCQLC。但相比颗粒，主控芯片对可靠性影响更大些。
日常使用中qlc主要问题还是连续写入慢，所以不建议购买容量不足1T（900g）的QLC产品。
另外qlc盘建议留20%左右的空余容量，以免掉速。
以后QLC会越来越多，TLC会越来越少。成品固态移动硬盘目前还没有qlc，以后肯定会有。建议早买早享受，晚买用电子垃圾。
个人经验：硬盘最容易坏的部件是接口，最容易造成盘体损坏的原因是不安全删除和供电不良
再次强调接口问题，传统的typeb的接口很容易损坏。接口损坏轻则接触不良，从而造成供电不稳，对硬盘造成伤害大大增加故障概率；重则直接导致硬盘无法使用。因此建议有条件统一选择typec接口的产品。
1.容量，事实上，在过去的6年里，硬盘容量的变化远远小于想象。如果你是移动硬盘的主要用户，比如，拍摄视频，经常用单反相机拍照备份，或者喜欢和同学交流。让我们从3T开始。现在京东的价格大约在800元左右；如果你只是偶尔拷贝一下数据，备份一些手机的照片和资料，老实说，1T就够了，2T就够了(价格在350到550之间)；有更大的磁盘，例如4-8T。我的建议是，您可以再购买两个磁盘，并为彼此进行灾难恢复备份，而不是容量更大的磁盘，这样会更好。毕竟，硬盘寿命很长；500克现在不值得买，因为价格基本上和1T一样。
2.现在接口基本上是流行的3.0，也就是说，USB端口中的塑料柱是蓝色的，2.0是黑色或白色的；如果两边都是3.0界面，你会觉得复制的速度是一天一地；所以一定要选择3.0；
3.大小，因为单个磁盘现在可以是3T或更大，购买2.5。虽然3.5很便宜，但动力尾翼却相当麻烦；
4.品牌。近年来，我使用了希捷、西方数码和东芝。其中一个属于希捷的盘子有问题。但是这张光盘是由作为时间机器的mac制成的。我不知道是因为他读和写得太多还是怎么的。两年后，他喜欢发出吱吱的声音。东芝和西部数字目前没有发现任何问题，主要是因为我不认为有这么多的阅读和写作。我又看了一遍京东的移动硬盘。近年来，希捷和西部数码已经更新了一些不同系列的2.5，所以你可以购买一个有更多评估。
5.硬盘速度，其实这个问题不必纠缠。现在大多数2.5磁盘基本上是5400转/分。此外，还有一种没有速度的固态硬盘，但购买1T也是机械硬盘价格的几倍，这是不划算的；
6.固态硬盘和机械硬盘一样，硬盘技术日新月异。虽然固态硬盘已经发展了多年，但其性能非常出色，但其性价比绝对不如机械硬盘。我认为这是制造商的阴谋，他们根本没有动力在挤出利益之前升级。如果对性能有强烈需求，记得买固态硬盘。
7.在市场上，实际上有两个7的品牌。可信赖的固态硬盘。英特尔和三星希望以低廉且实用的价格购买他们的普通系列，并快速购买他们的专业系列。
移动硬盘主要部分是硬盘，硬盘盒两个部分。
硬盘一般都是西数，希捷，hgst。
硬盘盒主要是主板。
大品牌的移动硬盘可以选择西数，希捷，东芝。或者选择SSD移动硬盘，比机械硬盘耐摔。
啥也不多说，三星，金士顿。相信我靠谱
看你买什么类型的硬盘了，如果是机械硬盘的话就是希捷和西数，如果是固态硬盘，就是三星东芝和西数。
直接说重点，移动硬盘还是希捷比较靠谱
在一段时间的对比后，买的三星的硬盘
固态硬盘
当然是固态硬盘中的东芝。
1、西部数据：它是来自美国的数据存储设备品牌，于1970年创立，在八大移动品牌中首先推荐它，因为它在移动硬盘的研制方面很出色，秉持着品质第一的理念，加上数字化和专业的管理体系，受到无数消费者的青睐。
2、东芝：这个牌子来自日本，创立于1875年，原名是东京芝浦电气株式会社，旗下的产品主要包括了家用电器、重型电机、通讯、电子、数码产品等。东芝在虚拟空间存储上，一直都有非常好的口碑，而且销量也非常不错。
3、爱国者：爱国者创立于1993年，是我国知名的一个数码科技品牌，要说哪个牌子的移动硬盘好，这个牌子值得推荐，爱国者专注IT产品的研发，所以受到很多消费者的欢迎，硬盘低档到高档产品线丰富。
4、日立：日立的创立时间，和前面几个品牌相比要晚一些，它成立于2003年，产品类别上，日立环球存储科技公司迎合市场的需求，提供了一系列业界领先的产品组合，包括了1英寸、2.5英寸及3.5英寸硬盘存储设备及方案。
5、莱斯：它成立于1989年，是法国的一个存储设备制造商，有一定的知名度，一直以品质而在业内着称，它家的移动硬盘也非常值得推荐，旗下有不少产品在国际上获得过大奖。莱斯的研发力量强大，售后服务完善。
移动硬盘什么牌子好用
希捷睿翼移动硬盘和东芝都不错。
1、希捷睿翼移动硬盘。
希捷睿翼4T移动硬盘，其稳重的外观属于耐看。它具有超大的容量，以高性价比让人印象深刻。数据传输上，希捷睿翼4T移动硬盘相比同类产品（非SSD）的表现也非常不错，读取速度可达到146MB/s,可以满足日常使用需求，整体测试成绩较为稳定。
2、东芝移动硬盘。
东芝在NAND存储的优势就不多说，东芝XS700搭载东芝最新的3DBiCSFLASH存储器，配合USB3.1Gen2Type-C数据传输，官方提供的读取速度550MB/s、写入速度500MB/s，比原来的物理移动硬盘快了4~5倍，如果实际测试真能达到这个速度，性能可谓是很彪悍了。
移动硬盘的使用要注意以下问题：
1、不要长时间使用。使用用料一般的移动硬盘，最好不要插在计算机上长期工作，移动硬盘是用来临时交换或存储数据的，不是一个本地硬盘。相比于内置硬盘会时刻都工作在恶劣的环境下，应该尽量缩短工作时间。
2、不要整理磁盘碎片。不要给移动硬盘整理磁盘碎片，否则会很容易损伤硬盘。如果确实需要整理，方法可采用将整个分区里面的数据都拷贝出来，再拷贝回去。
3、不要混用供电线。不要混用供电线，由于移动硬盘盒的供电线存在专用现象，供电线接口电压可能会有所不同，乱插轻则烧盒子，重则烧硬盘。
4、切忌摔打。切忌摔打，轻拿轻放；注意温度，不要过热；干燥防水，先退后拔