存储系统开源

❶ 涓岿dfs绫讳技镄勬嗘灦鏄浠涔

涓嶩DFS绫讳技镄勬嗘灦链変互涓嫔嚑绉嶏细
1銆丆eph锛氭槸涓涓寮婧愬垎甯冨纺瀛桦偍绯荤粺锛屽彲浠ュ湪涓缁勬湇锷″櫒涓婃彁渚涘硅薄瀛桦偍鍜屾枃浠剁郴缁熸湇锷°傞噰鐢ㄧ籂鍒犵爜鎶链瀹炵幇楂桦彲闱犮侀珮镓╁𪾢镐э纴鏀鎸佷互瀵硅薄镄勬柟寮忓瓨鍌ㄥ拰妫绱㈡暟鎹锛岃屼笖Ceph鍙浠ヨ法瓒娄笉钖岀‖浠躲佹搷浣灭郴缁熺瓑杩涜屽垎甯冨纺閮ㄧ讲銆2銆丢lusterFS锛氭槸涓涓寮婧愮殑鍒嗗竷寮忔枃浠剁郴缁燂纴鍙浠ュ皢鑻ュ共鍙版湇锷″櫒涓婄殑瀛桦偍绌洪棿姹囱仛鎴愪竴涓澶у瀷镄勚佺粺涓镄勬枃浠剁郴缁熴傛敮鎸佸氱岖绣缁滃岗璁锛屽侼FS銆丼MB/CIFS绛夛纴鍏佽哥敤鎴风洿鎺ヤ粠搴旂敤绋嫔簭涓鎸傝浇鏂囦欢绯荤粺銆3銆丄pacheCassandra锛氭槸涓涓楂樻墿灞曟х殑鍒嗗竷寮忔暟鎹搴掳纴鍏跺瓨鍌ㄧ粨鏋勭被浼间簬HDFS涓镄勫垎甯冨纺鏂囦欢绯荤粺锛岄噰鐢ㄤ竴镊存у搱甯岀畻娉曟潵鍒嗛厤涓嶅悓鑺傜偣涓婄殑鏁版嵁銆傞傜敤浜庡ぇ瑙勬ā镄勬暟鎹瀛桦偍鍦烘櫙锛屼笖鍏锋湁镩濂界殑鍙镓╁𪾢镐у拰瀹归敊镐с
HDFS鏄疕adoop镄勫垎甯冨纺鏂囦欢绯荤粺銆傚畠鏄锘轰簬Google镄凣FS钥屽紑鍙戠殑锛屾棬鍦ㄦ彁渚涢珮鍙闱犮侀珮钖炲悙閲忕殑鏁版嵁瀛桦偍鍜岃块梾瑙ｅ喅鏂规堛

❷ 有没有用Java写的轻量级开源的分布式存储系统

1、jmeter的架构和loadrunner原理一样，都是通过中间代理，监控和收集并发客户端发出的指令，把他们生成脚本，再发送到应用服务器，再监控服务器反馈结果的一个过程；
2、分布式中间代理功能在jmeter中也有，这个分页式代理是指可设置多台代理在不同PC中，通过远程进行控制，即通过使用多台机器运行的谓的agant来分担load generator自身的压力，并借引来获取更大的并发用户数，loadrunner也有此功能；
3、jmeter安装简单，只需要解压jmeter文件包到C盘上就可以了，不用安装，要是你想执行调试测试脚本，前提是：装上jdk和netbean插件，而loadrunner安装包有1G多，在一台P3.0,1G内存的PC上安装要一个多小时，要是装过旧的盗版还不能再装新版，解决办法倒是有，但麻烦且花时间；
4、Jmeter没有IP欺骗功能，IP欺骗是指在一台PC上多个IP地址分配给并发用户，这个功能对于模拟较真实的用户环境来说，是较有用，loadrunner有此功能；
5、jmeter也提供了一个利用本地proxy server(代理服务器)来录制生成测试脚本的功能，但是这个功能并不好用，测试对象的个别参数要手工增加上去，还得附带装个IE代理，如 GoogleToolbarDownloader这些插件来捕捉参数，但是有一个工具badbody,利用这个工具可以录制操作，然后选择将脚本保存为jmeter脚本，然后利用jmeter可以打开并修改脚本；
6、Jmeter的报表较少，对于要分析测试性能不足作为依据。如要知道数据库服务器或应用程序服务的cpu,money等参数，还得在相关服务器上另外写脚本记录服务器的性能；
7、jmeter做性能测试，主要是通过增加线程的数目，或者是设置循环次数来增加并发用户，而loadrunner可以通过在场景中选择要设置什么样的场景，然后选择虚拟用户数；
8、jmeter可以通过逻辑控制器实现复杂的测试行为，相当于loadrunner中的测试场景；
9、jmeter可以做web程序的功能测试，利用jmeter中的样本，可以做灰盒测试，loadrunner主要用来做性能测试；
10、jmeter是开源的，但是使用的人较少，网络上相关资料不全面，需要自己去揣摩，而loadrunner是商业软件，如果是正版本，有技术支持，同时，网络上的资料相当多；
11、Jmeter的脚本修改，主要是针对jmeter中各个部件的熟悉程序，已经相关的一些协议的掌握情况，而不依赖于编程，而loadrunner除了复杂的场景设置外，还需要掌握函数，修改脚本。

❸ 目前国内有公司在使用开源的ceph分布式存储系统吗

有，我知道的使用ceph的公司主要有元核云、XSky、杉岩数据等，其他的华为云、深信服等公司也有分布式存储，不过不知道是不是基于ceph的。

❹ 分布式存储极简艺术Minio解析

 MinIO 对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于
Apache License v2.0 开源协议的对象存储系统，它完全兼容 Amazon S3 接口，单个对象的最大可达 5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。作为一个开源服务，MinIO 在设计上汲取了Glusterfs的相关经验不教训，系统复杂度上作了大量简化，目前大小只有40+M，部署只需要一个命令即可完成！另外，minio舍弃了传统分布式存储扩容所需要的迁移流程，采用联盟模式添加集群的方式，极大简化了扩容流程；除此之外，minio还具有纠删编码、比特位保护、单写多读（worm)、下面来依次简要解析一下Mioio的特点及具体实现：

  元数据和数据一起存放在磁盘上。元数据以明文形式存放在元数据文件里（xl.json）。假定对象名字为key_name, 它所在桶的名字是bucket_name, disk路径就是/disk，那么存储路径就是：/disk/bucket_name/key_name，windows下C盘存放桶名为test，对象名为minio.exe示例如图：

其中part.1是实际存储数据（单机模式为原生数据，分布式为纠删码分块），xl.json是如下所示的json字符串：

  在同一集群内，MinIO 自己会自劢生成若干纠删组，用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。MinIO 集成了 Reed-Solomon 纠删码库，MinIO 存储对象数据时，首先把它分成若干等长的片段（对于大对象，默认按 5MB 切片)，然后每一个片段会纠删算法分成若干分片，包括数据分片不校验分片，每个分片放置在一个纠删组的某个节点上。对象的每一个数据分片、校验分片都被“防比特位衰减”算法所保护。

  MinIO 会根据对象名（类似于文件系统的全路径名)，使用 crc32 哈希算法计算出一个整数。然后使用这个整数除以纠删组的个数，得到一个余数。这个余数，可以作为纠删组的序号，这样就确定了这个对象所在的纠删组。MinIO 采用 CRC32 哈希算法，不 glusterfs 的Davies Meyer哈希算法（性能、冲突概率不md4, md5相近）不一样的是，CRC32算法的哈希值分布较不均匀，但运算速度极快，高出 md4 数倍。相对于容量均衡，MinIO 更看重数据的写入速度。

纠删组如何配置？
官方文档说明如下：

 也就是说纠删组的总大小只能从这7中情况中根据你提供的盘的个数（或者说路径个数）来自动选取最大值的，我们 不能灵活地配置m+k纠删存储格式。但这样说又不是很准确 ，因为虽然不能配置任意的m+k，但是在系统已经选取好擦除编码集的的个数后（也就是m+k），可以使用storage class存储类来自定义m和k的数量，默认是1:1的。
存储类：
 MinIO支持配置两种存储类别，精简冗余类别和标准类别，默认是标准类别（1：1），可以在启动MinIO服务器之前使用设置的环境变量来定义这些类。使用环境变量定义每个存储类别的数据和奇偶校验磁盘后，您可以 在上传对象时通过请求元数据字段设置对象的存储类别x-amz-storage-class 。然后，MinIO服务器通过将对象保存在特定数量的数据和奇偶校验磁盘中来兑现存储类。具体配置和使用可以参考官方文档 https://github.com/minio/minio/tree/master/docs/erasure/storage-class

传统的扩展方式的劣势
  通过增加节点来扩展单集群，一般需要进行数据均衡，否则群集内各存储节点会因负载不均而出现新的瓶颈。除了数据均衡操作的时机这个问题以外，在均衡过程中一般需要仍存储使用率高的节点吐使用率低的节点迁移数据。当集群扩容后，大量已经写入的文件落点会出现改变，文件需要迁移到真实的落点。当存储系统容量比较大时，则会发生大量的文件/对象进行迁移,迁移过程可能由于占用大量资源而导致上层应用性能下降。而且当文件/对象迁移过程中，机器故障可能会导致一些意想不到的情冴,尤其是有大量业务的时候。当然针对此类问题，Gluterfs之类的文件系统有一些比较复杂的处理办法。
不支持扩展优势

❺ Minio鏋舵瀯绠浠

鎻寮Minio镄勭炵橀溃绾憋细涓涓鍗撹秺镄勫紑婧愬硅薄瀛桦偍绯荤粺

Minio锛屼竴涓涓扑负澶ц勬ā鏁版嵁瀛桦偍钥岀敓镄勪簯瀛桦偍瑙ｅ喅鏂规堬纴浠ュ叾镫鐗圭殑浼桦娍鑴遍栬屽嚭銆傚畠镄勮捐＄悊蹇电亩鍗曡屽彲闱狅纴閲囩敤铡讳腑蹇冨寲镄勬灦鏋勶纴涓虹＄悊甯︽潵浜嗗墠镓链链夌殑𨱔垫椿镐у拰楂桦彲鐢ㄦс傞氲繃浜戝师鐢熺殑鐗规э纴Minio镞犵绅铻嶅叆Kubernetes绛夌紪鎺掔郴缁燂纴閮ㄧ讲娴佺▼杞绘涧楂樻晥锛屾棤闇棰濆栫殑鍏冩暟鎹鏁版嵁搴掳纴瀹岀编鍏煎笰mazon S3鎺ュ彛锛岃╂搷浣滃彉寰楁洿锷犵洿瑙傚拰渚挎嵎銆

Minio镄勬牳蹇冩槸鍏跺幓涓蹇冨寲镄勫瓨鍌ㄦā鍨嬶纴鏁版嵁鍒嗘暎瀛桦偍骞惰嚜锷ㄨ礋杞藉潎琛★纴纭淇濆湪浠讳綍𨱍呭喌涓嬮兘鑳芥彁渚涘己澶х殑镐ц兘銆傞氲繃缁熶竴镄勫懡钖岖┖闂达纴镞犺烘槸链鍦板垎甯冨纺閮ㄧ讲杩樻槸镵旂洘妯″纺锛岄兘鑳藉疄鐜版棤缂濊块梾锛屼负鐢ㄦ埛甯︽潵涓镊寸殑浣挞獙銆

瀵逛簬鏁版嵁涓镊存э纴Minio閲囩敤鍒嗗竷寮忛挛绠＄悊链哄埗锛岄氲繃dsync瀹炵幇锛屽敖绠″湪32鑺傜偣镄勯檺鍒朵笅锛屽畠鑳界‘淇濇暟鎹鍦ㄥ氲妭镣归棿镄勫悓姝ワ纴浠ュ疄鐜伴珮鍙鐢ㄦс傚叾鏁版嵁缁撴瀯娓呮榈锛屽熀浜庣熸埛-妗-瀵硅薄镄勬ā鍨嬶纴缁呜嚧镄勬潈闄愮＄悊纭淇濇暟鎹瀹夊叏銆

鏁版嵁淇濇姢涓庢仮澶岖殑鍗撹秺瀹炶返

ErasureCode鏄疢inio镄勬暟鎹瀹堟姢钥咃纴鍗充娇鍦ㄩ儴鍒嗙‖鐩樻晠闅灭殑𨱍呭喌涓嬶纴涔熻兘阃氲繃Reed-Solomon缂栫爜杩涜屾暟鎹鎭㈠嶃傚湪鍒嗗竷寮忕幆澧冧腑锛屼缭鎸丯/2鑺傜偣鍦ㄧ嚎鏄鏁版嵁瀹夊叏镄勫熀纭锛岃屽啓镎崭綔鍒欓渶瑕丯/2+1鑺傜偣鍙备笌銆备笂浼犳枃浠舵椂锛屽厓鏁版嵁鍜屾暟鎹鍒嗙墖镄勭粨钖堬纴阃氲繃HighwayHash鎶链纭淇濇暟鎹镄勫畬鏁存у拰涓镊存с

鏅鸿兘镓╁𪾢涓庡囦唤

Minio鍐呯疆镄凩ambda璁＄畻锷熻兘鏀鎸佷簨浠堕氱煡锛屾疮褰揿硅薄涓娄紶銆佷笅杞芥垨鍒犻櫎镞讹纴閮借兘瑙﹀彂鐩稿簲镄勬墿灞曟搷浣滐纴涓虹敤鎴锋彁渚涗简寮哄ぇ镄勬暟鎹澶囦唤绛栫暐锛屽疄鐜板为噺澶囦唤锛屾弧瓒冲姩镐佹墿灞曢渶姹伞

镞犵绅闆嗘垚锛屾墿灞曞瓨鍌ㄨ竟鐣

浣滀负瀵硅薄瀛桦偍缃戝叧锛孧inio灏哊AS鍜孒DFS绛変紶缁熺郴缁熸棤缂濋泦鎴愶纴阃氲繃S3 API鎻愪緵缁熶竴鎺ュ彛锛屾瘆濡傚湪澶勭悊GCS璇锋眰镞讹纴瀹为檯涓婃槸阃氲繃GCS SDK镎崭綔锛屼娇寰椾笉钖岀郴缁熺殑鐢ㄦ埛閮借兘浜鍙楀埌Minio镄勯珮鏁埚拰渚挎嵎銆

镐荤粨𨱒ヨ达纴Minio鍑鍊熷叾寮哄ぇ镄勫姛鑳姐佺伒娲荤殑鏋舵瀯鍜屽嚭镩茬殑鏁版嵁淇濇姢链哄埗锛屾垚涓轰紒涓氩拰寮鍙戣呭瓨鍌ㄥ拰绠＄悊娴烽噺鏁版嵁镄勭悊𨱍抽夋嫨銆傚湪杩欎釜鐭ヨ瘑鍏变韩镄勬椂浠ｏ纴璁╂垜浠鍏卞悓鎺㈢储Minio甯︽潵镄勬棤闄愬彲鑳斤纴鎺ㄥ姩鎶链杩涙ワ纴鏋勫缓镟存櫤鑳界殑鏁板瓧涓栫晫銆