infiniband存储
① 计算机网络之RDMA技术（十二）InfiniBand简介
姓名：周肇星；学号：22011110028；学院：通信工程学院
【嵌牛导读】RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。本专题将针对RDMA技术进行介绍！
【嵌牛鼻子】计算机网络，高性能网络，RDMA
【嵌牛提问】读完本文，对RDMA技术的InfiniBand有所认识了吗？
【嵌牛正文】
InfiniBand架构是一种支持多并发链接的“转换线缆”技术，它是新一代服务器硬件平台的I/O标准。由于它具有高带宽、低延时、 高可扩展性的特点，它非常适用于服务器与服务器（比如复制，分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信
随着CPU性能的飞速发展，I/O系统的性能成为制约服务器性能的瓶颈。于是人们开始重新审视使用了十几年的PCI总线架构。虽然PCI总线结构把数据的传输从8位/16位一举提升到32位，甚至当前的64位，但是它的一些先天劣势限制了其继续发展的势头，PCI总线有如下缺陷：
因此，Intel、 Cisco、 Compaq、 EMC、 富士通等公司共同发起了InfiniBand架构，其目的是为了取代PCI成为系统互连的新技术标准，其核心就是将I/O系统从服务器主机中分离出来
== InfiniBand采用双队列程序提取技术，使应用程序直接将数据从适配器送入到应用内存 ==（称为RDMA或远程直接存储器存取）, 反之依然。在TCP/IP协议中，来自网卡的数据先拷贝到核心内存，然后再拷贝到应用存储空间，或从应用空间将数据拷贝到核心内存，再经由网卡发送到Internet。这种I/O操作方式，始终需要经过核心内存的转换，它不仅增加了数据流传输路径的长度，而且大大降低了I/O的访问速度、增加了CPU的负担。而SDP则是将来自网卡的数据直接拷贝到用户的应用空间，从而避免了核心内存参入。这种方式就称为零拷贝，它可以在进行大量数据处理时，达到该协议所能达到的最大的吞吐量
物理层 定义了在线路上如何将比特信号组成符号,然后再组成帧、 数据符号以及包之间的数据填充等，详细说明了构建有效包的信令协议等
链路层 定义了数据包的格式以及数据包操作的协议，如流控、 路由选择、编码、解码等
网络层 通过在数据包上添加一个40字节的全局的路由报头（Global Route Header，GRH）来进行路由的选择，对数据进行转发。在转发的过程中，路由器仅仅进行可变的CRC校验，这样就保证了端到端的数据传输的完整性
传输层 再将数据包传送到某个指定的队列偶（Queue Pair，QP）中，并指示QP如何处理该数据包以及当信息的数据净核部分大于通道的最大传输单元MTU时，对数据进行分段和重组
注意HCA与TCA的区别
== IBA子网由端节点、交换机、路由器和子网管理器组成 ==
每个端口具有一个GUID（Globally Unique Identifier），GUID是全局唯一的，类似于以太网MAC地址
运行过程中，子网管理代理（SMA）会给端口分配一个本地标识（LID），LID仅在子网内部有用
通道适配器提供了一种内存转换和保护（Memory Translation & Protection，MTP）机制，它将虚拟地址转换为物理地址，并验证访问权限
== 交换机根据目的地LID进行转发 ==
IBA交换机支持单播转发，并可能支持多播转发
子网管理器能够配置交换机，包括加载其转发表
== 基于数据包的全局路由头（GRH）进行路由 ==，并在数据包从子网传递到子网时替换数据包的本地路由头
每个子网由一个唯一的子网标识符，与端口的GUID捆绑在一起构成端口的== GID（Global Identifier） ==
虚拟通道（Virtual lanes，VL）提供了一种在单条物理链路中创建多个虚拟链接的机制
QP是硬件和软件之间的一个虚拟接口，架构的设定是为每个适配器提供2^24个QP
用户调用API发送接收数据的时候，实际上是将数据放入QP当中，然后==以轮询的方式将QP中的请求一条条的处理，其模式类似于生产者-消费者模式==
QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE）
WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息
虽然IB协议将QP称为虚拟接口，但是它是有实体的：
② 请教一下fc和sas存储的区别
主机接口区别，就是存储跟服务器之间的连接方式：FC ,SAS,ISCIS,Infiniband，他们之间的速率有区别FC： 8G 4G 2G向下兼容，主流都是8G （一般san模式部署）SAS：12G 6G 3G 主流6G （一般不适合做san，目前看的不多，一般多作为存储柜的级联接口）ISCSI：基于TCP/IP网络的，10G，1Ginfiniband：40G，一般做高性能运算环境使用。
主机磁盘接口，就是存储里面接硬盘的接口，一般有 FC SAS SATA SCSI(已out)FC 磁盘接口速率是4G ，转速一般在10K 15K 2种，容量有600G， 450G，300GSAS 目前主流都是6G，转速一般在10K 15K 2种，容量上同，如果你看到1T的SAS盘，转速都是7K2，都是SATA加卡转过来的，性能机会没啥提升SATA 这个你们都知道的，速率7200，就是容量高。
存储性能这个可以简单的理解成2块，1块是存储控制器的cache，架构决定，这个跟存储价格成正比。还有就是硬盘的数量、转速，raid方式决定。10块 600G sas raid5的性能肯定要好于 10块 SATA radi5的性能。但是会低于20块600G sas raid5的性能。
③ IB的实现InfiniBand
InfiniBand不是必须要取代现存的I/O技术。但会造成相关的争论，因为其它的I/O标准也有很多的支持者，而且许多公司已经对这种传统的技术进行大量的投资。在计算机业界，每一种新技术的出现都倾向于将其它的技术规类于传统的范畴。至少在理论上，InfiniBand能与PCI、PCI-X、 SCSI、 光纤通道、IDE/ATA、串行 ATA、 IEEE-1394以及其它在数据中心存在I/O标准共存。相反，3GIO和HyperTransport是板级的互联，而快速I/O和致密PCI主要用于内嵌式系统。
为了与其它的I/O技术协同工作，InfiniBand需要能匹配物理接口和转换通信协议的桥接适配器。举例来说，Adaptec正在测试能将InfiniBand连接到串行ATA和串行SCSI的磁盘接口。然而，不要假定你需要的桥接设备已经存在，并且经过实际工作的验证、价格可行。
另一个要考虑的是性能问题。连接两种不同的I/O标准通常要增加数据通道的延迟。在最坏的情况下，将InfiniBand网络引入到一个已经安装多个不同技术组成的网络中，如果组织管理差，会降低其整体性能。InfiniBand的支持者声称理想的解决方案是完整的InfiniBand体系结构。任何部件都可以直接连接到InfiniBand网络，可以使用优化的文件协议，最好是使用直接访问文件系统(DAFS)。
DAFS独立于传输，是基于NFS的共享式文件访问协议。它是优化过的，用于1到100台机器的集群服务器环境中的I/O密集、CPU受限、面向文件的任务。典型的应用包括数据库、web服务、e-mail和地理信息系统(GIS)，当然也包括存储应用。
IT管理员感兴趣的其它的与InfiniBand相关协议是：SCSI远程直接内存访问(RDMA)协议、共享资源协议(SRP)、IP over InfiniBand (IPoIB)、直接套节字协议(SDP)、远程网络驱动接口规范(RNDIS)。
SRP的开发在一些公司进展顺利，比如，已经开发出早期版本并运行在Windows 2000上协议的Adaptec。OEM的厂商和合作伙伴正在测试beta系统。Adaptec认为SRP对于高性能的SANs会相当出众，但必须解决多厂商产品间的兼容。最终版本的SRP可能取决于操作系统的驱动程序和服务器的支持，预计在本年下半年或2003年上半年完成。
IpoIB，将IP协议映射到InfiniBand，正在被IETF的一个工作组定义。IpoIB包括IPv4/IPv6的地址解析、IPv4/IPv6的数据报的封装、网络初始化、组播、广播和管理信息库。预计在本年下半年或2003年上半年完成。
SDP试图解决其它协议的几个缺陷，特别是相对高的CPU和内存带宽的利用率。SDP基于微软的Winsock Direct协议，类似于TCP/IP，但优化后用于InfiniBand，以降低负荷。一个工作组在2000年下半年开始定义SDP，今年2月完成了1.0规范。
RNDIS是微软开发的协议，用于基于通道的即插即用总线的网络I/O，比如USB和IEEE-1394。InfiniBand RNDIS 1.0规范即将完成。
④ ib是什么意思
IB:InifiniBand.InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。InfiniBand的基本带宽是2.5Gb/s，这是InfiniBand 1.x。
IB：智能建筑Intelligent Building.
IB（introcing broker介绍经纪商）指的是证券公司将投资者介绍给期货公司，并为投资者开展期货交易提供一定的服务，期货公司因此向证券公司支付佣金的制度。
投资银行
investment banking的简称.
等等吧==
⑤ OpenStack选用哪种后端存储系统比较好
和openstack融合度较好的就是ceph，国内大多数云环境都使用ceph作为openstack的唯一后端存储。国内使用ceph开发出分布式存储系统的厂商有深圳元核云、北京xsky等，性能都还不错的。
⑥ 云科数据企业级存储产品DCN NCS1800怎么样
产品亮点
l 高可靠性，保障业务连续性
NCS1800系列存储系统采用双冗余设计和A/A工作模式（Active-Active Mode）。在正常情况下，2个部件同时工作，处理存储业务。当其中1个部件出现故障或离线时，另外1个部件就会及时接管其工作，不影响现有任务。提供99.999%的高可用性，有效地保障业务连续性，提升企业的核心竞争力。
采用创新的RAID PX技术，可提供三重数据校验技术，同一RAID组三块磁盘同时损坏的情况下数据不丢失，且实现了硬盘自动负载均衡，当存储系统某一硬盘发生故障时，硬盘域内的所有正常硬盘参与数据重构，而且仅重构业务数据，数据重构速度相对传统RAID提升20倍，极大降低了多盘失效概率。
l 高性能，领先的存储硬件平台
NCS1800系列存储产品采用Intel全新多核处理器，支持16Gbps FC/10Gbps FCoE/56Gbps InfiniBand等主机接口；内部采用新一代PCI-E 3.0总线，并采用12Gbps SAS 3.0高速硬盘接口，可提供高达10GB/s的系统带宽，满足视频、大文件等高带宽应用场景需求；提供百万级IOPS，性能及规格全面领先。
l 自主可控，轻松管理海量数据
NCS1800系列存储采用自主可控的操作系统，实现精简卷管理、高效数据快照、一键快照恢复、数据克隆、在线据据重删、在线数据压缩、法规遵从WORM等功能，企业借助这些功能可轻松应对数据爆炸式增长所带来的烦恼，便捷管理海量数据。
l 创新架构，助力企业应用加速
存储虚拟化异构平台，通过系统内置的异构虚拟化功能，高效接管其它主流厂商存储阵列，并整合成统一资源池，实现资源的统一、灵活分配，有效地保护用户原有的投资。
SSD与大容量磁盘的完美融合，既能利用SSD的高性能优势，同时又能兼顾大容量磁盘的容量优势，二者合一将存储的性能与容量发挥到极致，满足用户在性能和成本上的最优均衡。
全系列设备之间数据的自由流动，无需借助第三方系统，通过系统内置的数据镜像功能，灵活的实现用户对数据的备份和容灾需求，有效地保障数据的安全性。
内核的SMB3.0原生协议，将Windows文件访问性能提升至149%，全面提速影视后期特效制作进程。
l 易管理性，全方位掌控设备运行状况
NCS1800系列存储管理平台，可统一管理多型号产品，并提供全局拓扑展示、容量分析、性能分析、故障定位和端到端业务可视等强大功能；全面简洁的GUI管理界面，便捷的管理模式，方便客户日常维护和存储扩容； 提供多种故障预警方式，自动Email预警、SNMP、在线故障诊断等，方便企业实时掌控设备运行状况。
⑦ IB的简介
InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。设计InfiniBand的目的主要是用于企业数据中心，大型的或小型的。目标主要是实现高的可靠性、可用性、可扩展性和高的性能。InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。
如果深入理解，你会发现InfiniBand与现存的I/O技术在许多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那样共享总线，因此没有相关的电子限制、仲裁冲突和内存一致性问题。相反，InfiniBand在交换式互联网络上，采用点到点的、基于通道的消息转发模型，同时，网络能够为两个不同的节点提供多种可能的通道。
这些方面，InfiniBand更像以太网，而以太网构成LANs、WANs和互联网的基础。InfiniBand和以太网都是拓扑独立――其拓扑结构依赖于交换机和路由器在源和目的之间转发数据分组，而不是靠具体的总线和环结构。像以太网一样，InfiniBand能够在网络部件故障时重新路由分组，分组大小也类似。InfiniBand的分组大小从256b到4KB，单个消息（携带I/O处理的一系列数据分组）可以达到2GB。
以太网跨越全球，InfiniBand则不同，其主要用于只有几间机房的数据中心，分布于校园内或者位于城市局部。最大距离很大程度上取决于缆线类型（铜线或光纤）、连接的质量、数据速率和收发器。如果是光纤、单模的收发器和基本数据速率的情况下，InfiniBand的最大距离大约是10公里。
如同以太网一样使用交换机和路由器， InfiniBand在理论上能够跨越更远的距离，尽管如此，在实际应用中距离要受到更多的限制。为了确保数据分组的可靠传输，InfiniBand具备诸如反应超时、流控等特点，以防止阻塞造成的分组丢失。延长InfiniBand的距离将降低这些特征的有效性，因为延迟超过了合理的范围。
为了超越数据中心的范围，其它I/O技术必须解决长距离的问题。InfiniBand厂商通过能够连接到以太网和光纤通道网络的设备来解决这个问题（光纤通道的最大距离大约为10公里，因此桥接设备使得InfiniBand能够与现存的用光纤通道连接的校园网络和城域网络的分布式数据中心相兼容）。
⑧ InifiBand是什么
InfiniBand架构是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5
Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒，四个链接的时候速度是2 GB/秒，12个链接的时候速度可以达到6 GB /秒。
与其他网络协议(如TCP/IP)相比，InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力，但是由于要不断地确认与重发，基于这些协议的通信也会因此变慢，极大地影响了性能。
需要说明的是，TCP协议是一种被大量使用的传输协议，从冰箱到超级计算机等各种设备上都可以看到它的身影，但是使用它必须付出高昂的代价：TCP协议极其复杂、代码量巨大并且充满了各种特例，而且它很难卸载(所谓卸载就是不占用CPU的运行时间)。
与之相比，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。使用InfiniBand，除非确认接收缓存具备足够的空间，否则不会传送数据。接受方在数据传输完毕之后， 返回信用来标示缓存空间的可用性。通过这种办法，InfiniBand消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。
目前,基于InfiniBand技术的网卡的单端口带宽最大可达到20Gbps，基于InfiniBand的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbps的带宽。在2005年的4月份，Cisco公司收购了InfiniBand方案提供商Topspin; 而专业存储厂商Qlogic公司也陆续收购了InfiniBand技术厂商SilverStorm公司和PathScale公司，开始进军InfiniBand领域。
采用Intel架构的处理器的输入/输出性能会受到PCI或者PCI-X总线的限制。总线的吞吐能力是由总线时钟决定的（比如33.3MHz，66.6MHz 以及133.3MHz）和总线的宽度（比如32位或者64位）。在最通常的配置中，PCI总线速度被限制在500 MB /秒，而PCI-X总线速度被限制在1 GB/秒。这种速度上的限制制约了服务器和存储设备、网络节点以及其他服务器通讯的能力。在InfiniBand的技术构想中，InfiniBand直接集成到系统板内，并且直接和CPU以及内存子系统互动。但是，在短期内，InfiniBand支持将由PCI和PCI-X适配器完成；这样，InfiniBand在最初将会受到总线的制约。在2002年年底，InfiniBand技术将会完全被整合在Intel服务器供应商以及Sun生产的服务器中（80%的可能性）
⑨ 什么是云存储技术
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
云存储的两个层面
云存储的两个层面是作为云计算支撑的存储计算，主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAID、CDP、快照、备份与容灾)等技术领域，如图8-30所示，这在第6章中已有所介绍。和云安全技术一样，云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术，才能取得最佳效果，例如，对应不同需求，有时应该使用数据库技术但有时却应该使用LDAP技术，有些性能要求高的系统不能使用SAN或NAS，需直接使用基于RPC或Socket技术的并发文件系统，有些应用使用SAN成本太高等，这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS和 VMWare vShpere 4技术打造的存储系统，对上述两种云存储技术和应用都有促进作用。云存储架构
分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。
传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：
紧耦合对称(TCS)架构
构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。
松弛耦合非对称(LCA)架构
LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：
● 存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。
● 节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。
● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。
● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。
● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。
● 拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。
⑩ 如何让spark支持infiniband的rdma协议
定义
InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为：CPU/RAM（机内）— >系统内存总线（机内）—>HCA（桥,机内）—>IBSwitch（主机IO总线,机外）—>TCA（主机IO控制卡 /HBA,机外）—>SANSwitch（存储IO总线,机外）—> 存储子系统（机外）.
2. 结构
物理层：可基于光缆或铜缆实现,包括多芯电缆（4X/12X）和连接器（MPO/MicroGigaCN）等；
数据链路层：编码（10B/8B）、流量控制（连接级/端到端）、服务级别（可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报）和差错恢复等.
上层协议：VI（RDMA）
3. 说明
对应SAN实现存储IO总线的网络化（基于FC或EthernetIP）,InfiniBand实现了主机IO总线的网络化.
InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI（RDMA）等上层协议提供支持.
1. 定义
InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为：CPU/RAM（机内）— >系统内存总线（机内）—>HCA（桥,机内）—>IBSwitch（主机IO总线,机外）—>TCA（主机IO控制卡 /HBA,机外）—>SANSwitch（存储IO总线,机外）—> 存储子系统（机外）.
2. 结构
物理层：可基于光缆或铜缆实现,包括多芯电缆（4X/12X）和连接器（MPO/MicroGigaCN）等；
数据链路层：编码（10B/8B）、流量控制（连接级/端到端）、服务级别（可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报）和差错恢复等.
上层协议：VI（RDMA）
3. 说明
对应SAN实现存储IO总线的网络化（基于FC或EthernetIP）,InfiniBand实现了主机IO总线的网络化.
InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI（RDMA）等上层协议提供支持.