infiniband存儲
① 計算機網路之RDMA技術（十二）InfiniBand簡介
姓名：周肇星；學號：22011110028；學院：通信工程學院
【嵌牛導讀】RDMA技術全稱遠程直接數據存取，就是為了解決網路傳輸中伺服器端數據處理的延遲而產生的。RDMA通過網路把資料直接傳入計算機的存儲區，將數據從一個系統快速移動到遠程系統存儲器中，而不對操作系統造成任何影響，這樣就不需要用到多少計算機的處理功能。它消除了外部存儲器復制和上下文切換的開銷，因而能解放內存帶寬和CPU周期用於改進應用系統性能。本專題將針對RDMA技術進行介紹！
【嵌牛鼻子】計算機網路，高性能網路，RDMA
【嵌牛提問】讀完本文，對RDMA技術的InfiniBand有所認識了嗎？
【嵌牛正文】
InfiniBand架構是一種支持多並發鏈接的「轉換線纜」技術，它是新一代伺服器硬體平台的I/O標准。由於它具有高帶寬、低延時、 高可擴展性的特點，它非常適用於伺服器與伺服器（比如復制，分布式工作等）、伺服器和存儲設備（比如SAN和直接存儲附件）以及伺服器和網路之間（比如LAN， WANs和the Internet）的通信
隨著CPU性能的飛速發展，I/O系統的性能成為制約伺服器性能的瓶頸。於是人們開始重新審視使用了十幾年的PCI匯流排架構。雖然PCI匯流排結構把數據的傳輸從8位/16位一舉提升到32位，甚至當前的64位，但是它的一些先天劣勢限制了其繼續發展的勢頭，PCI匯流排有如下缺陷：
因此，Intel、 Cisco、 Compaq、 EMC、 富士通等公司共同發起了InfiniBand架構，其目的是為了取代PCI成為系統互連的新技術標准，其核心就是將I/O系統從伺服器主機中分離出來
== InfiniBand採用雙隊列程序提取技術，使應用程序直接將數據從適配器送入到應用內存 ==（稱為RDMA或遠程直接存儲器存取）, 反之依然。在TCP/IP協議中，來自網卡的數據先拷貝到核心內存，然後再拷貝到應用存儲空間，或從應用空間將數據拷貝到核心內存，再經由網卡發送到Internet。這種I/O操作方式，始終需要經過核心內存的轉換，它不僅增加了數據流傳輸路徑的長度，而且大大降低了I/O的訪問速度、增加了CPU的負擔。而SDP則是將來自網卡的數據直接拷貝到用戶的應用空間，從而避免了核心內存參入。這種方式就稱為零拷貝，它可以在進行大量數據處理時，達到該協議所能達到的最大的吞吐量
物理層 定義了在線路上如何將比特信號組成符號,然後再組成幀、 數據符號以及包之間的數據填充等，詳細說明了構建有效包的信令協議等
鏈路層 定義了數據包的格式以及數據包操作的協議，如流控、 路由選擇、編碼、解碼等
網路層 通過在數據包上添加一個40位元組的全局的路由報頭（Global Route Header，GRH）來進行路由的選擇，對數據進行轉發。在轉發的過程中，路由器僅僅進行可變的CRC校驗，這樣就保證了端到端的數據傳輸的完整性
傳輸層 再將數據包傳送到某個指定的隊列偶（Queue Pair，QP）中，並指示QP如何處理該數據包以及當信息的數據凈核部分大於通道的最大傳輸單元MTU時，對數據進行分段和重組
注意HCA與TCA的區別
== IBA子網由端節點、交換機、路由器和子網管理器組成 ==
每個埠具有一個GUID（Globally Unique Identifier），GUID是全局唯一的，類似於乙太網MAC地址
運行過程中，子網管理代理（SMA）會給埠分配一個本地標識（LID），LID僅在子網內部有用
通道適配器提供了一種內存轉換和保護（Memory Translation & Protection，MTP）機制，它將虛擬地址轉換為物理地址，並驗證訪問許可權
== 交換機根據目的地LID進行轉發 ==
IBA交換機支持單播轉發，並可能支持多播轉發
子網管理器能夠配置交換機，包括載入其轉發表
== 基於數據包的全局路由頭（GRH）進行路由 ==，並在數據包從子網傳遞到子網時替換數據包的本地路由頭
每個子網由一個唯一的子網標識符，與埠的GUID捆綁在一起構成埠的== GID（Global Identifier） ==
虛擬通道（Virtual lanes，VL）提供了一種在單條物理鏈路中創建多個虛擬鏈接的機制
QP是硬體和軟體之間的一個虛擬介面，架構的設定是為每個適配器提供2^24個QP
用戶調用API發送接收數據的時候，實際上是將數據放入QP當中，然後==以輪詢的方式將QP中的請求一條條的處理，其模式類似於生產者-消費者模式==
QP是隊列結構，按順序存儲著軟體給硬體下發的任務（WQE）
WQE中包含從哪裡取出多長的數據，並且發送給哪個目的地等等信息
雖然IB協議將QP稱為虛擬介面，但是它是有實體的：
② 請教一下fc和sas存儲的區別
主機介面區別，就是存儲跟伺服器之間的連接方式：FC ,SAS,ISCIS,Infiniband，他們之間的速率有區別FC： 8G 4G 2G向下兼容，主流都是8G （一般san模式部署）SAS：12G 6G 3G 主流6G （一般不適合做san，目前看的不多，一般多作為存儲櫃的級聯介面）ISCSI：基於TCP/IP網路的，10G，1Ginfiniband：40G，一般做高性能運算環境使用。
主機磁碟介面，就是存儲裡面接硬碟的介面，一般有 FC SAS SATA SCSI(已out)FC 磁碟介面速率是4G ，轉速一般在10K 15K 2種，容量有600G， 450G，300GSAS 目前主流都是6G，轉速一般在10K 15K 2種，容量上同，如果你看到1T的SAS盤，轉速都是7K2，都是SATA加卡轉過來的，性能機會沒啥提升SATA 這個你們都知道的，速率7200，就是容量高。
存儲性能這個可以簡單的理解成2塊，1塊是存儲控制器的cache，架構決定，這個跟存儲價格成正比。還有就是硬碟的數量、轉速，raid方式決定。10塊 600G sas raid5的性能肯定要好於 10塊 SATA radi5的性能。但是會低於20塊600G sas raid5的性能。
③ IB的實現InfiniBand
InfiniBand不是必須要取代現存的I/O技術。但會造成相關的爭論，因為其它的I/O標准也有很多的支持者，而且許多公司已經對這種傳統的技術進行大量的投資。在計算機業界，每一種新技術的出現都傾向於將其它的技術規類於傳統的范疇。至少在理論上，InfiniBand能與PCI、PCI-X、 SCSI、 光纖通道、IDE/ATA、串列 ATA、 IEEE-1394以及其它在數據中心存在I/O標准共存。相反，3GIO和HyperTransport是板級的互聯，而快速I/O和緻密PCI主要用於內嵌式系統。
為了與其它的I/O技術協同工作，InfiniBand需要能匹配物理介面和轉換通信協議的橋接適配器。舉例來說，Adaptec正在測試能將InfiniBand連接到串列ATA和串列SCSI的磁碟介面。然而，不要假定你需要的橋接設備已經存在，並且經過實際工作的驗證、價格可行。
另一個要考慮的是性能問題。連接兩種不同的I/O標准通常要增加數據通道的延遲。在最壞的情況下，將InfiniBand網路引入到一個已經安裝多個不同技術組成的網路中，如果組織管理差，會降低其整體性能。InfiniBand的支持者聲稱理想的解決方案是完整的InfiniBand體系結構。任何部件都可以直接連接到InfiniBand網路，可以使用優化的文件協議，最好是使用直接訪問文件系統(DAFS)。
DAFS獨立於傳輸，是基於NFS的共享式文件訪問協議。它是優化過的，用於1到100台機器的集群伺服器環境中的I/O密集、CPU受限、面向文件的任務。典型的應用包括資料庫、web服務、e-mail和地理信息系統(GIS)，當然也包括存儲應用。
IT管理員感興趣的其它的與InfiniBand相關協議是：SCSI遠程直接內存訪問(RDMA)協議、共享資源協議(SRP)、IP over InfiniBand (IPoIB)、直接套節字協議(SDP)、遠程網路驅動介面規范(RNDIS)。
SRP的開發在一些公司進展順利，比如，已經開發出早期版本並運行在Windows 2000上協議的Adaptec。OEM的廠商和合作夥伴正在測試beta系統。Adaptec認為SRP對於高性能的SANs會相當出眾，但必須解決多廠商產品間的兼容。最終版本的SRP可能取決於操作系統的驅動程序和伺服器的支持，預計在本年下半年或2003年上半年完成。
IpoIB，將IP協議映射到InfiniBand，正在被IETF的一個工作組定義。IpoIB包括IPv4/IPv6的地址解析、IPv4/IPv6的數據報的封裝、網路初始化、組播、廣播和管理信息庫。預計在本年下半年或2003年上半年完成。
SDP試圖解決其它協議的幾個缺陷，特別是相對高的CPU和內存帶寬的利用率。SDP基於微軟的Winsock Direct協議，類似於TCP/IP，但優化後用於InfiniBand，以降低負荷。一個工作組在2000年下半年開始定義SDP，今年2月完成了1.0規范。
RNDIS是微軟開發的協議，用於基於通道的即插即用匯流排的網路I/O，比如USB和IEEE-1394。InfiniBand RNDIS 1.0規范即將完成。
④ ib是什麼意思
IB:InifiniBand.InfiniBand是一個統一的互聯結構，既可以處理存儲I/O、網路I/O，也能夠處理進程間通信(IPC)。InfiniBand的基本帶寬是2.5Gb/s，這是InfiniBand 1.x。
IB：智能建築Intelligent Building.
IB（introcing broker介紹經紀商）指的是證券公司將投資者介紹給期貨公司，並為投資者開展期貨交易提供一定的服務，期貨公司因此向證券公司支付傭金的制度。
投資銀行
investment banking的簡稱.
等等吧==
⑤ OpenStack選用哪種後端存儲系統比較好
和openstack融合度較好的就是ceph，國內大多數雲環境都使用ceph作為openstack的唯一後端存儲。國內使用ceph開發出分布式存儲系統的廠商有深圳元核雲、北京xsky等，性能都還不錯的。
⑥ 雲科數據企業級存儲產品DCN NCS1800怎麼樣
產品亮點
l 高可靠性，保障業務連續性
NCS1800系列存儲系統採用雙冗餘設計和A/A工作模式（Active-Active Mode）。在正常情況下，2個部件同時工作，處理存儲業務。當其中1個部件出現故障或離線時，另外1個部件就會及時接管其工作，不影響現有任務。提供99.999%的高可用性，有效地保障業務連續性，提升企業的核心競爭力。
採用創新的RAID PX技術，可提供三重數據校驗技術，同一RAID組三塊磁碟同時損壞的情況下數據不丟失，且實現了硬碟自動負載均衡，當存儲系統某一硬碟發生故障時，硬碟域內的所有正常硬碟參與數據重構，而且僅重構業務數據，數據重構速度相對傳統RAID提升20倍，極大降低了多盤失效概率。
l 高性能，領先的存儲硬體平台
NCS1800系列存儲產品採用Intel全新多核處理器，支持16Gbps FC/10Gbps FCoE/56Gbps InfiniBand等主機介面；內部採用新一代PCI-E 3.0匯流排，並採用12Gbps SAS 3.0高速硬碟介面，可提供高達10GB/s的系統帶寬，滿足視頻、大文件等高帶寬應用場景需求；提供百萬級IOPS，性能及規格全面領先。
l 自主可控，輕松管理海量數據
NCS1800系列存儲採用自主可控的操作系統，實現精簡卷管理、高效數據快照、一鍵快照恢復、數據克隆、在線據據重刪、在線數據壓縮、法規遵從WORM等功能，企業藉助這些功能可輕松應對數據爆炸式增長所帶來的煩惱，便捷管理海量數據。
l 創新架構，助力企業應用加速
存儲虛擬化異構平台，通過系統內置的異構虛擬化功能，高效接管其它主流廠商存儲陣列，並整合成統一資源池，實現資源的統一、靈活分配，有效地保護用戶原有的投資。
SSD與大容量磁碟的完美融合，既能利用SSD的高性能優勢，同時又能兼顧大容量磁碟的容量優勢，二者合一將存儲的性能與容量發揮到極致，滿足用戶在性能和成本上的最優均衡。
全系列設備之間數據的自由流動，無需藉助第三方系統，通過系統內置的數據鏡像功能，靈活的實現用戶對數據的備份和容災需求，有效地保障數據的安全性。
內核的SMB3.0原生協議，將Windows文件訪問性能提升至149%，全面提速影視後期特效製作進程。
l 易管理性，全方位掌控設備運行狀況
NCS1800系列存儲管理平台，可統一管理多型號產品，並提供全局拓撲展示、容量分析、性能分析、故障定位和端到端業務可視等強大功能；全面簡潔的GUI管理界面，便捷的管理模式，方便客戶日常維護和存儲擴容； 提供多種故障預警方式，自動Email預警、SNMP、在線故障診斷等，方便企業實時掌控設備運行狀況。
⑦ IB的簡介
InfiniBand是一個統一的互聯結構，既可以處理存儲I/O、網路I/O，也能夠處理進程間通信(IPC)。它可以將磁碟陣列、SANs、LANs、伺服器和集群伺服器進行互聯，也可以連接外部網路（比如WAN、VPN、互聯網）。設計InfiniBand的目的主要是用於企業數據中心，大型的或小型的。目標主要是實現高的可靠性、可用性、可擴展性和高的性能。InfiniBand可以在相對短的距離內提供高帶寬、低延遲的傳輸，而且在單個或多個互聯網路中支持冗餘的I/O通道，因此能保持數據中心在局部故障時仍能運轉。
如果深入理解，你會發現InfiniBand與現存的I/O技術在許多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那樣共享匯流排，因此沒有相關的電子限制、仲裁沖突和內存一致性問題。相反，InfiniBand在交換式互聯網路上，採用點到點的、基於通道的消息轉發模型，同時，網路能夠為兩個不同的節點提供多種可能的通道。
這些方面，InfiniBand更像乙太網，而乙太網構成LANs、WANs和互聯網的基礎。InfiniBand和乙太網都是拓撲獨立――其拓撲結構依賴於交換機和路由器在源和目的之間轉發數據分組，而不是靠具體的匯流排和環結構。像乙太網一樣，InfiniBand能夠在網路部件故障時重新路由分組，分組大小也類似。InfiniBand的分組大小從256b到4KB，單個消息（攜帶I/O處理的一系列數據分組）可以達到2GB。
乙太網跨越全球，InfiniBand則不同，其主要用於只有幾間機房的數據中心，分布於校園內或者位於城市局部。最大距離很大程度上取決於纜線類型（銅線或光纖）、連接的質量、數據速率和收發器。如果是光纖、單模的收發器和基本數據速率的情況下，InfiniBand的最大距離大約是10公里。
如同乙太網一樣使用交換機和路由器， InfiniBand在理論上能夠跨越更遠的距離，盡管如此，在實際應用中距離要受到更多的限制。為了確保數據分組的可靠傳輸，InfiniBand具備諸如反應超時、流控等特點，以防止阻塞造成的分組丟失。延長InfiniBand的距離將降低這些特徵的有效性，因為延遲超過了合理的范圍。
為了超越數據中心的范圍，其它I/O技術必須解決長距離的問題。InfiniBand廠商通過能夠連接到乙太網和光纖通道網路的設備來解決這個問題（光纖通道的最大距離大約為10公里，因此橋接設備使得InfiniBand能夠與現存的用光纖通道連接的校園網路和城域網路的分布式數據中心相兼容）。
⑧ InifiBand是什麼
InfiniBand架構是一種支持多並發鏈接的「轉換線纜」技術，在這種技術中，每種鏈接都可以達到2.5
Gbps的運行速度。這種架構在一個鏈接的時候速度是500 MB/秒，四個鏈接的時候速度是2 GB/秒，12個鏈接的時候速度可以達到6 GB /秒。
與其他網路協議(如TCP/IP)相比，InfiniBand具有更高的傳輸效率。原因在於許多網路協議具有轉發損失的數據包的能力，但是由於要不斷地確認與重發，基於這些協議的通信也會因此變慢，極大地影響了性能。
需要說明的是，TCP協議是一種被大量使用的傳輸協議，從冰箱到超級計算機等各種設備上都可以看到它的身影，但是使用它必須付出高昂的代價：TCP協議極其復雜、代碼量巨大並且充滿了各種特例，而且它很難卸載(所謂卸載就是不佔用CPU的運行時間)。
與之相比，InfiniBand使用基於信任的、流控制的機制來確保連接的完整性，數據包極少丟失。使用InfiniBand，除非確認接收緩存具備足夠的空間，否則不會傳送數據。接受方在數據傳輸完畢之後， 返回信用來標示緩存空間的可用性。通過這種辦法，InfiniBand消除了由於原數據包丟失而帶來的重發延遲，從而提升了效率和整體性能。
目前,基於InfiniBand技術的網卡的單埠帶寬最大可達到20Gbps，基於InfiniBand的交換機的單埠帶寬最大可達60Gbps，單交換機晶元可以支持達480Gbps的帶寬。在2005年的4月份，Cisco公司收購了InfiniBand方案提供商Topspin; 而專業存儲廠商Qlogic公司也陸續收購了InfiniBand技術廠商SilverStorm公司和PathScale公司，開始進軍InfiniBand領域。
採用Intel架構的處理器的輸入/輸出性能會受到PCI或者PCI-X匯流排的限制。匯流排的吞吐能力是由匯流排時鍾決定的（比如33.3MHz，66.6MHz 以及133.3MHz）和匯流排的寬度（比如32位或者64位）。在最通常的配置中，PCI匯流排速度被限制在500 MB /秒，而PCI-X匯流排速度被限制在1 GB/秒。這種速度上的限制制約了伺服器和存儲設備、網路節點以及其他伺服器通訊的能力。在InfiniBand的技術構想中，InfiniBand直接集成到系統板內，並且直接和CPU以及內存子系統互動。但是，在短期內，InfiniBand支持將由PCI和PCI-X適配器完成；這樣，InfiniBand在最初將會受到匯流排的制約。在2002年年底，InfiniBand技術將會完全被整合在Intel伺服器供應商以及Sun生產的伺服器中（80%的可能性）
⑨ 什麼是雲存儲技術
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。
雲存儲的兩個層面
雲存儲的兩個層面是作為雲計算支撐的存儲計算，主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域，如圖8-30所示，這在第6章中已有所介紹。和雲安全技術一樣，雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術，才能取得最佳效果，例如，對應不同需求，有時應該使用資料庫技術但有時卻應該使用LDAP技術，有些性能要求高的系統不能使用SAN或NAS，需直接使用基於RPC或Socket技術的並發文件系統，有些應用使用SAN成本太高等，這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統，對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構
分為兩類：一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。
傳統的系統利用緊耦合對稱架構，這種架構的設計旨在解決HPC(高性能計算、超級運算)問題，現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構，集中元數據和控制操作，這種架構並不非常適合高性能HPC，但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下：
緊耦合對稱(TCS)架構
構建TCS系統是為了解決單一文件性能所面臨的挑戰，這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲，因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品，很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效，幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進，需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構
LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作，而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處，允許進行新層次的擴展：
● 存儲節點可以將重點放在提供讀寫服務的要求上，而不需要來自網路節點的確認信息。
● 節點可以利用不同的商品硬體CPU和存儲配置，而且仍然在雲存儲中發揮作用。
● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。
● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要，如光纖通道或infiniband，從而進一步降低成本。
● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲，同時還能提供永久的數據可用性。
● 擁有集中元數據意味著，存儲節點可以旋轉地進行深層次應用程序歸檔，而且在控制節點上，元數據經常都是可用的。
⑩ 如何讓spark支持infiniband的rdma協議
定義
InfiniBand是主機IO匯流排的網路化,用以替代PCI匯流排,組件包括HCA、IBSwitch、TCA等,連接方式為：CPU/RAM（機內）— >系統內存匯流排（機內）—>HCA（橋,機內）—>IBSwitch（主機IO匯流排,機外）—>TCA（主機IO控制卡 /HBA,機外）—>SANSwitch（存儲IO匯流排,機外）—> 存儲子系統（機外）.
2. 結構
物理層：可基於光纜或銅纜實現,包括多芯電纜（4X/12X）和連接器（MPO/MicroGigaCN）等；
數據鏈路層：編碼（10B/8B）、流量控制（連接級/端到端）、服務級別（可靠連接FC1、非可靠連接FC2、可靠數據報、非可靠數據報FC3和原始數據報）和差錯恢復等.
上層協議：VI（RDMA）
3. 說明
對應SAN實現存儲IO匯流排的網路化（基於FC或EthernetIP）,InfiniBand實現了主機IO匯流排的網路化.
InfiniBand、FC和Ethernet同樣工作於物理層和數據鏈路層,三者均可基於光纜或銅纜實現,並且均對VI（RDMA）等上層協議提供支持.
1. 定義
InfiniBand是主機IO匯流排的網路化,用以替代PCI匯流排,組件包括HCA、IBSwitch、TCA等,連接方式為：CPU/RAM（機內）— >系統內存匯流排（機內）—>HCA（橋,機內）—>IBSwitch（主機IO匯流排,機外）—>TCA（主機IO控制卡 /HBA,機外）—>SANSwitch（存儲IO匯流排,機外）—> 存儲子系統（機外）.
2. 結構
物理層：可基於光纜或銅纜實現,包括多芯電纜（4X/12X）和連接器（MPO/MicroGigaCN）等；
數據鏈路層：編碼（10B/8B）、流量控制（連接級/端到端）、服務級別（可靠連接FC1、非可靠連接FC2、可靠數據報、非可靠數據報FC3和原始數據報）和差錯恢復等.
上層協議：VI（RDMA）
3. 說明
對應SAN實現存儲IO匯流排的網路化（基於FC或EthernetIP）,InfiniBand實現了主機IO匯流排的網路化.
InfiniBand、FC和Ethernet同樣工作於物理層和數據鏈路層,三者均可基於光纜或銅纜實現,並且均對VI（RDMA）等上層協議提供支持.