網路存儲實驗

① 中科院雲計算中心分布式存儲聯合實驗室

預警IPFS 分布式存儲五大風險

隨著5G、大數據、人工智慧等新興技術的廣泛應用，數據體量的迅速增加，作為基礎設施的分布式存儲聯合實驗室，可以說是不可或缺的促進要素。

近日，中科院雲計算中心分布式存儲聯合實驗室舉行虛擬圓桌會，國際歐亞科學院中國科學中心常務副主席張景安、中科院雲計算中心主任季統凱、中科院雲計算中心黨委副書記左朝勝、中國科學院雲計算中心數據科學研究室主任邢建設、中國通信工業協會區塊鏈專委會副主任委員吳高斌、中科院雲計算中心分布式存儲聯合實驗室負責人李洪建等，就貫徹落實中國互聯網金融協會、中國銀行業協會、中國支付清算協會聯合發布的《關於防範虛擬貨幣交易炒作風險的公告》和「國務院金融穩定發展委員會打擊比特幣挖礦和交易行為」的會議精神。重磅發聲，提出了一系列行業預警，再次闡明了中科院雲計算中心分布式存儲聯合實驗室落實金融監管部門對於比特幣、以太坊、奇亞幣等虛擬貨幣的嚴管態度。

當下，大部分人都把目光聚焦到 IPFS 分布式存儲行業內，並且以不同的方式參與其中，卻沒有對這個新興的行業做深度的評估。為此，中科院雲計算中心分布式存儲聯合實驗室和相關專家對IPFS 分布式存儲行業做出了五大風險預警，並提供專業服務幫助投資客規避風險。

預警：IPFS 分布式存儲存在的五大風險

風險1：政策風險

中科院雲計算中心分布式存儲聯合實驗室認為，國家七大新基建明確指出對數據中心，分布式存儲技術的研究及應用給予大力的支持，但是嚴厲打擊打著IPFS的名義，做非法融資，惡意斂財等一切不正規、不合法的商業模式。

風險2：資金風險

對於趨勢性產業，尤其是新興行業對全球非專業人士而言都存在投資本金虧損的風險。雲存儲，雲計算雖然已經屬於成熟行業，而且國內外都有一些互聯網巨頭公司在雲領域取得了輝煌的成績，但是對於普通投資者，實體企業家，雲領域還是一個比較模糊的領域。聯合實驗室計劃針對想轉型，在轉型的相關企業進行數據中心、雲存儲、雲計算、分布式存儲知識的普及培訓。

風險3：數據無監管風險

中科院雲計算中心分布式存儲聯合實驗室認為，IPFS星際傳輸系統，雖然有效的解決了網路冗餘大，傳輸速度慢，數據存儲不安全等問題，但是目前處於分布式存儲的第一階段，數據如何有效過濾，存入IDC數據機房的數據是否存在不 健康 內容，消極言論，非法內容各個公司並沒有有效的過濾方式。而中科院雲計算中心分布式存儲聯合實驗室在數據過濾，內容篩選等方面會進行專項研究，定向存儲，以確保數據的 健康 安全，合法合規。

風險4：技術風險

技術方面分為軟體技術架構和硬體技術搭建。目前針對IPFS這個領域，各個公司把大部分精力和研究方向放在如何獲得更多的Filecoin獎勵上。存儲技術並不重視也不成熟，聯合實驗室會針對行業的技術風險，為願意共同為行業做出貢獻的企業提供IPFS的存儲技術，確保存儲數據的安全、穩定。

風險5：生態應用風險

IPFS星際文件傳輸系統，與NFS網路文件系統,GFS可擴展的分布式文件系統都屬於互聯網的協議，已經相對成熟。但在IPFS上的配套設施與HTTP超文本協議的配套設施還相差甚遠，聯合實驗室會在星際文件傳輸協議上完善配套設計，讓更多參與分布式存儲的企業並不是僅僅停留在獲得Filecoin的獎勵上。

據不完全統計，市場資金已經有超一千億人民幣進入Filecion市場。中科院雲計算中心分布式存儲聯合實驗室專家認為，如得不到有效控制風險、有效防範方案，整個Filecion市場將面臨發展危機。

【相關鏈接】

中科院雲計算中心分布式存儲聯合實驗室成立後，將致力於利用分布式存儲技術研發成果，推動轉化應用落地，制定我國在分布式存儲領域的各項標准。

據中央電視台報道，該實驗室是國家級IPFS科研機構，IPFS分布式存儲技術得到更多重量級科研機構的認可和參與。

據了解，該實驗室還計劃設立中國分布式存儲技術創新發展專項公益基金，組織分布式存儲產業、融資等專家，組成專家團，為相關企業進入資本市場服務，並定期舉辦中國分布式存儲產業學術論壇、年會，促進我國區塊鏈技術與實體經濟的深度融合發展，在建設網路強國、發展數字經濟、助力經濟 社會 發展等方面發揮更大作用。

② 伺服器上的大文件是怎麼存儲的

如何做一台文件伺服器假如你是某公司的系統管理員，現在公司要做一台文件伺服器。公司購買了一台某品牌的伺服器，在這台伺服器內插有三塊硬碟。公司有三個部門---銷售，財務，技術。每個部門有三個員工，其中一名是其部門經理（另兩名是副經理）1.在三塊硬碟上共創建三個分區（盤符）,並要求在創建分區的時候，使磁碟實現容錯的功能；2.在伺服器上創建相應的用戶帳號和組；命名規范，如：用戶名：sales-1，sales-2……；組名：sale，tech……要求用戶帳號只能從網路訪問伺服器，不能在伺服器本地登錄3.在文件伺服器上創建三個文件夾分別存放各部門的文件，並要求只有本部門的用戶能訪問其部門的文件夾（完全控制的許可權），每個部門的經理和公司總經理可以訪問所有文件夾（讀取），另創建一個公共文件夾，使得所有用戶都能在裡面查看和存放公共的文件；4.每個部門的用戶可以在伺服器上存放最多100M的文件；5.做好文件伺服器的備份工作以及災難恢復的備份工作；發送給我的好友提醒我回答有更新你可以把這個生意經分享給旺旺，MSN或QQ上的好友當這個生意經的回答有更新時，您可以及時收到提醒發送給好友生意經鏈接：窗體頂端發送描述：窗體底端郁悶啦!看看這個問題，你一定要幫我啊！這個東東太實用了，看完記得收藏哦！旺旺浮出提醒好友生意經的地址已經復制您可以粘帖到MSN或者郵件發給您的好友收藏成功，回答有更新時旺旺會浮出提醒你哦！現在就去查看我的收藏網友回答(1)學會安裝和配置文件伺服器。(2)學會伺服器端共享文件夾的配置和管理。(3)學會客戶端訪問共享文件夾的方法。(4)學會分布式文件系統的設置方法。(5)實驗學時：22實驗相關理論與知識計算機網路的基本功能是在計算機間共享信息，文件共享可以說是最基本、最普遍的一種網路服務。雖然越來越多的用戶購置專用文件伺服器(如NAS)，但是通用操作系統提供的文件伺服器功能也非常實用，完全能滿足一般的文件共享需求，下面主要介紹WindowsServer2003文件伺服器的配置、管理和應用。文件伺服器負責共享資源的管理和傳送接收，管理存儲設備(硬碟、光碟、磁帶)中的文件，為網路用戶提供文件共享服務，也稱文件共享伺服器。除了文件管理功能之外，文件伺服器還要提供配套的磁碟緩存、訪問控制、容錯等功能。部署文件伺服器，主要要考慮以下3個因素。·存取速度：快速存取伺服器上的文件，例如可提供磁碟緩存加速文件讀取。·存儲容量：要有足夠的存儲空間以容納眾多網路用戶的文件，可使用磁碟陣列。·安全措施：實現網路用戶訪問控制，確保文件共享安全。文件伺服器主要有兩類解決方案，一類是專用文件伺服器，另一類是使用PC伺服器或PC計算機組建的通用文件伺服器。專用文件伺服器是專門設計成文件伺服器的專用計算機，以前主要是運行操作系統、提供網路文件系統的大型機、小型機，現在的專用文件伺服器則主要指具有文件伺服器的網路存儲系統，如NAS和SAN。NAS獨立於操作系統平台，可支持多種操作系統和網路文件系統，提供集中化的網路文件伺服器和存儲環境，比一般的文件伺服器的功能更強大，可看作是專用存儲伺服器，可為那些訪問和共享大量文件系統數據的用戶提供高效、性能價格比優異的解決方案。SAN全稱存儲區域網路，是一種用戶存儲服務的特殊網路，通常由磁碟陣列、光碟庫、磁帶庫和光纖交換機組成。NAS可作為獨立的文件伺服器，提供文件級的數據訪問功能，更適合文件共享。而SAN提供數據塊級的數據訪問功能，更適合資料庫和海量數據。目前一般用戶使用PC伺服器或PC計算機，通過網路操作系統來提供文件服務，UNIX、Linux、Novell、Windows等操作系統都可提供文件共享服務。Windows網路操作系統，如WindowsNTServer、Windows2000Server和最新的WindowsServer2003由於操作管理簡單、功能強大，在中小用戶群中的普及率非常高，許多文件伺服器都運行Windows網路操作系統。下面將重點以WindowsServer2003為例介紹文件伺服器的配置、管理和應用。3實驗環境與設備C/S模式的網路環境，包括一台WindowsXP客戶機和一台WindowsServer2003伺服器。兩種可選的物理拓撲（交叉線連接或通過集線器/交換機用直連線連接）。4實驗內容與步驟4.0伺服器的基本網路配置，包括IP地址為"192.168.105.XX"、網關為"192.168.105.254"等。(註："XX"代表你配置機器的主機編號，"nXX"代表你的伺服器主機名，例如你坐在5號機上則"XX"代表"05"，"1XX"代表"105"，配置此機的IP地址為"192.168.105.5"、主機名為"n05"，下同)。4.1安裝和配置文件伺服器文件伺服器提供網路上的中心位置，可供存儲文件並通過網路與用戶共享文件。當用戶需要重要文件時，可以訪問文件伺服器上的文件，而不必在各自獨立的計算機之間傳送文件。如果網路用戶需要對相同文件和可通過網路訪問的應用程序的訪問許可權，就要將該計算機配置為文件伺服器。默認情況下，在安裝WindowsServer2003系統時，將自動安裝"Microsoft網路的文件和列印共享"網路組件。如果沒有該組件，可通過網路連接屬性對話框安裝。1．准備工作在部署文件伺服器之前，應當做好以下准備工作。·劃出專門的硬碟分區(卷)用於提供文件共享服務，而且要保證足夠的存儲空間，必要時使用磁碟陣列。·磁碟分區(卷)使用NTFS文件系統，因為FAT32缺乏安全性，而且不支持文件和文件夾壓縮、磁碟配額、文件加密或單個文件許可權等重要特性。提示：使用WindowsServer2003自帶的工具即可將FAT32轉換成NTFS格式。該工具名為Convert.exe，位於Windows安裝目錄下的System32目錄中。在命令行狀態運行該工具即可，如ConvertE:/FS:NTFS。·確定是否要啟用磁碟配額，以限制用戶使用的磁碟存儲空間。·確定是否要使用索引服務，以提供更快速、更便捷的搜索服務。2．配置文件伺服器只要將WindowsServer2003計算機上的某個文件夾共享出來，就會自動安裝文件伺服器，也可通過"配置您的伺服器向導"工具來安裝文件伺服器角色。這兩種方法的差別是，第二種方法提供的選項，並在程序菜單中提供文件伺服器管理台工具。這里介紹採用第二種方法的基本步驟。(1)啟動"配置您的伺服器向導"工具。默認情況下，登錄WindowsServer2003時將自動啟動"管理您的伺服器"(也可從控制面板中選擇【管理工具】→【管理您的伺服器】)，單擊【添加或刪除角色】。另一種方法是直接從控制面板中選擇【管理工具】→【管理您的伺服器】→【配置您的伺服器向導】。單擊【下一步】按鈕。(2)在【配置選項】界面中選擇【自定義配置】，單擊【下一步】按鈕。(3)在【伺服器角色】界面中，如果【文件伺服器】的【已配置】狀態為"否"，就單擊【文件伺服器】，然後單擊【下一步】。注意：如果【文件伺服器】的【已配置】狀態為"是"，就單擊【文件伺服器】，再單擊【下一步】按鈕打開【角色刪除確認】界面，並選擇【刪除文件伺服器角色】復選框，即可刪除文件伺服器角色，這樣該伺服器上的文件和文件夾就不再共享，依賴於這些共享資源的網路用戶、程序或宿主都將無法與它們連接。(4)出現【文件伺服器磁碟配額】對話框中，為伺服器上所有NTFS分區設置默認的磁碟配額。勾選【為此伺服器的新用戶設置默認磁碟空間配額】和【拒絕將磁碟空間給超過配額限制的用戶】。單擊【下一步】按鈕。默認情況下是沒有啟用磁碟配額。(5)出現【文件伺服器索引服務】對話框，確定是否要使用索引服務。單擊【下一步】按鈕。一般情況下不需索引服務，只有在用戶要經常搜索該伺服器上的文件內容時才啟用它。(6)出現【選擇總結】對話框，查看和確認已經選擇的選項，單擊【下一步】按鈕。本例中有"設置默認磁碟配額"、"安裝文件伺服器管理"和"運行共享文件夾向導來添加一個新的共享文件夾或共享已有文件夾"等選項。(7)自動完成相關配置後，出現共享文件夾向導，根據提示配置共享文件夾以供其他用戶共享。只有配置了共享文件夾之後，文件伺服器才能建立。(8)單擊【下一步】按鈕，出現【文件夾路徑】對話框，指定要共享的文件夾路徑。可通過【瀏覽】在C盤目錄下新建一個【FileShare】作為共享目錄，此時【文件夾路徑】輸入框中將出現【C:FileShare】（如果C盤中已經建立過此文件夾，才可以在此輸入框中直接輸入）。(9)單擊【下一步】按鈕，出現【名稱、描述和設置】對話框，指定共享名。(10)單擊【下一步】按鈕，出現【許可權】對話框，指定共享許可權為【管理員有完全訪問許可權；其他用戶有隻讀訪問許可權】，單擊【完成】按鈕。這里提供了幾種預置的許可權，也可以自定義許可權。(11)【共享成功】對話框中顯示共享成功，給出新建共享文件夾的信息。如果要繼續設置其他共享文件夾，則選中下面的復選框。單擊【關閉】按鈕，【完成】。至此文件伺服器配置就完成了。接下來可執行各項文件管理任務。3．文件伺服器管理工具（以下方法至少掌握一種）WindowsServer2003提供了用於文件伺服器配置管理的多種工具。·文件伺服器管理控制台：打開"管理您的伺服器"工具，在【文件伺服器】區域單擊【管理此文件伺服器】，打開該控制台。要使用"配置您的伺服器向導"工具安裝文件伺服器，可從程序菜單中選擇【管理工具】→【文件伺服器管理】命令打開該控制台。·"共享文件夾"管理工具：也可通過"計算機管理"工具中的"共享文件夾"管理工具來執行共享文件夾的配置管理，從程序菜單中選擇【管理工具】→【計算機管理】，【共享文件夾】節點即可。·Windows資源管理器：可直接將文件夾配置為共享文件夾。·命令行工具：如netshare可顯示有關本地計算機上全部共享資源的信息。

③ kubernetes(十一) 數據存儲（掛載卷管理）

在前面已經提到，容器的生命周期可能很短，會被頻繁地創建和銷毀。那麼容器在銷毀時，保存在容器中的數據也會被清除。這種結果對用戶來說，在某些情況下是不樂意看到的。為了持久化保存容器的數據，kubernetes引入了Volume的概念。

Volume是Pod中能夠被多個容器訪問的共享目錄，它被定義在Pod上，然後被一個Pod里的多個容器掛載到具體的文件目錄下，kubernetes通過Volume實現同一個Pod中不同容器之間的數據共享以及數據的持久化存儲。Volume的生命容器不與Pod中單個容器的生命周期相關，當容器終止或者重啟時，Volume中的數據也不會丟失。

kubernetes的Volume支持多種類型，比較常見的有下面幾個：

EmptyDir是最基礎的Volume類型，一個EmptyDir就是Host上的一個空目錄。

EmptyDir是在Pod被分配到Node時創建的，它的初始內容為空，並且無須指定宿主機上對應的目錄文件，因為kubernetes會自動分配一個目錄，當Pod銷毀時， EmptyDir中的數據也會被永久刪除。 EmptyDir用途如下：

接下來，通過一個容器之間文件共享的案例來使用一下EmptyDir。

在一個Pod中准備兩個容器nginx和busybox，然後聲明一個Volume分別掛在到兩個容器的目錄中，然後nginx容器負責向Volume中寫日誌，busybox中通過命令將日誌內容讀到控制台。

創建一個volume-emptydir.yaml

EmptyDir中數據不會被持久化，它會隨著Pod的結束而銷毀，如果想簡單的將數據持久化到主機中，可以選擇HostPath。

HostPath就是將Node主機中一個實際目錄掛在到Pod中，以供容器使用，這樣的設計就可以保證Pod銷毀了，但是數據依據可以存在於Node主機上。

創建一個volume-hostpath.yaml：

HostPath可以解決數據持久化的問題，但是一旦Node節點故障了，Pod如果轉移到了別的節點，又會出現問題了，此時需要准備單獨的網路存儲系統，比較常用的用NFS、CIFS。

NFS是一個網路文件存儲系統，可以搭建一台NFS伺服器，然後將Pod中的存儲直接連接到NFS系統上，這樣的話，無論Pod在節點上怎麼轉移，只要Node跟NFS的對接沒問題，數據就可以成功訪問。

1）首先要准備nfs的伺服器，這里為了簡單，直接是master節點做nfs伺服器

2）接下來，要在的每個node節點上都安裝下nfs，這樣的目的是為了node節點可以驅動nfs設備

3）接下來，就可以編寫pod的配置文件了，創建volume-nfs.yaml

4）最後，運行下pod，觀察結果

前面已經學習了使用NFS提供存儲，此時就要求用戶會搭建NFS系統，並且會在yaml配置nfs。由於kubernetes支持的存儲系統有很多，要求客戶全都掌握，顯然不現實。為了能夠屏蔽底層存儲實現的細節，方便用戶使用， kubernetes引入PV和PVC兩種資源對象。

PV（Persistent Volume）是持久化卷的意思，是對底層的共享存儲的一種抽象。一般情況下PV由kubernetes管理員進行創建和配置，它與底層具體的共享存儲技術有關，並通過插件完成與共享存儲的對接。

PVC（Persistent Volume Claim）是持久卷聲明的意思，是用戶對於存儲需求的一種聲明。換句話說，PVC其實就是用戶向kubernetes系統發出的一種資源需求申請。

使用了PV和PVC之後，工作可以得到進一步的細分：

PV是存儲資源的抽象，下面是資源清單文件:

PV 的關鍵配置參數說明：

實驗
使用NFS作為存儲，來演示PV的使用，創建3個PV，對應NFS中的3個暴露的路徑。
1.准備NFS環境

2.創建pv.yaml

PVC是資源的申請，用來聲明對存儲空間、訪問模式、存儲類別需求信息。下面是資源清單文件:

PVC 的關鍵配置參數說明：

實驗
1.創建pvc.yaml，申請pv

2.創建pods.yaml, 使用pv

PVC和PV是一一對應的，PV和PVC之間的相互作用遵循以下生命周期：

ConfigMap是一種比較特殊的存儲卷，它的主要作用是用來存儲配置信息的。

創建configmap.yaml，內容如下：

接下來，使用此配置文件創建configmap

接下來創建一個pod-configmap.yaml，將上面創建的configmap掛載進去

在kubernetes中，還存在一種和ConfigMap非常類似的對象，稱為Secret對象。它主要用於存儲敏感信息，例如密碼、秘鑰、證書等等。

1.首先使用base64對數據進行編碼

2.接下來編寫secret.yaml，並創建Secret

3.創建pod-secret.yaml，將上面創建的secret掛載進去：

至此，已經實現了利用secret實現了信息的編碼。