存儲基礎技術

1. 信息資源存儲有哪些主要技術

1.印刷技術。採用各種印刷技術把文字圖像記錄在紙上，便於閱讀流通。存儲密度低，加工難以自動化。
2.光學縮微技術，利用光學縮微技術將文字圖像記錄在感光材料上，存儲密度高，便於收藏，但是閱讀設備投資高。
3.磁錄光錄技術，利用磁錄光錄技術將聲音和圖像記錄在磁性和光學材料，存儲密度高內容直觀。表達力強。
4.計算機存儲技術，將文字圖像音視頻轉為數字化信息，以磁光碟和網路載體等，密度高，讀取快高，速遠距傳輸。
（1）.數據壓縮技術。數據壓縮可以分為無損壓縮和有損壓縮兩大類 。
（2）.資料庫技術。資料庫技術是計算機處理與存儲數據的最有效最成功的技術。
（3）文字、圖像和語音的識別技術
（4）圖像掃描與處理技術
（5）信息數字化技術，將模擬信號形式的音視頻轉化為數字化音視頻的音視頻信息數字化技術

2. 大數據的存儲

⼤數據的存儲⽅式是結構化、半結構化和⾮結構化海量數據的存儲和管理，輕型資料庫⽆法滿⾜對其存儲以及復雜的數據挖掘和分析操作，通常使⽤分布式⽂件系統、No sql 資料庫、雲資料庫等。

結構化、半結構化和⾮結構化海量數據的存儲和管理，輕型資料庫⽆法滿⾜對其存儲以及復雜的數據挖掘和分析操作，通常使⽤分布式⽂件系統、No SQL 資料庫、雲資料庫等。

1 分布式系統：分布式系統包含多個⾃主的處理單元，通過計算機⽹絡互連來協作完成分配的任務，其分⽽治之的策略能夠更好的處理⼤規模數據分析問題。

主要包含以下兩類：

1）分布式⽂件系統：存儲管理需要多種技術的協同⼯作，其中⽂件系統為其提供最底層存儲能⼒的⽀持。分布式⽂件系統 HDFS 是⼀個⾼度容錯性系統，被設計成適⽤於批量處理，能夠提供⾼吞吐量的的數據訪問。

2）分布式鍵值系統：分布式鍵值系統⽤於存儲關系簡單的半結構化數據。典型的分布式鍵值系統有 Amazon Dynamo，以及獲得⼴泛應⽤和關注的對象存儲技術(Object Storage)也可以視為鍵值系統，其存儲和管理的是對象⽽不是數據塊。

2 Nosql 資料庫：關系資料庫已經⽆法滿⾜ Web2.0 的需求。主要表現為：⽆法滿⾜海量數據的管理需求、⽆法滿⾜數據⾼並發的需求、⾼可擴展性和⾼可⽤性的功能太低。No SQL 資料庫的優勢：可以⽀持超⼤規模數據存儲，靈活的數據模型可以很好地⽀持 Web2.0 應⽤，具有強⼤的橫向擴展能⼒等，典型的 No SQL 資料庫包含以下⼏種：

3 雲資料庫：雲資料庫是基於雲計算技術發展的⼀種共享基礎架構的⽅法，是部署和虛擬化在雲計算環境中的資料庫。

3. 存儲基礎3 存儲陣列NAS SAN

存儲陣列在IT架構下主要有兩種：
盤控一體化架構和盤控分離化架構

管理口的默認IP地址是A控 192.168.128.101 B控 192.168.128.102

存儲結構：直接連接存儲（DAS）、網路連接存儲（NAS）、存儲區域網路（SAN）

通過存儲的通道不同分為IP SAN 和FC SAN
而無論是IP SAN還是FC SAN都有三種組網結構：
1、直連組網

主機和存儲之間通過專用的通道去連接，這個通道可以基於是IP的，也可以是FC。這種通道的實現方式主要是把存儲資源通過這個通道提供給上層伺服器使用
缺點：所有的存儲資源只能為一台伺服器提供存儲
2、單交換組網

它可以通過網路側的交換機或者說FC的交換機實現把存儲資源共享給多台伺服器提供存儲
缺點在於應用伺服器和交換機以及存儲 資源之間只有一條承載鏈路，任何一條鏈路出現問題都會導致伺服器和應用之間連接失敗

3、雙交換組網

採用的是兩台或主備的方式去實現交換機的連接，所有的應用伺服器和存儲之間也是通過兩條鏈路去連接，中間斷開任何一條鏈路都不影響整個存儲和應用服務之間應用的訪問

注意：提到SAN存儲，默認指的是FC SAN

無論是IP SAN 還是FC SAN都有以下四個組件：

採用的是光纖作為承載通道。
FC協議棧

我們大多用的是FC-0 FC-1 FC-2這三層，也可以稱FC是大二層架構
FC-0主要是定義了物理層的介質，比如：光纖或者銅線、相應的標准、距離等
FC-1主要是定義了協議的編解碼的過程
FC-2主要是定義了幀、流控制以及質量控制方面
FC-3主要是加密
FC-4主要是上層協議的封裝，比如SCSI，完成SCSI協議到FC協議的轉換傳輸

FC的三種拓撲架構
1、點對點

通過主機側安裝的hub卡以及光纖線纜和設備去連接
缺點：所有的存儲只能為一台應用伺服器提供服務

2、仲裁環

通過光纖集線器去完成把存儲資源共享給多台伺服器，提供存儲。
缺點：它們都在環路上工作，任何環路上的設備出問題都會導致環路出問題，安全性不高
3、FC-SW

採用交換式的方式去實現FC的組網，這種方式採用FC交換機去實現為更多的上層伺服器提供存儲資源，同時也可以實現雙交換組網的一種方式

它的承載通道採用TCP/IP協議進行承載
實現IP SAN有三種方式：
第一種：

軟體主要實現的是從SCSI協議封裝成iSCSI的過程
乙太網卡主要實現的是把數據傳輸到外界
第二種：

與第一種的區別就是TOE網卡分擔了網卡的一些功能
第三種：

iSCSI卡即完成了數據的封裝也完成了數據的發放
不佔用任何的主機資源

FC SAN與IP SAN的區別

FC SAN因為距離原因，大多隻能在數據中心去做
IP SAN因為是TCP/IP做承載，所以可用於大區域數據

FC SAN速度快，傳輸效率高
FC SAN成本高
FC SAN採用的是專用的HBA卡 不會被外界攻擊

FC SAN更多用在容災備份的場景

NAS（Network Attached Storage）網路附加存儲 ：是一種將分布、獨立的數據進行整合，集中化管理，以便與對不同主機和應用伺服器進行訪問的技術。

SAN的所有文件存儲都是在主機這側完成的。
而NAS是把自己的文件系統和自己的操作系統都是在內部實現的，也就是說NAS有自己的文件系統和自己的操作系統去管理自己的內部數據。

NAS對不同操作系統開放的協議不同
Windows是CIFS
Linux是NFS

NAS還支持FTP和HTTP，對外提供文件共享

CIFS(Common Internet File System),通用Internet文件系統，NAS對Windows系統提供文件共享所用的一個協議。
它使程序可以訪問遠程Internet計算機上的文件並要求此計算機的服務，CIFS可以看做是應用程序協議，如文件傳輸協議和超文本傳輸協議的一個實現
架構：C/S
應用：Windows系統共享文件的環境
傳輸協議：TCP/IP
對網路性能要求較高，如果丟包高的話，會訪問失敗

NFS （Network File System）網路文件系統。
應用在Linux/Unix文件系統中，通過使用NFS，用戶和程序可以像訪問本地文件一樣訪問遠端系統上的文件。
架構：C/S
傳輸：TCP或者UDP
因為支持兩種傳輸協議，所以網路的可靠性安全性方面比CIFS要低
因為Windows上的軟體是集成的所以不需要安裝，而Linux和Unix則需要安裝軟體

NAS內部的組成:

NAS文件系統IO與性能影響
主機、網路、NAS本身內部的性能

NAS和SAN的區別：

4. 大數據核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

一、數據採集與預處理

對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。

Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費（收集）數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。

NDC，Netease Data Canal，直譯為網易數據運河系統，是網易針對結構化資料庫的數據實時遷移、同步和訂閱的平台化解決方案。它整合了網易過去在數據傳輸領域的各種工具和經驗，將單機資料庫、分布式資料庫、OLAP系統以及下游應用通過數據鏈路串在一起。除了保障高效的數據傳輸外，NDC的設計遵循了單元化和平台化的設計哲學。

Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業（極其容錯的分布式並行計算）來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。

Strom集群結構是有一個主節點（nimbus）和多個工作節點（supervisor）組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology（包括topology的發布、任務指派、事件處理時重新指派任務等）。supervisor進程等待nimbus分配任務後生成並監控worker（jvm進程）執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出（或被kill掉），supervisor會嘗試重新生成新的worker進程。

當使用上游模塊的數據進行計算、統計、分析時，就可以使用消息系統，尤其是分布式消息系統。Kafka使用Scala進行編寫，是一種分布式的、基於發布/訂閱的消息系統。Kafka的設計理念之一就是同時提供離線處理和實時處理,以及將數據實時備份到另一個數據中心，Kafka可以有許多的生產者和消費者分享多個主題，將消息以topic為單位進行歸納；Kafka發布消息的程序稱為procer，也叫生產者，預訂topics並消費消息的程序稱為consumer，也叫消費者；當Kafka以集群的方式運行時，可以由一個服務或者多個服務組成，每個服務叫做一個broker，運行過程中procer通過網路將消息發送到Kafka集群，集群向消費者提供消息。Kafka通過Zookeeper管理集群配置，選舉leader，以及在Consumer Group發生變化時進行rebalance。Procer使用push模式將消息發布到broker，Consumer使用pull模式從broker訂閱並消費消息。Kafka可以和Flume一起工作，如果需要將流式數據從Kafka轉移到hadoop，可以使用Flume代理agent，將Kafka當做一個來源source，這樣可以從Kafka讀取數據到Hadoop。

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。

二、數據存儲

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。

Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。

Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。

Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。

Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。

在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。

三、數據清洗

MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map（映射）」和」Rece（歸約）」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。

隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成（因為有些大作業可能會執行很久(幾個小時甚至幾天)）。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。

Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等；Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。

流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面（開發、運維）的投入，幫助用戶專注於解決產品本身的流計算需求。

四、數據查詢分析

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分組成），可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。

Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。

Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。

Solr用Java編寫、運行在Servlet容器（如Apache Tomcat或Jetty）的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引；也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。

Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用；深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。

五、數據可視化

對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數（可點擊這里免費試用）等。

在上面的每一個階段，保障數據的安全是不可忽視的問題。

基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。

控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。

5. 名詞解釋：存儲技術

卡片式存儲設備
卡片式存儲設備算來算去只有幾種，而且都是利用半導體技術來儲存資料。存儲卡的原理和RAM一樣，區別只在於是否使用「Volatile"或「Non-volatile"(後者在沒有電源時，存儲設備內的資料也能永久保存)技術。
卡片式存儲器的應用領域有：
1.數字相機 要算使用存儲卡最多的IT產品，數字相機絕對是頭一個。由於數字相機需要有一定的容量來儲存相片，而且質量越高的相片要求越大的容量，所以數字相機足以保障存儲卡有一定的市場。
2.MP3隨身聽網際網路使MP3音樂垂手可得，也使MP3隨身聽有可能取代MD或CD隨身聽。而MP3隨身聽想要保存MP3歌曲文件，辦法就是使用存儲卡。通常，一部MP3隨身聽內置的是32MB的存儲卡(只能存放約10首歌曲)，消費者往往會多買一張64MB的存儲卡來保存歌曲。這樣就會增大存儲卡的銷售。

8mm磁帶
8mm磁帶：是一種由Exabyte公司開發、適合於大中型網路和多用戶系統的大容量磁帶。8mm磁帶驅動器也採用螺旋掃描技術，而且磁帶較寬，因而存儲容量極高，一盒磁帶的最高容量可達150GB

存儲卡
這里說的存儲卡是用來儲存數據資料並且可以在電腦上使用的數據存儲卡!
1.CF卡CF卡是最早推出的存儲卡，也是大家都比較青睞的存儲卡。CF卡得以普及的原因很多，其中比較重要的一點就是物美價廉。比起其他數碼存儲卡，CF卡單位容量的存儲成本差不多是最低的，速度也比較快，而且大容量的CF卡比較容易買到。
我們可以接觸的到CF卡分為CFType I/CF Type II兩種類型。由於CF存儲卡的插槽可以向下兼容，因此TypeII插槽既可以使CF TypeII卡又可以使用CFType I卡;而Type I插槽則只能使用CFType I卡，而不能使用CFType II卡，朋友們在選購和使用的時候一定要注意。
2.SD卡 SD卡體積小巧，廣泛應用在數碼相機上，是由日本的松下公司、東芝公司和SanDisk公司共同開發的一種全新的存儲卡產品，最大的特點就是通過加密功能，保證數據資料的安全保密。SD卡在外形上同MultiMedia Card卡保持一致，並且兼容MMC卡介面規范。不過注意的是，在某些產品例如手機上，SD卡和MMS卡是不能兼容的。SD 卡在售價方面要高於同容量的MultiMedia Card卡。
3.MS卡在5年前，索尼公司生產了它自己的快閃記憶體記憶卡，就是記憶棒—MemoryStick。其應用於索尼公司出的數碼產品，掌上電腦、MP3、數碼相機、數碼攝像機等等數碼設備。由Memory Stick所衍生出來的Memory Stick PRO和Memory Stick DUO也是索尼記憶棒向高容量和小體積發展的產物。
4.SM卡SM卡最早是由東芝公司推出的，它僅僅是將存儲晶元封裝起來，自身不包含控制電路，所有的讀寫操作安全依賴於使用它的設備。盡管由於結構簡單可以做得很薄，在便攜性方面優於CF卡，但兼容性差是其致命之傷，一張SM卡一旦在MP3播放器上使用過，數碼相機就可能不能再讀寫。其市場表現已呈龍鍾之態，不會再有更多新的設備支持它。
5.MMC卡MMC卡是由Sandisk和西門子於1997年聯手推出的，它普及還沾了點SD卡的光。後來推出的SD卡標准中保留了設備對MMC卡的兼容，就是說雖然使用MMC卡的設備無法使用SD卡，而使用SD卡的設備卻可以毫無障礙地使用MMC卡，在某些時候使得MMC順利成為SD卡的代替品。MMC卡的大小和SD基本一樣，比SD卡要薄一點，不過在讀取速度上還是SD強。因此價格也是MMC比較便宜。
6.xD圖像卡xD圖像卡是繼上面幾種存儲卡而後生的存儲卡產品，是由富士膠卷和奧林巴斯光學工業為SM卡的後續產品成功開發的產品。它的特點是集體積更小、容量更大於一身，xD圖像卡設計只有一張郵票那麼大，未來圖像存儲能力高達令人驚嘆的8GB。

數字線性磁帶
DLT(Digital Linear Tape，數字線性磁帶)源於1/2英寸磁帶機，它出現很早，主要用於數據的實時採集。DLT每盒容量高達40GB以上，成本較低，主要定位於中、高級的伺服器市場與磁帶庫系統。

先進的智能型磁帶
AIT(先進的智能型磁帶)是SONY公司在快速訪問高密度磁帶錄制技術方面的最新創新，現已成為磁帶機工業標准。AIT使用一種磁帶盒上含有記憶體晶片的磁帶，通過在微型晶片上記錄磁帶上文件的位置，大大減少了存取時間。

數字音頻磁帶
ST(Digital Audio Tape：數字音頻磁帶)磁帶：該磁帶寬為0.15英寸(4mm)，又叫4毫米磁帶。ST磁帶盒較小，體積僅為73mm×54mm×10.5mm，比一般錄音機磁帶盒還小。但由於該磁帶存儲系統採用了螺旋掃描技術，使得該磁帶具有很高的存儲容量。

差分備份
差分備份(Differential Backup) 就是每次備份的數據是相對於上一次全備份之後新增加的和修改過的數據。差分備份無需每天都做系統完全備份，因此備份所需時間短，並節省磁帶空間，它的災難恢復也很方便，系統管理員只需兩盤磁帶，即系統全備份的磁帶與發生災難前一天的備份磁帶，就可以將系統完全恢復。

映像備份
映像備份(Image copies)不壓縮、不打包、直接COPY獨立文件(數據文件、歸檔日誌、控制文件)，類似操作系統級的文件備份。而且只能COPY到磁碟，不能到磁帶。

差異備份
復制自上一次普通備份或增量備份以來被創建或更改的文件的備份。它不將文件標記為已經備份(換句話說，沒有清除存檔屬性)。如果您要執行普通備份和差異備份的組合，則還原文件和文件夾將需要上次已執行過普通備份和差異備份。

SAN
SAN(Storage Area Network―存儲區域網路)一類專門用於提供企業商務數據或運營商數據的存儲和備份管理的網路。因為是基於網路化的存儲，SAN比傳統的存儲和備份技術擁有更大的容量和更強的性能。通過專門的存儲管理軟體，可以直接在SAN里的大型主機、伺服器或其它服務端電腦上添加硬碟和磁帶設備。現在大多數的SAN是基於光纖信道交換機和集線器的。通常SAN被配置成網路的後端部分，存在於數據中心或者伺服器場之後

Failover(故障恢復
Failover(故障恢復)：功能相當的系統組件替代故障組件的一種自動替代系統。經常使用於連接到相同存儲設備和主機計算機的智能控制器。如果其中之一的控制器故障，故障恢復開始啟用，其他正常的控制器將負擔其I/O工作。

備份記錄
備份記錄(plicated record)文件記錄的復製品。保存在文件庫中，與原文件分開存放，是為了防止關鍵性文件或數據丟失而備制的。也稱復制記錄。

備份集
備份集(Backup sets)顧名思義就是一次備份的集合，它包含本次備份的所有備份片。一個備份集根據備份的類型不同，可能構成一個完全備份或增量備份。

Backup(備份)
Backup(備份)：存儲在非易失性存儲介質上的數據集合，這些數據用來進行原始數據丟失或者不可訪問條件下的數據恢復。為了保證恢復時備份的可用性，備份必須一致性狀態下通過拷貝原始數據來實現。

容錯
容錯：系統在其某一組件故障時仍繼續正常工作的功能。容錯功能一般通過冗餘組件設計來實現。

iSCSI
iSCSI：連接到一個TCP/IP網路的直接定址的存儲庫，通過塊I/O SCSI指令對其進行訪問。ISCSI是一種基於開放的工業標准，通過它可以用TCP/IP對SCSI(小型計算機系統介面--一種數據傳輸的公共協議)指令進行封裝，這樣就可以使這些指令能夠通過基於IP(乙太網或千兆位乙太網)「網路」進行傳輸。這一標準的目的是允許使用現有的乙太網網路傳輸SCSI指令和數據，而這一過程完全不依賴於地點。對這一產品的另外一種描述是，它是連接到TCP/IP網路的存儲，但可以使用與DAS和SAN存儲一樣的I/O指令對其進行訪問。

6. 瀹炵幇鉶氭嫙瀛樺偍鎶鏈鐨勭墿璐ㄥ熀紜鍖呮嫭

瀹炵幇鉶氭嫙瀛樺偍鎶鏈鐨勭墿璐ㄥ熀紜鍖呮嫭浠ヤ笅鍑犱釜鏂歸潰錛

• 楂橀熶俊鎮瀛樺彇鎶鏈錛氳櫄鎷熷瓨鍌ㄦ妧鏈闇瑕佸揩閫熷湴瀛樺彇鏁版嵁錛屼互渚垮揩閫熷搷搴旂敤鎴風殑璇鋒眰銆傞珮閫熶俊鎮瀛樺彇鎶鏈鍖呮嫭楂橀熺紦瀛樸侀珮閫熺綉緇溿侀珮閫熷瓨鍌ㄥ櫒絳夈


• 楂橀熶俊鎮浼犺緭鎶鏈錛氳櫄鎷熷瓨鍌ㄦ妧鏈闇瑕佸揩閫熷湴浼犺緭鏁版嵁錛屼互渚垮疄鐜拌櫄鎷熷瓨鍌ㄧ殑蹇閫熷搷搴斻傞珮閫熶俊鎮浼犺緭鎶鏈鍖呮嫭楂橀熺綉緇溿侀珮閫熷瓨鍌ㄥ櫒絳夈


• 楂橀熶俊鎮澶勭悊鎶鏈錛氳櫄鎷熷瓨鍌ㄦ妧鏈闇瑕佸揩閫熷湴澶勭悊鏁版嵁錛屼互渚垮疄鐜拌櫄鎷熷瓨鍌ㄧ殑蹇閫熷搷搴斻傞珮閫熶俊鎮澶勭悊鎶鏈鍖呮嫭楂橀熻＄畻鏈恆侀珮閫熸帶鍒跺櫒絳夈


• 楂橀熶俊鎮浜ゆ崲鎶鏈錛氳櫄鎷熷瓨鍌ㄦ妧鏈闇瑕佸揩閫熷湴浜ゆ崲鏁版嵁錛屼互渚垮疄鐜拌櫄鎷熷瓨鍌ㄧ殑蹇閫熷搷搴斻傞珮閫熶俊鎮浜ゆ崲鎶鏈鍖呮嫭楂橀熶氦鎹㈡満銆侀珮閫熻礬鐢卞櫒絳夈

浠ヤ笂榪欎簺鎶鏈閮芥槸瀹炵幇鉶氭嫙瀛樺偍鎶鏈鐨勭墿璐ㄥ熀紜錛屽畠浠鍏卞悓浣滅敤錛屼嬌寰楄櫄鎷熷瓨鍌ㄦ妧鏈鑳藉熷揩閫熷搷搴旂敤鎴風殑璇鋒眰錛屾彁楂樼郴緇熺殑鎬ц兘鍜屾晥鐜囥

7. 鏁版嵁搴撴妧鏈鐨勫熀紜鏄()

鏁版嵁搴撴妧鏈鐨勫熀紜鏄鏁版嵁綆＄悊鎶鏈銆

鏁版嵁綆＄悊鎶鏈鍏蜂綋灝辨槸鎸囦漢浠瀵規暟鎹榪涜屾敹闆嗐佺粍緇囥佸瓨鍌ㄣ佸姞宸ャ佷紶鎾鍜屽埄鐢ㄧ殑涓緋誨垪媧誨姩鐨勬誨拰錛岀粡鍘嗕簡浜哄伐綆＄悊銆佹枃浠剁＄悊銆佹暟鎹搴撶＄悊涓変釜闃舵點傛瘡涓闃舵電殑鍙戝睍浠ユ暟鎹瀛樺偍鍐椾綑涓嶆柇鍑忓皬銆佹暟鎹鐙絝嬫т笉鏂澧炲己銆佹暟鎹鎿嶄綔鏇村姞鏂逛究鍜岀畝鍗曚負鏍囧織錛屽悇鏈夊悇鐨勭壒鐐廣

20涓栫邯60騫翠唬鍚庢湡浠ユ潵錛屽嚭鐜頒簡澶у歸噺紓佺洏錛屽瓨鍌ㄥ歸噺澶уぇ澧炲姞銆傚湪姝ゅ熀紜涓婏紝鎵嶆湁鍙鑳藉厠鏈嶆枃浠剁郴緇熺＄悊鏁版嵁鏃剁殑涓嶈凍錛岃屾弧瓚沖拰瑙ｅ喅瀹為檯搴旂敤涓澶氫釜鐢ㄦ埛銆佸氫釜搴旂敤紼嬪簭鍏變韓鏁版嵁鐨勮佹眰錛屼粠鑰屼嬌鏁版嵁鑳戒負灝藉彲鑳藉氱殑搴旂敤紼嬪簭鏈嶅姟錛岃繖灝卞嚭鐜頒簡鏁版嵁搴撹繖鏍風殑鏁版嵁綆＄悊鎶鏈銆

8. 信息存儲技術的信息存儲技術的三大支柱

磁儲存技術、縮微技術與光碟技術已成為現代信息存儲技術的三大支柱。現代信息存儲技術不僅使信息存儲高密度化，而且使信息存儲與快速檢索結合起來，已成為信息工作發展的基礎。
1.磁存儲技術
磁儲存系統，尤其是硬磁碟存儲系統是當今各類計算機系統的最主要的存儲設備，在信息存儲技術中占據統治地位。
(1)磁儲存介質磁介質都是在帶狀或盤狀的帶基上塗上磁性薄膜製成的，常用的磁存介質有計算機磁帶、計算機磁碟(軟盤、硬碟)、錄音機磁帶、錄像機磁帶等。
(2)磁存的特點
磁能存儲聲音、圖像和熱機械振動等一切可以轉換成電信號的信息，它具有以下一些特點：存儲頻帶寬廣，可以存儲從直流到2兆赫以上的信號；信息能長久保持在磁帶中，可以在需要的時候重放；能同時進行多路信息的存儲：具有改變時基的能力。磁存儲技術被廣泛地應用於科技信息工作，信息服務之中。磁存儲技術為中小文獻信息機構建立較大的資料庫或建立信息管理系統提供了物質基礎，為建立分布式微機信息網路創造了條件。
2.縮微存儲技術
是縮微攝影技術的簡稱，是現代高技術產業之一。縮微存儲是用縮微攝影機採用感光攝影原理，將文件資料縮小拍攝在膠片上，經加工處理後作為信息載體保存起來，供以後拷貝、發行、檢索和閱讀之用。
(1)縮微製品的類型
縮微製品按其類型可分為卷式膠片與片式膠片兩大類。卷式膠片採用16mm和35mm的鹵化銀負片縮微膠卷作為記錄介質，膠卷長一般30.48—60.96m，卷式膠片成本低存儲容量大，安全可靠，適用於存儲率低的大批量資料。片式膠片可分為縮微平片、條片、封套片、開窗卡片等。縮微製品按材料可以分為廟化銀膠片、重氮膠片、微泡膠片三種。鹵化銀膠片是將含有感光溴化銀或氯化銀晶粒的乳膠塗在塑料片基上製成的，它是最早，也是目前使用廣泛的膠片，一般用於製作母片。供用戶使用的拷貝片一般採用價格較低的重氯膠片或微泡膠片。
(2)縮微存儲技術的特點
20世紀70年代以來，縮微技術發展很快，應用相當廣泛。其特點有：縮微品的信息存儲量大，存儲密度高：縮微品體積小、重量輕，可以節省大量的存儲空間，需要的存儲設備較少；縮微品成本低價格便宜：縮微品保存期長，在長溫下可以保存50年，在適當的溫度下可以保存100年以上；縮微品忠實於原件不易出差錯；採用縮微技術儲存信息，可以將非統一規格的原始文件規格化、標准化，便於管理，便於計算機檢索。
(3)縮徽技術的應用縮微技術最引入注目的就是它與微電子、計算機和通信技術相結合而產生的許多性能優異的新技術和新設備。把微電子和復印技術與傳統的縮微閱讀器相結合，可以生成自動檢索的閱讀復印機：COM技術能將計算機輸出的二進制信息轉換成人讀縮微影像，並直接把它們記錄在縮微片上；CIM技術能將計算機輸出的人讀影像資料轉換成計算機可讀二進制信息介質，從而擴大縮微品的應用范圍：CIR是一種能將計算機、縮微品和紙三者的長處融為一體的影像資料自動管理系統；CAR具有在一分鍾內從一百萬頁以上的資料中檢索出任意一頁的能力；視頻縮微系統是由縮微、視頻和計算機三種技術結合在一起生成的影像資料全文存儲檢索系統，從中找出任意一頁原文文獻只需14秒；縮微技術與光碟技術相結合能生成復合系統。
3.光碟存儲技術
光碟是用激光束在光記錄介質上寫入與讀出信息的高密度數據存儲載體，它既可以存儲音頻信息，又可以存儲視頻(圖像、色彩、全文信息)信息，還可以用計算機存儲與檢索。
(1)光碟的種類
光碟產品的種類比較多，按其讀寫數據的性能可分為以下種類：一是只讀式光碟(CD—ROM)已成為存放永久性多媒體信息的理想介質。二是一次寫入光碟WORM)，也稱追記型光碟。用戶可根據自己的需要自由地進行記錄，但記錄的信息無法抹去。WORM的存儲系統由WORM光碟、光碟驅動器、計算機、文件掃描器、高解析度顯示器、磁帶或磁碟驅動器、列印機、軟體等部分組成。三是可擦重寫光碟，這種光碟在寫入信息之後，還可以擦掉重寫新的信息。用於這類光碟的介質有晶相結構可變化的記錄介質和磁光記錄介質等。
(2)光碟技術的應用
在信息工作中，可以利用光碟技術建立多功能多形式的資料庫，如建立二次文獻資料庫、專利文獻資料庫、聲像資料資料庫等：在信息檢索中，用CD—ROM信息檢索系統檢索信息，可反復練習、反復修改檢索策略，直到檢索結果滿意為止。利用光碟可以促進聯機檢索的發展，可以建立分布式的原文提供系統，節省通信費用，取得較好的經濟效果。咨詢服務人員也可以利用各類光碟資料庫系統向用戶提供多種信息檢索與快速優質的咨詢服務。

9. 存儲技術的分類

網路存儲技術（NetworkStorageTechnologies）是基於數據存儲的一種通用網路術語。網路存儲結構大致分為3種：直連式存儲（DirectAttachedStorage，DAS）、網路存儲設備（NetworkAttachedStorage，NAS）和存儲網路（StorageAreaNetwork，SAN）。
1．DAS
DAS是一種直接與主機系統相連接的存儲設備，如作為伺服器的計算機內部硬體驅動。到目前為止，DAS仍是計算機系統中最常用的數據存儲方法。DAS英文全稱是DirectAttachedStorage，中文翻譯成「直接附加存儲」。顧名思義，在這種方式中，存儲設備是通過電纜（通常是SCSI介面電纜）直接連接到伺服器的。I/O（輸入/輸出）請求直接發送到存儲設備。DAS也可稱為伺服器附加存儲（Server-AttachedStorage，SAS）。它依賴於伺服器，其本身是硬體的堆疊，不帶有任何存儲操作系統。
2．NAS
NAS的中文意思是「網路附加存儲」。按字面意思簡單地理解就是連接在網路上，具備資料存儲功能的裝置，因此也稱為「網路存儲器」或者「網路磁碟陣列」。從結構上講，NAS是功能單一的精簡型計算機，因此在架構上不像個人計算機那麼復雜，在外觀上就像家電產品，只需電源與簡單的控制鈕。
NAS是一種專業的網路文件存儲及文件備份設備，它是基於LAN（區域網）的，按照TCP/IP協議進行通信，以文件的I/O方式進行數據傳輸。在LAN環境下，NAS已經完全可以實現異構平台之間的數據級共享，比如NT、Unix等平台的共享。
一個NAS系統包括處理器、文件服務管理模塊和多個硬碟驅動器（用於數據的存儲）。NAS可以應用在任何網路環境當中。主伺服器和客戶端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）、NFS格式（Unix，Linux）和CIFS（CommonInternetFileSystem）格式等。
3．SAN
SAN是指存儲設備相互連接且與一台伺服器或一個伺服器群相連的網路。其中的伺服器用作SAN的接入點。在有些配置中，SAN也與網路相連。SAN將特殊交換機當作連接設備，這些特殊交換機看起來很像常規的乙太網絡交換機，是SAN中的連通點。SAN使得在各自網路上實現相互通信成為可能，同時帶來了很多有利條件。
具體來說，SAN是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁碟陣列、磁帶等存儲設備與相關伺服器連接起來的高速專用子網。SAN由3個基本的組件構成：介面（如SCSI、光纖通道、ESCON等）、連接設備（交換設備、網關、路由器、集線器等）和通信控制協議（如IP和SCSI等）。這3個組件再加上附加的存儲設備和獨立的SAN伺服器，就構成一個SAN系統。SAN提供一個專用的、高可靠性的基於光通道的存儲網路，SAN允許獨立地增加存儲容量，也使得管理及集中控制（特別是對於全部存儲設備都集群在一起的時候）更加簡化。而且，光纖介面提供了10km的連接長度，這使得物理上分離的遠距離存儲變得更容易。