數字存儲技術
A. 存儲技術發展歷史
最早的外置存儲器可以追溯到19世紀末。為了解決人口普查的需要,霍列瑞斯首先把穿孔紙帶改造成穿孔卡片。
他把每個人所有的調查項目依次排列於一張卡片,然後根據調查結果在相應項目的位置上打孔。在以後的計算機系統里,用穿孔卡片輸入數據的方法一直沿用到20世紀70年代,數據處理也發展成為電腦的主要功能之一。
2、磁帶
UNIVAC-I第一次採用磁帶機作外存儲器,首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性,並最先進行了自動編程的試驗。此時這個磁帶長達1200英寸、包含8個磁軌,每英寸可存儲128bits,每秒可記錄12800個字元,容量也達到史無前例的184KB。從 此之後,磁帶經歷了迅速發展,後來廣泛應用了錄音、影像領域。
3、軟盤(見過這玩意的一定是80後)
1967年 IBM公司推出世界上第一張「軟盤」,直徑32英寸。隨著技術的發展,軟盤的尺寸一直在減小,容量也在不斷提升,大小從8英寸,減到到5.25英寸軟盤,以及到後來的3.5英寸軟盤,容量卻從最早的81KB到後來的1.44MB。在80-90年代3.5英寸軟盤達到了巔峰。直到CD-ROM、USB存儲設備出現後,軟盤銷量才逐漸下滑。
4、CD
CD也就是我們常說的光碟、光碟,誕生於1982年,最早用於數字音頻存儲。1985年,飛利浦和索尼將其引入PC,當時稱之為CD-ROM(只 讀),後來又發展成CD-R(可讀)。因為聲頻CD的巨大成功,今天這種媒體的用途已經擴大到進行數據儲存,目的是數據存檔和傳遞。
5、磁碟
第一台磁碟驅動器是由IBM於1956年生產,可存儲5MB數據,總共使用了50個24英寸碟片。到1973年,IBM推出第一個現代「溫徹斯特」磁碟驅動器3340,使用了密封組件、潤滑主軸和小質量磁頭。此後磁碟的容量一度提升MB到GB再到TB。
6、DVD
數字多功能光碟,簡稱DVD,是一種光碟存儲器。起源於上世紀60年代,荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年,他們的研究獲得了成功,1978年投放市場。最初的產品就是大家所熟知的激光視盤(LD,Laser Vision Disc)系統。它們的直徑多是120毫米左右。容量目前最大可到17.08GB。
7、快閃記憶體
淺談存儲器的進化歷程
快閃記憶體(Flash Memory)是一種長壽命的非易失性(在斷電情況下仍能保持所存儲的數據信+息)的存儲器。包含U盤、SD卡、CF卡、記憶棒等等種類。在1984年,東芝公司的發明人舛岡富士雄首先提出了快速快閃記憶體存儲器(此處簡稱快閃記憶體)的概念。與傳統電腦內存不同,快閃記憶體的特點是非易失性(也就是所存儲的數據在主機掉電後不會丟失),其記錄速度也非常快。Intel是世界上第一個生產快閃記憶體並將其投放市場的公司。到目前為止快閃記憶體形態多樣,存儲容量也不斷擴展到256GB甚至更高。
隨著存儲器的更新換代,存儲容量越來越大,讀寫速度也越來越快,企業級硬碟單盤容量已經達到10TB以上,目前使用的SSD固態硬碟,讀速度達:3000+MB/s,寫速度達:1700MB/s,用起來美滋滋啊。
B. 名詞解釋:存儲技術
卡片式存儲設備
卡片式存儲設備算來算去只有幾種,而且都是利用半導體技術來儲存資料。存儲卡的原理和RAM一樣,區別只在於是否使用「Volatile"或「Non-volatile"(後者在沒有電源時,存儲設備內的資料也能永久保存)技術。
卡片式存儲器的應用領域有:
1.數字相機 要算使用存儲卡最多的IT產品,數字相機絕對是頭一個。由於數字相機需要有一定的容量來儲存相片,而且質量越高的相片要求越大的容量,所以數字相機足以保障存儲卡有一定的市場。
2.MP3隨身聽網際網路使MP3音樂垂手可得,也使MP3隨身聽有可能取代MD或CD隨身聽。而MP3隨身聽想要保存MP3歌曲文件,辦法就是使用存儲卡。通常,一部MP3隨身聽內置的是32MB的存儲卡(只能存放約10首歌曲),消費者往往會多買一張64MB的存儲卡來保存歌曲。這樣就會增大存儲卡的銷售。
8mm磁帶
8mm磁帶:是一種由Exabyte公司開發、適合於大中型網路和多用戶系統的大容量磁帶。8mm磁帶驅動器也採用螺旋掃描技術,而且磁帶較寬,因而存儲容量極高,一盒磁帶的最高容量可達150GB
存儲卡
這里說的存儲卡是用來儲存數據資料並且可以在電腦上使用的數據存儲卡!
1.CF卡CF卡是最早推出的存儲卡,也是大家都比較青睞的存儲卡。CF卡得以普及的原因很多,其中比較重要的一點就是物美價廉。比起其他數碼存儲卡,CF卡單位容量的存儲成本差不多是最低的,速度也比較快,而且大容量的CF卡比較容易買到。
我們可以接觸的到CF卡分為CFType I/CF Type II兩種類型。由於CF存儲卡的插槽可以向下兼容,因此TypeII插槽既可以使CF TypeII卡又可以使用CFType I卡;而Type I插槽則只能使用CFType I卡,而不能使用CFType II卡,朋友們在選購和使用的時候一定要注意。
2.SD卡 SD卡體積小巧,廣泛應用在數碼相機上,是由日本的松下公司、東芝公司和SanDisk公司共同開發的一種全新的存儲卡產品,最大的特點就是通過加密功能,保證數據資料的安全保密。SD卡在外形上同MultiMedia Card卡保持一致,並且兼容MMC卡介面規范。不過注意的是,在某些產品例如手機上,SD卡和MMS卡是不能兼容的。SD 卡在售價方面要高於同容量的MultiMedia Card卡。
3.MS卡在5年前,索尼公司生產了它自己的快閃記憶體記憶卡,就是記憶棒—MemoryStick。其應用於索尼公司出的數碼產品,掌上電腦、MP3、數碼相機、數碼攝像機等等數碼設備。由Memory Stick所衍生出來的Memory Stick PRO和Memory Stick DUO也是索尼記憶棒向高容量和小體積發展的產物。
4.SM卡SM卡最早是由東芝公司推出的,它僅僅是將存儲晶元封裝起來,自身不包含控制電路,所有的讀寫操作安全依賴於使用它的設備。盡管由於結構簡單可以做得很薄,在便攜性方面優於CF卡,但兼容性差是其致命之傷,一張SM卡一旦在MP3播放器上使用過,數碼相機就可能不能再讀寫。其市場表現已呈龍鍾之態,不會再有更多新的設備支持它。
5.MMC卡MMC卡是由Sandisk和西門子於1997年聯手推出的,它普及還沾了點SD卡的光。後來推出的SD卡標准中保留了設備對MMC卡的兼容,就是說雖然使用MMC卡的設備無法使用SD卡,而使用SD卡的設備卻可以毫無障礙地使用MMC卡,在某些時候使得MMC順利成為SD卡的代替品。MMC卡的大小和SD基本一樣,比SD卡要薄一點,不過在讀取速度上還是SD強。因此價格也是MMC比較便宜。
6.xD圖像卡xD圖像卡是繼上面幾種存儲卡而後生的存儲卡產品,是由富士膠卷和奧林巴斯光學工業為SM卡的後續產品成功開發的產品。它的特點是集體積更小、容量更大於一身,xD圖像卡設計只有一張郵票那麼大,未來圖像存儲能力高達令人驚嘆的8GB。
數字線性磁帶
DLT(Digital Linear Tape,數字線性磁帶)源於1/2英寸磁帶機,它出現很早,主要用於數據的實時採集。DLT每盒容量高達40GB以上,成本較低,主要定位於中、高級的伺服器市場與磁帶庫系統。
先進的智能型磁帶
AIT(先進的智能型磁帶)是SONY公司在快速訪問高密度磁帶錄制技術方面的最新創新,現已成為磁帶機工業標准。AIT使用一種磁帶盒上含有記憶體晶片的磁帶,通過在微型晶片上記錄磁帶上文件的位置,大大減少了存取時間。
數字音頻磁帶
ST(Digital Audio Tape:數字音頻磁帶)磁帶:該磁帶寬為0.15英寸(4mm),又叫4毫米磁帶。ST磁帶盒較小,體積僅為73mm×54mm×10.5mm,比一般錄音機磁帶盒還小。但由於該磁帶存儲系統採用了螺旋掃描技術,使得該磁帶具有很高的存儲容量。
差分備份
差分備份(Differential Backup) 就是每次備份的數據是相對於上一次全備份之後新增加的和修改過的數據。差分備份無需每天都做系統完全備份,因此備份所需時間短,並節省磁帶空間,它的災難恢復也很方便,系統管理員只需兩盤磁帶,即系統全備份的磁帶與發生災難前一天的備份磁帶,就可以將系統完全恢復。
映像備份
映像備份(Image copies)不壓縮、不打包、直接COPY獨立文件(數據文件、歸檔日誌、控制文件),類似操作系統級的文件備份。而且只能COPY到磁碟,不能到磁帶。
差異備份
復制自上一次普通備份或增量備份以來被創建或更改的文件的備份。它不將文件標記為已經備份(換句話說,沒有清除存檔屬性)。如果您要執行普通備份和差異備份的組合,則還原文件和文件夾將需要上次已執行過普通備份和差異備份。
SAN
SAN(Storage Area Network―存儲區域網路)一類專門用於提供企業商務數據或運營商數據的存儲和備份管理的網路。因為是基於網路化的存儲,SAN比傳統的存儲和備份技術擁有更大的容量和更強的性能。通過專門的存儲管理軟體,可以直接在SAN里的大型主機、伺服器或其它服務端電腦上添加硬碟和磁帶設備。現在大多數的SAN是基於光纖信道交換機和集線器的。通常SAN被配置成網路的後端部分,存在於數據中心或者伺服器場之後
Failover(故障恢復
Failover(故障恢復):功能相當的系統組件替代故障組件的一種自動替代系統。經常使用於連接到相同存儲設備和主機計算機的智能控制器。如果其中之一的控制器故障,故障恢復開始啟用,其他正常的控制器將負擔其I/O工作。
備份記錄
備份記錄(plicated record)文件記錄的復製品。保存在文件庫中,與原文件分開存放,是為了防止關鍵性文件或數據丟失而備制的。也稱復制記錄。
備份集
備份集(Backup sets)顧名思義就是一次備份的集合,它包含本次備份的所有備份片。一個備份集根據備份的類型不同,可能構成一個完全備份或增量備份。
Backup(備份)
Backup(備份):存儲在非易失性存儲介質上的數據集合,這些數據用來進行原始數據丟失或者不可訪問條件下的數據恢復。為了保證恢復時備份的可用性,備份必須一致性狀態下通過拷貝原始數據來實現。
容錯
容錯:系統在其某一組件故障時仍繼續正常工作的功能。容錯功能一般通過冗餘組件設計來實現。
iSCSI
iSCSI:連接到一個TCP/IP網路的直接定址的存儲庫,通過塊I/O SCSI指令對其進行訪問。ISCSI是一種基於開放的工業標准,通過它可以用TCP/IP對SCSI(小型計算機系統介面--一種數據傳輸的公共協議)指令進行封裝,這樣就可以使這些指令能夠通過基於IP(乙太網或千兆位乙太網)「網路」進行傳輸。這一標準的目的是允許使用現有的乙太網網路傳輸SCSI指令和數據,而這一過程完全不依賴於地點。對這一產品的另外一種描述是,它是連接到TCP/IP網路的存儲,但可以使用與DAS和SAN存儲一樣的I/O指令對其進行訪問。
C. 信息資源存儲有哪些主要技術
1.印刷技術。採用各種印刷技術把文字圖像記錄在紙上,便於閱讀流通。存儲密度低,加工難以自動化。
2.光學縮微技術,利用光學縮微技術將文字圖像記錄在感光材料上,存儲密度高,便於收藏,但是閱讀設備投資高。
3.磁錄光錄技術,利用磁錄光錄技術將聲音和圖像記錄在磁性和光學材料,存儲密度高內容直觀。表達力強。
4.計算機存儲技術,將文字圖像音視頻轉為數字化信息,以磁光碟和網路載體等,密度高,讀取快高,速遠距傳輸。
(1).數據壓縮技術。數據壓縮可以分為無損壓縮和有損壓縮兩大類 。
(2).資料庫技術。資料庫技術是計算機處理與存儲數據的最有效最成功的技術。
(3)文字、圖像和語音的識別技術
(4)圖像掃描與處理技術
(5)信息數字化技術,將模擬信號形式的音視頻轉化為數字化音視頻的音視頻信息數字化技術
D. 存儲技術的DAT技術
DAT(Digital Audio Tape)技術又可以稱為數碼音頻磁帶技術,也叫4mm磁帶機技術,DAT使用影像磁帶式技術—旋轉磁頭和按對角方式穿越4mm磁帶寬度的螺旋式掃描磁軌來達到快速訪問數據的目的,即使是很小的磁帶盒也可達到很高的容量。這種技術後來也使用8mm磁帶盒。最初是由惠普公司(HP)與索尼公司(SONY)共同開發出來的。這種技術以螺旋掃描記錄(Helical Scan Recording)為基礎,將數據轉化為數字後再存儲下來,早期的DAT技術主要應用於聲音的記錄,後來隨著這種技術的不斷完善,又被應用在數據存儲領域里。4mm的DAT經歷了DDS-1、DDS-2、DDS-3、DDS-4幾種技術階段,容量跨度在1GB-12GB。目前一盒DAT磁帶的存儲量可以達到12GB,壓縮後則可以達到24GB。DAT技術主要應用於用戶系統或區域網。
E. 為什麼說數據存儲技術已經比較完美
你好~
因為至少在糾錯方面已經沒什麼需要改進了。
可靠的數據存儲是IT行業的關鍵,也是現代生活的關鍵。雖然我們把這當成理所當然的事情,但是這其中存在什麼樣的謊言呢?數據視頻專家,IT寫手John Watkinson帶你了解數據存儲的相關細節,以及對未來存儲技術發展的猜想。千萬別燒糊大腦噢。
電腦之所以使用二進制,是因為數字簡化為0和1後,由兩股不同電壓呈現出來時,最容易被區分開。
在快閃記憶體中,我們可以用一束絕緣電子保存這些電壓。但是在其他存儲設備中,則需要物理模型。
以磁帶或硬碟為例,我們先看看小環境內磁化的方向,N-S或S-N。在光碟中,差異則以有沒有小坑表現出來。
生物學里,DNA就是一種數據記錄,這種記錄以離散狀態的化學物質為基礎。「比特」的差別會導致變異,而變異則導致進化或是導致某種蛋白質的缺失而致病。數據記錄對生命而言至關重要。
二進制的媒介並不在乎所呈現的數據是什麼。一旦我們可以放心記錄二進制數據,我們就會把音頻,視頻,圖片,文本,CAD文件和電腦程序放到相同的媒介上,然後完整復制。
這些數據類型之間的唯一差別是其中的一些數據需要在一個特定時間內重復生成。
時機,可靠性,持續時長及成本
不同的存儲媒介有不同的特點,沒有哪種介質盡善盡美。硬碟在讀取密集型應用上存儲性能最佳,但是硬碟不能從驅動中移除。盡管硬碟的數據記錄密度一直比光碟的大,但是你花個幾秒鍾就可以置換出光碟。而且,光碟的貼標成本也很低,所以適合大規模發行。
快閃記憶體可提供快速訪問,而且體積很小,不過它的可持續寫入周期存在局限。盡管快閃記憶體替代了以前的軟磁碟,但是軟磁碟技術並沒消失。它還存在於航空公司,火車票,信用卡和酒店門房鑰匙的磁條中。條形碼就是個很好的例子。
在快閃記憶體中,存儲密度是由單個電荷井的精細構造程度來決定。但是光碟技術的發展不僅可以保存越來越多的信息,而且可解析的數據也越來越小。
U盤中的晶元:沒有活動部件,可直接使用
在旋轉內存中,無論是磁碟還是光碟的,都存在兩個問題:我們要盡可能收集多一點軌道,同時要盡可能多地把數據放到軌道中。
這些軌道極其狹窄,需要主動跟蹤伺服系統使磁頭可以持續被記錄下來,而不受耐受力和溫度改變的影響。為了減少磨損,用於收集的磁頭和磁碟之間是不接觸的。
光碟會盯著軌道,雖然是從微觀角度,但卻是由磁力驅動,磁頭掠過磁碟上方幾納米處的氣膜。自相矛盾的是,它是快閃記憶體,沒有會帶來磨損的活動部件。
編碼
磁碟會掃描自己的軌道,然後按順序收集數據。我們不能只是在磁碟軌道上寫入原始數據,因為如果這些數據包含了相同的比特,那麼就無法區分這些比特,讀取器的同一性也會丟失。相反,數據是通過一個名為信道編碼的進程來修改。信道編碼的功能之一就是保障信號中的時鍾內容,而不考慮真正的數據樣式。
在光碟中,追蹤和聚焦是過濾數據後,通過收集光圈查看數據追蹤的對稱性來執行。信道編碼的第二個功能是去除數據追蹤的DC和低頻內容,使過濾更有效。圓形光點很難分辨軌道上距離太近的數據。
大眾媒體
第一款量產的糾錯應用存在於壓縮盤中,1982年上市,這是在Reed和Solomon的論文發表22年之後。CD的光學技術是早期的鐳射影碟,那麼它的不足在哪裡呢?
首先,數字音頻光碟要實時播放。播放器不會把錯誤視為電腦本身的功能,所以必須得將其糾正。再者,如果CD使用的系統比Reed-Solomon編碼更簡單,那麼這個系統將會更大--因此,將影響到攜帶型和汽車播放器市場。第三,Reed-Solomon糾錯系統是復雜的,在LSI晶元上部署比較經濟。
早在十年前,用於製作壓縮光碟的所有技術早已出現,但是直到LSI Logic 公司的晶元性能跨過某個特定門檻,其性能才突然變得經濟實用。
同理,之後也是在LSI技術可以用消費者可接受的價格執行實時MPEG解碼時,我們才看到了DVD的流行。
綜合
所有光碟用來客服這些問題的技術都被稱為分組編碼。比如,如果所有可能的14比特的結合體都被排序,且以波形描繪出來,就可以選擇出最容易記錄的。
分組編碼如何限制記錄的頻率呢?在a) 表示的最高頻率點,轉換間隔了三個信道位。這樣信道位的記錄密度就成了三倍。注意h)是無效編碼。最長的信道位運行於g),而i) 無效編碼。
上圖顯示出,我們排除了改變太緊密的模式,因此記錄的最高頻率被減少了三分之一。
我們還排除了1和0之間存在較大差異的模式,因為那樣帶來的是我們不想要的直流偏移。267保留了我們許可的模式,比起要記錄八個比特的256模式要好,剩下可同時使用的模式少之又少。
EFM
Kees Immink的數據編碼技巧使用14個信道位的模式來記錄八比特--因此,其名稱就是EFM(eight to fourteen molation)。三種合並的比特被放在各組之間,防止邊界出現混亂,所以17信道位被用於每個數據的記錄。這樣是違背直覺的,直到你意識到編碼規則將信道位的記錄密度提升三倍。所以,我們以3 x 8/17勝出,密度比率為1.41。
是信道編碼機制本身增加了41%的播放時間。筆者認為在30年前能做到如此是非常不錯的。
壓縮光碟和MiniDisc使用的EFM技術藉助了波長為780納米的激光。DVD使用的是其變體,EFM+,激光波長減為了650納米。
藍光格式也使用分組編碼,但不是EFM。而是信道模擬,稱為信道調制,也稱1.7PP調制。它的密度比率要稍遜一些,但由於使用了波長為405納米的激光,所以存儲密度有所增加。這種激光其實並不是藍色的。
磁帶記錄器的磁頭有兩極,就好像微型馬蹄鐵,當磁頭掃描軌道時,兩極之間的有限距離會產生孔徑效應。
下圖顯示出頻率響應就像一個梳子狀的過濾器,帶有周期性的暗碼。傳統的磁帶記錄被限制在下面第一個暗碼的波段部分,但是在第一和第二個暗碼之間,則由部分響應技術來掌控,這樣就把數據容量翻了一番。
所有磁性記錄器都存在磁頭間隙導致的回放信號a) 的暗碼問題。在b) 顯示的部分響應中,磁頭感知不到奇數位的數據,於是會回放偶數位的數據。一個比特之後,兩個偶數位數據就會被恢復。
如果數據太小,以至於其中一個數據(奇數位置)其實就在磁頭間隙處,那麼磁頭的兩極卻只能識別兩邊偶數位置的數據,然後輸出。這兩種數據相加就成了第三級信號。磁頭會交替重復生成交叉存取的奇數和偶數數據流。
使用兩股數據流的合適信道編碼,那麼給定數據流的外部層級就可以輪流使用,這樣就更具可預測性,而讀取器也可以掌握這種預見性使數據更為可靠。這就是現如今讓硬碟容量超乎想像之大的PRML編碼。
糾錯
在真實世界中,熱活力或無線電干擾都是影響我們記錄的因素。顯然,用二進制記錄是最難被干擾的。如果有一比特的數據被干擾,那麼會引起整個數據的改變,因為1會變成0或者0會變成1。如此明顯的改變會被糾錯系統檢測出來。在二進制中,如果有一個比特是錯誤的,那麼只需把它設置為相反的那個數就可以了。因此,二進制的糾錯是比較容易的,真正的難點在於找出有錯的那個比特。
使用二進制以及具備有效糾錯/數據整合系統的存儲設備可以再次生成所記錄的相同數據。換言之,數據的質量從本質上是透明的,因為從媒介質量那裡,它就已經實現了去耦。
有了糾錯系統,我們還能在任意類型的介質上做記錄,包括沒有經過優化的介質,如火車票。以條形碼為例,只有當印有條形碼的產品靠近讀取器時,糾錯系統才會執行任務:要確認已經發現條形碼。
市場存在減少數據存儲成本的壓力,這就意味著要把更多數據放入給定空間內。
沒有哪種介質是完美的,所有介質都存在物理缺陷。由於數據越來越小,這些缺陷就顯得越來越大,所以缺陷導致數據出錯的幾率也在增加。
糾錯需要在真實數據中加入檢測數據,所以讓人感覺記錄效率會被降低,因為執行這些檢測也要佔用空間。事實上,少數額外的檢測任務會讓記錄密度翻倍,所以這是存儲容量的凈增加。
一旦了解到這一點,就會明白糾錯是很重要的一項技術。
第一個實用型的糾錯代碼是Richard Hamming 1950年開發的。Reed-Solomon編碼則是1960年發布。糾錯代碼的發展史其實只有十年。
糾錯要向真實信息添加檢測數據,要優先於記錄,從這些信息中進行計算。這些信息和檢測數據一起形成了一種代碼字,這表示它具備了一些可測試的特性,如通過特定的數學表達式來區分。播放器會對這些特性進行測試,如果發現數據有錯,就不能獲取可測試的特性。余數不會是零,而是被稱為綜合症的一種模式。通過分析這種綜合症可以糾錯。
在特定有限域上的Reed-Solomon 多項式代碼
在Reed-Solomon代碼中,有若干對不同的數學表達式,它們被用來計算校驗符。一個錯誤會導致兩種綜合症。解出兩個方程,就可能發現錯誤的位置以及導致綜合症出現的錯誤模式。
錯誤被呈現並被糾正
如果沒有可靠性和存儲密度,那麼我們現在所使用的這一切將不復存在。我們的數碼照相機所拍的照片會被光點破壞,那樣我們會更喜歡使用傳統膠卷。
如果沒有Reed-Solomon糾錯系統,那麼壓縮光碟怎麼會出現呢?
藉助糾錯系統,記錄密度會持續增長,直到極限。每個比特使用一個電子的快閃記憶體;一個磁化分子代表一個比特的磁碟;使用超短波長的光碟。或許它會被冠以別的什麼名稱。在達到極值前,存儲容量會呈平穩態勢。
力臻完美
最先由Claude Shannon依照科學原理總結出的信息理論決定了糾錯系統的理論局限性,就好像熱動力學原理對熱引擎效率的局限一樣。
但,在真實世界裡,沒有機器會達到理論效率極值。Reed-Solomon糾錯代碼就是以信息理論設定的理論極值來操作。所以不會再有更強大的代碼了。
糾錯系統的糾錯能力是顯而易見的。筆者之所以對此表示懷疑,是因為糾錯理論專業且神秘,以至於不懂的人根本不敢涉足,因而只能留給懂這些東西的人來處理。
盡管,糾錯系統編碼的局限性已經出現,但並不意味著不會再有新突破。糾錯和信道編碼都需要對信息進行編碼和解碼,而這就遵循摩爾定律。
因此,編碼系統的成本和規模都會隨著時間的發展而減小,或者其復雜性會增加,使得新應用成為可能。盡管如此,如果未來出現新的二進制數據存儲設備,使用的是我們聞所未聞的介質,糾錯系統將仍然是基於Reed-Solomon編碼。
希望可以幫助到你~
F. 大數據時代的安防數據存儲安全
大數據時代的安防數據存儲安全
近幾年隨著平安城市、智能交通、智能樓宇等行業的快速發展,大集成、大聯網推動安防行業進入了大數據時代。安防行業大數據的存在已經被越來越多的人熟知,特別是安防行業海量的非結構化視頻數據,以及飛速增長的特徵數據(卡口過車數據、人像抓拍數據、異常行為數據等),帶動了大數據的數據安全一系列問題,吸引著行業的關注。
大數據引發監控數據安全性問題突出
大數據的本質是系統通過處理採集到的所有數據,去提取其特徵和共性的信息。通過大數據的處理使得所有的數據都有價值。通過大數據的處理,把傳統認為沒有價值的信息也能夠產生非常有價值的信息,這就叫做數據挖掘。同樣的數據擺在我們面前不同的挖掘方法,不同的挖掘目標可以為各種各樣的業務的應用產生有價值的信息。對於安防行業,監控技術如今正面臨日新月異的變革,模擬視頻監控正在向IP網路監控轉變,巨大轉變的同時對安全性也提出了更高的要求。我們探討數據安全,包括產品本身的物理安全和產生數據的安全。所以,大數據時代引發監控數據安全性問題有以下幾點:
1、基礎設備的風險:包括監控中心的存儲設備、伺服器和前端節點設備的安全性、網路設備的安全性、傳輸線纜的安全性等。設備的安全可靠是整個大數據安防系統安全運行的基礎。
2、信息存取的風險:包括用戶非法訪問、數據丟失、數據被篡改等。系統信息的安全,主要運用各種加密技術、存儲技術、及備份方案來達到系統信息的安全。
3、信息在網路上傳輸的風險:包括視頻信息、錄像數據信息、用戶信息等在傳輸過程中保密性、完整性的保障以及傳輸鏈路上的節點設備的安全。另外還包括前端採集設備、社會監控資源接入公安監控專網的安全。
4、系統運行的風險:包括接入設備的識別和認證、設備運行故障、軟體病毒、惡意代碼、以及設備控制的優先順序調度等。系統運行時的風險控制主要依靠視頻監控軟體平台來保障,該軟體平台可以完成設備管理、故障監控、訪問控制、用戶管理、鑒權機制等一系列的功能來保障整個系統的安全運行。
基於以上4點,從存儲設備的角度我們主要談及前面兩點。
大數據也催生監控存儲方式變革
在一個時代下,必然會發生諸多變革。
視頻監控的存儲技術和介質從VCR模擬存儲、DVR數字存儲,逐漸向NVR、NAS、SAN等網路存儲發展。而在存儲方式上,主要有集中式存儲和分布式存儲兩種。大數據意味著海量的數據,也意味著更復雜、更敏感的數據,這些數據會吸引更多的潛在攻擊者。為此,我們關注點是,大數據下的信息安全問題將衍生新的機遇,提升安防的價值。
隨著安防形勢的復雜多變和大數據時代的來臨,對視頻錄像文件分析的需求越來越多。視頻監控系統中也越來越多的使用了高級的數據存儲設備和系統,例如專業的磁碟陣列系統等等。同理,安防行業使用這些專業存儲設備時,需要充分了解這些軟硬體的特性,而不要僅僅把它們當作超級外接大硬碟來使用。在系統設計和實施過程中可以充分利用這些設備中自帶的一些數據保護軟體來保護自己的數據。常用和流行的數據安全保護技術主要有以下七種:
磁碟陣列:磁碟陣列是指把多個類型、容量、介面甚至品牌一致的專用磁碟或普通硬碟連成一個陣列,使其以更快的速度、准確、安全的方式讀寫磁碟數據,從而加快數據讀取速度、提高數據保存的安全性。
SAN:SAN允許伺服器在共享存儲裝置的同時仍能高速傳送數據。這一方案具有帶寬高、可用性高、容錯能力強的優點,而且它可以輕松升級,容易管理,有助於改善整個系統的總體成本狀況。我們推薦FCSAN方案,它能為大數據時代的視頻監控,相較於IPSAN方案,大幅減少存儲設備台數,從而大幅降低成本,在數據安全方面由於自身設備超高的穩定性和性能來得以保障。
數據備份:備份管理包括數據備份的計劃,自動操作,備份日誌的保存。
雙機容錯:雙機容錯的目的在於保證系統數據和服務的在線性,即當某一系統發生故障時,仍然能夠正常的向網路系統提供數據和服務,使得系統不至於停頓,雙機容錯的目的在於保證數據不丟失和系統不停機。
NAS解決方案通常配置為作為文件服務的設備,由工作站或伺服器通過網路協議和應用程序來進行文件訪問,大多數NAS鏈接在工作站客戶機和NAS文件共享設備之間進行。這些鏈接依賴於企業的網路基礎設施來正常運行;NAS提供視頻監控系統後期視頻文件批量處理分析的基本可能。
數據遷移:由在線存儲設備和離線存儲設備共同構成一個協調工作的存儲系統,該系統在在線存儲和離線存儲設備間動態的管理數據,使得訪問頻率高的數據存放於性能較高的在線存儲設備中,而訪問頻率低的數據存放於較為廉價的離線存儲設備中;視頻錄像的歸檔可以充分利用高級存儲設備的數據遷移手段;分層存儲有效降低存儲系統的整體成本。
異地容災:以異地實時備份為基礎的、高效的、可靠的遠程數據存儲,在各單位的IT系統中,必然有核心部分,通常稱之為生產中心。往往給生產中心配備一個備份中心,改備份中心是遠程的,並且在生產中心的內部已經實施了各種各樣的數據保護。不管怎麼保護,當火災、地震這種災難發生時,一旦生產中心癱瘓了,備份中心會接管生產,繼續提供服務;視頻監控的多中心配置越來越多,各個中心的系統和數據容災應該借鑒IT的容災技術考慮。
結束語
大數據是繼雲計算、物聯網之後信息產業當前科技創新、產業政策及國家安全領域的又一次知識新增長點。在大數據的背景下信息安全面臨著很多的挑戰,特別是現階段視頻監控已有的信息安全手段已經不能滿足大數據時代的信息安全的實際要求,因此研究大數據時代視頻監控所面臨的信息安全問題具有重要意義。
以上是小編為大家分享的關於大數據時代的安防數據存儲安全的相關內容,更多信息可以關注環球青藤分享更多干貨
G. 數據的存儲方法有哪些
什麼是分布式存儲
分布式存儲是一種數據存儲技術,它通過網路使用企業中每台機器上的磁碟空間,這些分散的存儲資源構成了虛擬存儲設備,數據分布存儲在企業的各個角落。
分布式存儲系統,可在多個獨立設備上分發數據。傳統的網路存儲系統使用集中存儲伺服器來存儲所有數據。存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,無法滿足大規模存儲應用的需求。分布式網路存儲系統採用可擴展的系統結構,使用多個存儲伺服器共享存儲負載,利用位置伺服器定位存儲信息,不僅提高了系統的可靠性,可用性和訪問效率,而且易於擴展。
分布式存儲的優勢
可擴展:分布式存儲系統可以擴展到數百甚至數千個這樣的集群大小,並且系統的整體性能可以線性增長。
低成本:分布式存儲系統的自動容錯和自動負載平衡允許在低成本伺服器上構建分布式存儲系統。此外,線性可擴展性還能夠增加和降低伺服器的成本,並實現分布式存儲系統的自動操作和維護。
高性能:無論是針對單個伺服器還是針對分布式存儲群集,分布式存儲系統都需要高性能。
易用性:分布式存儲系統需要提供方便易用的界面。此外,他們還需要擁有完整的監控和操作工具,並且可以輕松地與其他系統集成。
杉岩分布式統一存儲USP
利用分布式技術將標准x86伺服器的HDD、SSD等存儲介質抽象成資源池,對上層應用提供標準的塊、文件、對象訪問介面,
同時提供清晰直觀的統一管理界面,減少部署和運維成本,滿足高性能、高可靠、高可擴展性的大規模存儲資源池的建設需求。
H. 信息存儲技術的背景 應用 發展以及趨勢
信息存儲技術作為信息技術的核心之一,一直伴隨著、同時推動著IT業各方面技術的協同發展,是當今IT領域中少數發展最為迅速的熱點之一。紙的發明記載了人類的歷史和文明,現代信息存儲技術則大大超越了紙張記錄的含義。21世紀是數字化和多媒體化的信息時代,現代信息社會和經濟的發展,所產生的信息量每年以指數方式上升,出現了信息爆炸的態勢。據UC Berkley 2001年公布的數據顯示,未來3年內所產生的數據將超過過去4萬年中產生數據的總和,而且93%的新生成的信息為數字形式。當上世紀50年代計算機技術初現時,存儲容量還只是以千位位元組計…http://www.cnki.com.cn/Article/CJFD2006-CXJL200605012.htm
I. DNA存儲技術的優點
DNA存儲技術作為數字存儲媒介的顯著優點之一是容量大。DNA分子是一種令人難以置信的密集存儲介質,1克DNA能夠存儲大約2拍位元組,相當於大約300萬張CD。
用DNA存儲數據保存時間可能長達數千年。與硬碟、磁帶等存儲介質不同的是,DNA不需要經常維護。就讀取方式而言,DNA存儲不涉及兼容問題。
J. 結構化數據存儲技術有哪些
在信息社會,信息可以劃分為兩大類。一類信息能夠用數據或統一的結構加以表示,我們稱之為結構化數據,如數字、符號;而另一類信息無法用數字或統一的結構表示,如文本、圖像、聲音、網頁等,我們稱之為非結構化數據。結構化數據屬於非結構化數據,是非結構化數據的特例。