數據存儲的發展歷史
⑴ 資料庫技術的產生、發展的三個階段各有什麼特點
1、20世紀60年代中期,資料庫技術是用來解決文件處理系統問題的。當時的資料庫處理技術還很脆弱,常常發生應用不能提交的情況。
2、20世紀70年代關系模型的誕生為資料庫專家提供了構造和處理資料庫的標准方法,推動了關系資料庫的發展和應用。1979年,Ashton-Tate公司引入了微機產品dBase Ⅱ,並稱之為關系資料庫管理系統,從此資料庫技術移植到了個人計算機上。
3、20世紀80年代中期到後期,終端用戶開始使用區域網技術將獨立的計算機連接成網路,終端之間共享資料庫,形成了一種新型的多用戶數據處理,稱為客戶機/伺服器資料庫結構。
資料庫技術正在被用來同Internet技術相結合,以便在機構內聯網、部門區域網甚至WWW上發布資料庫數據。
(1)數據存儲的發展歷史擴展閱讀
在資料庫的發展歷史上,資料庫先後經歷了層次資料庫、網狀資料庫和關系資料庫等各個階段的發展,資料庫技術在各個方面的快速的發展。
特別是關系型資料庫已經成為目前資料庫產品中最重要的一員,80年代以來, 幾乎所有的資料庫廠商新出的資料庫產品都支持關系型資料庫,即使一些非關系資料庫產品也幾乎都有支持關系資料庫的介面。這主要是傳統的關系型資料庫可以比較好的解決管理和存儲關系型數據的問題。
隨著雲計算的發展和大數據時代的到來,關系型資料庫越來越無法滿足需要,這主要是由於越來越多的半關系型和非關系型數據需要用資料庫進行存儲管理,以此同時,分布式技術等新技術的出現也對資料庫的技術提出了新的要求,於是越來越多的非關系型資料庫就開始出現。
這類資料庫與傳統的關系型資料庫在設計和數據結構有了很大的不同, 它們更強調資料庫數據的高並發讀寫和存儲大數據,這類資料庫被稱為NoSQL(Not only SQL)資料庫。 而傳統的關系型資料庫在一些傳統領域依然保持了強大的生命力。
⑵ 計算機數據處理發展的三個歷史階段
(一)簡單應用 (20世紀50年代以前)
這個階段最基本的特徵是無數據管理及完全分散的手工方式。它表現在:
·無外存或只有磁帶外存,輸入輸出設備簡單。
·無操作系統,無文件管理系統,無管理數據的軟體。
·數據是程序的組成部分,數據不獨立。修改數據必須修改程序。處理時,數據隨程序一道送入內存,用完後全部撤出計算機,不能保留。數據大量重復,不能共享。
·文件系統尚未出現,程序員必須自行設計數據的組織方式。
(二)文件系統 (50年代後期到60年代中期)
這個階段的基本特徵是有了面向應用的數據管理功能,工作方式是分散的非手工的,其表現為:
·外存有了很大的發展,除磁帶機外,還出現了大容量的硬碟和靈活的軟磁碟。輸入、輸出能力大大加強。
·系統軟體方面出現了操作系統、文件管理系統和多用戶的分時系統,出現了專用於商業事務管理的高級語言COBOL。它主要用於文件處理,也可以進行非數值處理。
·數據管理方面,實現了數據對程序的一定的獨立性,數據不再是程序的組成部分,修改數據不必修改程序,數據有結構,被組織到文件內,存儲在磁帶、磁碟上,可以反復使用和保存。文件邏輯結構向存儲結構的轉換由軟體系統自動完成,系統開發和維護工作得到減輕。
·文件類型已經多樣化。由於有了直接存取設備,就有了索引文件、鏈接文件、直接存取文件等,而且能對排序文件進行多碼檢索。
·數據存取以記錄為單位。
這一階段數據管理的不足之處表現在:
·數據冗餘度大。文件系統中文件基本上對應於某個應用程序,數據仍是面向應用的,不同應用程序所需數據有部分相同時,仍需建立各自的數據文件,不能共享,數據維護困難,一致性難以保證。
·數據與程序獨立性仍不高。文件是為某一特定應用服務的,系統不易擴充。一旦數據邏輯結構改變,就必須修改文件結構的定義及應用程序;應用程序的變化也將影響文件的結構。因而文件仍不能反映現實世界事物之間的聯系。
(三)資料庫系統 (60年代後期開始)
60年代後期,計算機在管理中的應用更加廣泛,數據量急劇增大,對數據共享的要求越來越迫切;同時,大容量磁碟已經出現,聯機實時處理業務增多;軟體價格在系統中的比重日益上升,硬體價格大幅下降,編制和維護應用軟體所需成本相對增加。在這種情況下,為了解決多用戶、多應用共享數據的需求,使數據為盡可能多的應用程序服務,出現了資料庫系統,其特點是:
·面向全組織的復雜數據結構。資料庫中的數據結構不僅描述了數據自身,而且描述了整個組織數據之間的聯系,實現了整個組織數據的結構化。
·數據冗餘度小,易於擴充。由於資料庫從組織的整體來看待數據,數據不再是面向某一特定的應用,而是面向整個系統,減少了數據冗餘和數據之間不一致現象。在資料庫系統下,可以根據不同的應用需求選擇相應的數據加以使用,使系統易於擴充。
·數據與程序獨立。資料庫系統提供了數據的存儲結構與邏輯結構之間的映射功能及總體邏輯結構與局部邏輯結構之間的映射功能,從而使得當數據的存儲結構改變時,邏輯結構保持不變,或者當總體邏輯結構改變時,局部邏輯結構可以保持不變,從而實現了數據的物理獨立性和邏輯獨立性,把數據的定義和描述與應用程序完全分離開。
·統一的數據控制功能。資料庫系統提供了數據的安全性控制 (Security)和完整性控制 (Integrity),允許多個用戶同時使用資料庫資源。資料庫的上述特點,使得信息系統的研製從圍繞加工數據的以程序為中心轉移到圍繞共享的資料庫來進行,實現了數據的集中管理,提高了數據的利用率和一致性,從而能更好地為決策服務。因此,資料庫技術在信息系統應用中正起著越來越重要的作用。
⑶ 資料庫的發展歷史分哪幾個階段
資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今六十多年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。資料庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
數據管理技術的發展經歷了四個階段:人工管理階段、文件系統階段、資料庫階段和高級資料庫技術階段。——常識計算機篇。
⑷ 資料庫的發展簡史
資料庫技術是本世紀60年代開始興起的一門信息管理自動化的新興學科,是計算機科學中的一個重要分支。隨著計算機應用的不斷發展,在計算機應用領域中,數據處理越來越佔主導
地位,資料庫技術的應用也越來越廣泛。
資料庫是數據管理的產物。數據管理是資料庫的核心任務,內容包括對數據的分類、組織、編碼、儲存、檢索和維護。隨著計算機硬體和軟體的發展,資料庫技術也不斷地發展。從數據管理的角度看,資料庫技術到目前共經歷了人工管理階段、文件系統階段和資料庫系統階段。
A.人工管理階段
人工管理階段是指計算機誕生的初期(即20世紀50年代後期之前),這個時期的計算機主要用於科學計算。從硬體看,沒有磁碟等直接存取的存儲設備;從軟體看,沒有操作系統和管理數據的軟體,數據處理方式是批處理。
這個時期數據管理的特點是:
1. 數據不保存
該時期的計算機主要應用於科學計算,一般不需要將數據長期保存,只是在計算某一課題 時將數據輸入,用完後不保存原始數據,也不保存計算結果。
2. 沒有對數據進行管理的軟體系統
程序員不僅要規定數據的邏輯結構,而且還要在程序中設計物理結構,包括存儲結構、存取方法、輸入輸出方式等。因此程序中存取數據的子程序隨著存儲的改變而改變,數據與程序不具有一致性。
3. 沒有文件的概念
數據的組織方式必須由程序員自行設計。
4. 一組數據對應於一個程序,數據是面向應用的
即使兩個程序用到相同的數據,也必須各自定義、各自組織,數據無法共享、無法相互利用和互相參照,從而導致程序和程序之間有大量重復的數據。
B.文件系統階段
文件系統階段是指計算機不僅用於科學計算,而且還大量用於管理數據的階段(從50年代後期到60年代中期)。在硬體方面,外存儲器有了磁碟、磁鼓等直接存取的存儲設備。在軟體方面,操作系統中已經有了專門用於管理數據的軟體,稱為文件系統。
這個時期數據管理的特點是:
1. 數據需要長期保存在外存上供反復使用
由於計算機大量用於數據處理,經常對文件進行查詢、修改、插入和刪除等操作,所以數據需要長期保留,以便於反復操作。
2. 程序之間有了一定的獨立性
操作系統提供了文件管理功能和訪問文件的存取方法,程序和數據之間有了數據存取的介面,程序可以通過文件名和數據打交道,不必再尋找數據的物理存放位置,至此,數據有了物理結構和邏輯結構的區別,但此時程序和數據之間的獨立性尚還不充分。
3. 文件的形式已經多樣化
由於已經有了直接存取的存儲設備,文件也就不再局限於順序文件,還有了索引文件、鏈表文件等,因而,對文件的訪問可以是順序訪問,也可以是直接訪問。
4. 數據的存取基本上以記錄為單位
⑸ 雲存儲的發展歷程
雲存儲是在雲計算(cloud computing)概念上延伸和衍生發展出來的一個新的概念。雲計算是分布式處理(Distributed Computing)、並行處理(Parallel Computing)和網格計算(Grid Computing)的發展,是透過網路將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多部伺服器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。通過雲計算技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,達到和」超級計算機」同樣強大的網路服務。
各類雲存儲圖冊(2張)
雲存儲的概念與雲計算類似,它是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統,保證數據的安全性,並節約存儲空間[1]。如果這樣解釋還是難以理解,那我們可以借用廣域網和互聯網的結構來解釋雲存儲。
雲狀的網路結構
相信大家對區域網、廣域網和互聯網都已經非常了解了。在常見的區域網系統中,我們為了能更好地使用區域網,一般來講,使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置,比如採用什麼型號交換機,有多少個埠,採用了什麼路由器和防火牆,分別是如何設置的。系統中有多少個伺服器,分別安裝了什麼操作系統和軟體。各設備之間採用什麼類型的連接線纜,分配了什麼 xml:lang=IP地址和子網掩碼。
但當我們使用廣域網和互聯網時,我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連接到廣域網和互聯網,並不需要知道廣域網和互聯網中到底有多少台交換機、路由器、防火牆和伺服器,不需要知道數據是通過什麼樣的路由到達我們的電腦,也不需要知道網路中的伺服器分別安裝了什麼軟體,更不需要知道網路中各設備之間採用了什麼樣的連接線纜和埠。廣域網和互聯網對於具體的使用者是完全透明的,我們經常用一個雲狀的圖形來表示廣域網和互聯網,如下圖:
雖然這個雲圖中包含了許許多多的交換機、路由器、防火牆和伺服器,但對具體的廣域網、互聯網用戶來講,這些都是不需要知道的。這個雲狀圖形代表的是廣域網和互聯網帶給大家的互聯互通的網路服務,無論我們在任何地方,都可以通過一個網路接入線纜和一個用戶、密碼,就可以接入廣域網和互聯網,享受網路帶給我們的服務。
參考雲狀的網路結構,創建一個新型的雲狀結構的存儲系統系統,這個存儲系統由多個存儲設備組成,通過集群功能、分布式文件系統或類似網格計算等功能聯合起來協同工作,並通過一定的應用軟體或應用介面,對用戶提供一定類型的存儲服務和訪問服務。
當我們使用某一個獨立的存儲設備時,我們必須非常清楚這個存儲設備是什麼型號,什麼介面和傳輸協議,必須清楚地知道存儲系統中有多少塊磁碟,分別是什麼型號、多大容量,必須清楚存儲設備和伺服器之間採用什麼樣的連接線纜。為了保證數據安全和業務的連續性,我們還需要建立相應的數據備份系統和容災系統。除此之外,對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必須的。如果採用雲存儲,那麼上面所提到的一切對使用者來講都不需要了。雲狀存儲系統中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連接,對雲存儲進行數據訪問。
希望對您有用
⑹ 海量信息存儲的發展歷程
我也是她班的~~~~檔案的。。。。
在各種應用系統的存儲設備上,信息正以數據存儲的方式高速增長著,不斷推進著全球信息化的進程。隨之而來的是海量信息存儲的需求不斷增加。雖然文件伺服器和資料庫伺服器的存儲容量在不斷擴充,可還是會碰到空間在成倍增長,用戶仍會抱怨容量不足的情況,也正是用戶對存儲空間需求的不斷增加,推動海量信息存儲技術的不斷變化。
海量信息存儲早期採用大型伺服器存儲,基本都是以伺服器為中心的處理模式,使用直連存儲(Direct Attached Storage),存儲設備(包括磁碟陣列,磁帶庫,光碟庫等)作為伺服器的外設使用。隨著網路技術的發展,伺服器之間交換數據或向磁碟庫等存儲設備備份時,都是通過區域網進行,這是主要應用網路附加存儲(Network Attached Storage)技術來實現網路存儲,但這將佔用大量的網路開銷,嚴重影響網路的整體性能。為了能夠共享打容量,高速度存儲設備,並且不佔用區域網資源的海量信息傳輸和備份,就需要專用存儲網路來實現。
⑺ 存儲器的發展史
存儲器設備發展
1.存儲器設備發展之汞延遲線
汞延遲線是基於汞在室溫時是液體,同時又是導體,每比特數據用機械波的波峰(1)和波谷(0)表示。機械波從汞柱的一端開始,一定厚度的熔融態金屬汞通過一振動膜片沿著縱向從一端傳到另一端,這樣就得名「汞延遲線」。在管的另一端,一感測器得到每一比特的信息,並反饋到起點。設想是汞獲取並延遲這些數據,這樣它們便能存儲了。這個過程是機械和電子的奇妙結合。缺點是由於環境條件的限制,這種存儲器方式會受各種環境因素影響而不精確。
1950年,世界上第一台具有存儲程序功能的計算機EDVAC由馮.諾依曼博士領導設計。它的主要特點是採用二進制,使用汞延遲線作存儲器,指令和程序可存入計算機中。
1951年3月,由ENIAC的主要設計者莫克利和埃克特設計的第一台通用自動計算機UNIVAC-I交付使用。它不僅能作科學計算,而且能作數據處理。
2.存儲器設備發展之磁帶
UNIVAC-I第一次採用磁帶機作外存儲器,首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性,並最先進行了自動編程的試驗。
磁帶是所有存儲器設備發展中單位存儲信息成本最低、容量最大、標准化程度最高的常用存儲介質之一。它互換性好、易於保存,近年來,由於採用了具有高糾錯能力的編碼技術和即寫即讀的通道技術,大大提高了磁帶存儲的可靠性和讀寫速度。根據讀寫磁帶的工作原理可分為螺旋掃描技術、線性記錄(數據流)技術、DLT技術以及比較先進的LTO技術。
根據讀寫磁帶的工作原理,磁帶機可以分為六種規格。其中兩種採用螺旋掃描讀寫方式的是面向工作組級的DAT(4mm)磁帶機和面向部門級的8mm磁帶機,另外四種則是選用數據流存儲技術設計的設備,它們分別是採用單磁頭讀寫方式、磁帶寬度為1/4英寸、面向低端應用的Travan和DC系列,以及採用多磁頭讀寫方式、磁帶寬度均為1/2英寸、面向高端應用的DLT和IBM的3480/3490/3590系列等。
磁帶庫是基於磁帶的備份系統,它能夠提供同樣的基本自動備份和數據恢復功能,但同時具有更先進的技術特點。它的存儲容量可達到數百PB,可以實現連續備份、自動搜索磁帶,也可以在驅動管理軟體控制下實現智能恢復、實時監控和統計,整個數據存儲備份過程完全擺脫了人工干涉。
磁帶庫不僅數據存儲量大得多,而且在備份效率和人工佔用方面擁有無可比擬的優勢。在網路系統中,磁帶庫通過SAN(Storage Area Network,存儲區域網路)系統可形成網路存儲系統,為企業存儲提供有力保障,很容易完成遠程數據訪問、數據存儲備份或通過磁帶鏡像技術實現多磁帶庫備份,無疑是數據倉庫、ERP等大型網路應用的良好存儲設備。
3.存儲器設備發展之磁鼓
1953年,隨著存儲器設備發展,第一台磁鼓應用於IBM 701,它是作為內存儲器使用的。磁鼓是利用鋁鼓筒表面塗覆的磁性材料來存儲數據的。鼓筒旋轉速度很高,因此存取速度快。它採用飽和磁記錄,從固定式磁頭發展到浮動式磁頭,從採用磁膠發展到採用電鍍的連續磁介質。這些都為後來的磁碟存儲器打下了基礎。
磁鼓最大的缺點是利用率不高, 一個大圓柱體只有表面一層用於存儲,而磁碟的兩面都利用來存儲,顯然利用率要高得多。 因此,當磁碟出現後,磁鼓就被淘汰了。
4.存儲器設備發展之磁芯
美國物理學家王安1950年提出了利用磁性材料製造存儲器的思想。福雷斯特則將這一思想變成了現實。
為了實現磁芯存儲,福雷斯特需要一種物質,這種物質應該有一個非常明確的磁化閾值。他找到在新澤西生產電視機用鐵氧體變換器的一家公司的德國老陶瓷專家,利用熔化鐵礦和氧化物獲取了特定的磁性質。
對磁化有明確閾值是設計的關鍵。這種電線的網格和芯子織在電線網上,被人稱為芯子存儲,它的有關專利對發展計算機非常關鍵。這個方案可靠並且穩定。磁化相對來說是永久的,所以在系統的電源關閉後,存儲的數據仍然保留著。既然磁場能以電子的速度來閱讀,這使互動式計算有了可能。更進一步,因為是電線網格,存儲陣列的任何部分都能訪問,也就是說,不同的數據可以存儲在電線網的不同位置,並且閱讀所在位置的一束比特就能立即存取。這稱為隨機存取存儲器(RAM),在存儲器設備發展歷程中它是互動式計算的革新概念。福雷斯特把這些專利轉讓給麻省理工學院,學院每年靠這些專利收到1500萬~2000萬美元。
最先獲得這些專利許可證的是IBM,IBM最終獲得了在北美防衛軍事基地安裝「旋風」的商業合同。更重要的是,自20世紀50年代以來,所有大型和中型計算機也採用了這一系統。磁芯存儲從20世紀50年代、60年代,直至70年代初,一直是計算機主存的標准方式。
5.存儲器設備發展之磁碟
世界第一台硬碟存儲器是由IBM公司在1956年發明的,其型號為IBM 350 RAMAC(Random Access Method of Accounting and Control)。這套系統的總容量只有5MB,共使用了50個直徑為24英寸的磁碟。1968年,IBM公司提出「溫徹斯特/Winchester」技術,其要點是將高速旋轉的磁碟、磁頭及其尋道機構等全部密封在一個無塵的封閉體中,形成一個頭盤組合件(HDA),與外界環境隔絕,避免了灰塵的污染,並採用小型化輕浮力的磁頭浮動塊,碟片表面塗潤滑劑,實行接觸起停,這是現代絕大多數硬碟的原型。1979年,IBM發明了薄膜磁頭,進一步減輕了磁頭重量,使更快的存取速度、更高的存儲密度成為可能。20世紀80年代末期,IBM公司又對存儲器設備發展作出一項重大貢獻,發明了MR(Magneto Resistive)磁阻磁頭,這種磁頭在讀取數據時對信號變化相當敏感,使得碟片的存儲密度比以往提高了數十倍。1991年,IBM生產的3.5英寸硬碟使用了MR磁頭,使硬碟的容量首次達到了1GB,從此,硬碟容量開始進入了GB數量級。IBM還發明了PRML(Partial Response Maximum Likelihood)的信號讀取技術,使信號檢測的靈敏度大幅度提高,從而可以大幅度提高記錄密度。
目前,硬碟的面密度已經達到每平方英寸100Gb以上,是容量、性價比最大的一種存儲設備。因而,在計算機的外存儲設備中,還沒有一種其他的存儲設備能夠在最近幾年中對其統治地位產生挑戰。硬碟不僅用於各種計算機和伺服器中,在磁碟陣列和各種網路存儲系統中,它也是基本的存儲單元。值得注意的是,近年來微硬碟的出現和快速發展為移動存儲提供了一種較為理想的存儲介質。在快閃記憶體晶元難以承擔的大容量移動存儲領域,微硬碟可大顯身手。目前尺寸為1英寸的硬碟,存儲容量已達4GB,10GB容量的1英寸硬碟不久也會面世。微硬碟廣泛應用於數碼相機、MP3設備和各種手持電子類設備。
另一種磁碟存儲設備是軟盤,從早期的8英寸軟盤、5.25英寸軟盤到3.5英寸軟盤,主要為數據交換和小容量備份之用。其中,3.5英寸1.44MB軟盤占據計算機的標准配置地位近20年之久,之後出現過24MB、100MB、200MB的高密度過渡性軟盤和軟碟機產品。然而,由於USB介面的快閃記憶體出現,軟盤作為數據交換和小容量備份的統治地位已經動搖,不久會退出存儲器設備發展歷史舞台。
6. 存儲器設備發展之光碟
光碟主要分為只讀型光碟和讀寫型光碟。只讀型指光碟上的內容是固定的,不能寫入、修改,只能讀取其中的內容。讀寫型則允許人們對光碟內容進行修改,可以抹去原來的內容,寫入新的內容。用於微型計算機的光碟主要有CD-ROM、CD-R/W和DVD-ROM等幾種。
上世紀60年代,荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年,他們的研究獲得了成功,1978年投放市場。最初的產品就是大家所熟知的激光視盤(LD,Laser Vision Disc)系統。
從LD的誕生至計算機用的CD-ROM,經歷了三個階段,即LD-激光視盤、CD-DA激光唱盤、CD-ROM。下面簡單介紹這三個存儲器設備發展階段性的產品特點。
LD-激光視盤,就是通常所說的LCD,直徑較大,為12英寸,兩面都可以記錄信息,但是它記錄的信號是模擬信號。模擬信號的處理機制是指,模擬的電視圖像信號和模擬的聲音信號都要經過FM(Frequency Molation)頻率調制、線性疊加,然後進行限幅放大。限幅後的信號以0.5微米寬的凹坑長短來表示。
CD-DA激光唱盤 LD雖然取得了成功,但由於事先沒有制定統一的標准,使它的開發和製作一開始就陷入昂貴的資金投入中。1982年,由飛利浦公司和索尼公司制定了CD-DA激光唱盤的紅皮書(Red Book)標准。由此,一種新型的激光唱盤誕生了。CD-DA激光唱盤記錄音響的方法與LD系統不同,CD-DA激光唱盤系統首先把模擬的音響信號進行PCM(脈沖編碼調制)數字化處理,再經過EMF(8~14位調制)編碼之後記錄到盤上。數字記錄代替模擬記錄的好處是,對干擾和雜訊不敏感,由於盤本身的缺陷、劃傷或沾污而引起的錯誤可以校正。
CD-DA系統取得成功以後,使飛利浦公司和索尼公司很自然地想到利用CD-DA作為計算機的大容量只讀存儲器。但要把CD-DA作為計算機的存儲器,還必須解決兩個重要問題,即建立適合於計算機讀寫的盤的數據結構,以及CD-DA誤碼率必須從現有的10-9降低到10-12以下,由此就產生了CD-ROM的黃皮書(Yellow Book)標准。這個標準的核心思想是,盤上的數據以數據塊的形式來組織,每塊都要有地址,這樣一來,盤上的數據就能從幾百兆位元組的存儲空間上被迅速找到。為了降低誤碼率,採用增加一種錯誤檢測和錯誤校正的方案。錯誤檢測採用了循環冗餘檢測碼,即所謂CRC,錯誤校正採用里德-索洛蒙(Reed Solomon)碼。黃皮書確立了CD-ROM的物理結構,而為了使其能在計算機上完全兼容,後來又制定了CD-ROM的文件系統標准,即ISO 9660。
在上世紀80年代中期,光碟存儲器設備發展速度非常快,先後推出了WORM光碟、磁光碟(MO)、相變光碟(Phase Change Disk,PCD)等新品種。20世紀90年代,DVD-ROM、CD-R、CD-R/W等開始出現和普及,目前已成為計算機的標准存儲設備。
光碟技術進一步向高密度發展,藍光光碟是不久將推出的下一代高密度光碟。多層多階光碟和全息存儲光碟正在實驗室研究之中,可望在5年之內推向市場。
7.存儲器設備發展之納米存儲
納米是一種長度單位,符號為nm。1納米=1毫微米,約為10個原子的長度。假設一根頭發的直徑為0.05毫米,把它徑向平均剖成5萬根,每根的厚度即約為1納米。與納米存儲有關的主要進展有如下內容。
1998年,美國明尼蘇達大學和普林斯頓大學制備成功量子磁碟,這種磁碟是由磁性納米棒組成的納米陣列體系。一個量子磁碟相當於我們現在的10萬~100萬個磁碟,而能源消耗卻降低了1萬倍。
1988年,法國人首先發現了巨磁電阻效應,到1997年,採用巨磁電阻原理的納米結構器件已在美國問世,它在磁存儲、磁記憶和計算機讀寫磁頭等方面均有廣闊的應用前景。
2002年9月,美國威斯康星州大學的科研小組宣布,他們在室溫條件下通過操縱單個原子,研製出原子級的硅記憶材料,其存儲信息的密度是目前光碟的100萬倍。這是納米存儲材料技術研究的一大進展。該小組發表在《納米技術》雜志上的研究報告稱,新的記憶材料構建在硅材料表面上。研究人員首先使金元素在硅材料表面升華,形成精確的原子軌道;然後再使硅元素升華,使其按上述原子軌道進行排列;最後,藉助於掃瞄隧道顯微鏡的探針,從這些排列整齊的硅原子中間隔抽出硅原子,被抽空的部分代表「0」,餘下的硅原子則代表「1」,這就形成了相當於計算機晶體管功能的原子級記憶材料。整個試驗研究在室溫條件下進行。研究小組負責人赫姆薩爾教授說,在室溫條件下,一次操縱一批原子進行排列並不容易。更為重要的是,記憶材料中硅原子排列線內的間隔是一個原子大小。這保證了記憶材料的原子級水平。赫姆薩爾教授說,新的硅記憶材料與目前硅存儲材料存儲功能相同,而不同之處在於,前者為原子級體積,利用其製造的計算機存儲材料體積更小、密度更大。這可使未來計算機微型化,且存儲信息的功能更為強大。
以上就是本文向大家介紹的存儲器設備發展歷程的7個關鍵時期
⑻ 大數據時代發展歷程是什麼
大數據技術發展史:大數據的前世今生
今天我們常說的大數據技術,其實起源於Google在2004年前後發表的三篇論文,也就是我們經常聽到的「三駕馬車」,分別是分布式文件系統GFS、大數據分布式計算框架MapRece和NoSQL資料庫系統BigTable。
你知道,搜索引擎主要就做兩件事情,一個是網頁抓取,一個是索引構建,而在這個過程中,有大量的數據需要存儲和計算。這「三駕馬車」其實就是用來解決這個問題的,你從介紹中也能看出來,一個文件系統、一個計算框架、一個資料庫系統。
現在你聽到分布式、大數據之類的詞,肯定一點兒也不陌生。但你要知道,在2004年那會兒,整個互聯網還處於懵懂時代,Google發布的論文實在是讓業界為之一振,大家恍然大悟,原來還可以這么玩。
因為那個時間段,大多數公司的關注點其實還是聚焦在單機上,在思考如何提升單機的性能,尋找更貴更好的伺服器。而Google的思路是部署一個大規模的伺服器集群,通過分布式的方式將海量數據存儲在這個集群上,然後利用集群上的所有機器進行數據計算。 這樣,Google其實不需要買很多很貴的伺服器,它只要把這些普通的機器組織到一起,就非常厲害了。
當時的天才程序員,也是Lucene開源項目的創始人Doug Cutting正在開發開源搜索引擎Nutch,閱讀了Google的論文後,他非常興奮,緊接著就根據論文原理初步實現了類似GFS和MapRece的功能。
兩年後的2006年,Doug Cutting將這些大數據相關的功能從Nutch中分離了出來,然後啟動了一個獨立的項目專門開發維護大數據技術,這就是後來赫赫有名的Hadoop,主要包括Hadoop分布式文件系統HDFS和大數據計算引擎MapRece。
當我們回顧軟體開發的歷史,包括我們自己開發的軟體,你會發現,有的軟體在開發出來以後無人問津或者寥寥數人使用,這樣的軟體其實在所有開發出來的軟體中佔大多數。而有的軟體則可能會開創一個行業,每年創造數百億美元的價值,創造百萬計的就業崗位,這些軟體曾經是Windows、Linux、Java,而現在這個名單要加上Hadoop的名字。
如果有時間,你可以簡單瀏覽下Hadoop的代碼,這個純用Java編寫的軟體其實並沒有什麼高深的技術難點,使用的也都是一些最基礎的編程技巧,也沒有什麼出奇之處,但是它卻給社會帶來巨大的影響,甚至帶動一場深刻的科技革命,推動了人工智慧的發展與進步。
我覺得,我們在做軟體開發的時候,也可以多思考一下,我們所開發軟體的價值點在哪裡?真正需要使用軟體實現價值的地方在哪裡?你應該關注業務、理解業務,有價值導向,用自己的技術為公司創造真正的價值,進而實現自己的人生價值。而不是整天埋頭在需求說明文檔里,做一個沒有思考的代碼機器人。
Hadoop發布之後,Yahoo很快就用了起來。大概又過了一年到了2007年,網路和阿里巴巴也開始使用Hadoop進行大數據存儲與計算。
2008年,Hadoop正式成為Apache的頂級項目,後來Doug Cutting本人也成為了Apache基金會的主席。自此,Hadoop作為軟體開發領域的一顆明星冉冉升起。
同年,專門運營Hadoop的商業公司Cloudera成立,Hadoop得到進一步的商業支持。
這個時候,Yahoo的一些人覺得用MapRece進行大數據編程太麻煩了,於是便開發了Pig。Pig是一種腳本語言,使用類SQL的語法,開發者可以用Pig腳本描述要對大數據集上進行的操作,Pig經過編譯後會生成MapRece程序,然後在Hadoop上運行。
編寫Pig腳本雖然比直接MapRece編程容易,但是依然需要學習新的腳本語法。於是Facebook又發布了Hive。Hive支持使用SQL語法來進行大數據計算,比如說你可以寫個Select語句進行數據查詢,然後Hive會把SQL語句轉化成MapRece的計算程序。
這樣,熟悉資料庫的數據分析師和工程師便可以無門檻地使用大數據進行數據分析和處理了。Hive出現後極大程度地降低了Hadoop的使用難度,迅速得到開發者和企業的追捧。據說,2011年的時候,Facebook大數據平台上運行的作業90%都來源於Hive。
隨後,眾多Hadoop周邊產品開始出現,大數據生態體系逐漸形成,其中包括:專門將關系資料庫中的數據導入導出到Hadoop平台的Sqoop;針對大規模日誌進行分布式收集、聚合和傳輸的Flume;MapRece工作流調度引擎Oozie等。
在Hadoop早期,MapRece既是一個執行引擎,又是一個資源調度框架,伺服器集群的資源調度管理由MapRece自己完成。但是這樣不利於資源復用,也使得MapRece非常臃腫。於是一個新項目啟動了,將MapRece執行引擎和資源調度分離開來,這就是Yarn。2012年,Yarn成為一個獨立的項目開始運營,隨後被各類大數據產品支持,成為大數據平台上最主流的資源調度系統。
同樣是在2012年,UC伯克利AMP實驗室(Algorithms、Machine和People的縮寫)開發的Spark開始嶄露頭角。當時AMP實驗室的馬鐵博士發現使用MapRece進行機器學習計算的時候性能非常差,因為機器學習演算法通常需要進行很多次的迭代計算,而MapRece每執行一次Map和Rece計算都需要重新啟動一次作業,帶來大量的無謂消耗。還有一點就是MapRece主要使用磁碟作為存儲介質,而2012年的時候,內存已經突破容量和成本限制,成為數據運行過程中主要的存儲介質。Spark一經推出,立即受到業界的追捧,並逐步替代MapRece在企業應用中的地位。
一般說來,像MapRece、Spark這類計算框架處理的業務場景都被稱作批處理計算,因為它們通常針對以「天」為單位產生的數據進行一次計算,然後得到需要的結果,這中間計算需要花費的時間大概是幾十分鍾甚至更長的時間。因為計算的數據是非在線得到的實時數據,而是歷史數據,所以這類計算也被稱為大數據離線計算。
而在大數據領域,還有另外一類應用場景,它們需要對實時產生的大量數據進行即時計算,比如對於遍布城市的監控攝像頭進行人臉識別和嫌犯追蹤。這類計算稱為大數據流計算,相應地,有Storm、Flink、Spark Streaming等流計算框架來滿足此類大數據應用的場景。 流式計算要處理的數據是實時在線產生的數據,所以這類計算也被稱為大數據實時計算。
在典型的大數據的業務場景下,數據業務最通用的做法是,採用批處理的技術處理歷史全量數據,採用流式計算處理實時新增數據。而像Flink這樣的計算引擎,可以同時支持流式計算和批處理計算。
除了大數據批處理和流處理,NoSQL系統處理的主要也是大規模海量數據的存儲與訪問,所以也被歸為大數據技術。 NoSQL曾經在2011年左右非常火爆,涌現出HBase、Cassandra等許多優秀的產品,其中HBase是從Hadoop中分離出來的、基於HDFS的NoSQL系統。
我們回顧軟體發展的歷史會發現,差不多類似功能的軟體,它們出現的時間都非常接近,比如Linux和Windows都是在90年代初出現,Java開發中的各類MVC框架也基本都是同期出現,Android和iOS也是前腳後腳問世。2011年前後,各種NoSQL資料庫也是層出不群,我也是在那個時候參與開發了阿里巴巴自己的NoSQL系統。
事物發展有自己的潮流和規律,當你身處潮流之中的時候,要緊緊抓住潮流的機會,想辦法脫穎而出,即使沒有成功,也會更加洞悉時代的脈搏,收獲珍貴的知識和經驗。而如果潮流已經退去,這個時候再去往這個方向上努力,只會收獲迷茫與壓抑,對時代、對自己都沒有什麼幫助。
但是時代的浪潮猶如海灘上的浪花,總是一浪接著一浪,只要你站在海邊,身處這個行業之中,下一個浪潮很快又會到來。你需要敏感而又深刻地去觀察,略去那些浮躁的泡沫,抓住真正潮流的機會,奮力一搏,不管成敗,都不會遺憾。
正所謂在歷史前進的邏輯中前進,在時代發展的潮流中發展。通俗的說,就是要在風口中飛翔。
上面我講的這些基本上都可以歸類為大數據引擎或者大數據框架。而大數據處理的主要應用場景包括數據分析、數據挖掘與機器學習。數據分析主要使用Hive、Spark SQL等SQL引擎完成;數據挖掘與機器學習則有專門的機器學習框架TensorFlow、Mahout以及MLlib等,內置了主要的機器學習和數據挖掘演算法。
此外,大數據要存入分布式文件系統(HDFS),要有序調度MapRece和Spark作業執行,並能把執行結果寫入到各個應用系統的資料庫中,還需要有一個大數據平台整合所有這些大數據組件和企業應用系統。
圖中的所有這些框架、平台以及相關的演算法共同構成了大數據的技術體系,我將會在專欄後面逐個分析,幫你能夠對大數據技術原理和應用演算法構建起完整的知識體系,進可以專職從事大數據開發,退可以在自己的應用開發中更好地和大數據集成,掌控自己的項目。
希望對您有所幫助!~
⑼ 資料庫發展歷史是什麼
資料庫對於普通人來講
就可以簡單理解為有固定格式的數據集合,
專門為解決某一類數據保存和計算問題而存在的,
就像單位用的各種各樣的報表和單據,
只不過軟體會幫你保存管理這些單據和報表在計算機上,
幫你計算求和等等操作 生成你想要的各種數據報告。
利用資料庫軟體和計算機的高速運算特性,
可以大大提高工作效率和正確性。
減少工作時間成本和人力成本。
沒有他們也可以,但是你不得不用手工的辦法處理數據,
不管數據量多少都一樣。