数据存储的发展历史
⑴ 数据库技术的产生、发展的三个阶段各有什么特点
1、20世纪60年代中期,数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱,常常发生应用不能提交的情况。
2、20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法,推动了关系数据库的发展和应用。1979年,Ashton-Tate公司引入了微机产品dBase Ⅱ,并称之为关系数据库管理系统,从此数据库技术移植到了个人计算机上。
3、20世纪80年代中期到后期,终端用户开始使用局域网技术将独立的计算机连接成网络,终端之间共享数据库,形成了一种新型的多用户数据处理,称为客户机/服务器数据库结构。
数据库技术正在被用来同Internet技术相结合,以便在机构内联网、部门局域网甚至WWW上发布数据库数据。
(1)数据存储的发展历史扩展阅读
在数据库的发展历史上,数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展,数据库技术在各个方面的快速的发展。
特别是关系型数据库已经成为目前数据库产品中最重要的一员,80年代以来, 几乎所有的数据库厂商新出的数据库产品都支持关系型数据库,即使一些非关系数据库产品也几乎都有支持关系数据库的接口。这主要是传统的关系型数据库可以比较好的解决管理和存储关系型数据的问题。
随着云计算的发展和大数据时代的到来,关系型数据库越来越无法满足需要,这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理,以此同时,分布式技术等新技术的出现也对数据库的技术提出了新的要求,于是越来越多的非关系型数据库就开始出现。
这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同, 它们更强调数据库数据的高并发读写和存储大数据,这类数据库被称为NoSQL(Not only SQL)数据库。 而传统的关系型数据库在一些传统领域依然保持了强大的生命力。
⑵ 计算机数据处理发展的三个历史阶段
(一)简单应用 (20世纪50年代以前)
这个阶段最基本的特征是无数据管理及完全分散的手工方式。它表现在:
·无外存或只有磁带外存,输入输出设备简单。
·无操作系统,无文件管理系统,无管理数据的软件。
·数据是程序的组成部分,数据不独立。修改数据必须修改程序。处理时,数据随程序一道送入内存,用完后全部撤出计算机,不能保留。数据大量重复,不能共享。
·文件系统尚未出现,程序员必须自行设计数据的组织方式。
(二)文件系统 (50年代后期到60年代中期)
这个阶段的基本特征是有了面向应用的数据管理功能,工作方式是分散的非手工的,其表现为:
·外存有了很大的发展,除磁带机外,还出现了大容量的硬盘和灵活的软磁盘。输入、输出能力大大加强。
·系统软件方面出现了操作系统、文件管理系统和多用户的分时系统,出现了专用于商业事务管理的高级语言COBOL。它主要用于文件处理,也可以进行非数值处理。
·数据管理方面,实现了数据对程序的一定的独立性,数据不再是程序的组成部分,修改数据不必修改程序,数据有结构,被组织到文件内,存储在磁带、磁盘上,可以反复使用和保存。文件逻辑结构向存储结构的转换由软件系统自动完成,系统开发和维护工作得到减轻。
·文件类型已经多样化。由于有了直接存取设备,就有了索引文件、链接文件、直接存取文件等,而且能对排序文件进行多码检索。
·数据存取以记录为单位。
这一阶段数据管理的不足之处表现在:
·数据冗余度大。文件系统中文件基本上对应于某个应用程序,数据仍是面向应用的,不同应用程序所需数据有部分相同时,仍需建立各自的数据文件,不能共享,数据维护困难,一致性难以保证。
·数据与程序独立性仍不高。文件是为某一特定应用服务的,系统不易扩充。一旦数据逻辑结构改变,就必须修改文件结构的定义及应用程序;应用程序的变化也将影响文件的结构。因而文件仍不能反映现实世界事物之间的联系。
(三)数据库系统 (60年代后期开始)
60年代后期,计算机在管理中的应用更加广泛,数据量急剧增大,对数据共享的要求越来越迫切;同时,大容量磁盘已经出现,联机实时处理业务增多;软件价格在系统中的比重日益上升,硬件价格大幅下降,编制和维护应用软件所需成本相对增加。在这种情况下,为了解决多用户、多应用共享数据的需求,使数据为尽可能多的应用程序服务,出现了数据库系统,其特点是:
·面向全组织的复杂数据结构。数据库中的数据结构不仅描述了数据自身,而且描述了整个组织数据之间的联系,实现了整个组织数据的结构化。
·数据冗余度小,易于扩充。由于数据库从组织的整体来看待数据,数据不再是面向某一特定的应用,而是面向整个系统,减少了数据冗余和数据之间不一致现象。在数据库系统下,可以根据不同的应用需求选择相应的数据加以使用,使系统易于扩充。
·数据与程序独立。数据库系统提供了数据的存储结构与逻辑结构之间的映射功能及总体逻辑结构与局部逻辑结构之间的映射功能,从而使得当数据的存储结构改变时,逻辑结构保持不变,或者当总体逻辑结构改变时,局部逻辑结构可以保持不变,从而实现了数据的物理独立性和逻辑独立性,把数据的定义和描述与应用程序完全分离开。
·统一的数据控制功能。数据库系统提供了数据的安全性控制 (Security)和完整性控制 (Integrity),允许多个用户同时使用数据库资源。数据库的上述特点,使得信息系统的研制从围绕加工数据的以程序为中心转移到围绕共享的数据库来进行,实现了数据的集中管理,提高了数据的利用率和一致性,从而能更好地为决策服务。因此,数据库技术在信息系统应用中正起着越来越重要的作用。
⑶ 数据库的发展历史分哪几个阶段
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
数据管理技术的发展经历了四个阶段:人工管理阶段、文件系统阶段、数据库阶段和高级数据库技术阶段。——常识计算机篇。
⑷ 数据库的发展简史
数据库技术是本世纪60年代开始兴起的一门信息管理自动化的新兴学科,是计算机科学中的一个重要分支。随着计算机应用的不断发展,在计算机应用领域中,数据处理越来越占主导
地位,数据库技术的应用也越来越广泛。
数据库是数据管理的产物。数据管理是数据库的核心任务,内容包括对数据的分类、组织、编码、储存、检索和维护。随着计算机硬件和软件的发展,数据库技术也不断地发展。从数据管理的角度看,数据库技术到目前共经历了人工管理阶段、文件系统阶段和数据库系统阶段。
A.人工管理阶段
人工管理阶段是指计算机诞生的初期(即20世纪50年代后期之前),这个时期的计算机主要用于科学计算。从硬件看,没有磁盘等直接存取的存储设备;从软件看,没有操作系统和管理数据的软件,数据处理方式是批处理。
这个时期数据管理的特点是:
1. 数据不保存
该时期的计算机主要应用于科学计算,一般不需要将数据长期保存,只是在计算某一课题 时将数据输入,用完后不保存原始数据,也不保存计算结果。
2. 没有对数据进行管理的软件系统
程序员不仅要规定数据的逻辑结构,而且还要在程序中设计物理结构,包括存储结构、存取方法、输入输出方式等。因此程序中存取数据的子程序随着存储的改变而改变,数据与程序不具有一致性。
3. 没有文件的概念
数据的组织方式必须由程序员自行设计。
4. 一组数据对应于一个程序,数据是面向应用的
即使两个程序用到相同的数据,也必须各自定义、各自组织,数据无法共享、无法相互利用和互相参照,从而导致程序和程序之间有大量重复的数据。
B.文件系统阶段
文件系统阶段是指计算机不仅用于科学计算,而且还大量用于管理数据的阶段(从50年代后期到60年代中期)。在硬件方面,外存储器有了磁盘、磁鼓等直接存取的存储设备。在软件方面,操作系统中已经有了专门用于管理数据的软件,称为文件系统。
这个时期数据管理的特点是:
1. 数据需要长期保存在外存上供反复使用
由于计算机大量用于数据处理,经常对文件进行查询、修改、插入和删除等操作,所以数据需要长期保留,以便于反复操作。
2. 程序之间有了一定的独立性
操作系统提供了文件管理功能和访问文件的存取方法,程序和数据之间有了数据存取的接口,程序可以通过文件名和数据打交道,不必再寻找数据的物理存放位置,至此,数据有了物理结构和逻辑结构的区别,但此时程序和数据之间的独立性尚还不充分。
3. 文件的形式已经多样化
由于已经有了直接存取的存储设备,文件也就不再局限于顺序文件,还有了索引文件、链表文件等,因而,对文件的访问可以是顺序访问,也可以是直接访问。
4. 数据的存取基本上以记录为单位
⑸ 云存储的发展历程
云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务。
各类云存储图册(2张)
云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间[1]。如果这样解释还是难以理解,那我们可以借用广域网和互联网的结构来解释云存储。
云状的网络结构
相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中,我们为了能更好地使用局域网,一般来讲,使用者需要非常清楚地知道网络中每一个软硬件的型号和配置,比如采用什么型号交换机,有多少个端口,采用了什么路由器和防火墙,分别是如何设置的。系统中有多少个服务器,分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆,分配了什么 xml:lang=IP地址和子网掩码。
但当我们使用广域网和互联网时,我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网,并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器,不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安装了什么软件,更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。广域网和互联网对于具体的使用者是完全透明的,我们经常用一个云状的图形来表示广域网和互联网,如下图:
虽然这个云图中包含了许许多多的交换机、路由器、防火墙和服务器,但对具体的广域网、互联网用户来讲,这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务,无论我们在任何地方,都可以通过一个网络接入线缆和一个用户、密码,就可以接入广域网和互联网,享受网络带给我们的服务。
参考云状的网络结构,创建一个新型的云状结构的存储系统系统,这个存储系统由多个存储设备组成,通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。
当我们使用某一个独立的存储设备时,我们必须非常清楚这个存储设备是什么型号,什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘,分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。除此之外,对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。如果采用云存储,那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。
希望对您有用
⑹ 海量信息存储的发展历程
我也是她班的~~~~档案的。。。。
在各种应用系统的存储设备上,信息正以数据存储的方式高速增长着,不断推进着全球信息化的进程。随之而来的是海量信息存储的需求不断增加。虽然文件服务器和数据库服务器的存储容量在不断扩充,可还是会碰到空间在成倍增长,用户仍会抱怨容量不足的情况,也正是用户对存储空间需求的不断增加,推动海量信息存储技术的不断变化。
海量信息存储早期采用大型服务器存储,基本都是以服务器为中心的处理模式,使用直连存储(Direct Attached Storage),存储设备(包括磁盘阵列,磁带库,光盘库等)作为服务器的外设使用。随着网络技术的发展,服务器之间交换数据或向磁盘库等存储设备备份时,都是通过局域网进行,这是主要应用网络附加存储(Network Attached Storage)技术来实现网络存储,但这将占用大量的网络开销,严重影响网络的整体性能。为了能够共享打容量,高速度存储设备,并且不占用局域网资源的海量信息传输和备份,就需要专用存储网络来实现。
⑺ 存储器的发展史
存储器设备发展
1.存储器设备发展之汞延迟线
汞延迟线是基于汞在室温时是液体,同时又是导体,每比特数据用机械波的波峰(1)和波谷(0)表示。机械波从汞柱的一端开始,一定厚度的熔融态金属汞通过一振动膜片沿着纵向从一端传到另一端,这样就得名“汞延迟线”。在管的另一端,一传感器得到每一比特的信息,并反馈到起点。设想是汞获取并延迟这些数据,这样它们便能存储了。这个过程是机械和电子的奇妙结合。缺点是由于环境条件的限制,这种存储器方式会受各种环境因素影响而不精确。
1950年,世界上第一台具有存储程序功能的计算机EDVAC由冯.诺依曼博士领导设计。它的主要特点是采用二进制,使用汞延迟线作存储器,指令和程序可存入计算机中。
1951年3月,由ENIAC的主要设计者莫克利和埃克特设计的第一台通用自动计算机UNIVAC-I交付使用。它不仅能作科学计算,而且能作数据处理。
2.存储器设备发展之磁带
UNIVAC-I第一次采用磁带机作外存储器,首先用奇偶校验方法和双重运算线路来提高系统的可靠性,并最先进行了自动编程的试验。
磁带是所有存储器设备发展中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存,近年来,由于采用了具有高纠错能力的编码技术和即写即读的通道技术,大大提高了磁带存储的可靠性和读写速度。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录(数据流)技术、DLT技术以及比较先进的LTO技术。
根据读写磁带的工作原理,磁带机可以分为六种规格。其中两种采用螺旋扫描读写方式的是面向工作组级的DAT(4mm)磁带机和面向部门级的8mm磁带机,另外四种则是选用数据流存储技术设计的设备,它们分别是采用单磁头读写方式、磁带宽度为1/4英寸、面向低端应用的Travan和DC系列,以及采用多磁头读写方式、磁带宽度均为1/2英寸、面向高端应用的DLT和IBM的3480/3490/3590系列等。
磁带库是基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB,可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。
磁带库不仅数据存储量大得多,而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中,磁带库通过SAN(Storage Area Network,存储区域网络)系统可形成网络存储系统,为企业存储提供有力保障,很容易完成远程数据访问、数据存储备份或通过磁带镜像技术实现多磁带库备份,无疑是数据仓库、ERP等大型网络应用的良好存储设备。
3.存储器设备发展之磁鼓
1953年,随着存储器设备发展,第一台磁鼓应用于IBM 701,它是作为内存储器使用的。磁鼓是利用铝鼓筒表面涂覆的磁性材料来存储数据的。鼓筒旋转速度很高,因此存取速度快。它采用饱和磁记录,从固定式磁头发展到浮动式磁头,从采用磁胶发展到采用电镀的连续磁介质。这些都为后来的磁盘存储器打下了基础。
磁鼓最大的缺点是利用率不高, 一个大圆柱体只有表面一层用于存储,而磁盘的两面都利用来存储,显然利用率要高得多。 因此,当磁盘出现后,磁鼓就被淘汰了。
4.存储器设备发展之磁芯
美国物理学家王安1950年提出了利用磁性材料制造存储器的思想。福雷斯特则将这一思想变成了现实。
为了实现磁芯存储,福雷斯特需要一种物质,这种物质应该有一个非常明确的磁化阈值。他找到在新泽西生产电视机用铁氧体变换器的一家公司的德国老陶瓷专家,利用熔化铁矿和氧化物获取了特定的磁性质。
对磁化有明确阈值是设计的关键。这种电线的网格和芯子织在电线网上,被人称为芯子存储,它的有关专利对发展计算机非常关键。这个方案可靠并且稳定。磁化相对来说是永久的,所以在系统的电源关闭后,存储的数据仍然保留着。既然磁场能以电子的速度来阅读,这使交互式计算有了可能。更进一步,因为是电线网格,存储阵列的任何部分都能访问,也就是说,不同的数据可以存储在电线网的不同位置,并且阅读所在位置的一束比特就能立即存取。这称为随机存取存储器(RAM),在存储器设备发展历程中它是交互式计算的革新概念。福雷斯特把这些专利转让给麻省理工学院,学院每年靠这些专利收到1500万~2000万美元。
最先获得这些专利许可证的是IBM,IBM最终获得了在北美防卫军事基地安装“旋风”的商业合同。更重要的是,自20世纪50年代以来,所有大型和中型计算机也采用了这一系统。磁芯存储从20世纪50年代、60年代,直至70年代初,一直是计算机主存的标准方式。
5.存储器设备发展之磁盘
世界第一台硬盘存储器是由IBM公司在1956年发明的,其型号为IBM 350 RAMAC(Random Access Method of Accounting and Control)。这套系统的总容量只有5MB,共使用了50个直径为24英寸的磁盘。1968年,IBM公司提出“温彻斯特/Winchester”技术,其要点是将高速旋转的磁盘、磁头及其寻道机构等全部密封在一个无尘的封闭体中,形成一个头盘组合件(HDA),与外界环境隔绝,避免了灰尘的污染,并采用小型化轻浮力的磁头浮动块,盘片表面涂润滑剂,实行接触起停,这是现代绝大多数硬盘的原型。1979年,IBM发明了薄膜磁头,进一步减轻了磁头重量,使更快的存取速度、更高的存储密度成为可能。20世纪80年代末期,IBM公司又对存储器设备发展作出一项重大贡献,发明了MR(Magneto Resistive)磁阻磁头,这种磁头在读取数据时对信号变化相当敏感,使得盘片的存储密度比以往提高了数十倍。1991年,IBM生产的3.5英寸硬盘使用了MR磁头,使硬盘的容量首次达到了1GB,从此,硬盘容量开始进入了GB数量级。IBM还发明了PRML(Partial Response Maximum Likelihood)的信号读取技术,使信号检测的灵敏度大幅度提高,从而可以大幅度提高记录密度。
目前,硬盘的面密度已经达到每平方英寸100Gb以上,是容量、性价比最大的一种存储设备。因而,在计算机的外存储设备中,还没有一种其他的存储设备能够在最近几年中对其统治地位产生挑战。硬盘不仅用于各种计算机和服务器中,在磁盘阵列和各种网络存储系统中,它也是基本的存储单元。值得注意的是,近年来微硬盘的出现和快速发展为移动存储提供了一种较为理想的存储介质。在闪存芯片难以承担的大容量移动存储领域,微硬盘可大显身手。目前尺寸为1英寸的硬盘,存储容量已达4GB,10GB容量的1英寸硬盘不久也会面世。微硬盘广泛应用于数码相机、MP3设备和各种手持电子类设备。
另一种磁盘存储设备是软盘,从早期的8英寸软盘、5.25英寸软盘到3.5英寸软盘,主要为数据交换和小容量备份之用。其中,3.5英寸1.44MB软盘占据计算机的标准配置地位近20年之久,之后出现过24MB、100MB、200MB的高密度过渡性软盘和软驱产品。然而,由于USB接口的闪存出现,软盘作为数据交换和小容量备份的统治地位已经动摇,不久会退出存储器设备发展历史舞台。
6. 存储器设备发展之光盘
光盘主要分为只读型光盘和读写型光盘。只读型指光盘上的内容是固定的,不能写入、修改,只能读取其中的内容。读写型则允许人们对光盘内容进行修改,可以抹去原来的内容,写入新的内容。用于微型计算机的光盘主要有CD-ROM、CD-R/W和DVD-ROM等几种。
上世纪60年代,荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年,他们的研究获得了成功,1978年投放市场。最初的产品就是大家所熟知的激光视盘(LD,Laser Vision Disc)系统。
从LD的诞生至计算机用的CD-ROM,经历了三个阶段,即LD-激光视盘、CD-DA激光唱盘、CD-ROM。下面简单介绍这三个存储器设备发展阶段性的产品特点。
LD-激光视盘,就是通常所说的LCD,直径较大,为12英寸,两面都可以记录信息,但是它记录的信号是模拟信号。模拟信号的处理机制是指,模拟的电视图像信号和模拟的声音信号都要经过FM(Frequency Molation)频率调制、线性叠加,然后进行限幅放大。限幅后的信号以0.5微米宽的凹坑长短来表示。
CD-DA激光唱盘 LD虽然取得了成功,但由于事先没有制定统一的标准,使它的开发和制作一开始就陷入昂贵的资金投入中。1982年,由飞利浦公司和索尼公司制定了CD-DA激光唱盘的红皮书(Red Book)标准。由此,一种新型的激光唱盘诞生了。CD-DA激光唱盘记录音响的方法与LD系统不同,CD-DA激光唱盘系统首先把模拟的音响信号进行PCM(脉冲编码调制)数字化处理,再经过EMF(8~14位调制)编码之后记录到盘上。数字记录代替模拟记录的好处是,对干扰和噪声不敏感,由于盘本身的缺陷、划伤或沾污而引起的错误可以校正。
CD-DA系统取得成功以后,使飞利浦公司和索尼公司很自然地想到利用CD-DA作为计算机的大容量只读存储器。但要把CD-DA作为计算机的存储器,还必须解决两个重要问题,即建立适合于计算机读写的盘的数据结构,以及CD-DA误码率必须从现有的10-9降低到10-12以下,由此就产生了CD-ROM的黄皮书(Yellow Book)标准。这个标准的核心思想是,盘上的数据以数据块的形式来组织,每块都要有地址,这样一来,盘上的数据就能从几百兆字节的存储空间上被迅速找到。为了降低误码率,采用增加一种错误检测和错误校正的方案。错误检测采用了循环冗余检测码,即所谓CRC,错误校正采用里德-索洛蒙(Reed Solomon)码。黄皮书确立了CD-ROM的物理结构,而为了使其能在计算机上完全兼容,后来又制定了CD-ROM的文件系统标准,即ISO 9660。
在上世纪80年代中期,光盘存储器设备发展速度非常快,先后推出了WORM光盘、磁光盘(MO)、相变光盘(Phase Change Disk,PCD)等新品种。20世纪90年代,DVD-ROM、CD-R、CD-R/W等开始出现和普及,目前已成为计算机的标准存储设备。
光盘技术进一步向高密度发展,蓝光光盘是不久将推出的下一代高密度光盘。多层多阶光盘和全息存储光盘正在实验室研究之中,可望在5年之内推向市场。
7.存储器设备发展之纳米存储
纳米是一种长度单位,符号为nm。1纳米=1毫微米,约为10个原子的长度。假设一根头发的直径为0.05毫米,把它径向平均剖成5万根,每根的厚度即约为1纳米。与纳米存储有关的主要进展有如下内容。
1998年,美国明尼苏达大学和普林斯顿大学制备成功量子磁盘,这种磁盘是由磁性纳米棒组成的纳米阵列体系。一个量子磁盘相当于我们现在的10万~100万个磁盘,而能源消耗却降低了1万倍。
1988年,法国人首先发现了巨磁电阻效应,到1997年,采用巨磁电阻原理的纳米结构器件已在美国问世,它在磁存储、磁记忆和计算机读写磁头等方面均有广阔的应用前景。
2002年9月,美国威斯康星州大学的科研小组宣布,他们在室温条件下通过操纵单个原子,研制出原子级的硅记忆材料,其存储信息的密度是目前光盘的100万倍。这是纳米存储材料技术研究的一大进展。该小组发表在《纳米技术》杂志上的研究报告称,新的记忆材料构建在硅材料表面上。研究人员首先使金元素在硅材料表面升华,形成精确的原子轨道;然后再使硅元素升华,使其按上述原子轨道进行排列;最后,借助于扫瞄隧道显微镜的探针,从这些排列整齐的硅原子中间隔抽出硅原子,被抽空的部分代表“0”,余下的硅原子则代表“1”,这就形成了相当于计算机晶体管功能的原子级记忆材料。整个试验研究在室温条件下进行。研究小组负责人赫姆萨尔教授说,在室温条件下,一次操纵一批原子进行排列并不容易。更为重要的是,记忆材料中硅原子排列线内的间隔是一个原子大小。这保证了记忆材料的原子级水平。赫姆萨尔教授说,新的硅记忆材料与目前硅存储材料存储功能相同,而不同之处在于,前者为原子级体积,利用其制造的计算机存储材料体积更小、密度更大。这可使未来计算机微型化,且存储信息的功能更为强大。
以上就是本文向大家介绍的存储器设备发展历程的7个关键时期
⑻ 大数据时代发展历程是什么
大数据技术发展史:大数据的前世今生
今天我们常说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常听到的“三驾马车”,分别是分布式文件系统GFS、大数据分布式计算框架MapRece和NoSQL数据库系统BigTable。
你知道,搜索引擎主要就做两件事情,一个是网页抓取,一个是索引构建,而在这个过程中,有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的,你从介绍中也能看出来,一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词,肯定一点儿也不陌生。但你要知道,在2004年那会儿,整个互联网还处于懵懂时代,Google发布的论文实在是让业界为之一振,大家恍然大悟,原来还可以这么玩。
因为那个时间段,大多数公司的关注点其实还是聚焦在单机上,在思考如何提升单机的性能,寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群,通过分布式的方式将海量数据存储在这个集群上,然后利用集群上的所有机器进行数据计算。 这样,Google其实不需要买很多很贵的服务器,它只要把这些普通的机器组织到一起,就非常厉害了。
当时的天才程序员,也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch,阅读了Google的论文后,他非常兴奋,紧接着就根据论文原理初步实现了类似GFS和MapRece的功能。
两年后的2006年,Doug Cutting将这些大数据相关的功能从Nutch中分离了出来,然后启动了一个独立的项目专门开发维护大数据技术,这就是后来赫赫有名的Hadoop,主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapRece。
当我们回顾软件开发的历史,包括我们自己开发的软件,你会发现,有的软件在开发出来以后无人问津或者寥寥数人使用,这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业,每年创造数百亿美元的价值,创造百万计的就业岗位,这些软件曾经是Windows、Linux、Java,而现在这个名单要加上Hadoop的名字。
如果有时间,你可以简单浏览下Hadoop的代码,这个纯用Java编写的软件其实并没有什么高深的技术难点,使用的也都是一些最基础的编程技巧,也没有什么出奇之处,但是它却给社会带来巨大的影响,甚至带动一场深刻的科技革命,推动了人工智能的发展与进步。
我觉得,我们在做软件开发的时候,也可以多思考一下,我们所开发软件的价值点在哪里?真正需要使用软件实现价值的地方在哪里?你应该关注业务、理解业务,有价值导向,用自己的技术为公司创造真正的价值,进而实现自己的人生价值。而不是整天埋头在需求说明文档里,做一个没有思考的代码机器人。
Hadoop发布之后,Yahoo很快就用了起来。大概又过了一年到了2007年,网络和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年,Hadoop正式成为Apache的顶级项目,后来Doug Cutting本人也成为了Apache基金会的主席。自此,Hadoop作为软件开发领域的一颗明星冉冉升起。
同年,专门运营Hadoop的商业公司Cloudera成立,Hadoop得到进一步的商业支持。
这个时候,Yahoo的一些人觉得用MapRece进行大数据编程太麻烦了,于是便开发了Pig。Pig是一种脚本语言,使用类SQL的语法,开发者可以用Pig脚本描述要对大数据集上进行的操作,Pig经过编译后会生成MapRece程序,然后在Hadoop上运行。
编写Pig脚本虽然比直接MapRece编程容易,但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算,比如说你可以写个Select语句进行数据查询,然后Hive会把SQL语句转化成MapRece的计算程序。
这样,熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度,迅速得到开发者和企业的追捧。据说,2011年的时候,Facebook大数据平台上运行的作业90%都来源于Hive。
随后,众多Hadoop周边产品开始出现,大数据生态体系逐渐形成,其中包括:专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop;针对大规模日志进行分布式收集、聚合和传输的Flume;MapRece工作流调度引擎Oozie等。
在Hadoop早期,MapRece既是一个执行引擎,又是一个资源调度框架,服务器集群的资源调度管理由MapRece自己完成。但是这样不利于资源复用,也使得MapRece非常臃肿。于是一个新项目启动了,将MapRece执行引擎和资源调度分离开来,这就是Yarn。2012年,Yarn成为一个独立的项目开始运营,随后被各类大数据产品支持,成为大数据平台上最主流的资源调度系统。
同样是在2012年,UC伯克利AMP实验室(Algorithms、Machine和People的缩写)开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapRece进行机器学习计算的时候性能非常差,因为机器学习算法通常需要进行很多次的迭代计算,而MapRece每执行一次Map和Rece计算都需要重新启动一次作业,带来大量的无谓消耗。还有一点就是MapRece主要使用磁盘作为存储介质,而2012年的时候,内存已经突破容量和成本限制,成为数据运行过程中主要的存储介质。Spark一经推出,立即受到业界的追捧,并逐步替代MapRece在企业应用中的地位。
一般说来,像MapRece、Spark这类计算框架处理的业务场景都被称作批处理计算,因为它们通常针对以“天”为单位产生的数据进行一次计算,然后得到需要的结果,这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据,而是历史数据,所以这类计算也被称为大数据离线计算。
而在大数据领域,还有另外一类应用场景,它们需要对实时产生的大量数据进行即时计算,比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算,相应地,有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据,所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下,数据业务最通用的做法是,采用批处理的技术处理历史全量数据,采用流式计算处理实时新增数据。而像Flink这样的计算引擎,可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理,NoSQL系统处理的主要也是大规模海量数据的存储与访问,所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆,涌现出HBase、Cassandra等许多优秀的产品,其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现,差不多类似功能的软件,它们出现的时间都非常接近,比如Linux和Windows都是在90年代初出现,Java开发中的各类MVC框架也基本都是同期出现,Android和iOS也是前脚后脚问世。2011年前后,各种NoSQL数据库也是层出不群,我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律,当你身处潮流之中的时候,要紧紧抓住潮流的机会,想办法脱颖而出,即使没有成功,也会更加洞悉时代的脉搏,收获珍贵的知识和经验。而如果潮流已经退去,这个时候再去往这个方向上努力,只会收获迷茫与压抑,对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花,总是一浪接着一浪,只要你站在海边,身处这个行业之中,下一个浪潮很快又会到来。你需要敏感而又深刻地去观察,略去那些浮躁的泡沫,抓住真正潮流的机会,奋力一搏,不管成败,都不会遗憾。
正所谓在历史前进的逻辑中前进,在时代发展的潮流中发展。通俗的说,就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成;数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等,内置了主要的机器学习和数据挖掘算法。
此外,大数据要存入分布式文件系统(HDFS),要有序调度MapRece和Spark作业执行,并能把执行结果写入到各个应用系统的数据库中,还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系,我将会在专栏后面逐个分析,帮你能够对大数据技术原理和应用算法构建起完整的知识体系,进可以专职从事大数据开发,退可以在自己的应用开发中更好地和大数据集成,掌控自己的项目。
希望对您有所帮助!~
⑼ 数据库发展历史是什么
数据库对于普通人来讲
就可以简单理解为有固定格式的数据集合,
专门为解决某一类数据保存和计算问题而存在的,
就像单位用的各种各样的报表和单据,
只不过软件会帮你保存管理这些单据和报表在计算机上,
帮你计算求和等等操作 生成你想要的各种数据报告。
利用数据库软件和计算机的高速运算特性,
可以大大提高工作效率和正确性。
减少工作时间成本和人力成本。
没有他们也可以,但是你不得不用手工的办法处理数据,
不管数据量多少都一样。