当前位置:首页 » 存储配置 » 哪些数据是可配置的

哪些数据是可配置的

发布时间: 2022-08-02 09:01:47

㈠ 文本输入型硬件配置有哪些,如何进行配置设计

1、硬件系统:电脑的硬件系统由输入设备、主机和输出设备组成。外部信息经输入设备输入主机,由主机分析、加工、处理,再经输出设备输出。
2、输入输出设备:电脑只能识别二进制数字电信号,而人们习惯于接受图文声像信号。输入输出设备起着信号转换和传输的作用。我们常用键盘输入文字,用麦克风输入声音,用数码像机、扫描仪和摄影机输入图像。常用输出设备有显示器、打印机和喇叭。
3、主板:也称主机板,是安装在主机机箱内的一块矩形电路板,上面安装有电脑的主要电路系统。主板的类型和档次决定着整个微机系统的类型和档次,主板的性能影响着整个微机系统的性能。主板上安装有控制芯片组、BIOS芯片和各种输入输出接口、键盘和面板控制开关接口、指示灯插接件、扩充插槽及直流电源供电接插件等元件。 CPU、内存条插接在主板的相应插槽(座)中,驱动器、电源等硬件连接在主板上。主板上的接口扩充插槽用于插接各种接口卡,这些接口卡扩展了电脑的功能。常见接口卡有显示卡、声卡等。 #1 CPU: CPU(中央处理器)是电脑的核心,电脑处理数据的能力和速度主要取决于CPU。通常用位长和主频评价CPU的能力和速度,如PⅡ300 CPU能处理位长为32位的二进制数据,主频为300MHz。 #1
4、系统总线:系统总线是连接扩充插槽的信息通路。 ISA和PCI总线是目前PC机常用系统总线,主板上相应有ISA和PCI插槽。
5、输入输出接口:简称I/O接口,是连接主板与输入输出设备的界面。主机后侧的串口、并口、键盘接口、PS/2接口、USB接口以及主机内部的硬盘、软驱接口都是输入输出接口。6、串行通讯接口(RS——232——C):简称串行口,是电脑与其它设备传送信息的一种标准接口。现在的电脑至少有两个串行口COM1和COM2。
7、并行通讯接口:简称并行口,是电脑与其它设备传送信息的一种标准接口,这种接口将8位数据位同时并行传送,并行口数据传送速度较串行口快,但传送距离较短。并行口使用25孔D形连接器,常用于连接打印机。
8、 EIDE接口:也称为扩展IDE接口,主板上连接EIDE设备的接口。常见EIDE设备有硬盘和光驱。目前较新的接口标准还有Ultra DMA/33、Ultra DMA/66。 #1 AGP:即“加速图形端口”,是Intel公司在1996年7月提出的显示卡接口标准,通过主板上的AGP插槽连接AGP显示卡。PCI总线的传输速度只能达到132MB/s,而AGP端口则能达到528MB/s,传输速度四倍于前者。 AGP技术使图形显示(特别是3D图形)的性能有了极大的提高,使PC机在图形处理技术上又向前迈了一大步。
9、光盘驱动器:读取光盘信息的设备。是多媒体电脑不可缺少的硬件配置。光盘存储容量大,价格便宜,保存时间长,适宜保存大量的数据,如声音、图像、动画、视频信息、电影等多媒体信息。光盘驱动器有三种,CD——ROM、CD——R和MO,CD——ROM是只读光盘驱动器;CD——R只能写入一次,以后不能改写;MO是可写、可读光盘驱动器。 #1 内存储器:简称内存,用于存放当前待处理的信息和常用信息的半导体芯片。容量不大,但存取迅速。内存包括RAM、ROM和Cache。 #1 RAM: RAM(随机存取存储器)是电脑的主存储器,人们习惯将RAM称为内存。RAM的最大特点是关机或断电数据便会丢失。内存越大的电脑,能同时处理的信息量越大。我们用刷新时间评价RAM的性能,单位为ns(纳秒),刷新时间越小存取速度越快。 586电脑常用RAM有EDO RAM和SDRAM,存储器芯片安装在手指宽的条形电路板上,称之为内存条。内存条安装在主板上的内存条插槽中。按内存条与主板的连接方式有30线、72线和168线之分。目前装机常用168线、刷新时间为10ns、容量为32M(或64M)的SDRAM内存条。 #1 Cache: Cache(高速缓冲存储器)是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于CPU的速度远高于主内存,CPU直接从内存中存取数据要等待一定时间周期,Cache中保存着CPU刚用过或循环使用的一部分数据,当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。 Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache),L1 Cache集成在CPU内部,L2 Cache一般是焊在主板上,常见主板上焊有256KB或512KB L2 Cache。 #1 ROM: ROM(只读存储器)是一种存储计算机指令和数据的半导体芯片,但只能从其中读出数据而不能写入数据,关机或断电后ROM的数据不会丢失。生产厂商把一些重要的不允许用户更改的信息和程序存放在ROM中,例如存放在主板和显示卡ROM中的BIOS程序。 #1 BIOS: BIOS是一个程序,即微机的基本输入输出系统,BIOS程序的主要功能是对电脑的硬件进行管理。 BIOS程序是电脑开机运行的第一个程序。开机后BIOS程序首先检测硬件,对系统进行初始化,然后启动驱动器,读入操作系统引导记录,将系统控制权交给磁盘引导记录,由引导记录完成系统的启动。电脑运行时,BIOS还配合操作系统和软件对硬件进行操作。 BIOS程序存放在主机板上的ROM BIOS芯片中。当前586主板大多使用Flash ROM存储BIOS程序,Flash ROM中的程序(数据)可以通过运行程序更新。 #1 CMOS: CMOS是主板上一块可读写的RAM芯片,用于保存当前系统的硬件配置信息和用户设定的某些参数。CMOS RAM由主板上的电池供电,即使系统掉电信息也不会丢失。对CMOS中各项参数的设定和更新需要运行专门的设置程序,开机时通过特定的按键(一般是Del键)就可进入BIOS设置程序,对CMOS进行设置。CMOS设置习惯上也被叫做BIOS设置。 #1 显示卡:又称显示器适配卡,是连接主机与显示器的接口卡。其作用是将主机的输出信息转换成字符、图形和颜色等信息,传送到显示器上显示。显示卡插在主板的ISA、PCI、AGP扩展插槽中,ISA显示卡现已基本淘汰。 #1 声卡:多媒体电脑中用来处理声音的接口卡。声卡可以把来自话筒、收录音机、激光唱机等设备的语音、音乐等声音变成数字信号交给电脑处理,并以文件形式存盘,还可以把数字信号还原成为真实的声音输出。声卡尾部的接口从机箱后侧伸出,上面有连接麦克风、音箱、游戏杆和MIDI设备的接口。 #1 视频捕获卡:用于捕获从电视天线、录像机、影碟机等输入的动态或静态视频影像的接口卡,是多媒体制作的重要工具。高级的视频捕获卡还能在捕获影像的同时进行MPEG压缩,制作VCD。 #1 中断:中断是计算机处理特殊问题的一个过程。当在计算机执行程序的过程中,出现某个特殊情况(或称为“事件”)时,暂时中止现行程序,转去执行这一事件的程序,处理完毕之后再回到原来程序的中断点继续执行的整个过程叫做中断。 #1 IRQ:即“中断请求”,是其它设备发出的请求计算机响应的信号。计算机将根据IRQ的级别和优先程度决定何时发生响应。原则上每个设备有自身的唯一的中断请求通道,即IRQ值(又叫IRQ号),如果两个硬件设备使用同一个中断通道,必定会发生IRQ冲突。 #1 DMA:即“直接内存访问”,是计算机内的一种数据传输操作。整个数据传输操作过程在“DMA控制器”控制下进行,不通过CPU。数据传输过程中CPU只在数据传输开始和结束时作一点处理。DMA技术使计算机系统的效率大大提高。 DMA传输通过DMA通道进行,如软驱、声卡均占用DMA通道传输数据。两个设备不能同时用同一DMA通道传输数据,否则会发生DMA冲突。 #1 主频与外频:主频指CPU内核工作时钟频率。外频指CPU与外部(主板芯片组)交换数据、指令的工作时钟频率。系统时钟就是CPU的“外频”,我们将系统时钟按规定比例倍频后所得到的时钟信号作为CPU的内核工作时钟(主频)。例如某电脑使用Pentium 233 CPU,那么这台电脑的外频是66MHz,而它的主频则是(66×3.5)=233MHz。系统时钟(外频)是电脑系统的基本时钟,电脑中各分系统中所有不同频率的时钟都与系统时钟相关联。如当前100 MHz 外频系统中,系统内存工作于100 MHz (或66MHz),L2 Cache工作于100 MHz,PCI 工作于33MHz,AGP工作于66MHz。可以看出,上述频率都与外频有一定的比例关系。提高系统时钟(外频)可以提高整个电脑的性能,但提高外频必然将改变其它各分系统时钟频率,影响各分系统的实际运行情况,这一点对CPU超外频运行时应该加以充分重视。 #1 DVD:即数字通用光盘。DVD光驱指读取DVD光盘的设备。DVD盘片的容量为4.7GB,相当于CD——ROM光盘的七倍,可以存储133分钟电影,包含七个杜比数字化环绕音轨。DVD盘片可分为:DVD——ROM、DVD——R(可一次写入)、DVD——RAM(可多次写入)和DVD——RW(读和重写)。目前的DVD光驱多采用EIDE接口,能像CD——ROM光驱一样连接到IDE1或IDE2口上。
1.CPU,这个主要取决于频率和二级缓存,三级缓存,核心数量。频率越高、二级缓存越大,三级缓存越大,核心越多。速度越快的CPU只有三级缓存影响相应速度。
2.内存,内存的存取速度取决于接、颗粒数量多少与储存大小(包括内存的接口,如:SDRAM133,DDR333,DDR2-533,DDR2-800,DDR3-1333、DDR3-1600),一般来说,内存越大,处理数据能力越强,而处理数据的速度主要看内存属于哪种类型(如DDR就没有DDR3处理得快)。
3.主板,主要还是处理芯片,如:笔记本i965比i945芯片处理能力更强,i945比i910芯片在处理数据的能力又更强些,依此类推。
4.硬盘,硬盘分为固态硬盘(SSD)、机械硬盘(HDD)、混合硬盘(SSHD),固态硬盘速度最快,混合硬盘次之,机械硬盘最差。越大的硬盘存的文件就多,(如存放电影,音乐等)首先硬盘的数据读取与写入的速度和硬盘的转速(分:高速硬盘和低速硬盘,高速硬盘一般用在大型服务器中,如:10000转,15000转;低速硬盘用在一般电脑中,包括笔记本电脑),台式机电脑一般用7200转,笔记本电脑一般用5400转,这主要是考虑到高速硬盘在笔记本电脑中由于电脑移动振动意外刮伤硬盘盘片以及功耗和散热原因。
硬盘速度又因接口不同,速率不同,一般而言,分IDE和SATA(也就是常说的串口)接口,早前的硬盘多是IDE接口,相比之下,存取速度比SATA接口的要慢些。
硬盘也随着市场的发展,缓存由以前的2M升到了8M,是16M或32M或更大,就像CPU一样,缓存越大,速度会快些。
5.显卡:要注意显卡的流处理能力以及显存大小和显存位宽,越大越好。这项与运行超大程序软件的响应速度有着直接联系,如运行CAD2007,3DStudio、3DMAX等图形软件以及玩大型3D游戏显卡除了硬件级别上的区分外,也有“共享显存”技术的存在,和一般自带显存芯片的不同,就是该“共享显存”技术,需要从内存读取显存,以处理相应程序的需要。或有人称之为:动态显存。这种技术更多用在笔记本电脑中。
6.电源,这个只要功率足够和稳定性好(一般300W就足够一般家庭电脑用功率,500W大部分电脑都没有问题了),稳定的电源是很重要的,对于电脑各个电子元件稳定的电压以及电流都是电脑寿命的关键。
7.显示器:显示器与主板的接口也一样有影响(如DVI和VGA接口),只是人们一般没有太在乎(请查阅显示设备相关技术资料)。
软件方面
1.操作系统:简单举个例子说明一下:电脑的同等配置,运行原版WINDOWS98肯定比运行原版WINDOWSXP要快,而原版XP肯定又比运行原版的Windows Vista速度要快,最后就是原版Windows Vista运行速度比最新出的原版Windows 7速度要快,以此类推。这就说明,同等配置情况下,软件占用的系统资源越大,速度越慢,反之越快。
还有,英文原版的操作系统运行英文版程序比运行中文版的程序稳定性及速度都是有关系的。
所以,这里特别强调是原版的系统,也就是没有精简过的系统。同理,精简过的Windows XP一般来说,会比原版的XP速度快些,因为精简掉一些不常用的程序,占用的系统资源少了,所以速度有明显提升。
WIN7系统以它的超稳定性的优点正在迅速普及,而且有取代XP系统的趋势。(附:XP是微软于2001年4月推出的操作系统!微软承诺将把对XP的支持时间延长13年,也就是2014年4月!2014年4月8日以后,微软将停止针对该系统的补丁!用户依然可以使用该系统,但是该系统的安全性就得不到充足的保障了。并且随着微软停止针对该系统推出补丁,以后很多新开发的软件将不再考虑和该系统的兼容性了,也就说此后很多新软件将无法在XP上正常的安装使用了!)
2.软件(包括硬件)都可以适当优化,以适合使用者,如:一般办公文员,配置一般的电脑,装个精简版的XP和精简版的OFFICE2003就足以应付日常使用了。但如果是图形设计人员,就需要专业的配置,尤其对显卡的要求,所以,升级软件:MicrosoftEIRECTX9.0或以上版本是很有必要的。

㈡ 买电脑主要看哪些配置

买电脑主要看CPU、显卡、主板、内存、硬盘等硬件的性能参数,电脑配置的好坏也取决于这些硬件性能参数。


1、CPU:这个主要取决于频率和二级缓存,频率越高、二级缓存越大,速度越快,现在的CPU有三级缓存、四级缓存等,都影响相应速度。


2、内存:内存的存取速度取决于接口、颗粒数量多少与储存大小(包括内存的接口,如:SDRAM133,DDR333,DDR2-533,DDR2-800,DDR3-1333),一般来说,内存越大,处理数据能力越强,速度就越快。


3、主板:主要还是处理芯片,如:笔记本i965比i945芯片处理能力更强,i945比i910芯片在处理数据的能力又更强些,以此类推。


4、显卡:这项与运行超大程序软件的响应速度有着直接联系,如运行CAD2007,3DStudio、3DMAX等图形软件。显卡除了硬件级别上的区分外,也有“共享显存”技术的存在,和一般自带显存芯片的不同,就是该“共享显存”技术,需要从内存读取显存,以处理相应程序的需要。


5、硬盘:首先,硬盘的转速(分:高速硬盘和低速硬盘,高速硬盘一般用在大型服务器中,如:10000转,15000转;低速硬盘用在一般电脑中,包括笔记本电脑),台式机电脑一般用7200转,笔记本电脑一般用5400转,这主要是考虑功耗和散热原因。



个人电脑分类


1、台式机(Desktop)


也叫桌面机,是一种独立相分离的计算机,完完全全跟其它部件无联系,相对于笔记本和上网本体积较大,主机、显示器等设备一般都是相对独立的,一般需要放置在电脑桌或者专门的工作台上。因此命名为台式机。为非常流行的微型计算机,多数人家里和公司用的机器都是台式机。


2、电脑一体机


电脑一体机,是由一台显示器、一个电脑键盘和一个鼠标组成的电脑。它的芯片、主板与显示器集成在一起,显示器就是一台电脑,因此只要将键盘和鼠标连接到显示器上,机器就能使用。随着无线技术的发展,电脑一体机的键盘、鼠标与显示器可实现无线连接,机器只有一根电源线。这就解决了一直为人诟病的台式机线缆多而杂的问题。有的电脑一体机还具有电视接收、AV功能,也整合专用软件,可用于特定行业专用机。


3、笔记本电脑(Notebook或Laptop)


也称手提电脑或膝上型电脑,是一种小型、可携带的个人电脑,通常重1-3公斤。笔记本电脑除了键盘外,还提供了触控板(TouchPad)或触控点(PointingStick),提供了更好的定位和输入功能。


以上内容参考网络-电脑

㈢ 显卡、CPU、主板等的配置该如何协调才能最合适要看哪些数据

这个问题的确比较复杂,我们就简单地来说吧:主板和CPU是否兼容就好说了,看看它们的CPU插槽类型和支持CPU类型是否相同就可以了,要想要好的就尽量多掏腰包买好的主板吧(比如:有945的可以买,我就不要865和915的);下面来讲其他部件的最佳兼容问题:众所周知,主板的北桥芯片控制着电脑的CPU、显卡和内存,要想最简单地看出它们是不是最协调最适合,要看CPU的前端总线频率与内存和显卡的频率是否基本相同即可,例如:Intel Pentium D 830 的前端总线是800MHz的,那么内存最好就要两条DDR400的,因为400*2=800,显卡的显存频率最好也是800左右的;这样,它们三个部件之间就会组成一个良好的通路,不会因为某一条通路拥挤而造成类似于我们日常生活中的堵车现象。总之,我们如果要配组装机,一定要考虑到整体方面,不能只考虑到一部分的特别突出或优秀,这样,造成“堵车”现象,到最后电脑的速度和性能也提高不了多少,还多花了好多钱,多不值得啊。

㈣ 手机都有哪些配置参数啊,什么配置才是现在最好的

华为 Mate 40 Pro配置很不错的,手机参数如下:
1、屏幕:屏幕尺寸为6.76英寸,屏幕色彩1670万色,DCI-P3广色域,分辨率:FHD+ 2772 × 1344 像素,延续了88º 超曲面环幕屏设计,弧度饱满,左右边框臻于无形,画面向更广处延伸,带来更为沉浸的视觉体验,观感十足震撼。
2、拍照:超感知摄像头:5000万像素,电影摄像头:2000万像素,长焦摄像头:1200万像素,全像素八核对焦进一步提升对焦速度和精度,在运动场景、暗光场景下也能精准对焦。前置摄像头像素:超感知摄像头:1300万像素,支持固定焦距,将超广角镜头和姿态感应器合二为一,更小身躯有更多科技。自拍视频常见的联大、背景空间有限和构图缺陷等问题一扫而光。
3、性能:采用EMUI 11.0(基于Android 10)系统,搭载麒麟9000八核处理器,采用先进的半导体制程,是当前技术工艺最领先的5纳米5G Soc 手机芯片,将处理器和5G基带融于一体,带来速度更快发热更低和能效比更强的运行表现。
4、电池:电池容量:4400mAh(典型值),标配充电器支持11V/6A或10V/4A或10V/2.25A或4.5V/5A或5V/4.5A或9V/2A或5V/2A输出,支持50W华为无线超级快充,支持无线反向充电。更精密的工艺制程带来功耗收益和更长续航。得益于整机供电效率提升和智慧电源管理。
您可以登录华为商城官网了解更多信息,进行选择。

㈤ 如何查看游戏中所需要电脑的配置的那些数据,可以在电脑的那里能查看到!(求详细)

开始-设置-控制面板-系统(没有系统的话 点左边的“切换到经典界视图”)
“系统界面”里点上面的“硬件”选项 然后“设备管理器” 你所有的电脑硬件设备都在这里了

希望能解决你的疑惑

㈥ 玩激战2需要什么配置 以下这些数据都可供参考

1、CPU英特尔Pentium系列处理器。

2、内存2GB及以上。

3、显卡GeForce GT640及以上。

4、硬盘7200转机械硬盘。

5、系统Windows 7 X64,Windows XP。

6、屏幕分辨率1680×1050及近似分辨率。

㈦ 我做了个相似性的算法,要与数据库上百万比对,其他一些网站都用了Hadoop分布式,知网也是这样的吗

引言

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。这个项目的地址是http://hadoop.apache.org/core/。

前提和设计目标

硬件错误

硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的,而且任一组件都有可能失效,这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。

流式数据访问

运行在HDFS上的应用和普通的应用不同,需要流式访问它们的数据集。HDFS的设计中更多的考虑到了数据批处理,而不是用户交互处理。比之数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。为了提高数据的吞吐量,在一些关键方面对POSIX的语义做了一些修改。

大规模数据集

运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此,HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽,能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件。

简单的一致性模型

HDFS应用需要一个“一次写入多次读取”的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题,并且使高吞吐量的数据访问成为可能。Map/Rece应用或者网络爬虫应用都非常适合这个模型。目前还有计划在将来扩充这个模型,使之支持文件的附加写操作。

“移动计算比移动数据更划算”

一个应用请求的计算,离它操作的数据越近就越高效,在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响,提高系统数据的吞吐量。将计算移动到数据附近,比之将数据移动到应用所在显然更好。HDFS为应用提供了将它们自己移动到数据附近的接口。

异构软硬件平台间的可移植性

HDFS在设计的时候就考虑到平台的可移植性。这种特性方便了HDFS作为大规模数据应用平台的推广。

Namenode 和 Datanode

HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

Namenode和Datanode被设计成可以在普通的商用机器上运行。这些机器一般运行着GNU/Linux操作系统(OS)。HDFS采用Java语言开发,因此任何支持Java的机器都可以部署Namenode或Datanode。由于采用了可移植性极强的Java语言,使得HDFS可以部署到多种类型的机器上。一个典型的部署场景是一台机器上只运行一个Namenode实例,而集群中的其它机器分别运行一个Datanode实例。这种架构并不排斥在一台机器上运行多个Datanode,只不过这样的情况比较少见。

集群中单一Namenode的结构大大简化了系统的架构。Namenode是所有HDFS元数据的仲裁者和管理者,这样,用户数据永远不会流过Namenode。

文件系统的名字空间 (namespace)

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。当前,HDFS不支持用户磁盘配额和访问权限控制,也不支持硬链接和软链接。但是HDFS架构并不妨碍实现这些特性。

Namenode负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被Namenode记录下来。应用程序可以设置HDFS保存的文件的副本数目。文件副本的数目称为文件的副本系数,这个信息也是由Namenode保存的。

数据复制

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,除了最后一个,所有的数据块都是同样大小的。为了容错,文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。HDFS中的文件都是一次性写入的,并且严格要求在任何时候只能有一个写入者。

Namenode全权管理数据块的复制,它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

副本存放: 最最开始的一步

副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优,并需要经验的积累。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性,观察它的行为,为实现更先进的策略打下测试和研究的基础。

大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上,不同机架上的两台机器之间的通讯需要经过交换机。在大多数情况下,同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。

通过一个机架感知的过程,Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失,并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在集群中,有利于当组件失效情况下的负载均衡。但是,因为这种策略的一个写操作需要传输数据块到多个机架,这增加了写的代价。

在大多数情况下,副本系数是3,HDFS的存放策略是将一个副本存放在本地机架的节点上,一个副本放在同一机架的另一个节点上,最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输,这就提高了写操作的效率。机架的错误远远比节点的错误少,所以这个策略不会影响到数据的可靠性和可用性。于此同时,因为数据块只放在两个(不是三个)不同的机架上,所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下,副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上,三分之二的副本在一个机架上,其他副本均匀分布在剩下的机架中,这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。

当前,这里介绍的默认副本存放策略正在开发的过程中。

副本选择

为了降低整体的带宽消耗和读取延时,HDFS会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本,那么就读取该副本。如果一个HDFS集群跨越多个数据中心,那么客户端也将首先读本地数据中心的副本。

安全模式

Namenode启动后会进入一个称为安全模式的特殊状态。处于安全模式的Namenode是不会进行数据块的复制的。Namenode从所有的 Datanode接收心跳信号和块状态报告。块状态报告包括了某个Datanode所有的数据块列表。每个数据块都有一个指定的最小副本数。当Namenode检测确认某个数据块的副本数目达到这个最小值,那么该数据块就会被认为是副本安全(safely replicated)的;在一定百分比(这个参数可配置)的数据块被Namenode检测确认是安全之后(加上一个额外的30秒等待时间),Namenode将退出安全模式状态。接下来它会确定还有哪些数据块的副本没有达到指定数目,并将这些数据块复制到其他Datanode上。

文件系统元数据的持久化

Namenode上保存着HDFS的名字空间。对于任何对文件系统元数据产生修改的操作,Namenode都会使用一种称为EditLog的事务日志记录下来。例如,在HDFS中创建一个文件,Namenode就会在Editlog中插入一条记录来表示;同样地,修改文件的副本系数也将往Editlog插入一条记录。Namenode在本地操作系统的文件系统中存储这个Editlog。整个文件系统的名字空间,包括数据块到文件的映射、文件的属性等,都存储在一个称为FsImage的文件中,这个文件也是放在Namenode所在的本地文件系统上。

Namenode在内存中保存着整个文件系统的名字空间和文件数据块映射(Blockmap)的映像。这个关键的元数据结构设计得很紧凑,因而一个有4G内存的Namenode足够支撑大量的文件和目录。当Namenode启动时,它从硬盘中读取Editlog和FsImage,将所有Editlog中的事务作用在内存中的FsImage上,并将这个新版本的FsImage从内存中保存到本地磁盘上,然后删除旧的Editlog,因为这个旧的Editlog的事务都已经作用在FsImage上了。这个过程称为一个检查点(checkpoint)。在当前实现中,检查点只发生在Namenode启动时,在不久的将来将实现支持周期性的检查点。

Datanode将HDFS数据以文件的形式存储在本地的文件系统中,它并不知道有关HDFS文件的信息。它把每个HDFS数据块存储在本地文件系统的一个单独的文件中。Datanode并不在同一个目录创建所有的文件,实际上,它用试探的方法来确定每个目录的最佳文件数目,并且在适当的时候创建子目录。在同一个目录中创建所有的本地文件并不是最优的选择,这是因为本地文件系统可能无法高效地在单个目录中支持大量的文件。当一个Datanode启动时,它会扫描本地文件系统,产生一个这些本地文件对应的所有HDFS数据块的列表,然后作为报告发送到Namenode,这个报告就是块状态报告。

通讯协议

所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode,通过ClientProtocol协议与Namenode交互。而Datanode使用DatanodeProtocol协议与Namenode交互。一个远程过程调用(RPC)模型被抽象出来封装ClientProtocol和Datanodeprotocol协议。在设计上,Namenode不会主动发起RPC,而是响应来自客户端或 Datanode 的RPC请求。

健壮性

HDFS的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是:Namenode出错, Datanode出错和网络割裂(network partitions)。

磁盘数据错误,心跳检测和重新复制

每个Datanode节点周期性地向Namenode发送心跳信号。网络割裂可能导致一部分Datanode跟Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况,并将这些近期不再发送心跳信号Datanode标记为宕机,不会再将新的IO请求发给它们。任何存储在宕机Datanode上的数据将不再有效。Datanode的宕机可能会引起一些数据块的副本系数低于指定值,Namenode不断地检测这些需要复制的数据块,一旦发现就启动复制操作。在下列情况下,可能需要重新复制:某个Datanode节点失效,某个副本遭到损坏,Datanode上的硬盘错误,或者文件的副本系数增大。

集群均衡

HDFS的架构支持数据均衡策略。如果某个Datanode节点上的空闲空间低于特定的临界点,按照均衡策略系统就会自动地将数据从这个Datanode移动到其他空闲的Datanode。当对某个文件的请求突然增加,那么也可能启动一个计划创建该文件新的副本,并且同时重新平衡集群中的其他数据。这些均衡策略目前还没有实现。

数据完整性

从某个Datanode获取的数据块有可能是损坏的,损坏可能是由Datanode的存储设备错误、网络错误或者软件bug造成的。HDFS客户端软件实现了对HDFS文件内容的校验和(checksum)检查。当客户端创建一个新的HDFS文件,会计算这个文件每个数据块的校验和,并将校验和作为一个单独的隐藏文件保存在同一个HDFS名字空间下。当客户端获取文件内容后,它会检验从Datanode获取的数据跟相应的校验和文件中的校验和是否匹配,如果不匹配,客户端可以选择从其他Datanode获取该数据块的副本。

元数据磁盘错误

FsImage和Editlog是HDFS的核心数据结构。如果这些文件损坏了,整个HDFS实例都将失效。因而,Namenode可以配置成支持维护多个FsImage和Editlog的副本。任何对FsImage或者Editlog的修改,都将同步到它们的副本上。这种多副本的同步操作可能会降低Namenode每秒处理的名字空间事务数量。然而这个代价是可以接受的,因为即使HDFS的应用是数据密集的,它们也非元数据密集的。当Namenode重启的时候,它会选取最近的完整的FsImage和Editlog来使用。

Namenode是HDFS集群中的单点故障(single point of failure)所在。如果Namenode机器故障,是需要手工干预的。目前,自动重启或在另一台机器上做Namenode故障转移的功能还没实现。

快照

快照支持某一特定时刻的数据的复制备份。利用快照,可以让HDFS在数据损坏时恢复到过去一个已知正确的时间点。HDFS目前还不支持快照功能,但计划在将来的版本进行支持。

数据组织

数据块

HDFS被设计成支持大文件,适用HDFS的是那些需要处理大规模的数据集的应用。这些应用都是只写入数据一次,但却读取一次或多次,并且读取速度应能满足流式读取的需要。HDFS支持文件的“一次写入多次读取”语义。一个典型的数据块大小是64MB。因而,HDFS中的文件总是按照64M被切分成不同的块,每个块尽可能地存储于不同的Datanode中。

Staging

客户端创建文件的请求其实并没有立即发送给Namenode,事实上,在刚开始阶段HDFS客户端会先将文件数据缓存到本地的一个临时文件。应用程序的写操作被透明地重定向到这个临时文件。当这个临时文件累积的数据量超过一个数据块的大小,客户端才会联系Namenode。Namenode将文件名插入文件系统的层次结构中,并且分配一个数据块给它。然后返回Datanode的标识符和目标数据块给客户端。接着客户端将这块数据从本地临时文件上传到指定的Datanode上。当文件关闭时,在临时文件中剩余的没有上传的数据也会传输到指定的Datanode上。然后客户端告诉Namenode文件已经关闭。此时Namenode才将文件创建操作提交到日志里进行存储。如果Namenode在文件关闭前宕机了,则该文件将丢失。

上述方法是对在HDFS上运行的目标应用进行认真考虑后得到的结果。这些应用需要进行文件的流式写入。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞估量造成比较大的影响。这种方法并不是没有先例的,早期的文件系统,比如AFS,就用客户端缓存来提高性能。为了达到更高的数据上传效率,已经放松了POSIX标准的要求。

流水线复制

㈧ 笔记本电脑配置的哪些数据可以看出电脑性能好坏

CPU显卡内存硬盘主板,各个方面

㈨ 这是我的电脑的配置数据!请问我电脑要增加哪些配置可以提高大型游戏的流畅度

当然是显卡。显卡太次了!买快599的显卡吧,再少399也行,大型游戏没问题,战地3啊使命召唤8这种游戏就得调低画质玩了

㈩ 笔记本电脑配置要看那些数据

让我给你简单回答一下吧,5000左右能买到大概配置:CPU酷睿i5, 显卡的话如果不玩大型游戏,HD6470就够用,如果玩大型游戏的话,HD5650或N卡GT335就完全可以了,内存2G<当然像神州类的笔记本可能会有4G的,但是建议还是买质量过硬的老牌子,如戴尔,华硕,联想等> 硬盘500G,或许还有配置蓝牙的,那样更好了,5000左右笔记本大概就是这个样子,另外建议到太平洋电脑网看看,很全的笔记本,还有评价,如果有什么不明白,欢迎LZ追问。

热点内容
c可以用来编译系统软件吗 发布:2024-10-05 16:22:26 浏览:17
U盘和存储器 发布:2024-10-05 16:22:04 浏览:896
cmdc语言 发布:2024-10-05 15:58:32 浏览:550
服务器怎么弄公网ip 发布:2024-10-05 15:57:02 浏览:640
设备配置在什么地方 发布:2024-10-05 15:44:59 浏览:249
matlab外部接口编程 发布:2024-10-05 15:36:58 浏览:365
C事件编程 发布:2024-10-05 15:15:43 浏览:639
一台服务器出现两IP 发布:2024-10-05 15:10:05 浏览:925
md5加密算法c 发布:2024-10-05 15:05:40 浏览:761
如何重设控制器密码 发布:2024-10-05 14:19:13 浏览:441