对数据存储环境

‘壹’ 数据中心是干什么的

数据中心是处理和存储大量数据的场所。

数据中心是一种集中化的数据存储和处理环境。具体来说，其主要职能可以概括为以下几个方面：

数据储存

数据中心首先是一个大规模的数据储存库。它提供了大量的服务器、存储设备和网络设备等，用于存储和处理企业或个人用户的数据。这些数据可能是公司日常运营的文档、数据库，也可能是网站的用户信息、交易记录等。数据中心确保这些数据的安全性和可靠性，保证数据的持久存储和随时访问。

数据处理

数据中心不仅存储数据，还进行大量的数据处理工作。在现代社会，数据处理需求日益增加，数据中心拥有高性能的计算机设备和专业的处理技术，可以对海量数据进行快速处理和分析。这些处理过程可能包括数据分析、数据挖掘、云计算服务等，帮助企业和个人更好地理解和利用数据。

数据安全管理

数据中心还负责数据的安全管理。由于存储和处理的数据往往涉及企业的核心业务或个人隐私信息，数据安全尤为重要。数据中心采用各种安全措施，如防火墙、加密技术等，确保数据的安全性和隐私性，防止数据泄露和非法访问。

支持云服务

许多数据中心还作为云服务提供商的基础设施，提供云计算服务。云计算是一种基于互联网的计算方式，用户可以通过云服务访问存储在数据中心的数据和处理能力，实现灵活的计算资源使用。

总结来说，数据中心是集中处理、存储和管理大量数据的场所，它为企业和个人用户提供数据存储、处理、安全管理和云计算服务等功能，是现代社会信息化建设的核心组成部分。

‘贰’ 如何在虚拟化环境下进行数据存储管理

理解虚拟机存储需求
规划部署方案可以节约时间和资金，并避免在将来出现令人头疼的问题。部署物理存储环境前，因当了解当前环境的具体情况。我们开始研究如何在虚拟化环境下解决存储的需求分配问题。每个环境都不尽相同，尽管如此，还是有一些简单问题可以帮助我们理清数据存储管理规划：
1、工程师需要理解环境中虚拟化的程度。环境中是否大多数服务器都已虚拟化，还是仅仅运行了少量的虚拟机。
2、需要超前规划将来用户、服务与应用增长所需的计算资源。环境会不断演变，既要满足当前应用，也要规划未来发展。
一旦开始李肢规划，工程小组需要对自己即将部署的存储解决方案类型有深入认识。某些虚拟机需要为其存储设置许多固定参数，而其他虚拟机则可以更为灵活的调整。根据大多虚拟机监控（VMM）实现方案，可以大致分为两个主要部分：
1、在创建虚拟磁盘时预先分配所需的整个存储空间。此方案中，虚拟磁盘既可以被拆分为许多水平文件（默认情况下为每文件2GB大小）所组成的文件集，被称做"分割水平文件",也可以采用单一的水平文件。预分配存储机制也被成为"厚配置".
2、按需动态增长存储。若采用此机制，虚拟磁盘可以分割或单一文件保存，但其有一个重要特性--存储可以根据需求进行分配。此种类型的动态增长存储同样被称为"自动精简配置",VMware Inc.和Citrix System都支持此种磁盘配置。
一旦负载评估确定以及相关可行性调查完成，就可着手研究如何将存储添加至环境中。但比这更重要的一环是明确工作负载究竟需要多少存储空间，因为此时已进入存储资源分配过程了。
动态存储分布
管理员现在可以通过虚拟化平台接口进行监控，分配和管理所有虚拟机的存储需求。Vsphere、XenServer和Hyper-V目前都提供了非 常复杂的图形用户接口（GUI），这些管理工具可以提供关于虚拟机的详细信息。例如，管理员可以查看系统所连接的存储仓库，了解其是如何被利用的，也可以 查看每个虚拟机（VM）的磁盘使用状况。虚拟化管理平台的每次更新都加强了针对存储设备的连接能力，包括支持更多厂商的产品，新功能以及通过GUI界面所 能实现的存储设备管理。
在部署自动精简配置（或动态存储分配）作为虚拟磁盘特性时，需要留意存储资源池或数据存储中那些还未被使用的空间。通过跟踪未使用资源，工程师可以 调整最佳实践并决定下一步操作是回收现有未使用资源，或者在应用中断与宕机发生之前往资源池中加入新的可用空间。为避免系统宕机，建议对磁盘使用情况进行 追踪并设置告警等通知，保证在空间不足时能通知到管理员。动态空间分配并不是什么新技术，该功能在现今大部分主流虚拟化软件中都可以实现。尽管如此，关于 这种数据存储机制还是有一些管理技巧的：
1、设置磁盘空间需求告警。添加额外磁盘空间并不困难。现实中，实现空间添加可能只需要大约3次鼠标点击。挑战在于了解有多少资源可以分配，以及数 据存储是否将要用尽。要解决这个问题，工程师应该为虚拟化平台管理工具设置告警策略，以及准确管理自动精简配置。对某些管理平台来说，告警是项新功能，但 十分重要。这些告警可以通
2、过自定义触发规则实现，这样管理员们就可以对“磁盘空弯兄间耗尽”这项事故进行预防并才去行动。告警可设置为当数据存储使用率到 达某一百分数值或超额比率达到一定数值时触发相关通知。
3、文档与环境监控。每款主流虚拟化管理平台的GUI工具都很实用，任何IT工程师都应该能够检索存储仓库并对存储使用状况与规划有明确的认识。尽 管如此，在处理存储需求时，数据存储管理是一项永无止境的过程，需要无时无刻关注。空间资源耗尽并不是一个好应对的问题，而且通常情况下，可以通过审计与 对存储环境的维护来避免事故发生。
确保存储和虚拟化管理平台及时更新。经常检查负载状况是件十分重要的例行公事，留意存储硬件和虚拟化软件平台运哪闹世行情况也十分重要。新硬件和软件更新可提供更好的支持与功能及，提升IT工程师管理环境的能力。微小变更，诸如告警与警示，可以用来增强存储空间管理能力。

‘叁’ iscsi、cifs、nfs在存储上的区别。

iscsi、cifs、nfs区别为：对象不同、环境不同、方式不同。

一、对象不同

1、iscsi：iscsi是针对数据块存储的。

2、cifs：cifs是针对共享文件存储的。

3、nfs：nfs是针对共享文件存储的。

二、环境不同

1、iscsi：iscsi主要应用在Windows环境下，适用于TCP／IP通讯协议。

2、cifs：cifs主要应用在NT/Windows环境下。

3、nfs：nfs主要应用在UNIX环境下，广泛应用在FreeBSD、SCO、Solaris等等异构操作系统平台。

三、方式不同

1、iscsi：iscsi并不能用于在磁盘中存储和管理数据，是通过TCP/IP网络传输文件时的文件组织格式和数据传输方式。

2、cifs：cifs让协议运行于TCP/IP通信协议之上，让Unix计算机可以在网络邻居上被Windows计算机看到，并进一步传递存储数据。

3、nfs：nfs能够支持在不同类型的系统之间通过网络进行文件共享存储。

‘肆’ 大数据、高性能环境对存储的需求

大数据、高性能环境对存储的需求
一直以来，高性能计算的主要目的就是提高运算速度，来解决大规模科学计算和海量数据的处理问题。高性能计算每秒万亿次级的强大计算能力，使其成为石油、生物勘探、气象预测、生命科学研究等领域的重要技术选择。但是随着数据量以及数据价值的不断增长，金融、电信、互联网等领域对高性能计算的需求不断加大。随着技术的发展，高性能计算系统的处理能力越来越强，任务的计算时间越来越短，对业务的价值不断提高。但是，要想实现快速的任务计算处理，高性能计算系统的存储能力是关键。因为在计算开始，要从存储系统中读取数据；计算结束时，要向存储系统中写入计算后的结果。如果这之间的读取和写入速度不匹配，不仅会拖延高性能项目的完成周期，低延迟还会严重影响高性能创造价值的能力。通常，高性能计算要求存储系统能够满足性能、可扩展性要求，保护投资回报：吞吐量达到几个甚至几十个GB/s，容量能扩展至PB级；透明的访问和数据共享；集中式的智能化管理，高性价比；可按需独立扩展容量和性能等。中桥分析师在深圳华大基因研究院实地测试了EMC Isilon 产品在其HPC 环境下的运行情况，并记录下其结果。
背景
高性能计算（High Performance Computing—HPC ）指通常使用很多处理器（作为单个机器的一部分）或者某一集群组织中几台计算机（作为单个计算资源操作）的计算系统和环境。长期以来，高性能计算应用的主要领域是科学与工程计算，诸如高能物理、核爆炸模拟、气象预报、石油勘探、地震预报、地球模拟、药品研制、CAD 设计中的仿真与建模、流体力学的计算等。如今，像金融证券、政府信息化、电信行业、教育、企业、网络游戏等领域对HPC的需求也在迅猛增长。
高性能计算的应用
高性能计算有着广泛的行业应用基础，下面列举几个行业对高性能计算的应用需求：
1. 航空航天行业
在航空航天行业，随着中国航空航天事业的快速发展，尤其是载人航天技术的巨大成功，我国科技人员对空气动力学的数值模拟研究提出了越来越多的需求，常规的计算能力远远无法满足复杂的大型飞行器设计所带来的巨大需求。在航空航天企业的设计过程中，研究人员往往需要把飞机表面分成几百万甚至几千万个离散型的网格点，然后通过高性能计算平台求解方程，得出每个网格点的温度、速度、摩擦力等各种参数，并模拟出连续型的曲线，进而为飞机设计提供宝贵的参考资料。对这类计算来说，网格点分割得越细密，计算结果的精确度也就越好。但是这些大规模设计计算问题不但单个作业计算量庞大，且需不断调整、重复计算，因此高性能在航天航空行业中占据着举足轻重的地位。
2. 能源行业
石油能源作为国家战略资源，对于国家经济、安全、军事等各方面都具有非常重要的战略意义。石油勘探承担着寻找储油构造、确定井位的重要任务。目前的主流做法就是人为的制造相应规模的地震（视勘探地区面积与深度不同），同时在相应的地层遍布若干震波收集点。由于不同材料的地质环境对地震波的影响是有规可循的，所以借助这一点，通过相关的算法，即可以通过对地震波的传递演算来“计算出”地质结构，从而找出我们所需要的能源位置。这种计算量无疑是异常庞大的，由于地震波法勘探收集的数据通常都以TB计，近年来海洋油气勘探所采集的数据甚至开始向PB规模发展。为此，只有借助高性能计算，才能在最短的时间内处理这些海量数据。
3. 生命科学
在现代生命科学领域，以数据为驱动力的改变正引发着巨大的变革。海量生物数据的分析将会增强疾病的实时监控能力和对潜在流行病做出反应的能力，但海量数据的挖掘、处理、存储却面临着前所未有的挑战。特别是随着新一代测序技术的迅猛发展，基因组学研究产生的海量数据正以每12- 18个月10倍的速度增长，已远超越着名的摩尔定律，这使得众多生物企业和科研机构面临强大的数据分析和存储需求。
在国内，生物基因行业的发展势头也不可小觑。2011年1 月30日，国家发改委已批复同意深圳依托华大基因研究院组建国家基因库，这是中国首次建立国家级基因库，首期投资为1500万元。深圳国家基因库是一个服务于国家战略需求的国家级公益性创新科研及产业基础设施建设项目，是目前我国唯一一个获批筹建的国家级基因库，是全球仅次美国、日本和欧洲三个国家级基因库之后的世界第四个国家级基因库。现在，该国家基因库已经收集了100万GB的生物数据，包含基因组、转录组、蛋白质组、代谢组及表型的数据，同时也积累了约四十万份生物样本。预计该基因库最终将达到10亿GB级别的数据容量。深圳国家基因库和国际上已有的基因库相比，它的特点是既有“湿库”也有“干库”：前者把千万种实体的动植物、微生物和人类组织细胞等资源和样本纳入网络；后者汇集巨量的核酸、基因表达、蛋白、表型等多类数据信息，成为“大数据”生物学时代研究生物生长发育、疾病、衰老、死亡以及向产业化推广的利器。
4. 金融行业
金融说到底就是数据。在金融市场中，拥有速度就意味着更高的生产力和更多的市场份额。金融计算模型相当复杂，数据收集越多，计算结果越精确。金融分析师都迫切地需要一个能模拟复杂现实环境，并进行精确处理的金融计算程序，以便对每个投资产品及时地评估投资收益，衡量投资风险，以期获得更好的投资回报。也正因此，高性能计算已经越来越多地应用到全球资本市场，以期在最短时间内实现对市场的动态响应与转换。
5. 气象预报
世纪二十年代初，天气预报方程已基本建立。但只有在计算机出现以后，数值天气预报才成为可能。而在使用并行计算机系统之前，由于受处理能力的限制，只能做到24小时天气预报。高性能计算是解决数值预报中大规模科学计算必要手段。采用高性能计算技术，可以从提高分辨率来提高预报精度。
6. 游戏动漫和影视产业
随着3D、4D电影的兴起和高清动漫趋热，由高性能计算（HPC ）集群构成的“渲染农场”已经成为三维动画、影视特效公司不可或缺的生产工具。动漫渲染基于一套完整的程序进行计算，从而通过模型、光线、材质、阴影等元素的组合设定，将动漫设计转化为具体图像。以《玩具总动员》为例，如果仅使用单台工作站（单一处理器）进行动画渲染，这部长达77分钟的影片的渲染时间将会是43年，而采用集群渲染系统，只需约80天。