hdfs云存储

㈠ 数据存储在OBS和HDFS有什么区别我是指华为云的数据存储.

MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即华为对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于云管理平台Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。
数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。
数据存储在HDFS：数据存储和计算不分离，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。

㈡ 大数据建设需要什么技术

大数据建设需要存储、计算、数据管理、数据分析、数据整合和辅助技术。存储技术包括分布式文件系统和云存储。计算技术主要有 maprece、spark 和 flink。数据管理技术包括 rdbms、nosql 数据库和数据湖。数据分析技术包括机器学习、数据挖掘和可视化工具。数据整合技术包括数据集成工具和消息队列。其他辅助技术包括容器技术、云计算平台和人工智能。
大数据建设所需的技术
大数据建设离不开底层技术的支撑，主要涉及以下几个方面：
存储技术
分布式文件系统 (DFS)：如 Hadoop 分布式文件系统 (HDFS)、Google 文件系统 (GFS)，支持大容量、高吞吐量的数据存储。云存储：如 Amazon S3、Microsoft Azure Blob 存储，提供弹性的、基于云的存储解决方案。
计算技术
MapRece：一种编程模型，用于分布式并行处理海量数据。Spark：一种快速、通用的大数据计算引擎，支持批处理、流处理和交互式查询。Flink：一个低延迟、高吞吐量的流处理引擎，用于实时数据处理。
数据管理技术
关系型数据库管理系统 (RDBMS)：如 MySQL、PostgreSQL，用于管理结构化数据。NoSQL 数据库：如 MongoDB、Cassandra，用于管理非结构化或半结构化数据。数据湖：一种集中存储各种类型数据的存储库，为数据分析提供探索性查询功能。
数据分析技术
机器学习 (ML)：一种算法，让计算机从数据中学习，用于预测、分类和模式识别。数据挖掘：从大数据中提取有价值的洞察和信息的知识发现过程。可视化工具：如 Tableau、Power BI，用于数据可视化探索和交互。
数据整合技术
数据集成工具：如 Talend、 Informatica PowerCenter，用于从不同来源提取、转换和加载数据。消息队列：如 Apache Kafka、RabbitMQ，用于实时数据传输和处理。
其他技术
容器技术：如 Docker、Kubernetes，用于封装和部署大数据应用程序。云计算平台：如 Amazon Web Services (AWS)、Microsoft Azure，提供大数据服务和管理工具。人工智能 (AI)：用于提高大数据分析的效率和准确性。

㈢ 云计算的关键技术有哪些它们各自有哪些作用

云计算关键技术主要包括数据储存技术和数据管理技术以及编程模式。
1、数据储存技术
云计算一般都是通过分布式储存的手段来近进行数据储存，同时在冗余式储存的支持下，能够提高数据保存的可靠性，这样就能让数据同时存在多个储存副本，更加提高了数据的安全性。在现有的云计算数据存储中主要是通过两种技术来进行数据储存即为Google File system（非开源的GFS）和Had00p Distributed File System（开源的HDFS）。以上技术实质上是大型的分布式文件系统，在计算机组的支持下向客户提供所需要的服务。
2、数据管理技术
由于云平台承载了大量的用户信息，这就对云平台的数据管理功能提出了很高的要求。在云计算的支持下，云平台在大量数据储存的过程中同时还能够进行规模性的数据计算和分析。其代表性技术为Big Table数据管理技术，通过列存储的方式来对用户数据进行管理。
3、编程模式
在现有的云计算中主要是通过Map-Rece编程模式来进行编程。以Map-Rece编程模式编写出来的程序具有很好的兼容性同时也具备很强的容错性，一旦服务器工作节点出现问题，可以直接将出现问题的节点进行屏蔽，同时将正在运行的程序转移到其他服务器上运行，这样就能够保证数据处理工作的正常进行。