大数据存储和治理

❶ 大数据采集与存储的基本步骤有哪些

数据抽取

针对大数据分析平台需要采集的各类数据，分别有针对性地研制适配接口。对于已有的信息系统，研发对应的接口模块与各信息系统对接，不能实现数据共享接口的系统通过ETL工具进行数据采集，支持多种类型数据库，按照相应规范对数据进行清洗转换，从而实现数据的统一存储管理。

数据预处理

为使大数据分析平台能更方便对数据进行处理，同时为了使得数据的存储机制扩展性、容错性更好，需要把数据按照相应关联性进行组合，并将数据转化为文本格式，作为文件存储下来。

数据存储

除了Hadoop中已广泛应用于数据存储的HDFS，常用的还有分布式、面向列的开源数据库Hbase，HBase是一种key/value系统，部署在HDFS上，与Hadoop一样，HBase的目标主要是依赖横向扩展，通过不断的增加廉价的商用服务器，增加计算和存储能力。

关于大数据采集与存储的基本步骤有哪些，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

❷ 如何借助大数据提升政府治理和服务能力

在前不久公布的《促进大数据发展行动纲要》中，大数据发展与“提升政府治理能力现代化”紧紧相连，受到各方关注。大数据将助力政府治理，以改善百姓民生、社会服务

❸ 大数据的存储和搜索面临很大挑战

大数据的存储和搜索面临很大挑战
大数据并非是一个全新的概念，早在1980年，阿尔文托夫勒就在《第三次浪潮》一书中预言了由数据构成的“碎片化未来”，并将海量数据赞颂为“第三次浪潮的华彩乐章”。然而，大数据真正流行起来是在2011年之后，数据量呈几何指数上升，物联网、云计算等技术的日渐成熟使得数据的获取、存储和处理的成本急剧下降，促使大数据一时间成为了各方视线的焦点。
首先，伴随着移动终端、传感器的迅速普及以及社会化媒体等互联网应用的日益多样化，数据量呈现出爆发式的增长，数据集的规模已经达到了TB甚至是PB的级别。这些海量的、碎片化的数据不仅能够较为完整地刻画出人们在线行为，还可以通过各类传感设备的数据来记录实体经济的运行状况。
其次，数据的种类也愈发丰富，不仅包含文本内容，还包括图片、音频、视频等非结构化数据，为数据的存储和搜索带来了很大挑战，这意味着传统意义上适用于文本内容存储和分析的数据库关联算法、语义分析等手段已经渐渐失效。
第三，大数据蕴含着巨大的价值，但相比于庞大的数据规模，其价值密度却是非常稀疏的，可谓是“浪里淘沙、弥足珍贵”。例如，公安视频监控系统需要7×24小时的记录，但用于犯罪证据获取的也许只是短短数秒；对于零售产业的推荐系统，也只有通过海量数据的分析，才能进行较为精准的预测。
第四，大数据需要实时的记录与响应，如动态的股价、路况信息以及电子商务的交易数据等，都需要实时的调用和处理，才能够充分体现出数据的价值所在。此外，社会化媒体、社交网站中的关系数据成为了大数据的价值倍增器，这是因为人们已经不可避免地镶嵌于人际关系网络中，个体的影响力会经由社交网络快速蔓延。
不久前，作为全球最大零售商的沃尔玛也充分意识到了关系数据的重要性，在其社交基因组（Social Genome）计划中整合了用户在Facebook、Twitter中的关系数据，用以更精准地推测消费者的偏好。 综上所述，大数据的基本特征可以概括为规模化（Volume）、多样性（Variety）、高价值（Value）、速度快（Velocity）以及社会化（Social）等五个特点，即“4V 1S”的特点。这样的大数据浪潮，也深刻的影响了各个传统行业的发展轨迹，变革一触即发。

❹ 数据科学与大数据技术和大数据管理与应用有什么区别

1、关注点不同：大数据管理和应用这一块主要是偏整体数据管控，数据治理方面更多的关注的也是对于这个大数据技术在实际场景中的落地与运用；

但是它并不会对技术的具体底层进行深入的研究，关注点还是在整个大数据行业的趋势方面，以及数据的管理流程方面。大数据科学与技术关注的是底层技术的具体实现。

2、具体内容不同：举一个简单的例子吧，比方说大数据机器学习，大数据应用专业，会关注不同的应用场景下使用什么样的算法，参数如何设置。

而大数据科学与技术专业呢，则是会关注这个底层的算法具体实现，比方说决策树如何实现这些的，另外，如何进行数据清洗，数据存储，这一块怎么去开发，开发的具体逻辑，这一块都是大数据科学与技术专业需要去实施的。

3、目标不同：大数据应用的目标是普适智能要学好大数据，首先要明确大数据应用的目标，大数据就好比万金油，像网络几年前提的框计算，这个框什么都能往里装。

大数据这个框太大，其终极目标是利用一系列信息技术实现海量数据条件下的人类深度洞察和决策智能化，最终走向普适的人机智能融合，这不仅是传统信息化管理的扩展延伸，也是人类社会发展管理智能化的核心技术驱动力。

数据科学可以理解为一个跨多学科领域的，从数据中获取知识的科学方法，技术和系统集合，其目标是从数据中提取出有价值的信息；

它结合了诸多领域中的理论和技术，包括应用数学，统计，模式识别，机器学习，人工智能，深度学习，数据可视化，以及高性能计算等。

(4)大数据存储和治理扩展阅读：

大数据管理与应用旨在培养掌握管理学基本理论，熟悉现代信息管理技术与方法，善于利用商务数据去定量化分析，并能最终实现智能化商业决策的综合型人才。

大数据管理与应用专业以互联网+和大数据时代为背景，主要研究大数据分析理论和方法在经济管理中的应用以及大数据管理与治理方法。

专业坚持“厚基础、宽知识、重思想、重创新、重实战”的培养理念，采取因材施教的模式，采用全新的课程教学体系，培养具有国际视野、创新意识、创新能力及领导潜质的高级管理人才。

❺ 大数据的数据的存储方式是什么

大数据有效存储和管理大数据的三种方式：
1.
不断加密
任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。然而，黑客攻击经常被覆盖在业务故障中，最新的网络攻击活动在新闻报道不断充斥。因此，许多公司感到很难感到安全，尤其是当一些行业巨头经常成为攻击目标时。
随着企业为保护资产全面开展工作，加密技术成为打击网络威胁的可行途径。将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。
2.
仓库存储
大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。然而，有些报告指出了反对这种方法的论据，指出即使是最大的存储中心，大数据的指数增长也不再能维持。
然而，在某些情况下，企业可能会租用一个仓库来存储大量数据，在大数据超出的情况下，这是一个临时的解决方案，而LCP属性提供了一些很好的机会。毕竟，企业不会立即被大量的数据所淹没，因此，为物理机器租用仓库至少在短期内是可行的。这是一个简单有效的解决方案，但并不是永久的成本承诺。
3.
备份服务
-
云端
当然，不可否认的是，大数据管理和存储正在迅速脱离物理机器的范畴，并迅速进入数字领域。除了所有技术的发展，大数据增长得更快，以这样的速度，世界上所有的机器和仓库都无法完全容纳它。
因此，由于云存储服务推动了数字化转型，云计算的应用越来越繁荣。数据在一个位置不再受到风险控制，并随时随地可以访问，大型云计算公司(如谷歌云)将会更多地访问基本统计信息。数据可以在这些服务上进行备份，这意味着一次网络攻击不会消除多年的业务增长和发展。最终，如果出现网络攻击，云端将以A迁移到B的方式提供独一无二的服务。

❻ 大数据 存储技术必须跟上

大数据：存储技术必须跟上
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。业内对大数据应用寄予了无限的期望 商业信息积累的越多价值也越大 只不过我们需要一个方法把这些价值挖掘出来。
也许人们对大数据的印象主要从存储容量的廉价性而来，但实际上，企业每天都在创造大量的数据，而且越来越多，而人们正在努力的从浩如烟海的数据中寻觅有价值的商业情报。另一方面，用户还会保存那些已经分析过的数据，因为这些旧数据可以与未来收集的新数据进行对照，依然有潜在的利用可能。
为什么要大数据？为什么是现在？
与以往相比，我们除了有能力存储更多的数据量之外，还要面对更多的数据类型。这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等。除了那些固定的数据生产源，各种交易行为还可能加快数据的积累速度。比如说，社交类多媒体数据的爆炸性增长就源于新的网上交易和记录行为。数据永远都在增长之中，但是，只有存储海量数据的能力是不够的，因为这并不能保证我们能够成功地从中搜寻出商业价值。
数据是重要的生产要素
信息时代，数据俨然已成为一种重要的生产要素，如同资本、劳动力和原材料等其他要素一样，而且作为一种普遍需求，它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果，尽可能的降低成本，提高产品质量、提高生产效率以及创造新的产品。例如，通过分析直接从产品测试现场收集的数据，能够帮助企业改进设计。此外，一家公司还可以通过深入分析客户行为，对比大量的市场数据，从而超越他的竞争对手。
存储技术必须跟上
随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。
从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。
容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。
“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。[page] 延迟问题
“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。
有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。
并发访问 一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。
安全问题
某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。
成本问题
“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。目前，像重复数据删除等技术已经进入到主存储市场，而且现在还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，都能够获得明显的投资回报。此外，自动精简配置、快照和克隆技术的使用也可以提升存储的效率。[page] 很多大数据存储系统都包括归档组件，尤其对那些需要分析历史数据或需要长期保存数据的机构来说，归档设备必不可少。从单位容量存储成本的角度看，磁带仍然是最经济的存储介质，事实上，在许多企业中，使用支持TB级大容量磁带的归档系统仍然是事实上的标准和惯例。
对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。
数据的积累
许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。
灵活性
大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。
应用感知
最早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施，比如针对政府项目开发的系统，还有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的使用越来越普遍，它也是改善系统效率和性能的重要手段，所以，应用感知技术也应该用在大数据存储环境里。
小用户怎么办？
依赖大数据的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业未来也一定会应用到大数据。我们看到，有些存储厂商已经在开发一些小型的“大数据”存储系统，主要吸引那些对成本比较敏感的用户。

❼ 大数据和传统数据存储的区别

主要区别在于，现在的大数据包括非结构化数据，并且可以从各种数据中提取有用的信息，比如邮件、日志文件、社交多媒体、商业交易及其他数据。比如，保存在数据库里的一家连锁零售商店的某商品的销售图表数据。对这些数据的获取就不是大数据范畴的问题。大数据应用的一个主要特点是实时性或者近实时性。大数据比传统数据存储更需要非常高性能、高吞吐率、大容量的基础设备。

❽ 大数据治理的图书目录

第一部分 开篇 第1章 大数据治理概述 第2章 大数据治理的框架 2.1 大数据类型 2.2 信息治理准则 2.3 大数据治理的产业和功能场景 第3章 成熟度评估 3.1 IBM信息治理委员会的成熟度模型 3.2 评估成熟度的示例问题 第4章 业务案例 4.1 通过大数据治理，提高运营实时性和旅客安全度 4.2 量化大数据治理对客户隐私的财务影响 4.3 通过治理大数据生命周期，降低IT成本 4.4 评估数据质量和主数据对大数据计划的影响 4.5 计算大数据质量的价值 第5章 路线图 5.1 路线图案例研究 第二部分 大数据治理准则 第6章 大数据治理的组织 6.1 绘制关键流程图并建立职责分配模型，以识别大数据治理中的利益攸关者 6.2 确定新角色和既有角色的适当组合 6.3 酌情任命大数据主管 6.4 在传统信息治理角色的基础上，酌情增加大数据责任 6.5 建立承担包括大数据在内的责任混合式信息治理组织 第7章 元数据 7.1 创建一个体现关键大数据术语的业务定义的词库 7.2 理解对ApacheHadoop中元数据的持续支持 7.3 对业务词库中的敏感大数据进行标记 7.4 从相关的大数据存储中输入技术元数据 7.5 将相关的数据源与业务词库中的术语进行链接 7.6 使用运营元数据监测大数据的流动 7.7 保留技术元数据，以支持数据血统和影响分析 7.8 从非结构化文件中采集元数据，支持企业搜索 7.9 扩展既有的元数据角色，将大数据纳入其中 第8章 大数据隐私 8.1 识别敏感的大数据 8.2 对元数据库中的敏感大数据进行标记 8.3 应对国家、州（省）层面的隐私立法和隐私限制 8.4 管理个人数据跨国界流动的情况 8.5 监控特权用户对敏感大数据的访问 第9章 大数据质量 9.1 与商业上的利益攸关者协作，建立并测度大数据质量的置信区间 9.2 利用准结构化和非结构化数据，提高人口稀疏的结构化数据的质量 9.3 使用流数据分析技术解决内存中的数据质量问题，无须将中间结果输入硬盘 9.4 任命对信息治理委员会负责的数据主管，由其负责提高测度的质量 第10章 业务流程整合 10.1 识别将会受到大数据治理影响的关键流程 10.2 建立关键活动的流程图 10.3 针对业务流程中的关键步骤，制定大数据治理政策 第11章 主数据整合 11.1 提高主数据的质量，以支持大数据分析 11.2 利用大数据提高主数据的质量 11.3 提高关键参考数据的质量和一致性，以支持大数据治理计划 11.4 审视社交媒体平台政策，以确定与主数据管理整合的程度 11.5 从非结构化文本中挖掘有用信息，以丰富主数据 第12章 管理大数据的生命周期 12.1 基于规制和业务要求，扩展保留时间表，将大数据包含其中 12.2 提供法律保留区，并支持电子证据展示（eDiscovery） 12.3 压缩大数据并将其存档，降低IT成本，提高应用绩效 12.4 管理实时流数据的生命周期 12.5 保留社交媒体记录，以符合规制要求，并支持电子证据展示 12.6 基于规制和业务要求，正当合理地处置不再需要的大数据 第三部分 大数据的类型 第13章 Web和社交媒体数据 13.1 在制定有关客户社交媒体数据的可接受使用的政策时，考虑不断变化的规制和习俗 13.2 制定有关雇员和求职者社交媒体数据的可接受使用的政策 13.3 利用置信区间评估社交媒体数据的质量 13.4 制定有关Cookies与其他Web跟踪装置的可接受使用的政策 13.5 在不侵犯隐私并遵从规制要求的基础上，定义连接在线和离线数据的政策 13.6 确保网络统计数据的一致性 第14章 机器对机器的数据 14.1 评估目前可用的地理位置数据 14.2 制定关于客户地理位置数据的可接受使用的政策 14.3 制定关于雇员地理位置数据的可接受使用的政策 14.4 保证RFID数据的隐私安全 14.5 制定与其他类型M2M数据的隐私相关的政策 14.6 处理元数据和M2M数据的质量问题 14.7 制定与M2M数据的保留期有关的政策 14.8 提高主数据的质量，以支持M2M计划 14.9 确保SCADA设施免遭网络攻击 第15章 大体量交易数据 第16章 生物计量学数据 16.1 评估与生物计量学数据的可接受使用相关的隐私含义 16.2 与法律顾问通力合作，确定演进中的规制对使用客户和雇员生物计量学数据的影响 第17章 人工生成的数据 17.1 制定屏蔽敏感的人工生成数据的政策 17.2 使用非结构化的人工生成数据，提高结构化数据的质量 17.3 管理人工生成数据的生命周期，降低成本并遵循规制要求 17.4 从非结构化的人工生成数据中获得洞察力，以丰富MDM 第四部分 行业视角 第18章 医疗保健机构 18.1 利用非结构化数据，提高人口稀疏的结构化数据的质量 18.2 提取从结构化数据中无法获得的更多临床因素 18.3 设定关键业务术语的一致性定义 18.4 确保跨科室的患者主数据的一致性 18.5 与美国HIPAA的规定一致，符合受保护的健康信息的隐私要求 18.6 创造性管理参考数据，以获得更多临床洞察 第19章 公用事业部门 19.1 复制仪表读数 19.2 主关键字的参照完整性 19.3 异常的仪表读数 19.4 客户地址的数据质量 19.5 信息生命周期管理 19.6 数据库监测 19.7 技术架构 第20章 通信服务提供商 20.1 大数据类型 20.2 将大数据与主数据进行整合 20.3 大数据隐私 20.4 大数据质量 20.5 大数据生命周期管理 第五部分 大数据技术 第21章 大数据的参考架构 21.1 大数据源 21.2 开源基础组件 21.3 Hadoop发行版 21.4 流数据分析 21.5 数据库 21.6 大数据整合 21.7 文本分析 21.8 大数据发现 21.9 大数据质量 21.10 大数据的元数据 21.11 信息政策管理 21.12 主数据管理 21.13 数据仓库与数据集市 21.14 大数据分析与报告 21.15 大数据安全与隐私 21.16 大数据生命周期管理 21.17 云 第22章 大数据平台 22.1 IBM 22.2 甲骨文 22.3 SAP 22.4 微软 22.5 HP 22.6 Informatica 22.7 SAS 22.8 Teradata 22.9 EMC 22.10 Amazon 22.11 谷歌 22.12 Pentaho 22.13 Talend 附录 缩略语列表 译者后记

❾ 大数据治理和数据治理的区别概述

1、什么是数据治理

数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。

数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。我们常说，用数据说话，用数据支撑决策管理，但低质量的数据、甚至存在错误的数据，必然会"说假话"！！！ 数据治理即提高数据的质量，发挥数据资产价值。

2、数据治理的目的

降低风险

建立数据使用内部规则

实施合规要求

改善内部和外部沟通

增加数据价值

方便数据管理

降低成本

通过风险管理和优化来帮助确保公司的持续生存

3、数据治理的方法

从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。

数据采集清洗：通过可视化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。

基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。

元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapRece，HBase 等。

商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。

数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

4、数据治理流程

基本流程：发现数据质量问题 > 定义数据质量规则 > 质量控制 > 质量评估 > 质量优化