etl算法

‘壹’ 数据分析、数据挖掘、数据统计、OLAP 之间的差异是什么告诉yunmar吧，亲们！

OLAP的核心是"维", 可以说是多维分析, 它是让分析人员从不同的角度, 不同的粒度查看数据仓库中的数据, 所以他的实质是查询数据, 但是这个查询也是有技巧的, 需要理解业务, 理解业务之后,提出相应的假设, 然后通过特定维度的数据来验证假设是否正确, 所以OLAP是分析思路是从假设到验证,方法是查询数据, OLAP里的模型是指多维数据模型, 通过哪些维度的数据来描述分析对象, OLAP的建模是指选择哪些维度。
而数据挖掘主要不是查询, 而是做更多的计算, 例如分类,回归是拟合计算, 找到标签与其他特征的规律, 形成模型, 数据挖掘算法会有很多迭代计算, 比OLAP的计算要复杂很多, 另外, 数据挖掘做的更多的是探索式的分析, 分析前是没有假设的. 所以数据挖掘往往能发现一些人为经验忽略的因素。
数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
广义的数据分析，应当是包含数据挖掘和统计的。数据挖掘是面对海量数据时的有效工具，而数据统计是为分析过程提供可靠模型和结果检验的 有效工具。这两个工具可以用在数据分析中，但不只用在数据分析中。数据分析就是数据到有效信息的过程。
数据统计。专注于建模及统计分析，通过概率、统计、离散等数学知识建立合理模型，充分发掘数据内容。例如用回归分析，充分利用网站历史数据，进行评估、预测、反向预测、发掘因素。利用贝叶斯方法建立模型来进行机器学习、聚类、垃圾邮件过滤等。常用工具如：SAS，R，SPSS。

‘贰’ bi工程师,数据仓库工程师,etl工程师有什么区别

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员，三种的主要区别如下：

一、工作内容不同

1、BI工程师：主要是报表开发，负责开发工作。

2、数据库工程师：主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

3、ETL工程师：从事系统编程、数据库编程与设计。

二、要求不同

1、BI工程师：要有一定的数据库经验，掌握SQL查询优化方法，精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。

2、数据库工程师：理解数据备份/恢复与灾难恢复；工具集的使用。

3、ETL工程师：要掌握各百种常用的编程语言。

三、特点不同

1、BI工程师：熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。

2、数据库工程师：凡是关系到数据库质量、效率、成本、安全等方面的工作，及涉及到的技术、组件，都在数据库工程师的技术范畴里。

3、ETL工程师：海量数据的ETL开发，抽取成各种数据需求。

‘叁’ 求职岗位测试,面试内容是爬虫和ETL和算法，这是什么操作

前两天我朋友学java的去面试测试的。我和她大体说了一些 比较幸运。她过了 我觉得主要是软件测试的基本知识 首先是你对软件测试的理解。什么是软件测试 商业软件测...

‘肆’ 统计模型和大数据模型所使用的主要算法有什么异同

以每24小时作为一份时间（而非自然日），根据用户的配置有两种工作模式：带状模式中，用户仅定义开始日期时，从开始日期（含）开始，每份时间1个分片地无限增加下去；环状模式中，用户定义了开始日期和结束日期时，以结束日期（含）和开始日期（含）之间的时间份数作为分片总数（分片数量固定），以类似取模的方式路由到这些分片里。

1. DBLE 启动时，读取用户在 rule.xml 配置的 sBeginDate 来确定起始时间
2. 读取用户在 rule.xml 配置的 sPartionDay 来确定每个 MySQL 分片承载多少天内的数据
3. 读取用户在 rule.xml 配置的 dateFormat 来确定分片索引的日期格式
4. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值（字符串），会被提取出来尝试转换成 Java 内部的时间类型
5. 然后求分片索引值与起始时间的差，除以 MySQL 分片承载的天数，确定所属分片

1. DBLE 启动时，读取用户在 rule.xml 配置的起始时间 sBeginDate、终止时间 sEndDate 和每个 MySQL 分片承载多少天数据 sPartionDay
2. 根据用户设置，建立起以 sBeginDate 开始，每 sPartionDay 天一个分片，直到 sEndDate 为止的一个环，把分片串联串联起来
3. 读取用户在 rule.xml 配置的 defaultNode
4. 在 DBLE 的运行过程中，用户访问使用这个算法的表时，WHERE 子句中的分片索引值（字符串），会被提取出来尝试转换成 Java 内部的日期类型
5. 然后求分片索引值与起始日期的差：如果分片索引值不早于 sBeginDate（哪怕晚于 sEndDate），就以 MySQL 分片承载的天数为模数，对分片索引值求模得到所属分片；如果分片索引值早于 sBeginDate，就会被放到 defaultNode 分片上

与MyCat的类似分片算法对比

中间件
DBLE
MyCat

分片算法种类 date 分区算法 按日期（天）分片
两种中间件的取模范围分片算法使用上无差别

开发注意点
【分片索引】1. 必须是字符串，而且 java.text.SimpleDateFormat 能基于用户指定的 dateFormat 来转换成 java.util.Date
【分片索引】2. 提供带状模式和环状模式两种模式
【分片索引】3. 带状模式以 sBeginDate（含）起，以 86400000 毫秒（24 小时整）为一份，每 sPartionDay 份为一个分片，理论上分片数量可以无限增长，但是出现 sBeginDate 之前的数据而且没有设定 defaultNode 的话，会路由失败（如果有 defaultNode，则路由至 defaultNode）
【分片索引】4. 环状模式以 86400000 毫秒（24 小时整）为一份，每 sPartionDay 份为一个分片，以 sBeginDate（含）到 sEndDate（含）的时间长度除以单个分片长度得到恒定的分片数量，但是出现 sBeginDate 之前的数据而且没有设定 defaultNode 的话，会路由失败（如果有 defaultNode，则路由至 defaultNode）
【分片索引】5. 无论哪种模式，分片索引字段的格式化字符串 dateFormat 由用户指定
【分片索引】6. 无论哪种模式，划分不是以日历时间为准，无法对应自然月和自然年，且会受闰秒问题影响

运维注意点
【扩容】1. 带状模式中，随着 sBeginDate 之后的数据出现，分片数量的增加无需再平衡
【扩容】2. 带状模式没有自动增添分片的能力，需要运维手工提前增加分片；如果路由策略计算出的分片并不存在时，会导致失败
【扩容】3. 环状模式中，如果新旧 [sBeginDate,sEndDate] 之间有重叠，需要进行部分数据迁移；如果新旧 [sBeginDate,sEndDate] 之间没有重叠，需要数据再平衡

配置注意点
【配置项】1. 在 rule.xml 中，可配置项为 <propertyname="sBeginDate"> 、 <propertyname="sPartionDay"> 、 <propertyname="dateFormat"> 、 <propertyname="sEndDate"> 和 <propertyname="defaultNode">
【配置项】2.在 rule.xml 中配置 <propertyname="dateFormat">，符合 java.text.SimpleDateFormat 规范的字符串，用于告知 DBLE 如何解析sBeginDate和sEndDate

【配置项】3.在 rule.xml 中配置 <propertyname="sBeginDate">，必须是符合 dateFormat 的日期字符串

【配置项】4.在 rule.xml 中配置 <propertyname="sEndDate">，必须是符合 dateFormat 的日期字符串；配置了该项使用的是环状模式，若没有配置该项则使用的是带状模式

【配置项】5.在 rule.xml 中配置 <propertyname="sPartionDay">，非负整数，该分片策略以 86400000 毫秒（24 小时整）作为一份，而 sPartionDay 告诉 DBLE 把每多少份放在同一个分片

【配置项】6.在 rule.xml 中配置 <propertyname="defaultNode"> 标签，非必须配置项，不配置该项的话，用户的分片索引值没落在 mapFile 定义

‘伍’ 平衡二叉树算法

多值结点平衡二叉树的结构及算法研究
1引言
传统的AV1.树是一种应用较为广泛的数据结构，适合”几组织在内存中的较小索引.它的
每个结l从上存储有一个关键字、一个平衡因子和两个指针项，山”几它是一棵接近”几理想状态的
平衡二叉树，所以AV1.树具有很高的查询效率.但正如任何事物都具有两而性一样，AV1.树同
样存在比较严重的缺l从，一是存储效率比较低:真正有用的关键字在结l从上所，片的空间比例较
小，而作为辅助信息的平衡因子和指针却，片据较大的空间;二是额外运算量比较大:当有结l从
被插入或删除而导致AV1.树不平衡时，AV1.树就需要进行调整而保持它的平衡性，山”几每个
结l从上只有一个关键字，所以任何一次的数据插入或删除都有可能导致AV1.树的平衡调整，
这种频繁的调整运算将大大降低AV1.树的存取效率.为解决以上问题，结合T3树每个结l从可
以存储多个关键字项的优l侧}l，木文提出了多值结l从平衡二叉树(简称MAV1.树)，它的主要特
点在”几每个MAV1.树的结l从都存储有多个关键字项，而其它信息仍与AV1.树一样，即一个平
衡因子和两个指针项.
2 MAV1.树结构描述
MAV1.树仍旧是一种平衡二叉树，它的整体树型结构和算法也是建立在传统的平衡二叉
树基础之上的.MAV1.树的特征在”几它的每个结l从都可以存储多个关键字(较理想的取值大约
在20} 50个之间).用C++语言描述的MAV1.树结l从结构如卜:
struct NodeStruct
int IJ1emsOnNode;
int bf:
struct NodPStruct*lch;ld:
//一结点中项的数目
//平衡因子
//夕.子
struct NodeStruct * rchild:
}lemType }lemsi Max}lem} ;//结点中的项数组
Node T:
在这种结构中.ElemsOnNode反映的是“当前状态卜”该结l从中关键字项的个数.当在此结
点插入一个关键字时.FlemsOnNode值加1.当删除一个关键字时.则FlemsOnNode值减1.每个
结l从上可存储的关键字个数介J几1 } M axElem之间.bf为平衡因r.其作用等同J几AV1.树的平
衡因r. MAV1.树的任一结l从的平衡因r只能取一1 ,0和1.如果一个结l从的平衡因r的绝对
值大”几1.则这棵树就失去了平衡.需要做平衡运算保持平衡.lehild和:child分别为指向左右
J"树根结0的指针.Flems[ i]为结0中第i个关键字项.Flems} MaxFlem”是一个按升序排列的
关键字数组.具体的MAV1.树结l从结构如图1所示.
}lemsOnNode一h‘一* leh;ld一
图1
reh击3
}lemsi 0}一
树结点结构
}lemsi Max}lem}
MAVT
MAV1.树的结构特l从使它比AV1.树具有更高的存储效率.在AV1.树或MAV1.树中.实际
有用的信急只有关键字.1f1! ElemsOnNode ,bf ,lehild和:child都是为了构建树型结构If1J不得不添
加的辅助信急. MAV1.树就是通过减小这些辅助信急的比例来获得较高的存储效率.山MAV1.
树结l从的定义可以看出:FlemsOnNode和bf为int型.各，片4个字节长度.指针型的lchild和
rchild也各，片4个字节长度.在以上四项信急中.AV1.树结l从除了没有ElemsOnNode外.其余和
MAV1.树相同.现假设关键字长度为24字节.M axFl二值定为50.则对AV1.树来说.它的结l从
长度为36字节.其中辅助信h,长度为12字节;If}J MAV1.树的结l从长度是1. 2K字节.其中辅助
信急长度为16字节.山此可以看出.MAV1.树在存储时.结l从中辅助信急长度，片整个结l从长度
的比例是很小的.它对存储空间的利用效率比 AV1.树要高.这一l从对”几主要而向内存应用的
MAV1.树来说是非常重要的.
在实际的应用中.当MAV1.树作为数据库索引结构时.为进一步节约内存空间.结l从中Fl-
emType的结构可根据实际需要作不同的定义.
( 1)当排序关键字较短时.可以直接将数据库中的关键字值拷贝到索引文件中.这样
MAV1.树既有较快的运行速度又不会，片用太大的空间.此时ElemType定义如卜
struct IdxRlemStruct
{
int RecPos://金己录号
KeyType Key://关键字
}R1emType;
( 2}当排序关键字较长时.如果直接将数据库中的关键字值拷贝到索引文件中会，片据较大
的空间.此时可以采用只存储关键字地址的形式.这样不管关键字有多长.映射到MAV1.树后
都只，片据一个指针的固定长度.这种以时间换空间的方法比较适合内存容量有限的情况.此时
ElemType定义如卜
struct Tdxl?lemStruct
int RecPos:
char * Key
R1emType;
//记录号
//关键字指钊
3基于MAUI.树的运算
MAUI.树的基木运算.包括MAUI.树的建立、记录的插入、删除、修改以及查询.这些算法
与基J几AVI.树的算法相似.都建立在一叉查询和平衡算法基础上.
3. 1 MAVI,树的平衡运算
如果在一棵原木是平衡的MAUI.树中插入一个新结l从.造成了不平衡.此时必须调整树的
结构.使之平衡化“21 .MAUI.树的平衡算法与AVI.树的平衡算法是相同的.但山J几MAUI.树的
每个结l从中都存储有多个关键字.所以在关键字个数相同的情况卜. MAUI.树的应用可以大大
减少平衡运算的次数.例如.假设具有n个关键字的待插入序列在插入过程中有5%(根据随
机序列特l从的不同.此数值会有所差异.这里以比较保守的5%为例)的新产生结l从会导致一
叉树出现不平衡.对AVI.树来说.山”几需要为每个关键字分配一个结l从.所以在整个插入过程
中做平衡的次数为n * 5%;对J几MAUI.树.设MAUI.树中M axFl二的值被定义为k(k为大J几1
的正整数少，则平均每k次的数据插入才会有一个新结l从产生，所以在整个插入过程中需做平
衡的次数仅为(nlk) * 5%.即在M axFl二取值为k的情况卜.对”几相同的待插入关键字序列.
在插入过程中MAUI.树用J几平衡运算的开销是AVI.树的1/ k.
3. 2数据查找
在MAUI.树上进行查找.是一个从根结l从开始.沿某一个分支逐层向卜进行比较判等的过
程.假设要在MAUI.树上查找的值为GetKey.查找过程从根结l从开始.如果根指针为NU1.1..则
查找失败;否则把要查找的值GetKey与根结l从关键字数组中的最小项Elems [ 0]进行比较.如
果GetKev小”几当前结i最小关键字.则递归查找左r树;如果GetKey'大”几Elems [ 0].则将
GetKey'与根结0关键字数组中的最大项Fletns} MaxFl二一1]进行比较.如果GetKey'大”几当前
结l从最大关键字.则递归查找右r树;否则.对当前结l从的关键字数组进行查找(山”几是有序序
列.可以采用折半查找以提高效率).如果有与GetKey'相匹配的值.则查找成功.返回成功信
息,7{报告查找到的关键字地址.
3. 3数据插入
数据插入是构建MAV1.树的基础.设要在MAV1.树*T上插入一个新的数据兀素GetKev,
其递归算法描述如卜:
(1)若*T为空树.则申清一新结} ' Elems} MaxElem}.将GetKey'插入到Flems[ 0]的位置.树
的深度增1.
(2)若*T未满.则在*T中找到插入位置后将GetKey'插入.JI在插入后保持结l从中的各
关键项有序递增.若己存在与GetKev相同的项.则不进行插入.
(3)如果*T为满结l从目一GetKey'值介”几Flems[ 0]和Flems} MaxFlem]之间.则在*T中找到
GetKev的插入位置posit ion.山”几*T木身就是满结l从.所以GetKev的插入必然会将原来*T中
的某个数据挤出去JI卜降到r树中.根据插入位置position的不同.分以卜几种情况处理:若*
T中存在与C etl} e`'相同的项.则不进行插入;若插入位置在*T结ii的前半部分(即position <
=MaxFlem/ 2).则将Flems[ 1]到Fletns} position”的数据依次左移一位.再把GetKey插入到Elems
} MaxFlem”中position的位置.Ifn原来*T中最左边项数据将被挤入到*T的左r树中.考察此
数据的特l从.它必然大”几*T左r树中的任一数据项.所以此时不需要作任何的额外运算.直
接将此数据插入到*T左r树根结i从的最右r孙位置处就可以了(见图2中插入，}} 11"后“1,>
的位置变化);若插入位置在*T结ii的后半部分(即position> MaxFlem/ 2).则将Fletns} posi-
tion}到Fletns} MaxFl二一2}的数据依次右移一位.再把GetKev插入到*T结0中position的位
置.与前一种情况类似.结l从中最右边被挤出的项将被插入到*T的右r树根结l从的最左r孙
的位置(见图2中插入“25"后" 30"的位置变化).
插入，"}i”插入”zs0
}o i is i }a
s}土 s
图2
满结点插入数据的过程
(4)若GetKey的值小”几T的最小项值.则将GetKey递归插入到T的左r树中.即在递归调
用时GetKey值不变Ifn T= T->lehild.
(5)若GetKey的值大”几T的最大项值.则将GetKey递归插入到T的右r树中.即在递归调
用时GetKey值不变Ifn T= T->rehild.
4结束语
山J几MAV1.树的结l从中存储有多个关键字值.所以它具有较高的存储效率;对MAV l树进
行查找是_分查找和顺序查找的结合.其查询效率只略低”几AV1.树.血山”几MAV1.树的平衡
运算比AV1.树要少得多.所以MAV1.树有很优秀的综合运算效率.综上所述.在数据量大、内
存容量相对较小、数据增删运算比较频繁的情况卜.用MAV1.树作为常驻内存的索引结构是一
种理想的选择.

‘陆’ etl工程师有前景吗

在大数据背景下，越来越多的企业开始涉足大数据，ETL作为企业搞大数据的重要技术平台，确实是需要重视的，也需要技术实力足够的ETL工程师来支持企业大数据平台的建设和运营。所以，只要大数据的前景一直向好，那么ETL工程师的发展前景也是不必担心的。

至于说ETL工程师做什么，从传统的ETL到大数据背景下的ETL，作为技术人员，确实需要不断提升自己的技术实力。传统时期的ETL工程师，主要负责数据采集环节，且数据流动往往是单向性的，而在大数据时代，ETL工程师面临的应用场景更多，ETL需要采取和处理的对象也在升级，需要解决的问题也更多。

从业务角度讲，随着数据应用的日益丰富，不同平台、系统的相互大批量数据交互成常态，仅仅满足于采集数据已经不适应业务需要，还需要能够为数据的目的端落地提供支撑，ETL工程师需要一个端到端的更适应业务需要的数据交换系统。

从技术角度讲，ETL做一定的扩展可以升级为兼具交换能力，两者有传承，可以实现平滑过渡，但交换却要考虑用另一个工具实现，同时未来大数据平台组件将异常丰富，相互之间的数据交换将是常态，必要要有更高级别的交换工具满足这些需求。

大数据时代的ETL工程师，除了从事传统的系统编程、数据库编程与设计，还需要熟悉主流数据库技术，如oracle、Sql server、PostgeSQL等，并且得会数据etl开发工具，如Datastage,Congos,Kettle等。

关于ETL工程师发展前景好吗，ETL工程师做什么，以上就是详细的介绍了。在ETL工程师的未来职业发展上，除了要掌握足够的数据库开发技术，相关的大数据技术也要掌握，这样才能更好地解决大数据时代的ETL数据采集与处理。

‘柒’ etL是什么数字货币

etL是以太坊数字货币。

以太坊（英文Ethereum）是一个开源的有智能合约功能的公共区块链平台，通过其专用加密货币以太币（Ether，简称“ETH”）提供去中心化的以太虚拟机（Ethereum Virtual Machine）来处理点对点合约。

以太坊的概念首次在2013至2014年间由程序员Vitalik Buterin受比特币启发后提出，大意为“下一代加密货币与去中心化应用平台”，在2014年通过ICO众筹开始得以发展。

(7)etl算法扩展阅读：

特征：

1、去中心化。区块链技术不依赖额外的第三方管理机构或硬件设施，没有中心管制，除了自成一体的区块链本身，通过分布式核算和存储，各个节点实现了信息自我验证、传递和管理。去中心化是区块链最突出最本质的特征。

2、开放性。区块链技术基础是开源的，除了交易各方的私有信息被加密外，区块链的数据对所有人开放，任何人都可以通过公开的接口查询区块链数据和开发相关应用，因此整个系统信息高度透明。

3、独立性。基于协商一致的规范和协议(类似比特币采用的哈希算法等各种数学算法)，整个区块链系统不依赖其他第三方，所有节点能够在系统内自动安全地验证、交换数据，不需要任何人为的干预。

‘捌’ Inetl架构是什么

现实与理智的平衡：P5与P6架构
Pentium采用P5架构，这被证明是伟大的创举。在Intel的发展历史中，第一代Pentium绝对是具有里程碑意义的产品，这一品牌甚至沿用至今，已经有十几年的历史了。尽管第一代Pentium 60的综合表现很一般，甚至不比486DX66强多少，但是当主频优势体现出来之后，此时所表现出来的威力令人震惊。Pentium 75、Pentium 100以及Pentium 133，经典的产品一度称雄业界。在同一时代，作为竞争对手的AMD和Cyrix显然因为架构上的落后而无法与Intel展开正面竞争，即便是号称“高频486”的Cyrix 5X86也差距甚大，这并非是高主频所能弥补的缺陷。
沿用到Pentium III的P6架构

在Pentium时代，虽然Intel还是相对竞争对手保持一定的领先，但是Intel并未感到满足。在他们看来，只有从架构上扼杀对手，才能完全摆脱AMD和Cyrix两家的追赶。于是，Intel在发布奔腾的下一代产品Pentium II时，采用了专利保护的P6架构，并且不再向AMD和Cyrix授权。P6架构与Pentium的P5架构最大的不同在于，以前集成在主板上的二级缓存被移植到了CPU内，从而大大地加快了数据读取和命中率，提高了性能。AMD和Cyrix由于没能得到P6架构的授权，只好继续走在旧的架构上，整个CPU市场的格局一下子发生了巨大的变化，AMD和Cyrix的市场份额急剧下降。这里我们需要特别提一下K6-2+和K6-3，尽管这两款令人肃然起敬的产品也对Intel构成严重威胁，但是它们所谓的内置二级缓存并非集成在CPU核心中，因此绝对不能算作P6架构，浮点性能也有着不小的差距。

低开高走：客观评价NetBurst架构

1．P6架构难敌AMD K7

自从AMD在1999年推出K7处理器之后，整个CPU市场格局发生了翻天覆地的变化。从核心架构的技术角度来看，AMD实际上已经领先于Intel。在同频Athlon与Pentium III的较量中，AMD占据了上风，这与其EV6前端总线以及缓存架构有着很大的关系，而且AMD K7处理器的动态分支预测技术也领先于P6架构。

Barton核心的K7处理器让我们看到核心架构的重要性

面对这样的窘迫局面，Intel可谓将P6架构的优势发挥到极点。首先是一场主频大战，随后是在Tualatin核心中加入大容量缓存，再加上服务器处理器的SMP双CPU模式，Intel巨人最终还是保住了颜面。但是Intel深知，核心架构上的劣势迟早会令其陷入彻底的被动局面，一场架构革命演变在即。当全世界在试目以待的时候，Intel推出了微处理器发展史上极受争议的直至今天还在服役的NetBurst架构！

2．NetBurst架构喜忧参半

尽管如今的Pentium4已经是一块“金字招牌”，但是在其发展初期可并不是一帆风顺，第一代Willamette核心就饱受批评。对于全新的NetBurst结构而言，发挥强大的性能需要更高的主频以及强大的缓存结构，而这些都是Willamette核心所不具备的。256KB二级缓存显然不足，此时的整体性能受到很大影响。然而最让Intel尴尬的是，Willamette核心的Pentium4 1.5G甚至不如Tualatin核心的Pentium III，部分测试中甚至超频后的Tualatin Celeron也能越俎代庖。

Willamette核心让NetBurst架构出师不利

然而出师未捷身先死的情况并不会出现在如日中天的Intel身上，与Pentium III处理器相比，NetBurst架构的Pentium4在提高流水线长度之后令执行效率大幅度降低，此时大容量二级缓存与高主频才是真正的弥补方法。可是讽刺的是，频率比AthlonXP 2000＋高出很多的Pentium4 Willamette 2GHz竟然服服帖帖地败于其下。尽管后续的NorthWood核心凭借512KB二级缓存略微挽回面子，但是当时AMD的K7架构也在发展，Barton核心将Intel陷入了被动。因此，我们可以给出这样一个明确的结论：Intel的NetBurst架构即便是面对AMD K7架构时也没有什么可骄傲的资本。如果不是Intel的市场调控能力超强，如今CPU市场的格局可能会是另一番景象。

NorthWood核心为NetBurst架构略微挽回颜面

3．流水线与CPU效率的关系

当然，我们如今看到的Prescott核心依旧是NetBurst架构，并且高频率产品的综合性能还是实实在在的。但是明眼人都看到了Intel的软肋：NetBurst架构过分依赖于主频与缓存，这与当前CPU的发展趋势格格不入。为了提高主频，NetBurst架构不断延长CPU超流水线的级数。

在这里有必要解释一下流水线的概念，它是Intel首次在486芯片中开始使用的。流水线的工作方式就象工业生产上的装配流水线。在CPU中由5～6个不同功能的电路单元组成一条指令处理流水线，然后将一条x86指令分成5～6步后再由这些电路单元分别执行，这样就能实现在一个CPU时钟周期完成一条指令，因此提高CPU的运算速度。经典Pentium每条整数流水线都分为四级流水，即指令预取、译码、执行、写回结果，浮点流水又分为八级流水。

超标量是通过内置多条流水线来同时执行多个处理任务，其实质是以空间换取时间。而超流水线是通过细化流水、提高主频，使得在一个机器周期内完成一个甚至多个操作，其实质是以时间换取空间。例如，起初Pentium4的超流水线就长达20级，随后的Prescott更是提升到31级。超流水线设计的级数越长，其完成一条指令的速度越快，因此才能适应工作主频更高的CPU。但是超流水线过长也带来了一定副作用，很可能会出现主频较高的CPU实际运算速度较低的现象，Intel的NetBurst架构就出现了这种情况，虽然它的主频可以很高，但其运算性能却远远比不上低主频的AMD处理器。

Intel自然也知道这样的问题，但是NetBurst架构已经迈开脚步，这已经无法停止。为此，Intel不得不继续提高主频并且加大二级缓存容量。可是让Intel十分尴尬的是，如今处理器制作工艺开始面临瓶颈，即便是65纳米工艺，未来想要在NetBurst架构实现高主频也是极为困难的事情，这意味着NetBurst架构今后将无法继续凭借主频优势与竞争对手匹敌。此外，巨大的缓存容量也是一个负担，这不仅提高了成本，也令发热量骤升。如果不是Intel的市场公关与口碑较好，那么Intel处理器早就要陷入尴尬了，因为如今高频Pentium简直就是高发热量和高功耗的代名词，甚至Celeron D也是滚烫滚烫。

Prescott核心成为NetBurst架构的强弩之末

3．数据预读机制与缓存结构

Core 架构的预读取机制还有更多新特性。数据预取单元经常需要在缓存中进行标签查找。为了避免标签查找可能带来的高延迟，数据预取单元使用存储接口进行标签查找。存储操作在大多数情况下并不是影响系统性能的关键，因为在数据开始写入时，CPU即可以马上开始进行下面的工作，而不必等待写入操作完成。缓存/内存子系统会负责数据的整个写入到缓存、复制到主内存的过程。

此外，Core 架构使用了Smart Memory Access算法，这将帮助CPU在前端总线与内存传输之间实现更高的效率。Smart Memory Access算法使用八个预取器，这种预取器可以利用推测算法将数据从内存转移到二级缓存，或者从二级缓存转移到一级缓存，这对于提高内存单元性能以及缓存效率都是很有帮助的。

Core 架构的缓存系统也令人印象深刻。双核心Core 架构的二级缓存容量高达4MB，且两个核心共享，访问延迟仅12到14个时钟周期。每个核心还拥有32KB的一级指令缓存和一级数据缓存，访问延迟仅仅3个时钟周期。从 NetBurst 架构开始引入的追踪式缓存（Trace Cache）在 Core 架构中消失了。NetBurst 架构中的追踪式缓存的作用与常见的指令缓存相类似，是用来存放解码前的指令的，对 NetBurst 架构的长流水线结构非常有用。而 Core 架构回归相对较短的流水线之后，追踪式缓存也随之消失，因为 Intel 认为，传统的一级指令缓存对短流水线的 Core 架构更加有用。当然，如今的缓存结构还仅仅是Core 架构的最低版本，随着未来核心改进，缓存结构只会变得越来越强。

Conroe台式机处理器的真面目

4．真正的双内核处理器

对于PC用户而言，多任务处理一直是困扰的难题，因为单处理器的多任务以分割时间段的方式来实现，此时的性能损失相当巨大。而在双内核处理器的支持下，真正的多任务得以应用，而且越来越多的应用程序甚至会为之优化，进而奠定扎实的应用基础。从技术角度来看，双内核的处理器确实令人期待。

Intel目前规划的双核心处理器很多，包括Pentium Extreme Edition和Pentium D等。但是Intel的双核心一直饱受争议，原因便是其实质仅仅是封装两个独立的内核，互相之间的数据传输甚至还需要通过外部总线，这令效率大幅度降低。而Core 架构的设计将会令怀疑者闭嘴：其二级缓存并没有分成两个单独的单元，而是两个核心共享缓存。这一点非常重要，它说明Core并不是简单地将两个核心拼在一起。

当然，Core架构的优势还不仅仅是这些，还包括降低功耗的Intelligent Power Capability技术以及优化多媒体性能的Advanced Digital Media Boost技术。Core架构的设计理念应该说非常正确，在摒弃主频至上策略之后，Intel终于回到正轨，这对于业界而言无疑是一个好消息。此外，Core架构的Conroe台式机处理器将会兼容I975芯片组，因此未来Intel处理器的产品线又将拉长，这意味着一场价格大战在所难免，这对于广大消费者又是一个好消息。

写在最后

未来我们期待的不仅仅是纯计算速度更快的处理器，出色的多任务并行处理、强大的64位计算能力、人性化的防病毒功能以及合理的功耗，这些才是用户真正想要的。正如AMD在前几年一直反对“为技术而技术”一样，以客户需求为指导，遵循产品发展规律才是走向成功的捷径。我们同样希望与Intel苦战多年的战士在面临Intel的强大攻势下继续顽强作战，与Intel一起继续为业界奉献出色的改变人类生活的微处理器产品.

四、壮士断臂：NetBurst架构终于落幕，Core架构临危授命

既然NetBurst架构已经无法满足未来CPU发展的需要，那么Intel就必须开辟全新的CPU核心架构。事实上，Intel就早做好了技术准备，迅驰III中的Yonah移动处理器已经具备Core核心架构的技术精髓。Intel于前不久正式公布了全新的Core核心架构：未来台式机使用Conroe，笔记本使用Merom，服务器使用WoodCrest，这三款处理器全部基于Core核心架构。

1．流水线效率大幅度提升

主频至上的CPU研发思路显然已经被淘汰。Core架构的处理器将超流水线缩短到14级，这将大幅度提升整体效率，令CPU避免出现“高频低能”的尴尬现象。然而更加值得我们关注的是，Core架构采用了四组指令编译器，这与Pentium M处理器有些类似。所谓四组指令编译器，就是指能够在单一频率周期内编译四个x86指令。这四组指令编译器由三组简单编译器（Simple Decoder）与一组复杂编译器（Complex Decoder）组成。四组指令编译器中，仅有复杂编译器可处理最多由四个微指令所组成的复杂x86指令。如果不幸碰到非常复杂的指令，复杂编译器就必须呼叫微码循序器（Microcode Sequencer），以便取得微指令序列。

为了配合超宽的编译单元，Core架构的指令读取单元在一个频率周期内，从第一阶指令快取中，抓取六个x86指令至指令编译缓冲区（Instruction Queue），判定是否有符合宏指令融合的配对，然后再将最多五个x86指令，交派给四组指令编译器。四组指令编译器在每个频率周期中，发给保留站（Reservation Station）四个编译后的微指令，保留站再将存放的微指令交派（dispatch）给五个执行单元。

自从 AMD 失败的 K5 设计之后，已经有超过十年的时间，x86处理器的世界再也没有出现过四组指令编译器的设计。因为x86指令集的指令长度、格式与寻址模式都相当混乱，导致x86指令解码器的设计是非常困难的。但是如今的局面已经有所改变，一方面是高主频对于四组精简结构有着很大的依赖性，另一方面是其它辅助性技术也能很大程度上弥补解决寻址模式混乱的难题。毫无疑问，Intel的这一创举将是在CPU核心架构设计上具有里程碑意义的，未来我们将有望看到CPU的整体性能有大幅度提高。

Conroe完成128bit向量运算的示意图

2．全新的整数与浮点单元

从P6到NetBurst架构，整数与浮点单元的变化还是相当明显，不过如今Core架构的变化也同样不小，只是部分关键技术又改回P6架构时代的设计。Core具备了3个64bit的整数执行单元，每一个都可以单独完成的64位整数运算操作。这样一来Core就有了一套64bit的复杂整数单元（这一点和P6核心的CIU相同），以及两个简单整数单元用来处理基本的操作和运算任务。但是非常特别是的是，3个64bit的整数执行单元中的一个简单整数单元和分支执行单元将会共享端口。该端口处的简单整数单元将和分支单元共同完成此处的宏指令结合的任务。

如果说Core架构就是P6架构，那无疑是不公平的。能够独立完成64bit整数运算对Intel x86处理器来说还是头一回，这也让Core得以走在了竞争对手的前列。此外，64bit的整数单元使用彼此独立的数据端口，因此Core能够在一个周期内同时完成3组64bit的整数运算。极强的整数运算单元使得Core在包括游戏、服务器项目、移动等方面都能够发挥广泛而强大的作用。

Core构架的设计图

在以往的NetBurst架构中，浮点单元的性能很一般，这也是为什么AMD处理器总是在3D游戏中有更好表现的原因之一。不过Core构架进行了不小的改进。Core构架拥有2个浮点执行单元同时处理向量和标量的浮点运算，其中一个浮点单元执行负责加减等简单的处理，而另一个浮点单元则执行负责乘除等运算。尽管不能说Core构架令浮点性能有很大幅度的提升，但是其改进效果还是显而易见的。在多项测试中，Conroe台式机处理器已经能够打败AMD高端的FX62。

Core构架的整体效率以及高于AMD K8

‘玖’ ETL 数据抽取 如何实现增量抽取

ETL中的数据增量抽取机制
(

增量抽取是数据仓库ETL(extraction，transformation，loading，数据的抽取、转换和装载)实施过程中需要重点考虑的问 题。在ETL过程中，增量更新的效率和可行性是决定ETL实施成败的关键问题之一，ETL中的增量更新机制比较复杂，采用何种机制往往取决于源数据系统的 类型以及对增量更新性能的要求。
1 ETL概述
ETL包括数据的抽取、转换、加载。①数据抽取：从源数据源系统抽取目的数据源系统需要的数据：②数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；③数据加载：将转换后的数据装载到目的数据源。
ETL作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数 据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL原来主要用户构建数据仓库和商业智能项目，现在也越来越多地应用于一般信息系统数据的迁 移、交换和同步。
在ETL的3个环节中，数据抽取直接面对各种分散、异构的数据源，如何保证稳定高效的从这些数据源中提取正确的数据，是ETL设计和实施过程中需要考虑的关键问题之一。
在集成端进行数据的初始化时，一般需要将数据源端的全部数据装载进来，这时需要进行全量抽取。全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图 的数据全部从数据库中抽取出来，再进行后续的转换和加载操作。全量抽取可以使用数据复制、导入或者备份的方式完成，实现机制比较简单。全量抽取完成后，后 续的抽取操作只需抽取自上次抽取以来表中新增或修改的数据，这就是增量抽取。
在数据库仓库中，无论是全量抽取还是增量抽取，抽取工作一般由数据仓库工具来完成，如oracle的OWB，Sql Server的Integration Services以及专业的ETL商业产品Informatica PowvrCenter等。如果企业的预算有限，也可以考虑使用开源项目Pentaho。这些工具都有一个特点，就是本身并没有实现特定的增量抽取机制， 它们完成全量抽取后，用户可以通过定制计划任务的方式，实现按一定的周期从源系统中抽取当前周期内产生的增量数据，但至于这些增量数据如何产生，工具并没 有提供自动生成增量数据的功能。所以，ETL过程中增量数据的产生机制是一个需要用户重点研究和选择的问题。
2 增量抽取机制
要实现增量抽取，关键是如何准确快速的捕获变化的数据。优秀的增量抽取机制要求ETL能够将业务系统中的变化数据按一定的频率准确地捕获到，同时不能对业 务系统造成太大的压力，影响现有业务。相对全量抽取而言，增量抽取的设计更复杂，有一种将全量抽取过程自动转换为增量抽取过程的ETL设计思路，前提是必 须捕获变化的数据，增量数据抽取中常用的捕获变化数据的方法有以下几种：
2.1 触发器方式
触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相 应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被标记 或删除。
为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关键字值和更新操作类型(insert、update或 delete)，ETL增量抽取进程首先根据源表名称和更新的关键字值，从源表中提取对应的完整记录，再根据更新操作类型，对目标表进行相应的处理。
例如，对于源表为Oracle类型的数据库，采用触发器方式进行增量数据捕获的过程如下：
(1)创建增量日志表DML LOG：
create table DML_LOG(
ID NUMBER primary key，--自增主键
TABLE_NAME VARCHAR2(200)，--源表名称
RECORD_ID NUMBER，--源表增量记录的主键值
DML_TYPE CHAR(1)，--增量类型，I表示新增；U表示更新；D表示删除
EXECUTE DATE DATE --发生时间
);
(2)为DML_LOG创建一个序列SEQ_DML_LOG，以便触发器写增量日志表时生成ID值。
(3)针对要监听的每一张表，创建一个触发器，例如对表Test创建触发器如下：
Create or replace trigger T BEFORE INSERT OR UPDATE OR DELETE ON T for each row
declare I_dml_type varchar2(1);
begin
if INSERTING then l_dml type：＝’I’;
elsif UPDATING then I_dml_type：＝’U’;
elsif DELETING then l_dml_type：＝’D’;
end if;
if DELETING then
insert into DML_LOG(ID,TABLE_NAME,RECORD_ID,EXECUTE_DATE,DML_TYPE)
values(seq_dml_log.nextval,’Test’,:old.ID,sysdate,l_dml_type);
else
insert into DML_LOG(ID,TABLE_NAME,RECORD_ID,EXECUTE_DATE,DML_TYPE)
values(seq_dml_log.nextval,’Test’,:new.ID,sysdate,l_dml_type);
end if;
end;
这样，对表T的所有DML操作就记录在增量日志表DML_LOG中，注意增量日志表中并没有完全记录增量数据本身，只是记录了增量数据的来源。进行增量ETL时，只需要根据增量日志表中的记录情况，反查源表得到真正的增量数据。
2.2 时间戳方式
时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。
有的数据库(例如Sql Server)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情况下，进行ETL实施时就 只需要在源表加上时间戳字段就可以了。对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。
使用时间戳方式可以正常捕获源表的插入和更新操作，但对于删除操作则无能为力，需要结合其它机制才能完成。
2.3 全表删除插入方式
全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。
2.4 全表比对方式
全表比对即在增量抽取时，ETL进程逐条比较源表和目标表的记录，将新增和修改的记录读取出来。
优化之后的全部比对方式是采用MD5校验码，需要事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表的主键值以及根据源表所有字段的数据 计算出来的MD5校验码，每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，如有不同，进行update操作：如目标表没有存在该主键 值，表示该记录还没有，则进行insert操作。然后，还需要对在源表中已不存在而目标表仍保留的主键值，执行delete操作。
2.5 日志表方式
对于建立了业务系统的生产数据库，可以在数据库中创建业务日志表，当特定需要监控的业务数据发生变化时，由相应的业务系统程序模块来更新维护日志表内容。增量抽取时，通过读日志表数据决定加载哪些数据及如何加载。日志表的维护需要由业务系统程序用代码来完成。
2.6 系统日志分析方式
该方式通过分析数据库自身的日志来判断变化的数据。关系犁数据库系统都会将所有的DML操作存储在日志文件中，以实现数据库的备份和还原功能。ETL增量 抽取进程通过对数据库的日志进行分析，提取对相关源表在特定时间后发生的DML操作信息，就可以得知自上次抽取时刻以来该表的数据变化情况，从而指导增量 抽取动作。
有些数据库系统提供了访问日志的专用的程序包(例如Oracle的LogMiner)，使数据库日志的分析工作得到大大简化。
2.7 特定数据库的方式
针对特有数据库系统的增量抽取方式：
2.7.1 Oracle改变数据捕获(changed data capture，CDC)方式
OracleCDC特性是在Oraele9i数据库中引入的。CDC能够帮助识别从上次抽取之后发生变化的数据。利用CDC，在对源表进行 insert、update或delete等操作的同时就可以提取数据，并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据，然后利 用数据库视图以一种可控的方式提供给ETL抽取进程，作为增量抽取的依据。
CDC方式对源表数据变化情况的捕获有两种方式：同步CDC和异步CDC。同步CDC使用源数据库触发器来捕获变更的数据。这种方式是实时的，没有任何延 迟。当DML操作提交后，变更表中就产生了变更数据。异步CDC使用数据库重做日志(redolog)文件，在源数据库发生变更以后，才进行数据捕获。
2.7.2 Oracle闪回查询方式
Oracle9i以上版本的数据库系统提供了闪回查询机制，允许用户查询过去某个时刻的数据库状态。这样，抽取进程可以将源数据库的当前状态和上次抽取时刻的状态进行对比，快速得出源表数据记录的变化情况。
3 比较和分析
可见，ETL在进行增量抽取操作时，有以上各种机制可以选择。现从兼容性、完备性、性能和侵入性4个方面对这些机制的优劣进行比较分析。
兼容性
数据抽取需要面对的源系统，并不一定都是关系型数据库系统。某个ETL过程需要从若干年前的遗留系统中抽取Excel或者CSV文本数据的情形是经常发牛 的。这时，所有基于关系型数据库产品的增量机制都无法工作，时间戳方式和全表比对方式可能有一定的利用价值，在最坏的情况下，只有放弃增量抽取的思路，转 而采用全表删除插入方式。
完备性
完备性方面，时间戳方式不能捕获delete操作，需要结合其它方式一起使用。
性能
增量抽取的性能因素表现在两个方面，一是抽取进程本身的性能，二是对源系统性能的负面影响。触发器方式、日志表方式以及系统日志分析方式由于不需要在抽取 过程中执行比对步骤，所以增量抽取的性能较佳。全表比对方式需要经过复杂的比对过程才能识别出更改的记录，抽取性能最差。在对源系统的性能影响方面，触发 器方式由于是直接在源系统业务表上建立触发器，同时写临时表，对于频繁操作的业务系统可能会有一定的性能损失，尤其是当业务表上执行批量操作时，行级触发 器将会对性能产生严重的影响；同步CDC方式内部采用触发器的方式实现，也同样存在性能影响的问题；全表比对方式和日志表方式对数据源系统数据库的性能没 有任何影响，只是它们需要业务系统进行额外的运算和数据库操作，会有少许的时间损耗；时间戳方式、系统日志分析方式以及基于系统日志分析的方式(异步 CDC和闪回查询)对数据库性能的影响也是非常小的。
侵入性
对数据源系统的侵入性是指业务系统是否要为实现增量抽取机制做功能修改和额外操作，在这一点上，时间戳方式值得特别关注。该方式除了要修改数据源系统表结 构外，对于不支持时间戳字段自动更新的关系型数据库产品，还必须要修改业务系统的功能，让它在源表t执行每次操作时都要显式的更新表的时间戳字段，这在 ETL实施过程中必须得到数据源系统高度的配合才能达到，并且在多数情况下这种要求在数据源系统看来是比较“过分”的，这也是时间戳方式无法得到广泛运用 的主要原因。另外，触发器方式需要在源表上建立触发器，这种在某些场合中也遭到拒绝。还有一些需要建立临时表的方式，例如全表比对和日志表方式。可能因为 开放给ETL进程的数据库权限的限制而无法实施。同样的情况也可能发生在基于系统日志分析的方式上，因为大多数的数据库产品只允许特定组的用户甚至只有 DBA才能执行日志分析。闪回杏询在侵入性方面的影响是最小的。
综述:
通过对各种增量抽取机制的对比分析，我们发现，没有一种机制具有绝对的优势，不同机制在各种因素的表现大体上都是相对平衡的。兼容性较差的机制，像CDC 和闪回查询机制，由于充分利用了数据源系统DBMS的特性，相对来说具有较好的整体优势；最容易实现以及兼容性最佳的全表删除插入机制，则是以牺牲抽取性 能为代价的；系统日志分析方式对源业务系统的功能无需作任何改变，对源系统表也无需建立触发器，而抽取性能也不错，但有可能需要源系统开放DBA权限给 ETL抽取进程，并且自行分析日志系统难度较高，不同数据库系统的日志格式不一致，这就在一定程度上限制了它的使用范围。所以，ETL实施过程中究竞选择 哪种增量抽取机制，要根据实际的数据源系统环境进行决策，需要综合考虑源系统数据库的类型、抽取的数据量(决定对性能要求的苛刻程度)、对源业务系统和数 据库的控制能力以及实现难度等各种因素，甚至结合各种不同的增量机制以针对环境不同的数据源系统进行ETL实施。
4 结束语
为了实现数据仓库数据的高效更新，增量抽取是ETL数据抽取过程中非常重要的一环，其实现机制直接决定了ETL的整体实施效果。我们通过对几种常见的增量 抽取机制进行了对比，总结了各种机制的特性并分析了它们的优劣。各种增量抽取机制都有它有存在的价值和固有的限制条件，在ETL的设计和实施工作过程中， 只能依据项目的实际环境进行综合考虑，甚至需要对可采用的多种机制进行实际的测试，才能确定一个最优的增量抽取方法。

‘拾’ ETL工程师和数据挖掘工程师的区别

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。
数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
2.数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。

并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（information retrieval）领域的任务。虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。
1)数据挖掘能做以下六种不同事情（分析方法）：

· 分类 （Classification）
· 估值（Estimation）
· 预言（Prediction）
· 相关性分组或关联规则（Affinity grouping or association rules）
· 聚集（Clustering）
· 描述和可视化（Des cription and Visualization）
· 复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

2)数据挖掘分类

以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘

· 直接数据挖掘
目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。

· 间接数据挖掘
目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系 。

· 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘

3)各种分析方法的简介
首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。
例子：
a. 信用卡申请者，分类为低、中、高风险
b. 分配客户到预先定义的客户分片
注意： 类的个数是确定的，预先定义好的
估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。
例子：
a. 根据购买模式，估计一个家庭的孩子个数
b. 根据购买模式，估计一个家庭的收入
c. 估计real estate的价值
一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。
通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。

· 相关性分组或关联规则（Affinity grouping or association rules）
决定哪些事情将一起发生。
例子：
a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则)
b. 客户在购买A后，隔一段时间，会购买B （序列分析）
聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。
例子：
a. 一些特定症状的聚集可能预示了一个特定的疾病
b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群
聚集通常作为数据挖掘的第一步。例如，"哪一种类的促销对客户响应最好？"，对于这一 类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。
· 描述和可视化（Des cription and Visualization） 是对数据挖掘结果的表示方式。