下钻sql

① 如何配置使用微软sql Server 数据分析工具

本系列文章分两部分，本文是第二部分(第一部分参见：你的数据有多干净?)。我们将以测试体验的方式了解微软SQL Server提供的数据分析工具。

其它一些外部分析工具具有更丰富的功能，但是SQL Server授权允许你免费就可以使用这款低调的分析工具。

接下来让我们通过分析“AdventureWorksLT ”数据库中的一些数据来了解这款工具。

在此之前，你需要先安装好SQL Server集成服务，以及与SQL Server捆绑的Visual Studio精简版。在SQL Server 2012中，叫做“SQL Server Data Tools”;而在SQL Server 2008中，名称叫做“Business Intelligence Development Studio”。

如果你缺少这些组件，你可以运行SQL Server安装程序并勾选相关组件，操作很简单。

配置分析工具

不管你启动哪个Visual Studio工作环境，都要创建一个集成服务项目。然后，从SSIS工具箱中拖拽一个数据分析任务到设计面板上，然后双击开始配置。

配置结果信息存储在XML文件中，所以需要指定保存文件的名称和路径。

点击目标旁边的空白框，会出现一个箭头。

点击箭头，然后点击“New File connection”。

在结果框中，指定路径和文件名(包括.xml后缀)。

点击“确定”按钮，然后点击“Quick Profile”按钮。

点击“ADO.NET Connection”旁边的“新建”按钮。

在出现的对话框中，指定SQL Server和托管待分析数据的数据库(我使用的是“AdventureWorksLT2012 ”数据库)，然后点击“确定”按钮。

点击表或视图下拉框，选择待分析数据(我选用的是“SalesLT.Proct”)。

保留默认勾选的复选框，然后点击“确定”按钮。确定后就会回到主设计界面。

最后，按“F5”就可以开始分析了。

分析成功，在SQL Server 2008中会有一个绿色小框来显示，在SQL Server 2012中是个绿色小勾。如果你看到红色小框或者红叉，那么可以在“Progress ”标签页找到哪里出错了。

查看结果

假设你看到的是绿色(在集成服务中每个人都喜欢这个颜色)，那么接下来启动“Data Profile Viewer”应用程序。在开始菜单中，它在“Microsoft SQL Server XXXX”文件夹的集成服务子文件夹下。

在查看器中，点击“打开”按钮，找到你之前配置的xml文件。你现在可以看到分析结果了。

“adventureWorks”库中的数据本来是干干净净的，所以我做了一些修改，你自己直接做的话看到的分析结果会不一样。

在查看器左侧面板中，你可以看到我们选择的表，它下面是数据分析的五个不同方面(也就是我们配置任务时默认选中的五项)。

点击“Candidate Key Profiles ”，就会在右侧面板中显示结果。

该信息展示了值的唯一性，你可以看看我的数据(修改过的)，“名称”列包含的数据不是百分之百唯一的。

我可以点击“名称”列来查看更多，界面中“ Key Violations ”部分下面会显示更多信息。

错误的产品是“HL Road Frame – Black, 58”，问题是有两行有相同的名称(产品名称通常应该是唯一的)。

在“ Key Violations ”中的问题产品上点击，就会显示出需要关注的行。

在左侧面板中(+微信关注网络世界)，点击“Column Length Distribution Profiles”。

功能正如其名，这个页面会分析每个列值的长度。

我这里显示的结果，“颜色”列包含列最小长度是2。

就像我们前面例子中所做的那样，我们可以向下钻取，我可以看到那些值的分布，进一步钻取我可以看到脏数据对应的实际行。

其它类型的分析操作都是类似的。

“Column NULL Ratio Profiles”显示了某一列中“NULL”值的百分比。

如果你有些列实际上不允许为“NULL”，例如“Proct Name”，那么这个功能就非常有用。

“Column Statistics Profiles ”显示了日期和数值的最小值、最大值、平均值以及标准偏差。对于识别“327岁的员工”与“价格为负数的产品”这类不合理数据非常有帮助。

“Column Value Distribution Profiles ”显示某一列中有多少不同的值。这对于处理像“性别”这种列是很有用的，你可能预期该列只有两个不同值，但是却找到了15个，很容易发现问题。

还有另外两个分析功能也是可用的，不过默认没有启用。

其中一个就是“Functional Dependency Profile ”，它可以找到那些依赖于其它列值得列。

这一条功能对于检查地址信息时很有用;例如，我们希望相同城市的地址共用相同的邮政编码。

总结

该分析工具的局限性在于，源数据必须存储在SQL Server数据库中。例如，如果你希望分析存储在平面文件中的数据，那么你必须先把数据导入到SQL Server数据库中。

此外，该分析工具不支持创建额外的定制分析功能实现扩展。你看到的所有功能就是它能提供的所有功能。

局限性且放一旁，SQL Server附带提供的这款工具为那些希望得到并能快速运行数据分析的人提供了很好的起点。

② “技术分享”微服务开发的幸福感，是如何提升的

阅读原文： 【技术分享】微服务开发的幸福感，是如何提升的?

随着微服务的流行，越来越多公司使用了微服务架构，但由于公司业务的特殊性、技术栈的 历史 原因等，都需要选择一个适合自己公司的服务开发框架，对框架进行规范定义，集成自研组件和系统，让业务迭代实现更快速，让开发人员使用更便捷。

本文将基于SpringBoot，从框架约束、自研中间件集成、强类型客户端、接口文档等多个方面介绍服务框架的设计与实践。

一、背景介绍

公司后端服务是以Java生态为主，有基于Dubbo的RPC服务、基于SpringBoot的HTTP服务两种开发模式，所有服务基于K8S的容器云双机房独立部署，支持双活流量的架构。

结合公司上下文环境、业务规模，综合考虑技术栈统一、服务治理、使用成本等多方面的因素，经过多部 商议，确定将“基于SpringBoot开发HTTP服务”作为主要开发模式。公司每天都有一些新的微服务产生，很多自研组件服务和中间件系统，需要服务开发者单独接入，为了规范和简化后端服务开发者集成应用，一套规范、集成的开发框架就变得非常有必要。

二、基于SpringBoot的服务框架设计

1、如何统一规范框架的使用?

统一规范可以通过默认约定、强制校验、自动内嵌等多种方式来实现，下面将分别举例说明。

统一管理依赖包(默认约定)

基于Maven的依赖包管理，通过Partent统一定义依赖包及版本，默认引入必须的依赖包和插件。创建工程自动生成代码时，默认约定继承Parent，开发者只需引入必要的Starter即可，开发者可以修改继承关系，但不推荐。

依赖包的统一管理，可以避免不同版本包冲突的麻烦，也方便后期公司统一升级依赖包和版本。

统一参数格式(强制校验)

返回参数都继承BaseResponse，请求参数都继承BaseRequest。强制校验接口服务来保证参数规范性，在工程启动时自动检测，不遵循规范的工程将无法正常启动，绕过校验的工程不纳入公司后端体系，很多核心能力均无法正常使用。

统一参数格式，不仅可以同时支持HTTP调用、强类型客户端，同时规避了HTTP接口的滥用，简化规范了错误处理。

统一处理异常(自动内嵌)

通过Spring的RestControllerAdvice可以对全局异常统一捕获，并对异常统一处理。异常处理自动内嵌到核心包中，只要使用该框架，就自动生效。

统一异常处理，不仅规范了异常返回格式，兼容了强类型客户端，日志统一记录，并对返回的异常信息进行脱敏处理。

2、如何简化自研中间件组件和系统的集成?

所有中间件依赖包都在Parent中统一管理，对于自研的通用类组件(比如日志组件、线程池组件、web安全组件、自研的工具类组件等)，默认在Parent中已引入，开发者可以直接使用。

公司有很多自研的中间件组件或系统，或者根据公司环境二次开发过的开源组件，只能按照公司的特定的方式进行接入使用，有一定的接入成本。为了接入更方便，都做成了可插拔的组件，通过Starter方式进行接入。

使用Starter方式，简化了依赖、简化了配置、简化了接入代码。

作为后端服务，核心能力是对外提供服务，或者调用其他服务。如果使用REST方式访问远程HTTP接口，难以将接口管理起来，当接口变动的时候可能需要修改多处。

在技术调研过程中，我们发现SpringCloud提供了OpenFeign来解决这个问题。

3、如何实现强类型的HTTP客户端?

但OpenFeign和我们公司技术环境不一致，加上太多 历史 项目也无法支持OpenFeign，于是我们借鉴OpenFeign思想，基于开源Fegin开发了适合公司环境的ZbjFeign，支持在SpringBoot和普通Spring环境中使用。

4、如何实现文档的统一管理?

公司所有文档都是基于Confluence进行管理的，接口文档也不例外，于是我们也实现了在发布阶段，一键发布接口文档。后台实现也是自动扫描Controller接口元数据，通过模版生成HTML片段，并提交到Confluence。接口文档中提供了Java强类型客户端调用、HTTP调用两种方式的参考。

Client和文档都有了，接下来我们通过案例看一下如何使用。

三、框架使用案例

1、Starter的使用案例

通过Starter方式使用分布式消息队列 RabbitMq，只需要引入Starter，就可以直接使用了。

第一步:引入依赖Starter。

第二步:消费者监听队列消息。无需做任何配置，具体代码如下。

说明:公司的RabbitMQ是经过二次开发的，不是通过“地址+账号”访问，而是通过申请的业务ID进行访问。

2、强类型客户端使用案例

只需要引入Client包，无需做任何配置，就可以像调本地方法一样调HTTP服务。

第一步:引入Client依赖。

第二步:直接通过强类型进行HTTP接口调用，就像本地方法一样。

说明：客户端包生产时内置了远端服务的域名，如果发生变化可以从自研的配置中心修改。

四、未来框架的思考和展望

最后，给大家分享一下关于未来工作，我们的一些思考与规划，还不太成熟，抛出来和大家探讨一下。

1、服务治理本文未涉及到服务治理相关部分(熔断、限流等)，是因为考虑到解耦、灵活性等多方面因素，我们并没打算像Dubbo或者SpringCloud， 通过代码库方式耦合在应用程序生命周期中，而是从应用生命周期脱 离出来，下沉到基础设施或者网络层，进行统一治理。

2、应用可观测性微服务架构中，故障可能出现在任何地方，做可观测系统已经在我们 计划中，通过日志、链路跟踪、度量等手段，让各数据之间产生更多的关联，使每一次 App 点击所产生的多次服务调用耗时、返回值和参数都清晰可 ，甚至可以下钻到第三方软件调用、SQL请求、节点拓扑、网络响应等信息中。运维、开发和业务人员通过这样的观测能力可以实时掌握软件的运行情况，并获得前所未有的关联分析能力，以便不断优化业务的 健康 度和用户体验。

3、框架持续演进如今，技术与业务都发展非常快，后端框架也会在一定范围内不断升级重构，以适应变化的技术和业务需求。本框架设计都是面向服务接口调用，未来可能也会引入消息驱动设计，处理一些异步化的场景， 甚至重构升级为事件驱动的架构。当然，在业务高速迭代的情况下， 也需要考虑架构演进与业务发展之间的平衡。

希望以上内容能对有需要的人有所帮助

欢迎大家一起探讨交流

③ SQL2005和SQL2008的区别

总体而言，SQL server2008优于SQL server2005。

SQL server2005的前一个版本是SQL 2000，2005版与2000版相差得非常大，引入了很多不同的理念，并开始走支持.net的路线，大版本的升级自然会有很多考虑不周的地方。

SQL server2008是SQL server2005的升级版本，这两个功能上版本变化不大，SQL server2008更成熟稳定，以及一些后台上的优化，比如：
改进了数据库镜像 、简单的数据加密 ……

对于SQL 2005的数据库，2008基本上是完全兼容，可以直接附加。（附加后登录帐户权可能需要重新配置一下）

④ 3维度匹配表怎么制作

三个维度的表格做法如下。

在Excel表中做好三个指标的数据,然后用全选数据表格。选择PPT中 “插入”选项卡中的图,选择插入“组合”图表。选择“同比增长”曲线,然后右键设置数据系列格式,再选择“次坐标”即可将曲线调至次坐标。

我们再通过调整图表样式,展示图表明细数据。选中“图表”,点击选项卡设计中，快速布局中的“布局5即可。

维度设计基础，基本概念，维度属性指的就是维度的列。一般是我们在数据分析时用到的过滤条件、分组、排序等，所以维度属性越丰富，可以观察的角度就越多。

如果从SQL查询的角度上看，维度属性通常是放在where和groupby、sortby后的列。数据钻取分为上钻（维度减少）和下钻维度增多。简单来说就是想点开年份看详细的月份或者天数据，就叫下钻；如果由每天的维度变为看季度、年维度，那就是上钻。

⑤ 如何理解sqlserver2008数据库具有的三类文件及特征

你好楼主 如果你要用进行简单学习的话 这两个是没什么区别的 两个都可以用 不过搞开发的时候建议还是使用2005 毕竟版本低 稳定 一点 总的来说 SQL Server2008有十大新特性 1.Report Builder 3.0Report Builder是一个工具集，通过它可以开发出发布到Web上的报表，通过Report Builder可以创建包含图像，图表，表格和打印控件的报表，此外，Report Builder也支持下钻和排序，如果你熟悉第三方报表工具，图Crystal Reports(水晶报表)，那么你一定会使用Report Builder。SQL Server 2008 R2/Report Builder 3.0中的新特性包括：○1地图图层，它可以容纳空间和分析数据，可以和微软的虚拟地球(Microsoft Virtual Earth)无缝集成;○2指示器，用于显示一个值的状态;○3报表部件，这个对象可以重复使用或在多个报表之间共享;○4聚合计算(Aggregate Calculating)，允许你计算其它聚合计算结果的汇总值。2.SQL Server 2008 R2 DatacenterSQL Server 2008 R2的数据中心版的目标是企业版用户，他们要求更好的性能，新版本支持256颗逻辑处理器，更多的实例数和更多的内存。3.SQL Server 2008 R2 Parallel Data WarehouseSQL Server 2008 R2的另一个新版本是并行数据仓库版，正式代号是“Madison”，它主要目标是处理非常大的数据量，它使用大规模并行处理功能将大表分散到多个SQL节点，这些节点通过微软的专利技术Ultra Shared Nothing进行控制，它可以将查询任务分配到各个计算节点上，然后从各个节点收集计算结果。4.StreamInsightSQL Server 2008 R2中出现了一个新组件，叫做StreamInsight，这个有趣的组件允许在运行中分析流数据，也就是直接从源数据流进行处理，然后再保存到数据表中。如果你的系统是一个实时系统，这个功能就非常非常的有用，因为实时系统需要分析数据，但又不能引起数据写入时的延迟，一些常见的例子如股票交易数据流，Web点击分析流和工业处理控制，可以同时监控多个输入数据流。5.主数据服务主数据服务(Master Data Services，MDS)既是一个概念又是一个产品，主数据服务的概念是对核心业务数据有一个集中的数据入口看守人，数据项如客户账单地址，雇员/客户姓名，以及产品名称应该集中管理，以便让所有消费应用系统都具有相同的信息。微软提供了一个示例，在customer表中记录了一个顾客地址，但在mailing表中记录了一个不同的地址。主数据服务应用程序可以保证所有表只有一个正确的地址，而一个MDS可以是一个本地应用程序，SQL Server 2008 R2包括一个应用程序和一个接口管理核心数据。6.PowerPivot for SharePointPowerPivot是一个终端用户工具，它与SharePoint，SQL Server 2008 R2和Excel 2010联合使用，可以在几秒内处理大量数据，PowerPivot的作用有点像Excel中的数据透视表，提供了分析功能。7.数据层应用数据层应用(Data-Tier Application，缩写为DAC，不知道C代表什么含义，不要与Windows数据访问组件混淆了，因为它的缩写也是DAC)是一个对象，它可以为一个工程存储所有需要的数据库信息，如登录，表和Visual Studio可以使用的存储过程。通过创建一个数据层应用，SQL Server包版本和每个Visual Studio编译版本一起保存，也就是可以将应用程序和数据库构建成一个统一的版本，方便后期维护和管理。8.Unicode压缩SQL Server 2008 R2使用一个新的算法，为Unicode存储提供了一个简单的压缩方案，通过Unicode压缩，可以减少Unicode字符对空间的占用，它由SQL Server引擎自动管理，因此不需要修改现有应用程序，DBA也无须做任何干涉。9.SQL Server Utility新的SQL Server Utility是一个集中控制多个SQL Server实例的仓库对象，性能数据和配置策略可以存储在一个单一的Utility中，Utility也包括一个资源管理器工具，可以创建多个服务器仪表板。10.多服务器仪表板虽然SQL Server Management Studio也可以连接到多个服务器，但不能在一个集中的视图上查看所有的数据库，每个数据库服务器需要独立管理，在SQL Server 2008 R2中，可以创建同时显示多个服务器的仪表板。 希望能够帮到你~

⑥ 什么叫“上钻”、“下钻”、“切片”和“转轴”这是属于数据库哪一章的内容

上钻：从当前数据往上回归到上一层数据。例如：（某数据的分类下面分为品名）从品名列表收拢到分类列表。

下钻：从当前数据往下展开下一层数据。例如：（某数据的分类下面分为品名）从分类列表展开到品名列表。

上钻、下钻统称钻取。

切片：展现同一层面的数据。如上述的产品。

转轴：这些应该属于查询、展现范畴。

原材料

标准的马氏体不锈钢是：403、410、414、416、416(Se)、420、431、440A、440B和440C型，这些钢材的耐腐蚀性来自“铬”，其范围是从11.5至18%，铬含量愈高的钢材需碳含量愈高，以确保在热处理期间马氏体的形成，上述三种440型不锈钢很少被考虑做为需要焊接的应用，且440型成份的熔填金属不易取得。

以上内容参考：网络-转轴

⑦ 关系型数据库查询结果如何支持下钻

关系型数据库查询结果如何支持下钻
一、数仓基本概念
1. 数据仓库架构
我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。

这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图：



数仓架构

上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。操作型系统的数据由各种形式的业务数据组成，这些数据经过抽取、转换和装载（ETL）过程进入数据仓库系统。

任何事物都是随着时间的演进变得越来越完善，当然也是越来越复杂，数仓也不例外。在数据仓库技术演化过程中，产生了几种主要的架构方法，包括数据集市架构、Inmon企业信息工厂架构、Kimball数据仓库架构、混合型数据仓库架构。这几种架构我们后面再讲，接下来看下数仓的基本概念。

2. 数据仓库概念
英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。

数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

1) 基本特征
数据仓库是面向主题的、集成的、非易失的和时变的数据集合，用以支持管理决策。

面向主题:
传统数据库中，最大的特点是面向应用进行数据的组织，各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。

集成性:
通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据，这样保证了数据仓库内的数据关于整个企业的一致性。

数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步，所要完成的工作有：

要统一源数据中所有矛盾之处，如字段的同名异义、异名同义、单位不统一、字长不一致，等等。
进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。
下图说明一个保险公司综合数据的简单处理过程，其中数据仓库中与“保险” 主题有关的数据来自于多个不同的操作型系统。这些系统内部数据的命名可能不同，数据格式也可能不同。把不同来源的数据存储到数据仓库之前，需要去除这些不一致。