下鑽sql

① 如何配置使用微軟sql Server 數據分析工具

本系列文章分兩部分，本文是第二部分(第一部分參見：你的數據有多干凈?)。我們將以測試體驗的方式了解微軟SQL Server提供的數據分析工具。

其它一些外部分析工具具有更豐富的功能，但是SQL Server授權允許你免費就可以使用這款低調的分析工具。

接下來讓我們通過分析「AdventureWorksLT 」資料庫中的一些數據來了解這款工具。

在此之前，你需要先安裝好SQL Server集成服務，以及與SQL Server捆綁的Visual Studio精簡版。在SQL Server 2012中，叫做「SQL Server Data Tools」;而在SQL Server 2008中，名稱叫做「Business Intelligence Development Studio」。

如果你缺少這些組件，你可以運行SQL Server安裝程序並勾選相關組件，操作很簡單。

配置分析工具

不管你啟動哪個Visual Studio工作環境，都要創建一個集成服務項目。然後，從SSIS工具箱中拖拽一個數據分析任務到設計面板上，然後雙擊開始配置。

配置結果信息存儲在XML文件中，所以需要指定保存文件的名稱和路徑。

點擊目標旁邊的空白框，會出現一個箭頭。

點擊箭頭，然後點擊「New File connection」。

在結果框中，指定路徑和文件名(包括.xml後綴)。

點擊「確定」按鈕，然後點擊「Quick Profile」按鈕。

點擊「ADO.NET Connection」旁邊的「新建」按鈕。

在出現的對話框中，指定SQL Server和託管待分析數據的資料庫(我使用的是「AdventureWorksLT2012 」資料庫)，然後點擊「確定」按鈕。

點擊表或視圖下拉框，選擇待分析數據(我選用的是「SalesLT.Proct」)。

保留默認勾選的復選框，然後點擊「確定」按鈕。確定後就會回到主設計界面。

最後，按「F5」就可以開始分析了。

分析成功，在SQL Server 2008中會有一個綠色小框來顯示，在SQL Server 2012中是個綠色小勾。如果你看到紅色小框或者紅叉，那麼可以在「Progress 」標簽頁找到哪裡出錯了。

查看結果

假設你看到的是綠色(在集成服務中每個人都喜歡這個顏色)，那麼接下來啟動「Data Profile Viewer」應用程序。在開始菜單中，它在「Microsoft SQL Server XXXX」文件夾的集成服務子文件夾下。

在查看器中，點擊「打開」按鈕，找到你之前配置的xml文件。你現在可以看到分析結果了。

「adventureWorks」庫中的數據本來是乾乾凈凈的，所以我做了一些修改，你自己直接做的話看到的分析結果會不一樣。

在查看器左側面板中，你可以看到我們選擇的表，它下面是數據分析的五個不同方面(也就是我們配置任務時默認選中的五項)。

點擊「Candidate Key Profiles 」，就會在右側面板中顯示結果。

該信息展示了值的唯一性，你可以看看我的數據(修改過的)，「名稱」列包含的數據不是百分之百唯一的。

我可以點擊「名稱」列來查看更多，界面中「 Key Violations 」部分下面會顯示更多信息。

錯誤的產品是「HL Road Frame – Black, 58」，問題是有兩行有相同的名稱(產品名稱通常應該是唯一的)。

在「 Key Violations 」中的問題產品上點擊，就會顯示出需要關注的行。

在左側面板中(+微信關注網路世界)，點擊「Column Length Distribution Profiles」。

功能正如其名，這個頁面會分析每個列值的長度。

我這里顯示的結果，「顏色」列包含列最小長度是2。

就像我們前面例子中所做的那樣，我們可以向下鑽取，我可以看到那些值的分布，進一步鑽取我可以看到臟數據對應的實際行。

其它類型的分析操作都是類似的。

「Column NULL Ratio Profiles」顯示了某一列中「NULL」值的百分比。

如果你有些列實際上不允許為「NULL」，例如「Proct Name」，那麼這個功能就非常有用。

「Column Statistics Profiles 」顯示了日期和數值的最小值、最大值、平均值以及標准偏差。對於識別「327歲的員工」與「價格為負數的產品」這類不合理數據非常有幫助。

「Column Value Distribution Profiles 」顯示某一列中有多少不同的值。這對於處理像「性別」這種列是很有用的，你可能預期該列只有兩個不同值，但是卻找到了15個，很容易發現問題。

還有另外兩個分析功能也是可用的，不過默認沒有啟用。

其中一個就是「Functional Dependency Profile 」，它可以找到那些依賴於其它列值得列。

這一條功能對於檢查地址信息時很有用;例如，我們希望相同城市的地址共用相同的郵政編碼。

總結

該分析工具的局限性在於，源數據必須存儲在SQL Server資料庫中。例如，如果你希望分析存儲在平面文件中的數據，那麼你必須先把數據導入到SQL Server資料庫中。

此外，該分析工具不支持創建額外的定製分析功能實現擴展。你看到的所有功能就是它能提供的所有功能。

局限性且放一旁，SQL Server附帶提供的這款工具為那些希望得到並能快速運行數據分析的人提供了很好的起點。

② 「技術分享」微服務開發的幸福感，是如何提升的

閱讀原文： 【技術分享】微服務開發的幸福感，是如何提升的?

隨著微服務的流行，越來越多公司使用了微服務架構，但由於公司業務的特殊性、技術棧的 歷史 原因等，都需要選擇一個適合自己公司的服務開發框架，對框架進行規范定義，集成自研組件和系統，讓業務迭代實現更快速，讓開發人員使用更便捷。

本文將基於SpringBoot，從框架約束、自研中間件集成、強類型客戶端、介面文檔等多個方面介紹服務框架的設計與實踐。

一、背景介紹

公司後端服務是以Java生態為主，有基於Dubbo的RPC服務、基於SpringBoot的HTTP服務兩種開發模式，所有服務基於K8S的容器雲雙機房獨立部署，支持雙活流量的架構。

結合公司上下文環境、業務規模，綜合考慮技術棧統一、服務治理、使用成本等多方面的因素，經過多部 商議，確定將「基於SpringBoot開發HTTP服務」作為主要開發模式。公司每天都有一些新的微服務產生，很多自研組件服務和中間件系統，需要服務開發者單獨接入，為了規范和簡化後端服務開發者集成應用，一套規范、集成的開發框架就變得非常有必要。

二、基於SpringBoot的服務框架設計

1、如何統一規范框架的使用?

統一規范可以通過默認約定、強制校驗、自動內嵌等多種方式來實現，下面將分別舉例說明。

統一管理依賴包(默認約定)

基於Maven的依賴包管理，通過Partent統一定義依賴包及版本，默認引入必須的依賴包和插件。創建工程自動生成代碼時，默認約定繼承Parent，開發者只需引入必要的Starter即可，開發者可以修改繼承關系，但不推薦。

依賴包的統一管理，可以避免不同版本包沖突的麻煩，也方便後期公司統一升級依賴包和版本。

統一參數格式(強制校驗)

返回參數都繼承BaseResponse，請求參數都繼承BaseRequest。強制校驗介面服務來保證參數規范性，在工程啟動時自動檢測，不遵循規范的工程將無法正常啟動，繞過校驗的工程不納入公司後端體系，很多核心能力均無法正常使用。

統一參數格式，不僅可以同時支持HTTP調用、強類型客戶端，同時規避了HTTP介面的濫用，簡化規范了錯誤處理。

統一處理異常(自動內嵌)

通過Spring的RestControllerAdvice可以對全局異常統一捕獲，並對異常統一處理。異常處理自動內嵌到核心包中，只要使用該框架，就自動生效。

統一異常處理，不僅規范了異常返回格式，兼容了強類型客戶端，日誌統一記錄，並對返回的異常信息進行脫敏處理。

2、如何簡化自研中間件組件和系統的集成?

所有中間件依賴包都在Parent中統一管理，對於自研的通用類組件(比如日誌組件、線程池組件、web安全組件、自研的工具類組件等)，默認在Parent中已引入，開發者可以直接使用。

公司有很多自研的中間件組件或系統，或者根據公司環境二次開發過的開源組件，只能按照公司的特定的方式進行接入使用，有一定的接入成本。為了接入更方便，都做成了可插拔的組件，通過Starter方式進行接入。

使用Starter方式，簡化了依賴、簡化了配置、簡化了接入代碼。

作為後端服務，核心能力是對外提供服務，或者調用其他服務。如果使用REST方式訪問遠程HTTP介面，難以將介面管理起來，當介面變動的時候可能需要修改多處。

在技術調研過程中，我們發現SpringCloud提供了OpenFeign來解決這個問題。

3、如何實現強類型的HTTP客戶端?

但OpenFeign和我們公司技術環境不一致，加上太多 歷史 項目也無法支持OpenFeign，於是我們借鑒OpenFeign思想，基於開源Fegin開發了適合公司環境的ZbjFeign，支持在SpringBoot和普通Spring環境中使用。

4、如何實現文檔的統一管理?

公司所有文檔都是基於Confluence進行管理的，介面文檔也不例外，於是我們也實現了在發布階段，一鍵發布介面文檔。後台實現也是自動掃描Controller介面元數據，通過模版生成HTML片段，並提交到Confluence。介面文檔中提供了Java強類型客戶端調用、HTTP調用兩種方式的參考。

Client和文檔都有了，接下來我們通過案例看一下如何使用。

三、框架使用案例

1、Starter的使用案例

通過Starter方式使用分布式消息隊列 RabbitMq，只需要引入Starter，就可以直接使用了。

第一步:引入依賴Starter。

第二步:消費者監聽隊列消息。無需做任何配置，具體代碼如下。

說明:公司的RabbitMQ是經過二次開發的，不是通過「地址+賬號」訪問，而是通過申請的業務ID進行訪問。

2、強類型客戶端使用案例

只需要引入Client包，無需做任何配置，就可以像調本地方法一樣調HTTP服務。

第一步:引入Client依賴。

第二步:直接通過強類型進行HTTP介面調用，就像本地方法一樣。

說明：客戶端包生產時內置了遠端服務的域名，如果發生變化可以從自研的配置中心修改。

四、未來框架的思考和展望

最後，給大家分享一下關於未來工作，我們的一些思考與規劃，還不太成熟，拋出來和大家探討一下。

1、服務治理本文未涉及到服務治理相關部分(熔斷、限流等)，是因為考慮到解耦、靈活性等多方面因素，我們並沒打算像Dubbo或者SpringCloud， 通過代碼庫方式耦合在應用程序生命周期中，而是從應用生命周期脫 離出來，下沉到基礎設施或者網路層，進行統一治理。

2、應用可觀測性微服務架構中，故障可能出現在任何地方，做可觀測系統已經在我們 計劃中，通過日誌、鏈路跟蹤、度量等手段，讓各數據之間產生更多的關聯，使每一次 App 點擊所產生的多次服務調用耗時、返回值和參數都清晰可 ，甚至可以下鑽到第三方軟體調用、SQL請求、節點拓撲、網路響應等信息中。運維、開發和業務人員通過這樣的觀測能力可以實時掌握軟體的運行情況，並獲得前所未有的關聯分析能力，以便不斷優化業務的 健康 度和用戶體驗。

3、框架持續演進如今，技術與業務都發展非常快，後端框架也會在一定范圍內不斷升級重構，以適應變化的技術和業務需求。本框架設計都是面向服務介面調用，未來可能也會引入消息驅動設計，處理一些非同步化的場景， 甚至重構升級為事件驅動的架構。當然，在業務高速迭代的情況下， 也需要考慮架構演進與業務發展之間的平衡。

希望以上內容能對有需要的人有所幫助

歡迎大家一起探討交流

③ SQL2005和SQL2008的區別

總體而言，SQL server2008優於SQL server2005。

SQL server2005的前一個版本是SQL 2000，2005版與2000版相差得非常大，引入了很多不同的理念，並開始走支持.net的路線，大版本的升級自然會有很多考慮不周的地方。

SQL server2008是SQL server2005的升級版本，這兩個功能上版本變化不大，SQL server2008更成熟穩定，以及一些後台上的優化，比如：
改進了資料庫鏡像 、簡單的數據加密 ……

對於SQL 2005的資料庫，2008基本上是完全兼容，可以直接附加。（附加後登錄帳戶權可能需要重新配置一下）

④ 3維度匹配表怎麼製作

三個維度的表格做法如下。

在Excel表中做好三個指標的數據,然後用全選數據表格。選擇PPT中 「插入」選項卡中的圖,選擇插入「組合」圖表。選擇「同比增長」曲線,然後右鍵設置數據系列格式,再選擇「次坐標」即可將曲線調至次坐標。

我們再通過調整圖表樣式,展示圖表明細數據。選中「圖表」,點擊選項卡設計中，快速布局中的「布局5即可。

維度設計基礎，基本概念，維度屬性指的就是維度的列。一般是我們在數據分析時用到的過濾條件、分組、排序等，所以維度屬性越豐富，可以觀察的角度就越多。

如果從SQL查詢的角度上看，維度屬性通常是放在where和groupby、sortby後的列。數據鑽取分為上鑽（維度減少）和下鑽維度增多。簡單來說就是想點開年份看詳細的月份或者天數據，就叫下鑽；如果由每天的維度變為看季度、年維度，那就是上鑽。

⑤ 如何理解sqlserver2008資料庫具有的三類文件及特徵

你好樓主 如果你要用進行簡單學習的話 這兩個是沒什麼區別的 兩個都可以用 不過搞開發的時候建議還是使用2005 畢竟版本低 穩定 一點 總的來說 SQL Server2008有十大新特性 1.Report Builder 3.0Report Builder是一個工具集，通過它可以開發出發布到Web上的報表，通過Report Builder可以創建包含圖像，圖表，表格和列印控制項的報表，此外，Report Builder也支持下鑽和排序，如果你熟悉第三方報表工具，圖Crystal Reports(水晶報表)，那麼你一定會使用Report Builder。SQL Server 2008 R2/Report Builder 3.0中的新特性包括：○1地圖圖層，它可以容納空間和分析數據，可以和微軟的虛擬地球(Microsoft Virtual Earth)無縫集成;○2指示器，用於顯示一個值的狀態;○3報表部件，這個對象可以重復使用或在多個報表之間共享;○4聚合計算(Aggregate Calculating)，允許你計算其它聚合計算結果的匯總值。2.SQL Server 2008 R2 DatacenterSQL Server 2008 R2的數據中心版的目標是企業版用戶，他們要求更好的性能，新版本支持256顆邏輯處理器，更多的實例數和更多的內存。3.SQL Server 2008 R2 Parallel Data WarehouseSQL Server 2008 R2的另一個新版本是並行數據倉庫版，正式代號是「Madison」，它主要目標是處理非常大的數據量，它使用大規模並行處理功能將大表分散到多個SQL節點，這些節點通過微軟的專利技術Ultra Shared Nothing進行控制，它可以將查詢任務分配到各個計算節點上，然後從各個節點收集計算結果。4.StreamInsightSQL Server 2008 R2中出現了一個新組件，叫做StreamInsight，這個有趣的組件允許在運行中分析流數據，也就是直接從源數據流進行處理，然後再保存到數據表中。如果你的系統是一個實時系統，這個功能就非常非常的有用，因為實時系統需要分析數據，但又不能引起數據寫入時的延遲，一些常見的例子如股票交易數據流，Web點擊分析流和工業處理控制，可以同時監控多個輸入數據流。5.主數據服務主數據服務(Master Data Services，MDS)既是一個概念又是一個產品，主數據服務的概念是對核心業務數據有一個集中的數據入口看守人，數據項如客戶賬單地址，雇員/客戶姓名，以及產品名稱應該集中管理，以便讓所有消費應用系統都具有相同的信息。微軟提供了一個示例，在customer表中記錄了一個顧客地址，但在mailing表中記錄了一個不同的地址。主數據服務應用程序可以保證所有表只有一個正確的地址，而一個MDS可以是一個本地應用程序，SQL Server 2008 R2包括一個應用程序和一個介面管理核心數據。6.PowerPivot for SharePointPowerPivot是一個終端用戶工具，它與SharePoint，SQL Server 2008 R2和Excel 2010聯合使用，可以在幾秒內處理大量數據，PowerPivot的作用有點像Excel中的數據透視表，提供了分析功能。7.數據層應用數據層應用(Data-Tier Application，縮寫為DAC，不知道C代表什麼含義，不要與Windows數據訪問組件混淆了，因為它的縮寫也是DAC)是一個對象，它可以為一個工程存儲所有需要的資料庫信息，如登錄，表和Visual Studio可以使用的存儲過程。通過創建一個數據層應用，SQL Server包版本和每個Visual Studio編譯版本一起保存，也就是可以將應用程序和資料庫構建成一個統一的版本，方便後期維護和管理。8.Unicode壓縮SQL Server 2008 R2使用一個新的演算法，為Unicode存儲提供了一個簡單的壓縮方案，通過Unicode壓縮，可以減少Unicode字元對空間的佔用，它由SQL Server引擎自動管理，因此不需要修改現有應用程序，DBA也無須做任何干涉。9.SQL Server Utility新的SQL Server Utility是一個集中控制多個SQL Server實例的倉庫對象，性能數據和配置策略可以存儲在一個單一的Utility中，Utility也包括一個資源管理器工具，可以創建多個伺服器儀錶板。10.多伺服器儀錶板雖然SQL Server Management Studio也可以連接到多個伺服器，但不能在一個集中的視圖上查看所有的資料庫，每個資料庫伺服器需要獨立管理，在SQL Server 2008 R2中，可以創建同時顯示多個伺服器的儀錶板。 希望能夠幫到你~

⑥ 什麼叫「上鑽」、「下鑽」、「切片」和「轉軸」這是屬於資料庫哪一章的內容

上鑽：從當前數據往上回歸到上一層數據。例如：（某數據的分類下面分為品名）從品名列表收攏到分類列表。

下鑽：從當前數據往下展開下一層數據。例如：（某數據的分類下面分為品名）從分類列表展開到品名列表。

上鑽、下鑽統稱鑽取。

切片：展現同一層面的數據。如上述的產品。

轉軸：這些應該屬於查詢、展現范疇。

原材料

標準的馬氏體不銹鋼是：403、410、414、416、416(Se)、420、431、440A、440B和440C型，這些鋼材的耐腐蝕性來自「鉻」，其范圍是從11.5至18%，鉻含量愈高的鋼材需碳含量愈高，以確保在熱處理期間馬氏體的形成，上述三種440型不銹鋼很少被考慮做為需要焊接的應用，且440型成份的熔填金屬不易取得。

以上內容參考：網路-轉軸

⑦ 關系型資料庫查詢結果如何支持下鑽

關系型資料庫查詢結果如何支持下鑽
一、數倉基本概念
1. 數據倉庫架構
我們在談數倉之前，為了讓大家有直觀的認識，先來談數倉架構，「架構」是什麼？這個問題從來就沒有一個准確的答案。這里我們引用一段話：在軟體行業，一種被普遍接受的架構定義是指系統的一個或多個結構。結構中包括軟體的構建（構建是指軟體的設計與實現），構建的外部可以看到屬性以及它們之間的相互關系。

這里參考此定義，把數據倉庫架構理解成構成數據倉庫的組件及其之間的關系，畫出下面的數倉架構圖：



數倉架構

上圖中顯示的整個數據倉庫環境包括操作型系統和數據倉庫系統兩大部分。操作型系統的數據由各種形式的業務數據組成，這些數據經過抽取、轉換和裝載（ETL）過程進入數據倉庫系統。

任何事物都是隨著時間的演進變得越來越完善，當然也是越來越復雜，數倉也不例外。在數據倉庫技術演化過程中，產生了幾種主要的架構方法，包括數據集市架構、Inmon企業信息工廠架構、Kimball數據倉庫架構、混合型數據倉庫架構。這幾種架構我們後面再講，接下來看下數倉的基本概念。

2. 數據倉庫概念
英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環境，為企業提供決策支持（Decision Support）。它出於分析性報告和決策支持目的而創建。

數據倉庫本身並不「生產」任何數據，同時自身也不需要「消費」任何的數據，數據來源於外部，並且開放給外部應用，這也是為什麼叫「倉庫」，而不叫「工廠」的原因。

1) 基本特徵
數據倉庫是面向主題的、集成的、非易失的和時變的數據集合，用以支持管理決策。

面向主題:
傳統資料庫中，最大的特點是面向應用進行數據的組織，各個業務系統可能是相互分離的。而數據倉庫則是面向主題的。主題是一個抽象的概念，是較高層次上企業信息系統中的數據綜合、歸類並進行分析利用的抽象。在邏輯意義上，它是對應企業中某一宏觀分析領域所涉及的分析對象。

集成性:
通過對分散、獨立、異構的資料庫數據進行抽取、清理、轉換和匯總便得到了數據倉庫的數據，這樣保證了數據倉庫內的數據關於整個企業的一致性。

數據倉庫中的綜合數據不能從原有的資料庫系統直接得到。因此在數據進入數據倉庫之前，必然要經過統一與綜合，這一步是數據倉庫建設中最關鍵、最復雜的一步，所要完成的工作有：

要統一源數據中所有矛盾之處，如欄位的同名異義、異名同義、單位不統一、字長不一致，等等。
進行數據綜合和計算。數據倉庫中的數據綜合工作可以在從原有資料庫抽取數據時生成，但許多是在數據倉庫內部生成的，即進入數據倉庫以後進行綜合生成的。
下圖說明一個保險公司綜合數據的簡單處理過程，其中數據倉庫中與「保險」 主題有關的數據來自於多個不同的操作型系統。這些系統內部數據的命名可能不同，數據格式也可能不同。把不同來源的數據存儲到數據倉庫之前，需要去除這些不一致。