數據處理腳本
Ⅰ 數據ETL是指什麼
對於做過 BI 開發的朋友，ETL 並不陌生，只要涉及到數據源的數據抽取、數據的計算和處理過程的開發，都是 ETL，ETL 就這三個階段，Extraction 抽取，Transformation 轉換，Loading 載入。
從不同數據源抽取數據 EXTRACTION ，按照一定的數據處理規則對數據進行加工和格式轉換 TRASFORMATION，最後處理完成的輸出到目標數據表中也有可能是文件等等，這個就是 LOADING。
再通俗一點講，ETL 的過程就跟大家日常做菜一樣，需要到菜市場的各個攤位買好菜，把菜買回來要摘一下，洗一洗，切一切最後下鍋把菜炒好端到飯桌上。菜市場的各個攤位就是數據源，做好的菜就是最終的輸出結果，中間的所有過程像摘菜、洗菜、切菜、做菜就是轉換。
在開發的時候，大部分時候會通過 ETL 工具去實現，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟 sql SERVER 裡面的 SSIS 等等，在結合基本的 SQL 來實現整個 ETL 過程。
也有的是自己通過程序開發，然後控制一些數據處理腳本跑批，基本上就是程序加 SQL 實現。
哪種方式更好，也是需要看使用場景和開發人員對那種方式使用的更加得心應手。我看大部分軟體程序開發人員出身的，碰到數據類項目會比較喜歡用程序控制跑批，這是程序思維的自然延續。純 BI 開發人員大部分自然就選擇成熟的 ETL 工具來開發，當然也有一上來就寫程序腳本的，這類 BI 開發人員的師傅基本上是程序人員轉過來的。
用程序的好處就是適配性強，可擴展性強，可以集成或拆解到到任何的程序處理過程中，有的時候使用程序開發效率更高。難就難在對維護人員有一定的技術要求，經驗轉移和可復制性不夠。
用 ETL 工具的好處，第一是整個 ETL 的開發過程可視化了，特別是在數據處理流程的分層設計中可以很清晰的管理。第二是鏈接到不同數據源的時候，各種數據源、資料庫的鏈接協議已經內置了，直接配置就可以，不需要再去寫程序去實現。第三是各種轉換控制項基本上拖拉拽就可以使用，起到簡化的代替一部分 SQL 的開發，不需要寫代碼去實現。第四是可以非常靈活的設計各種 ETL 調度規則，高度配置化，這個也不需要寫代碼實現。
所以在大多數通用的項目中，在項目上使用 ETL 標准組件開發會比較多一些。
ETL 從邏輯上一般可以分為兩層，控制流和數據流，這也是很多 ETL 工具設計的理念，不同的 ETL 工具可能叫法不同。
控制流就是控制每一個數據流與數據流處理的先後流程，一個控制流可以包含多個數據流。比如在數據倉庫開發過程中，第一層的處理是ODS層或者Staging 層的開發，第二層是 DIMENSION維度層的開發，後面幾層就是DW 事實層、DM數據集市層的開發。通過ETL的調度管理就可以讓這幾層串聯起來形成一個完整的數據處理流程。
數據流就是具體的從源數據到目標數據表的數據轉換過程，所以也有 ETL 工具把數據流叫做轉換。在數據流的開發設計過程中主要就是三個環節，目標數據表的鏈接，這兩個直接通過 ETL 控制項配置就可以了。中間轉換的環節，這個時候就可能有很多的選擇了，調 SQL 語句、存儲過程，或者還是使用 ETL 控制項來實現。
有的項目上習慣使用 ETL 控制項來實現數據流中的轉換，也有的項目要求不使用標準的轉換組件使用存儲過程來調用。也有的是因為數據倉庫本身這個資料庫不支持存儲過程就只能通過標準的SQL來實現。
我們通常講的BI數據架構師其實指的就是ETL的架構設計，這是整個BI項目中非常核心的一層技術實現，數據處理、數據清洗和建模都是在ETL中去實現。一個好的ETL架構設計可以同時支撐上百個包就是控制流，每一個控制流下可能又有上百個數據流的處理過程。之前寫過一篇技術文章，大家可以搜索下關鍵字 BIWORK ETL 應該在網上還能找到到這篇文章。這種框架設計不僅僅是ETL框架架構上的設計，還有很深的ETL項目管理和規范性控制器思想，包括後期的運維，基於BI的BI分析，ETL的性能調優都會在這些框架中得到體現。因為大的BI項目可能同時需要幾十人來開發ETL，框架的頂層設計就很重要。
Ⅱ mysql資料庫 清理數據的腳本！腳本問題！
步驟如下：
首先使用mysql提供的命令行界面來導入資料庫，確保自己的電腦中安裝了mysql資料庫，可以通過命令行來確認是否安裝了mysql資料庫，當然，第一步是打開mysql的資料庫服務，使用命令行來打開:如下圖所示:
啟動mysql後，找到需要用到的腳本文件，也就是資料庫文件，首先得建立一個資料庫，這樣才可以導入腳本，如下圖所示:
在將腳本拷到本地磁碟的根目錄，這樣方便進入找到腳本，這里以d盤來說明，使用test.sql:接著來到命令行，使用source
d:/test.sql;來導入資料庫,先進入mysql，如下圖所示:
首先要在資料庫中建立好資料庫，然後導入腳本，所以先建立一個資料庫，不要腳本是不知道要往哪個資料庫中導入腳本的，如下圖所示:
然後就可以輸入導入.sql文件命令：
mysql>
use
資料庫名;
mysql>
source
d:/test.sql;
如下圖所示:
看到上面的畫面，說明mysql資料庫已經導入成功了。
Ⅲ 基於R語言的數據標准化處理腳本
基於R語言的數據標准化處理腳本
數據標准化（Normalization）
將數據按比例縮放，使之落入一個小的特定區間。去除數據的單位限制，將其轉化為無量綱的純數值，便於不同單位或量級的指標能夠進行比較和加權。
數據標准化處理主要包括數據同趨化處理和無量綱化處理兩個方面。
數據同趨化處理主要解決不同性質數據問題，對不同性質指標直接加總不能正確反映不同作用力的綜合結果，須先考慮改變逆指標數據性質，使所有指標對測評方案的作用力同趨化，再加總才能得出正確結果。
數據無量綱化處理主要解決數據的可比性。數據標准化的方法有很多種，常用的有「最小—最大標准化」、「Z-score標准化」和「按小數定標標准化」等。經過上述標准化處理，原始數據均轉換為無量綱化指標測評值，即各指標值都處於同一個數量級別上，可以進行綜合測評分析。
min-max標准化（Min-max normalization）
也叫離差標准化，是對原始數據的線性變換，使結果落在[0,1]區間，轉換函數如下：
正向指標：（x-min）/（max-min）
負向指標：（max-x）/（max-min）
其中max為樣本數據的最大值，min為樣本數據的最小值。這種方法有一個缺陷就是當有新數據加入時，可能導致max和min的變化，需要重新定義。
R語言實現
# 標准化處理
min.max.norm <- function(x){
((x-min(x))/(max(x)-min(x)))
} #正向指標
max.min.norm <- function(x){
((max(x)-x)/(max(x)-min(x)))
} #負向指標
data_1 <- apply(data[,-c(3,4)],2,min.max.norm) #正向指標處理
data_2 <- apply(data[,c(3,4)],2,max.min.norm) #負向指標處理
#注意array只能用在二維及以上
data_t <- cbind(data_1,data_2)
Ⅳ 什麼是CGI，什麼是CGI腳本
CGI是Common Gateway Interface的縮寫，是用於連接主頁和應用程序的介面。眾所周知，HTML語言的功能是比較貧乏的，難以完成諸如訪問資料庫等一類的操作，而實際的情況則是經常需要先對資料庫進行操作（比如文件檢索系統），然後把訪問的結果動態地顯示在主頁上。諸如此類的需求只用HTML是無法做到的，所以CGI便應運而生。CGI是在WebServer端運行的一個可執行程序，由主頁的一個熱鏈接激活進行調用，並對該程序的返回結果進行處理，顯示在主頁上。簡而言之，CGI就是為了擴展主頁的功能而設立的。隨後，諸如IDC、ASP、ISAPI、NSAPI等技術也發展起來了，它們的目的是相同的，只是編寫起來更容易、功能更豐富。
Ⅳ shell腳本，對數據處理，求指導，用awk怎麼實現
用下面這個命令來執行下就行了
#awk '{k=substr($0,1,5);m[k]+=1;if($0>=l[k]){l[k]=$0};if($0<=o[k] || !o[k]){o[k]=$0}}END{for(a in m) print a,"|",m[a],"|",l[a],"|",o[a]}' 1.txt
如果想定向到別的文件，直接用">"和">>"指向的文件就行了。
上面的完全由awk實現，應該完全滿足你的需求吧？
Ⅵ 什麼是資料庫腳本
資料庫腳本，即用於創建資料庫對象的語句的集合。Transact-SQL腳本保存為文件，文件名通常以 .sql結尾。
具體使用環境包含：MY-SQL，SQLServer,oracle。
資料庫腳本包含：存儲過程[Procere]，事務[transaction]等，索引[Index]，觸發器[Trigger]，函數[Function]等。
使用腳本的好處：可以提高數據訪問的效率，並進行相關的數據處理。
Ⅶ 數據處理方式
什麼是大數據：大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性），網路隨便找找都有。
大數據處理流程：
1.是數據採集,搭建數據倉庫，數據採集就是把數據通過前端埋點，介面日誌調用流數據，資料庫抓取，客戶自己上傳數據，把這些信息基礎數據把各種維度保存起來，感覺有些數據沒用（剛開始做只想著功能，有些數據沒採集， 後來被老大訓了一頓）。
2.數據清洗/預處理：就是把收到數據簡單處理，比如把ip轉換成地址，過濾掉臟數據等。
3.有了數據之後就可以對數據進行加工處理，數據處理的方式很多，總體分為離線處理，實時處理，離線處理就是每天定時處理，常用的有阿里的maxComputer,hive,MapRece,離線處理主要用storm,spark,hadoop,通過一些數據處理框架，可以吧數據計算成各種KPI,在這里需要注意一下，不要只想著功能，主要是把各種數據維度建起來，基本數據做全，還要可復用，後期就可以把各種kpi隨意組合展示出來。
4.數據展現，數據做出來沒用，要可視化，做到MVP，就是快速做出來一個效果，不合適及時調整，這點有點類似於Scrum敏捷開發，數據展示的可以用datav，神策等，前端好的可以忽略，自己來畫頁面。
數據採集：
1.批數據採集，就是每天定時去資料庫抓取數據快照，我們用的maxComputer，可以根據需求，設置每天去資料庫備份一次快照，如何備份，如何設置數據源，如何設置出錯，在maxComputer都有文檔介紹，使用maxComputer需要注冊阿里雲服務
2.實時介面調用數據採集，可以用logHub,dataHub,流數據處理技術,DataHub具有高可用，低延遲，高可擴展，高吞吐的特點。
高吞吐：最高支持單主題（Topic）每日T級別的數據量寫入，每個分片（Shard）支持最高每日8000萬Record級別的寫入量。
實時性：通過DataHub ，您可以實時的收集各種方式生成的數據並進行實時的處理，
設計思路：首先寫一個sdk把公司所有後台服務調用介面調用情況記錄下來，開辟線程池，把記錄下來的數據不停的往dataHub,logHub存儲，前提是設置好接收數據的dataHub表結構
3.前台數據埋點，這些就要根據業務需求來設置了，也是通過流數據傳輸到數據倉庫，如上述第二步。
數據處理：
數據採集完成就可以對數據進行加工處理，可分為離線批處理，實時處理。
1.離線批處理maxComputer，這是阿里提供的一項大數據處理服務，是一種快速，完全託管的TB/PB級數據倉庫解決方案，編寫數據處理腳本，設置任務執行時間，任務執行條件，就可以按照你的要求，每天產生你需要數據
2.實時處理：採用storm/spark,目前接觸的只有storm,strom基本概念網上一大把，在這里講一下大概處理過程，首先設置要讀取得數據源，只要啟動storm就會不停息的讀取數據源。Spout，用來讀取數據。Tuple：一次消息傳遞的基本單元，理解為一組消息就是一個Tuple。stream,用來傳輸流，Tuple的集合。Bolt：接受數據然後執行處理的組件,用戶可以在其中執行自己想要的操作。可以在里邊寫業務邏輯，storm不會保存結果，需要自己寫代碼保存，把這些合並起來就是一個拓撲，總體來說就是把拓撲提交到伺服器啟動後，他會不停讀取數據源，然後通過stream把數據流動，通過自己寫的Bolt代碼進行數據處理，然後保存到任意地方，關於如何安裝部署storm，如何設置數據源，網上都有教程，這里不多說。
數據展現：做了上述那麼多，終於可以直觀的展示了，由於前端技術不行，借用了第三方展示平台datav,datav支持兩種數據讀取模式，第一種，直接讀取資料庫，把你計算好的數據，通過sql查出，需要配置數據源，讀取數據之後按照給定的格式，進行格式化就可以展現出來
@jiaoready @jiaoready 第二種採用介面的形式，可以直接採用api，在數據區域配置為api，填寫介面地址，需要的參數即可，這里就不多說了。
Ⅷ SQL數據批量處理腳本
update table set a = replace(a,'\\原伺服器名\原共享名','\\新伺服器名\新共享名')
Ⅸ etl的概念，etl和elt數據處理上的區別
對於做過 BI 開發的朋友，ETL 並不陌生，只要涉及到數據源的數據抽取、數據的計算和處理過程的開發，都是 ETL，ETL 就這三個階段，Extraction 抽取，Transformation 轉換，Loading 載入。
從不同數據源抽取數據 EXTRACTION ，按照一定的數據處理規則對數據進行加工和格式轉換 TRASFORMATION，最後處理完成的輸出到目標數據表中也有可能是文件等等，這個就是 LOADING。
再通俗一點講，ETL 的過程就跟大家日常做菜一樣，需要到菜市場的各個攤位買好菜，把菜買回來要摘一下，洗一洗，切一切最後下鍋把菜炒好端到飯桌上。菜市場的各個攤位就是數據源，做好的菜就是最終的輸出結果，中間的所有過程像摘菜、洗菜、切菜、做菜就是轉換。
在開發的時候，大部分時候會通過 ETL 工具去實現，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟 SQL SERVER 裡面的 SSIS 等等，在結合基本的 SQL 來實現整個 ETL 過程。
也有的是自己通過程序開發，然後控制一些數據處理腳本跑批，基本上就是程序加 SQL 實現。
哪種方式更好，也是需要看使用場景和開發人員對那種方式使用的更加得心應手。我看大部分軟體程序開發人員出身的，碰到數據類項目會比較喜歡用程序控制跑批，這是程序思維的自然延續。純 BI 開發人員大部分自然就選擇成熟的 ETL 工具來開發，當然也有一上來就寫程序腳本的，這類 BI 開發人員的師傅基本上是程序人員轉過來的。
用程序的好處就是適配性強，可擴展性強，可以集成或拆解到到任何的程序處理過程中，有的時候使用程序開發效率更高。難就難在對維護人員有一定的技術要求，經驗轉移和可復制性不夠。
用 ETL 工具的好處，第一是整個 ETL 的開發過程可視化了，特別是在數據處理流程的分層設計中可以很清晰的管理。第二是鏈接到不同數據源的時候，各種數據源、資料庫的鏈接協議已經內置了，直接配置就可以，不需要再去寫程序去實現。第三是各種轉換控制項基本上拖拉拽就可以使用，起到簡化的代替一部分 SQL 的開發，不需要寫代碼去實現。第四是可以非常靈活的設計各種 ETL 調度規則，高度配置化，這個也不需要寫代碼實現。
所以在大多數通用的項目中，在項目上使用 ETL 標准組件開發會比較多一些。
ETL 從邏輯上一般可以分為兩層，控制流和數據流，這也是很多 ETL 工具設計的理念，不同的 ETL 工具可能叫法不同。
控制流就是控制每一個數據流與數據流處理的先後流程，一個控制流可以包含多個數據流。比如在數據倉庫開發過程中，第一層的處理是ODS層或者Staging 層的開發，第二層是 DIMENSION維度層的開發，後面幾層就是DW 事實層、DM數據集市層的開發。通過ETL的調度管理就可以讓這幾層串聯起來形成一個完整的數據處理流程。
數據流就是具體的從源數據到目標數據表的數據轉換過程，所以也有 ETL 工具把數據流叫做轉換。在數據流的開發設計過程中主要就是三個環節，目標數據表的鏈接，這兩個直接通過 ETL 控制項配置就可以了。中間轉換的環節，這個時候就可能有很多的選擇了，調 SQL 語句、存儲過程，或者還是使用 ETL 控制項來實現。
有的項目上習慣使用 ETL 控制項來實現數據流中的轉換，也有的項目要求不使用標準的轉換組件使用存儲過程來調用。也有的是因為數據倉庫本身這個資料庫不支持存儲過程就只能通過標準的SQL來實現。
我們通常講的BI數據架構師其實指的就是ETL的架構設計，這是整個BI項目中非常核心的一層技術實現，數據處理、數據清洗和建模都是在ETL中去實現。一個好的ETL架構設計可以同時支撐上百個包就是控制流，每一個控制流下可能又有上百個數據流的處理過程。之前寫過一篇技術文章，大家可以搜索下關鍵字 BIWORK ETL 應該在網上還能找到到這篇文章。這種框架設計不僅僅是ETL框架架構上的設計，還有很深的ETL項目管理和規范性控制器思想，包括後期的運維，基於BI的BI分析，ETL的性能調優都會在這些框架中得到體現。因為大的BI項目可能同時需要幾十人來開發ETL，框架的頂層設計就很重要。
Ⅹ 資料庫腳本作用
資料庫腳本的作用：可以提高數據訪問的效率，並進行相關的數據處理。
定義：
用於創建資料庫對象的語句的集合。Transact-SQL腳本保存為文件，文件名通常以
.sql結尾。
具體使用環境包含：MY-SQL，SQLServer,oracle。
資料庫腳本包含：存儲過程[Procere]，事務[transaction]等，索引[Index]，觸發器[Trigger]，函數[Function]等。
注意事項：
如果其他用戶可以修改設計時驗證資料庫的實例，則可能添加或更改將在生成腳本中結束的對象。生成輸出將生成這些對象（例如，DDL
觸發器），而且這些對象將在資料庫部署者的上下文中運行。這些對象不一定出現在「解決方案資源管理器」或「架構視圖」中。當資料庫項目與所部署的資料庫進行比較時，「架構比較」功能將檢測不到任何區別，因為設計時驗證資料庫中也包含這些對象。
要盡可能降低資料庫的風險，應注意以下兩點：
1、不要與其他用戶共享設計時驗證資料庫的實例。
2、在部署生成資料庫腳本之前對它們進行檢查。