kettleftp下載

1. kettle教程是什麼

kettle 是純 java 開發，開源的 ETL工具，用於資料庫間的數據遷移 。可以在 linux、windows、unix 中運行。有圖形界面，也有命令腳本還可以二次開發。

kettle 的官網是https://community.hitachivantara.com/docs/DOC-1009855，github地址是https://github.com/pentaho/pentaho-kettle。

安裝。

這邊以 windows 下的配置為例，linux 下配置類似。

jdk 安裝及配置環境變數。

由於 kettle 是基於 java 的，因此需要安裝 java 環境，並配置 JAVA_HOME 環境變數。

建議安裝 JDK1.8 及以上，7.0以後版本的 kettle 不支持低版本 JDK。

下載 kettle。

從 官網 下載 kettle ，解壓到本地即可。

下載相應的資料庫驅動。

由於 kettle 需要連接資料庫，因此需要下載對應的資料庫驅動。

例如 Mysql 資料庫需要下載 mysql-connector-java.jar，oracle 資料庫需要下載 ojdbc.jar。下載完成後，將 jar 放入 kettle 解壓後路徑的 lib 文件夾中即可。

注意：本文基於 pdi-ce-7.0.0.0-25 版本進行介紹，低版本可能有區別。

啟動。

雙擊 Spoon.bat 就能啟動 kettle 。

轉換。

轉換包括一個或多個步驟，步驟之間通過跳（hop）來連接。跳定義了一個單向通道，允許數據從一個步驟流向另一個步驟。在Kettle中，數據的單位是行，數據流就是數據行從一個步驟到另一個步驟的移動。

1、打開 kettle，點擊 文件->新建->轉換。

2、在左邊 DB 連接處點擊新建。

3、根據提示配置資料庫，配置完成後可以點擊測試進行驗證，這邊以 MySQL 為例。

4、在左側找到表輸入（核心對象->輸入->表輸入），拖到右方。

5、雙擊右側表輸入，進行配置，選擇數據源，並輸入 SQL。可以點擊預覽進行預覽數據。

6、在左側找到插入/更新（核心對象->輸出->插入/更新），拖到右方。

7、按住 Shift 鍵，把表輸入和插入/更新用線連接起來。

8、雙擊插入/更新進行配置。

9、點擊運行，就可以運行這一個轉換。

10、運行結束後，我們可以在下方看到運行結果，其中有日誌，數據預覽等，我們可以看到一共讀取了多少條數據，插入更新了多少數據等等。

這樣就完成了一個最簡單的轉換，從一個表取數據，插入更新到另一個表。

作業。

如果想要定時運行這個轉換，那麼就要用到作業。

1、新建一個作業。

2、從左側依次拖動 START 、轉換、成功到右側，並用線連接起來。

3、雙擊 START，可以配置作業的運行間隔，這邊配置了每小時運行一次。

4、雙擊轉換，選擇之前新建的那個轉換。

5、點擊運行，就能運行這次作業，點擊停止就能停止。在下方執行結果，可以看到運行的日誌。

這樣就完成了一個最簡單的作業，每隔1小時，將源表的數據遷移到目標表。

總結：kettle 是一個非常強大的 ETL 工具，通過圖形化界面的配置，可以實現數據遷移，並不用開發代碼。

通過它的作業，kettle 能自動地運行轉換。

2. 我現在想通過kettle 將一個遠程目錄的文件復制到另外一個遠程目錄下，求思路。

遇到相同問題，覺得應該可以嘗試藉助ftp工具，本地的文件上傳至FTP，遠程伺服器那邊從FTP下載到遠程主機本地；然後定時執行這個作業

3. linux下怎樣安裝使用kettle

安裝JDK環境：根據自己的linux系統選擇相應的版本，比如我的centos7是x64的，所以我選擇jdk-8u74-linux-x64.tar.gz下載
下載下來以後，我們將其移到我們創建的一個目錄中,存放tar包的目錄為/usr/local/src/jdk,然後解壓：
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
編輯 vi /etc/profile 文件
在文件後面添加：
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
執行 . /etc/profile
配置成功後，關閉終端，重新進入，輸入java –version 如果出現版本號什麼的，就證明jdk安裝成功
1. 將data-integration文件夾直接拷貝到/usr/local/kettle文件夾下面
cd /usr/local/kettle/data-integration 進入該目錄
為所有.sh文件賦予執行許可權
chmod +x *.sh
然後在終端鍵入./kitchen.sh 如果出現幫助信息，說明kettle安裝成功
./kitchen.sh -----運行job
./span.sh -----運行轉換
1. 在kettle下建立data 文件夾，用來存放轉換和job文件
建立ktllog 文件夾，用來存放日誌文件
建立ktlsh 文件夾，用來存放腳本文件
1. 在ktlsh文件夾中新建執行job的文件，
新建文件命令: touch xxx.sh
並賦予文件執行權游脊限
chmod +x xxx.sh

編輯xxx.sh文件
Vi xxx.sh
輸入 ：
#!/bin/sh
source /etc/profile 配置環境變數（使用crontab時候，由於crontab不識別系統的環境變數，所以需要我們這邊再配置一遍）

ROOT_TOPDIR=/usr/local/kettle
Export ROOT_TOPDIR --設置kettle目錄
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要執行的job的文件（絕對路徑）

保存!
可在ktlsh目錄下直接執行./塌態xxx.sh 文件運行
1. 配置crontab 定期執行作業或者轉換
基本格式 :
*****command
分時日月周命令
第1列表示分鍾1～59 每分鍾用*或者 */1表示 第2列表示小時1～23（0表示0點） 第3列表示日期1～31 第4列表示月份1～12 第5列標識號星期0～6（0表示星期天） 第6列要運行的命令
在crontab中配置自動每天12點30分執行xxx.sh文件
編輯crontab : crontab –e
增加一行
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh

如果要輸出日誌可
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh >> /usr/local/kettle/ktllog/log01
如果ktllog下面不存在log01文件會自動創建
配置完後神衫滲重啟crontab服務：
Service crond restart
查看crontab服務
Service crond status
查看crontab中的內容
Crontab –1

4. win7 安裝kettle7.0報錯 怎麼解決

方法/步驟

先從官方下載kettle。如果系統沒有安裝jdk，也需要下載。
至於下載地址，上網路一搜【kettle】、【jdk下載】就好了。
kettle下載下來是一個壓縮包，類似pdi-ce-6.0.0.0-353.zip；jdk選擇Windows安裝版的話，一般是一個exe可執行程序。

安裝jdk也很簡單，下一步下一步最後就安裝好了。此處就不詳說了。
我的jdk安裝在了：D:\Program Files (x86)\Java\jdk1.7.0_02，這個路徑待會需要使用。

設置kettle的java環境變數。
以win7為例：【開始】->【計算機】->【屬性】->【高級系統屬性】->【高級】->【環境變數】->【新建】，創建用戶變數。變數名輸入：PENTAHO_JAVA_HOME；變數值輸入剛才jdk的安裝路徑。

部署kettle。
將剛剛下載的kettle壓縮包解壓出來。
進入解壓路徑，你可以看到一些子目錄，以及一些bat文件。

啟動kettle。
在根目錄可以看到有一個叫Spoon.bat的文件，雙擊這個就可以啟動我們的kettle程序了。
你也可以把這個文件創建一個快捷方式到桌面，就不用每次都到這個目錄來找了。

啟動一小會，就可以看到kettle的主界面了。
可以看到有一些教程的鏈接。如果有注意，在根目錄里，有一個叫samples的子目錄，里邊有很多小栗子。
這樣kettle部署配置就完成了。

5. Kettle spoon 下的ftp功能報錯，大家給看看這該怎麼配置啊

FTPS一般埠是22吧，先測試下是否連接成功 test connection

6. 如何修改kettle slaveserver的最大連接數

背景

在使用ftp下載插件時，發現進行本地執行時可以正常，但當選擇了遠程執行並指定了遠程伺服器後發現出現了錯誤：從 FTP:User cannot log in. 獲取文件時發生錯誤。根據錯誤信息可以判斷是因為ftp登錄不上的原因，至於具體的原因無法定位，為了一探究竟，於是便萌生了調試遠程作業的想法，順便深入了解一下了解kettle運行原理以及源碼學習。

思路
carte伺服器實際上就是一個web server,該web server 是基於 Jetty 這個嵌入式的開源 servlet 容器。這個web server主要是提供轉換運行的環境，另外一個重要的功能通過提供servlet來在客戶端、主伺服器和從屬伺服器之間進行通訊和控制。主伺服器和從屬 伺服器之間是通過httpClient來進行通訊的，通訊時傳遞的數據是xml格式。通過提供的servlet,可以實現啟動、停止、暫停轉換或者作業、 獲得轉換或者作業的狀態、注冊子伺服器、獲得子伺服器的列表等等.
其實思路以及LZ使用的方法很簡單：通過java代碼在eclipse中啟動一個Carte伺服器，然後遠程執行作業時指定伺服器作為載體。
搭建Carte服務啟動環境
首先創建一個普通的java project項目，如果沒有kettle源碼環境的話可以創建maven project，這樣直接從中心倉庫上面獲得jar包以及源碼。剛好LZ之前有編譯過kettle源碼且已 經作為項目導入了eclipse中，所以 源碼以及相關kettle的jar包都已經有了。
創建了項目後，需要把相關的jar包加到java bulid path中，下面的jar包也可以從PDI工具的lib目錄下獲得：

把依賴包加入到項目中後，創建一個類來啟動Carte服務：
public class CarteServer {
publicstaticvoid main(String[] args) throws Exception {
SlaveServerConfig config =new SlaveServerConfig("192.168.31.43", 7088,true);//ip與埠與通過Carte.bat啟動時指定的參數一樣
Carte.runCarte(config); //通過該靜態方法啟動carte
}
}

開始遠程調試

1.啟動carte服務，建好CarteServer類後，直接debug as --> java application，即可啟動carte服務，在控制台可以看到以下信息：
2016/08/11 10:55:55 - Carte - 創建 web 服務監聽器 @ 地址: 192.168.31.43:7088
2016-08-11 10:55:55.912:INFO::jetty-6.1.26
2016-08-11 10:55:55.933:INFO::Started [email protected]:7088

2.打開spoon工具，創建一個job，下面的job是從ftp伺服器上下載文件：

3.因為作業用到了FTP下載插件，在源碼中對應JobEntryFTP類，打開該類並在execute()方法中打上斷點：


4.運行job，選擇遠程執行，選擇上述類CarteServer中啟動的伺服器（要先在spoon工具中新建一個子伺服器）：

5.觀察斷點位置，看到已經進入了調試：

大功告成，至於ftp下載插件為什麼在遠程執行中錯誤另外說明。
遠程執行流程
用戶運行kettle作業並選擇「遠程執行」，觸發org.pentaho.di.job.Job類的sendToSlaveServer方法
在sendToSlaveServer方法中，首先生成XML格式的作業元數據描述。
調用SlaveServer的sendXML()方法把這些元數據會被發送到遠程的carte伺服器。
伺服器端AddJobServlet接收到請求後，進入doGet()方法通過元數據構造出Job實體並把作業保存到JobMap中。
在sendToSlaveServer方法中，把XML發送到carte伺服器後，接著調用SlaveServer的execService()方法進行啟動遠程的job
此時伺服器端StartJobServlet會接收到請求後，會給job(其實是一個Thread)做一堆初始化工作，最後調用job的start方法進行啟動。

7. 關於ETL工具kettle連接國產達夢資料庫問題，用過的請進

1、下載最新的kettle版本

2、把達夢對應JDK版本的jdbc驅動放在D:\kettle\pdi-ce-4.4.0-stable\data-integration\libext\JDBC安裝目錄下面

3、在connection type中選擇generic database右側填好url和Driver

8. kettle 找不到ftp怎麼用

我也遇到這問題了，分享一下解決方法吧以後沒准還有人能用到。我機器的主要問題是環境變數JAVA_HOME的值不對，應該寫到jdk也就是C:\Program Files\Java\jdk1.7.0_25，並且，改完後要重啟機器才行（這個很重要）。

9. 求Kettle 源代碼 下載地址及 Kettle java api教程...

http://kettle.pentaho.com/下載地址！想要什麼自己選
http://wiki.pentaho.com/display/EAI/Getting+Started基礎教程
http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps詳細教程

10. 如何安裝kettle

【好評贈送】Kettle軟體包6.1-8(1).2，免費下載

鏈接:https://pan..com/s/1qSJoR5D1Ih9ZtfYEfncQKg

kettle 是純 java 開發，開源的 ETL工具，用於資料庫間的數據遷移 。可以在 Linux、windows、unix 中運行。有圖形界面，也有命令腳本還可以二次開發。