kettleftp下载

1. kettle教程是什么

kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。

kettle 的官网是https://community.hitachivantara.com/docs/DOC-1009855，github地址是https://github.com/pentaho/pentaho-kettle。

安装。

这边以 windows 下的配置为例，linux 下配置类似。

jdk 安装及配置环境变量。

由于 kettle 是基于 java 的，因此需要安装 java 环境，并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上，7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle。

从 官网 下载 kettle ，解压到本地即可。

下载相应的数据库驱动。

由于 kettle 需要连接数据库，因此需要下载对应的数据库驱动。

例如 Mysql 数据库需要下载 mysql-connector-java.jar，oracle 数据库需要下载 ojdbc.jar。下载完成后，将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

注意：本文基于 pdi-ce-7.0.0.0-25 版本进行介绍，低版本可能有区别。

启动。

双击 Spoon.bat 就能启动 kettle 。

转换。

转换包括一个或多个步骤，步骤之间通过跳（hop）来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

1、打开 kettle，点击 文件->新建->转换。

2、在左边 DB 连接处点击新建。

3、根据提示配置数据库，配置完成后可以点击测试进行验证，这边以 MySQL 为例。

4、在左侧找到表输入（核心对象->输入->表输入），拖到右方。

5、双击右侧表输入，进行配置，选择数据源，并输入 SQL。可以点击预览进行预览数据。

6、在左侧找到插入/更新（核心对象->输出->插入/更新），拖到右方。

7、按住 Shift 键，把表输入和插入/更新用线连接起来。

8、双击插入/更新进行配置。

9、点击运行，就可以运行这一个转换。

10、运行结束后，我们可以在下方看到运行结果，其中有日志，数据预览等，我们可以看到一共读取了多少条数据，插入更新了多少数据等等。

这样就完成了一个最简单的转换，从一个表取数据，插入更新到另一个表。

作业。

如果想要定时运行这个转换，那么就要用到作业。

1、新建一个作业。

2、从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。

3、双击 START，可以配置作业的运行间隔，这边配置了每小时运行一次。

4、双击转换，选择之前新建的那个转换。

5、点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。

这样就完成了一个最简单的作业，每隔1小时，将源表的数据迁移到目标表。

总结：kettle 是一个非常强大的 ETL 工具，通过图形化界面的配置，可以实现数据迁移，并不用开发代码。

通过它的作业，kettle 能自动地运行转换。

2. 我现在想通过kettle 将一个远程目录的文件复制到另外一个远程目录下，求思路。

遇到相同问题，觉得应该可以尝试借助ftp工具，本地的文件上传至FTP，远程服务器那边从FTP下载到远程主机本地；然后定时执行这个作业

3. linux下怎样安装使用kettle

安装JDK环境：根据自己的linux系统选择相应的版本，比如我的centos7是x64的，所以我选择jdk-8u74-linux-x64.tar.gz下载
下载下来以后，我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压：
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加：
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后，关闭终端，重新进入，输入java –version 如果出现版本号什么的，就证明jdk安装成功
1. 将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息，说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹，用来存放转换和job文件
建立ktllog 文件夹，用来存放日志文件
建立ktlsh 文件夹，用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件，
新建文件命令: touch xxx.sh
并赋予文件执行权游脊限
chmod +x xxx.sh

编辑xxx.sh文件
Vi xxx.sh
输入 ：
#!/bin/sh
source /etc/profile 配置环境变量（使用crontab时候，由于crontab不识别系统的环境变量，所以需要我们这边再配置一遍）

ROOT_TOPDIR=/usr/local/kettle
Export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件（绝对路径）

保存!
可在ktlsh目录下直接执行./塌态xxx.sh 文件运行
1. 配置crontab 定期执行作业或者转换
基本格式 :
*****command
分时日月周命令
第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令
在crontab中配置自动每天12点30分执行xxx.sh文件
编辑crontab : crontab –e
增加一行
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh

如果要输出日志可
30 12 * * * /usr/loca/kettle/ktlsh/xxx.sh >> /usr/local/kettle/ktllog/log01
如果ktllog下面不存在log01文件会自动创建
配置完后神衫渗重启crontab服务：
Service crond restart
查看crontab服务
Service crond status
查看crontab中的内容
Crontab –1

4. win7 安装kettle7.0报错 怎么解决

方法/步骤

先从官方下载kettle。如果系统没有安装jdk，也需要下载。
至于下载地址，上网络一搜【kettle】、【jdk下载】就好了。
kettle下载下来是一个压缩包，类似pdi-ce-6.0.0.0-353.zip；jdk选择Windows安装版的话，一般是一个exe可执行程序。

安装jdk也很简单，下一步下一步最后就安装好了。此处就不详说了。
我的jdk安装在了：D:\Program Files (x86)\Java\jdk1.7.0_02，这个路径待会需要使用。

设置kettle的java环境变量。
以win7为例：【开始】->【计算机】->【属性】->【高级系统属性】->【高级】->【环境变量】->【新建】，创建用户变量。变量名输入：PENTAHO_JAVA_HOME；变量值输入刚才jdk的安装路径。

部署kettle。
将刚刚下载的kettle压缩包解压出来。
进入解压路径，你可以看到一些子目录，以及一些bat文件。

启动kettle。
在根目录可以看到有一个叫Spoon.bat的文件，双击这个就可以启动我们的kettle程序了。
你也可以把这个文件创建一个快捷方式到桌面，就不用每次都到这个目录来找了。

启动一小会，就可以看到kettle的主界面了。
可以看到有一些教程的链接。如果有注意，在根目录里，有一个叫samples的子目录，里边有很多小栗子。
这样kettle部署配置就完成了。

5. Kettle spoon 下的ftp功能报错，大家给看看这该怎么配置啊

FTPS一般端口是22吧，先测试下是否连接成功 test connection

6. 如何修改kettle slaveserver的最大连接数

背景

在使用ftp下载插件时，发现进行本地执行时可以正常，但当选择了远程执行并指定了远程服务器后发现出现了错误：从 FTP:User cannot log in. 获取文件时发生错误。根据错误信息可以判断是因为ftp登录不上的原因，至于具体的原因无法定位，为了一探究竟，于是便萌生了调试远程作业的想法，顺便深入了解一下了解kettle运行原理以及源码学习。

思路
carte服务器实际上就是一个web server,该web server 是基于 Jetty 这个嵌入式的开源 servlet 容器。这个web server主要是提供转换运行的环境，另外一个重要的功能通过提供servlet来在客户端、主服务器和从属服务器之间进行通讯和控制。主服务器和从属 服务器之间是通过httpClient来进行通讯的，通讯时传递的数据是xml格式。通过提供的servlet,可以实现启动、停止、暂停转换或者作业、 获得转换或者作业的状态、注册子服务器、获得子服务器的列表等等.
其实思路以及LZ使用的方法很简单：通过java代码在eclipse中启动一个Carte服务器，然后远程执行作业时指定服务器作为载体。
搭建Carte服务启动环境
首先创建一个普通的java project项目，如果没有kettle源码环境的话可以创建maven project，这样直接从中心仓库上面获得jar包以及源码。刚好LZ之前有编译过kettle源码且已 经作为项目导入了eclipse中，所以 源码以及相关kettle的jar包都已经有了。
创建了项目后，需要把相关的jar包加到java bulid path中，下面的jar包也可以从PDI工具的lib目录下获得：

把依赖包加入到项目中后，创建一个类来启动Carte服务：
public class CarteServer {
publicstaticvoid main(String[] args) throws Exception {
SlaveServerConfig config =new SlaveServerConfig("192.168.31.43", 7088,true);//ip与端口与通过Carte.bat启动时指定的参数一样
Carte.runCarte(config); //通过该静态方法启动carte
}
}

开始远程调试

1.启动carte服务，建好CarteServer类后，直接debug as --> java application，即可启动carte服务，在控制台可以看到以下信息：
2016/08/11 10:55:55 - Carte - 创建 web 服务监听器 @ 地址: 192.168.31.43:7088
2016-08-11 10:55:55.912:INFO::jetty-6.1.26
2016-08-11 10:55:55.933:INFO::Started [email protected]:7088

2.打开spoon工具，创建一个job，下面的job是从ftp服务器上下载文件：

3.因为作业用到了FTP下载插件，在源码中对应JobEntryFTP类，打开该类并在execute()方法中打上断点：


4.运行job，选择远程执行，选择上述类CarteServer中启动的服务器（要先在spoon工具中新建一个子服务器）：

5.观察断点位置，看到已经进入了调试：

大功告成，至于ftp下载插件为什么在远程执行中错误另外说明。
远程执行流程
用户运行kettle作业并选择“远程执行”，触发org.pentaho.di.job.Job类的sendToSlaveServer方法
在sendToSlaveServer方法中，首先生成XML格式的作业元数据描述。
调用SlaveServer的sendXML()方法把这些元数据会被发送到远程的carte服务器。
服务器端AddJobServlet接收到请求后，进入doGet()方法通过元数据构造出Job实体并把作业保存到JobMap中。
在sendToSlaveServer方法中，把XML发送到carte服务器后，接着调用SlaveServer的execService()方法进行启动远程的job
此时服务器端StartJobServlet会接收到请求后，会给job(其实是一个Thread)做一堆初始化工作，最后调用job的start方法进行启动。

7. 关于ETL工具kettle连接国产达梦数据库问题，用过的请进

1、下载最新的kettle版本

2、把达梦对应JDK版本的jdbc驱动放在D:\kettle\pdi-ce-4.4.0-stable\data-integration\libext\JDBC安装目录下面

3、在connection type中选择generic database右侧填好url和Driver

8. kettle 找不到ftp怎么用

我也遇到这问题了，分享一下解决方法吧以后没准还有人能用到。我机器的主要问题是环境变量JAVA_HOME的值不对，应该写到jdk也就是C:\Program Files\Java\jdk1.7.0_25，并且，改完后要重启机器才行（这个很重要）。

9. 求Kettle 源代码 下载地址及 Kettle java api教程...

http://kettle.pentaho.com/下载地址！想要什么自己选
http://wiki.pentaho.com/display/EAI/Getting+Started基础教程
http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps详细教程

10. 如何安装kettle

【好评赠送】Kettle软件包6.1-8(1).2，免费下载

链接:https://pan..com/s/1qSJoR5D1Ih9ZtfYEfncQKg

kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。