一、Kettle 介绍
在介绍
Kettle
前先了解下什么是
ETL
，
ETL
是
Extract-Transform-Load
的缩写，即数据 抽取、转换、装载 的过程，对于企业或行业应用来说，经常会遇到各种异构数据的处理、转换、迁移等操作，这些操作有可能会面对大量的数据和繁琐的步骤，因此就萌生了一些
ETL
处理工具，市面上常见的
ETL
工具有很多，比如
Sqoop、DataX、Kettle、Talend
等，本篇文章就主要来介绍下
Kettle
工具。
Kettle
（水壶）是一款国外开源的
ETL
工具，现在已经更名为
PDI
，
Pentaho Data Integration-Pentaho
的缩写，由纯
java
编写，可以在
Window、Linux、Unix
上运行，绿色无需安装，数据抽取高效稳定。它可以处理各种异构数据库中的数据，并且提供了可视化图形界面的方式进行操作，让你思路主要关注在如果处理数据上，而不是如何实现处理的过程，特点如下图介绍：
Kettle
的官网地址如下：
如上图介绍 ，
Kettle
分了两种脚本文件，
transformation
（转换）和
job
（作业） ，
transformation
主要完成对数据的处理和转换，
job
则完成整个工作流的控制，一个
job
可以包含多个
transformation
，如下图所示：
另外在
Kettle
中又包含了
4
个核心组件，分别如下：
- 勺子(Spoon.bat / Spoon.sh) : 图像化界面，可以通过图形化界面交互方式开发
transformation和job。 - 煎锅(Pan.bat / pan.sh): 可以用命令行的形式执行由
Spoon编辑的transformation和job。 - 厨房(Kitchen.bat / kitchen.sh) : 可以使用命令行调用由
Spoon编辑好的job。 - 菜单(Carte.bat / carte.sh) : 一个轻量级的
Web容器，用户建立远程ETL Server。
二、Kettle 安装
安装前，需要电脑上已经安装配置好
jdk
环境，版本建议
1.8
及以上。
下载
kettle
压缩包：
https://sourceforge.net/projects/pentaho/files/Pentaho%209.1/
Kettle
为绿色软件，下载后可以解压到任意本地路径，但注意尽量不要带有中文路径，不然会出现意想不到的效果。
其中
Kettle
的目录说明如下：
三、Kettle 使用基本介绍
双击解压目录下的
Spoon.bat
即可启动图形化界面工具，启动过程有点慢耐心等待下，如果启动失败，可以修改下
JVM
的最堆内存的大小，
Spoon.bat
文件下：
等待片刻后会进到如下页面：
在 工具栏/文件/新建 下可以选择创建一个转换和作业：
3.1 转换
转换(
transaformation
) 主要负责数据的输入、转换、校验和输出等工作。转换由多个
Step
(步骤) 组成，如文本文件输入，过滤输出行，执行
SQL
等。各个步骤之间使用
Hop
(跳) 来链接。
Step
是转换里的基本的组成部分，比如上面的
CSV文件输入
和
Excel输出
，一个
Step
有如下几个关键特性：
Step需要有一个名字，这个名字在同一个转换范围内唯一。Step将数据写到与之相连的一个或多个输出Hop，再传送到指向的另一端的Step。- 大多数的
Step都可以有多个输出，当出现多个输出时可以选择复制或分发，复制是所有的记录被同时发送到所有的目标步骤，分发是目标步骤轮流接收记录：
Hop
是
Step
之间带箭头的连线，定义了数据的通路。
Hop
实际上是两个
Step
之间被称之为行集的数据行缓存，行集的大小可以在转换的设置里定义。当行集满时，向行集写数据的
Step
将停止写入，直到行集里又有了空间。当行集空了，从行集读取数据的
Step
停止读取，直到行集里又有可读的数据行。
其中转换属性可以双击空白处：
3.2 数据元数据
每个步骤在输出数据行时都有对字段的描述，也就是数据行的元数据。元数据通常包含下面一些信息。
- 名称：数据行里的字段名是唯一的
- 数据类型：字段的数据类型
- 格式：数据显示的方式，如
Integer的#、0.00 - 长度：字符串的长度或者
BigNumber类型的长度 - 精度：
BigNumber数据类型的十进制精度 - 货币符号：
￥ - 小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（
.）或逗号（,） - 分组符号：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是点（
.）或逗号（,）或单引号（’）
3.3 数据的类型
Kettle
中的数据区分了数据的类型，类型包含如下几种：
String:字符类型数据Number:双精度浮点数。Integer:带符号长整型（64位）。BigNumber:任意精度数据。Date:带毫秒精度的日期时间值。Boolean:取值为true和false的布尔值。Binary:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。
3.2 作业
作业 (
Job
)，负责定义一个完成整个工作流的控制，比如将转换的结果发送邮件给相关人员。因为转换（
transformation
）以并行方式执行，如果需要一个串行的调度工具来执行转换，就可以使用作业：
四、Kettle 数据处理案例
例如有如下
CSV
数据，其中字段分别表示：
用户ID、用户名、性别、成绩1、成绩2、成绩3
：
id,name,sex,grade1,grade2,grade3
1,小明,男,90,80,70
2,小红,女,91,81,71
3,小兰,女,92,82,72
4,小爱,女,93,83,73
5,张三,男,94,84,74
6,李四,男,95,85,75
7,王五,男,96,86,76
8,赵六,男,97,87,77
9,小六,男,98,88,78
10,小七,男,99,89,79
现有需求：要求计算出每个人的总成绩和平均分，将结果输出到
Excel
中。
新建一个转换：
拖入一个
CSV
文件输入：
双击
CSV
文件输入，选择
CSV
文件、编码等：
可以点击预览查看数据：
下面拖入一个 计算器 ，计算成绩总和：
按住
Shift
连接上
CSV
文件输入和 计算器：
双击计算器，修改名称，并指定计算方式：
此时可以运行下看下计算结果：
可以看到已经计算出了总成绩，下面计算平均分数的话还需要一个常量
3
：
双击进入修改名称和指定常量值：
下面再拖一个计算器，计算平均分数，参数如下：
到这可以运行下看下结果：
可以看到已经计算出平均成绩了，下面就可以输出到
Excel
中了，拖入一个
Excel
输出：
双击进入修改属性：
再进入到字段下指定输出的字段，其中
num
字段仅仅是为了计算用的，这里删除掉：
最后运行转换，到输出目录下查看
Excel
中的内容：
已经写入处理后的数据。
版权归原作者 小毕超 所有， 如有侵权，请联系我们删除。