ETL工具Kettle使用总结

好久没有发布文章了，就用最近工作常用的kettle工具做为素材写一下随笔，方便以后碰到相同的问题快速解决。

kettle的简介我就不介绍了，大家随便百度一下就可以查到，
主要作用就是用于从一个或多个数据源中提取数据，对数据进行转换和清洗（这个过程就是ETL），然后加载到目标数据存储中，以支持数据分析、报表生成、业务决策等需求。

1.1 Kettle使用的优点：

1、Kettle提供了直观的图形化界面。

2、Kettle可以满足大部分数据处理需求，包括数据格式转换、数据过滤、数据合并、数据计算等。

3、Kettle支持多种数据源和目标，包括关系型数据库、文件、API、Hadoop等，可以方便地集成不同类型的数据。

注意：kettle安装之前需要安装java的jdk，否则有可能闪退

此处附上jdk安装：https://blog.csdn.net/qq_48052049/article/details/126766806

1.2 下载安装

链接: https://www.hitachivantara.com/en-us/products/pentaho-plus-platform/data-integration-analytics/pentaho-community-edition.html
在这里插入图片描述
往下划，找到pdi

windows点以下文件运行
（linux点spoon.sh运行）

1.3 【Spoon.bat 双击后闪退】解决办法

1、检查jdk和系统变量是否配置正确:cmd下java、javac、iava-version 三个命令都能执行说明没问题;
2、修改spoon.bat里内存配置，这也是能百度到的大多数答案，比如:https://www.cnblogs.com/espookv/p/6007326.html
大多数人到这一步应该就可以了，但是我的还是不行!
3、增加系统变量:kettle_home 变量值为kettle文件位置:D:\install\kettle\data-integration 仍然不起作用
4、更换idk版本，kettle-8.2我把idk换成了1.8:仍然不起作用:
5、增加系统变量:PENTAHO_JAVA_HOME 变量值为idk下的jre录:D:\install\java8\jre
可以按1-2-5-3-4的顺序进行排查!

打开界面
在这里插入图片描述