13.1. Kettle

Kettle家族目前包括4个产品:Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界面来设计ETL转换过程(Transformation)。

PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序,没有图形界面。

CHEF 允许你创建任务(Job)。 任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了。

KITCHEN 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

13.1.6. 基本概念

13.1.6.1. 转换

步骤(step)

是转换里的基本组成部分,一个转换包含多个步骤,在转换里用图标展现(例如Table Input)。

步骤的特性:

  • 名字在转换范围内必须唯一。

  • 每个步骤都会读、写数据行(例外:生成记录步骤,该步骤只写数据。)

  • 步骤将数据写到与之相连都一个或多个输出跳(outgoing hops),再传送到另一端都步骤。

  • 大多数都步骤都可以有多个输出跳。数据发送可以被设置成:1)轮询发送(round robin)或复制发送。

  • 运行步骤都线程几乎同时运行,数据行连续地流过步骤之间都跳。

常用步骤:

如果要转换数据类型,请使用:字段选择。

跳(hop)

转换之间的连线为跳,跳定义了一个单向通道,允许数据从一个步骤向另一个步骤流动。

13.1.7. SQL Server

将jtds的驱动放到pdi的lib目录(该驱动很老了,建议用微软的驱动)。

sqljdbc_12.6.3.0_chs.zip解压后,将其中的mssql-jdbc-12.6.3.jre11.jar放到pdi的lib目录中。

将mssql-jdbc_auth-12.6.3.x64.dll放到pid的libswt/win64目录下。

将sqljdbc_xa.dll放到pid的libswt/win64目录下。

../_images/PDI-SQLSERVER-Native-1.png ../_images/PDI-SQLSERVER-Native-2.png

13.1.8. 相关链接