技术资料,【Kette3.0 用户手册】
Kettle 3.0 用户手册
1.7
1.8
1.9
1.7.1
1.7.2
1.1
1.2
1.3
1.4
1.5
1.6
目录
Kettle 3.0 用户手册 ...................................................................................................................... 1
Kettle 3.0 用户手册 ...................................................................................................................... 6
1. Kettle 介绍 ................................................................................................................................ 6
什么是 kettle ............................................................................................................. 6
Kettle 的安装 ............................................................................................................ 6
运行 Spoon ............................................................................................................... 6
资源库 ....................................................................................................................... 6
资源库自动登录 ....................................................................................................... 7
定义 ........................................................................................................................... 8
1.6.1 转换 ................................................................................................................... 8
1.6.2 任务 ................................................................................................................... 8
选项 ........................................................................................................................... 9
General 标签 ................................................................................................... 10
Look Feel 标签 ............................................................................................... 11
搜索元数据 ............................................................................................................. 12
设置环境变量 ......................................................................................................... 13
2. 创建一个转换或任务 ............................................................................................................. 13
3. 数据库连接(Database Connections) ...................................................................................... 14
描述 ......................................................................................................................... 14
设置窗口 ................................................................................................................. 14
选项 ......................................................................................................................... 14
数据库用法 ............................................................................................................. 15
4. SQL 编辑器(SQL Editor) ....................................................................................................... 16
描述 ......................................................................................................................... 16
屏幕截图 ................................................................................................................. 16
局限性 ..................................................................................................................... 16
5. 数据库浏览器(Database Explorer) ........................................................................................ 17
屏幕截图 ................................................................................................................. 17
描述 ......................................................................................................................... 17
6. 节点连接(Hops) ................................................................................................................ 18
描述 ......................................................................................................................... 18
转换连接 ................................................................................................................. 18
任务连接 ................................................................................................................. 18
屏幕截图 ................................................................................................................. 18
创建一个连接 ......................................................................................................... 19
拆分一个连接 ......................................................................................................... 19
转换连接颜色 ......................................................................................................... 19
7. 变量(Variables) .................................................................................................................. 20
6.1
6.2
6.3
6.4
6.5
6.6
6.7
3.1
3.2
3.3
3.4
4.1
4.2
4.3
5.1
5.2
©深圳市神盾信息技术有限公司,2008 第 1 页/共 202 页
技术资料,【Kette3.0 用户手册】
7.1
7.2
8.1
8.2
8.3
8.4
9.1
9.2
9.3
9.4
9.5
9.6
变量使用 ................................................................................................................. 20
变量范围 ................................................................................................................. 20
7.2.1 环境变量 ......................................................................................................... 20
7.2.2
Kettle 变量 ...................................................................................................... 21
7.2.3 内部变量 ......................................................................................................... 21
8. 转换设置(Transformation Settings) .................................................................................. 22
描述 ......................................................................................................................... 22
屏幕截图 ................................................................................................................. 22
选项 ......................................................................................................................... 25
其它 ......................................................................................................................... 26
9. 转换步骤(Transformation steps) ....................................................................................... 27
描述 ......................................................................................................................... 27
运行步骤的多个副本 ............................................................................................. 27
分发或者复制 ......................................................................................................... 28
常用错误处理 ......................................................................................................... 29
Apache 虚拟文件系统(VFS)支持 .................................................................... 31
转换步骤类型 ......................................................................................................... 33
9.6.1 文本文件输入(Text Input) ........................................................................ 33
9.6.2 表输入(Table Input) ................................................................................... 45
9.6.3 获取系统信息(Get System Info) ............................................................... 47
9.6.4 生成行(Generate Rows) ............................................................................ 51
9.6.5 文件反序列化(De-serialize from file)(原来名称为 Cube 输入) .......... 52
9.6.6
XBase 输入(XBase input) ......................................................................... 53
Excel 输入(Excel Input) ............................................................................ 54
9.6.7
9.6.8
XML 输入(XML input) .................................................................................. 58
9.6.9 获取文件名(Get File Names) ......................................................................... 61
9.6.10 文本文件输出(Text File Output) .................................................................... 62
9.6.11 表输出(Table output) ...................................................................................... 65
9.6.12 插入/更新(Insert/Update) ............................................................................... 68
9.6.13 更新(Update) ............................................................................................. 70
9.6.14 删除(Delete) .................................................................................................... 71
9.6.15 序列化到文件(Serialize to file)(以前是 Cube Output) .................................. 72
9.6.16 XML 输出(XML output) ........................................................................... 73
9.6.17
Excel 输出(Excel Output) ............................................................................... 76
9.6.18 Access 输出(Microsoft Access Output) ..................................................... 78
9.6.19 数据库查询(Database lookup) ....................................................................... 80
9.6.20 流查询(Stream lookup) ............................................................................. 81
9.6.21 调用数据库存储过程(Call DB Procedure) .................................................... 83
9.6.22 HTTP 客户端(HTTP Cient) ............................................................................ 84
9.6.23 字段选择 (Select values) ............................................................................... 86
9.6.24 过滤记录(Filter rows) ..................................................................................... 89
9.6.25 排序记录(Sort rows) ................................................................................. 90
9.6.26 添加序列(Add sequence) ................................................................................ 91
9.6.27 空操作-什么都不做(Dummy-do nothing) ..................................................... 93
©深圳市神盾信息技术有限公司,2008 第 2 页/共 202 页
技术资料,【Kette3.0 用户手册】
9.6.28 行转列(Row Normaliser) ................................................................................ 95
9.6.29 拆分字段(Split Fields)............................................................................... 97
9.6.30 去除重复记录(Unique rows) .......................................................................... 98
9.6.31 分组(Group By) ............................................................................................ 100
9.6.32 设置为空值(Null if) ...................................................................................... 101
9.6.33 计算器(Calculator) .................................................................................. 102
9.6.34 增加 XML(XML Add) ............................................................................. 104
9.6.35 增加常量(Add constants) ........................................................................ 106
9.6.36 行转列(Row Denormaliser) ..................................................................... 107
9.6.37 行扁平化(Flattener) ................................................................................. 108
9.6.38 值映射(Value Mapper) ............................................................................ 110
9.6.39 被冻结的步骤(Blocking step) ................................................................. 111
9.6.40 记录关联(笛卡尔输出)(Join Rows-Cartesian Product)....................... 112
9.6.41 数据库连接(Database Join) ..................................................................... 114
9.6.42 合并记录(Merge rows) ............................................................................ 115
9.6.43 存储合并(Stored Merge) ......................................................................... 116
9.6.44 合并连接(Merge Join) .................................................................................. 117
9.6.45
Java Script 值(Java Script Value) ............................................................. 119
9.6.46 改进的 Java Script 值(Modified Java Script Value) ................................ 127
9.6.47 执行 SQL 语句(Execute SQL script) ...................................................... 129
9.6.48 维度更新/查询(Dimension lookup/update) ............................................ 132
9.6.49 联合更新/查询(Combination lookup/update) ......................................... 133
9.6.50 映射(Mapping) ........................................................................................ 134
9.6.51 从结果获取记录(Get rows from result) .................................................. 135
9.6.52 复制记录到结果(Copy rows to result) .................................................... 135
9.6.53 设置变量(Set Variable) ........................................................................... 136
9.6.54 获取变量(Get Variable) ........................................................................... 137
9.6.55 从以前的结果获取文件(Get files from result) ....................................... 138
9.6.56 复制文件名到结果(Set files in result) .................................................... 139
9.6.57 记录注射器(Injector) .............................................................................. 140
9.6.58 套接字读入器(Socket Reader) ................................................................ 141
9.6.59 套接字输写器(Socket Writer) ................................................................. 141
9.6.60 聚合行(Aggregate Rows) ........................................................................ 142
9.6.61 流 XML 输入(Streaming XML Input) .................................................. 143
9.6.62 中止(Abort) ............................................................................................. 149
9.6.63 Oracle 批量装载(Oracle bulk loader) ...................................................... 151
任务设置(Job Settings) ........................................................................................... 153
描述 ....................................................................................................................... 153
屏幕截图 ............................................................................................................... 153
选项 ....................................................................................................................... 153
其它 ....................................................................................................................... 154
任务条目(Job Entries) ............................................................................................. 154
描述 ....................................................................................................................... 154
任务条目类型 ....................................................................................................... 155
10.
11.
10.1
10.2
10.3
10.4
11.1
11.2
©深圳市神盾信息技术有限公司,2008 第 3 页/共 202 页
技术资料,【Kette3.0 用户手册】
11.2.1 特殊的任务条目 ........................................................................................... 155
11.2.2 转换 ............................................................................................................... 157
11.2.3 任务 ............................................................................................................... 159
11.2.4
Shell .............................................................................................................. 161
11.2.5 Mail ............................................................................................................... 163
SQL ............................................................................................................... 165
11.2.6
11.2.7
FTP ................................................................................................................ 166
Table Exists ................................................................................................... 168
11.2.8
11.2.9
File Exists ...................................................................................................... 169
11.2.10 Evaluation(javascript) ................................................................................... 170
11.2.11 SFTP .............................................................................................................. 171
11.2.12 HTTP ............................................................................................................. 173
11.2.13 Create file ...................................................................................................... 175
11.2.14 Delete file ...................................................................................................... 176
11.2.15 Wait for file ................................................................................................... 177
11.2.16 File compare .................................................................................................. 178
11.2.17 Put files with secureFTP ............................................................................... 180
11.2.18 Ping a host ..................................................................................................... 181
11.2.19 Wait for .......................................................................................................... 182
11.2.20 Display Msgbox info ..................................................................................... 183
11.2.21 Abort job ....................................................................................................... 184
11.2.22 XSL transformation ....................................................................................... 185
11.2.23 Zip files ......................................................................................................... 186
图形界面(Graphical View) ...................................................................................... 187
描述 ....................................................................................................................... 187
添加步骤或者任务条目 ....................................................................................... 188
12.2.1 拖放创建步骤 ............................................................................................... 188
12.2.2 从步骤类型树创建步骤 ............................................................................... 188
12.2.3 在你想要的位置创建步骤 ........................................................................... 189
隐藏步骤 ............................................................................................................... 189
转换步骤选项(右键上下文菜单) ................................................................... 189
12.4.1 编辑步骤 ....................................................................................................... 189
12.4.2 编辑步骤描述 ............................................................................................... 189
12.4.3 数据迁移 ....................................................................................................... 189
12.4.4 复制 ............................................................................................................... 189
12.4.5 复制步骤 ....................................................................................................... 189
12.4.6 删除步骤 ....................................................................................................... 190
12.4.7 显示输入字段 ............................................................................................... 190
12.4.8 显示输出字段 ............................................................................................... 190
任务条目选项(右键上下文菜单) ................................................................... 190
12.5.1 打开转换/任务 .............................................................................................. 190
12.5.2 编辑任务入口 ............................................................................................... 190
12.5.3 编辑任务入口描述 ....................................................................................... 190
12.5.4 复制任务入口 ............................................................................................... 190
12.
12.1
12.2
12.3
12.4
12.5
©深圳市神盾信息技术有限公司,2008 第 4 页/共 202 页
技术资料,【Kette3.0 用户手册】
12.6
12.7
12.8
12.9
12.5.5 复制选择的任务入口到剪贴板 ................................................................... 190
12.5.6 排列/分布 ...................................................................................................... 191
12.5.7 拆开节点 ....................................................................................................... 191
12.5.8 删除所有任务入口的副本 ........................................................................... 191
添加节点连接 ....................................................................................................... 191
运行转换 ............................................................................................................... 191
屏幕截图 ............................................................................................................... 191
执行选项 ............................................................................................................... 192
12.9.1 在哪里执行 ................................................................................................... 192
12.9.2 预览 ............................................................................................................... 192
12.9.3 使用安全模式 ............................................................................................... 192
12.9.4 日志级别 ....................................................................................................... 192
12.9.5 重放日期 ....................................................................................................... 192
12.9.6 参数 ............................................................................................................... 192
12.9.7 变量 ............................................................................................................... 192
12.10 设置远程或者从属服务器 ................................................................................... 193
概述 ....................................................................................................... 193
12.10.1
12.10.2
屏幕截图 ............................................................................................... 193
日志(Logging) ......................................................................................................... 193
日志描述 ............................................................................................................... 193
屏幕截图 ............................................................................................................... 194
日志网格 ............................................................................................................... 194
13.3.1 转换日志网格 ............................................................................................... 194
13.3.2 任务日志网格 ............................................................................................... 195
按钮 ....................................................................................................................... 195
13.4.1 转换按钮 ....................................................................................................... 195
13.4.2 任务按钮 ....................................................................................................... 197
网格(Grids) .............................................................................................................. 198
描述 ....................................................................................................................... 198
功能 ....................................................................................................................... 198
导航 ....................................................................................................................... 199
资源库浏览器(Repository Explorer) ...................................................................... 199
描述 ....................................................................................................................... 199
屏幕截图 ............................................................................................................... 200
右键单击功能 ....................................................................................................... 200
备份/资源库 .......................................................................................................... 200
共享对象(Share objects) ......................................................................................... 201
13.1
13.2
13.3
13.4
14.1
14.2
14.3
15.1
15.2
15.3
15.4
13.
14.
15.
16.
©深圳市神盾信息技术有限公司,2008 第 5 页/共 202 页
技术资料,【Kette3.0 用户手册】
Kettle 3.0 用户手册
1. Kettle 介绍
1.1 什么是 kettle
Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计
用来帮助你实现你的 ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水
壶,名字的起源正如该项目的主程序员 MATT 在一个论坛里说的哪样:希望把各种数据放到
一个壶里然后以一种指定的格式流出。
Spoon 是一个图形用户界面,它允许你运行转换或者任务,其中转换是用 Pan 工具来运
行,任务是用 Kitchen 来运行。Pan 是一个数据转换引擎,它可以执行很多功能,例如:从
不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述
的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
1.2 Kettle 的安装
要运行此工具你必须安装 Sun 公司的 JAVA 运行环境 1.4 或者更高版本,相关资源你可
以到网络上搜索 JDK 进行下载,Kettle 的下载可以到 http://kettle.pentaho.org/取得最
新版本。
1.3 运行 Spoon
下面是在不同的平台上运行 Spoon 所支持的脚本:
Spoon.bat: 在 windows 平台运行 Spoon。
Spoon.sh: 在 Linux、Apple OSX、Solaris 平台运行 Spoon。
1.4 资源库
一个 Kettle 资源库可以包含那些转换信息,这意味着为了从数据库资源中加载一个转
换,你必须连接相应的资源库。
©深圳市神盾信息技术有限公司,2008 第 6 页/共 202 页
技术资料,【Kette3.0 用户手册】
要实现这些,你需要在资源库中定义一个数据库连接,你可以在 Spoon 启动的时候,利
用资源库对话框来定义。
关于资源库的信息存储在文件 “reposityries.xml”中,它位于你的缺省 home 目录的
隐 藏 目 录 “ .kettle ” 中 。 如 果 是 windows 系 统 , 这 个 路 径 就 是 c:\Documents and
Settings\\.kettle。
如果你不想每次在 Spoon 启动的时候都显示这个对话框,你可以在“编辑/选项”菜单
下面禁用它。
admin 用户的缺省密码也是 admin。如果你创建了资源库,你可以在“资源库/编辑用户”
菜单下面修改缺省密码。
1.5 资源库自动登录
你可以设置以下的环境变量,来让 Spoon 自动登录资源库。
环境变量:KETTLE_REPOSITORY,KETTLE_USER,KETTLE_PASSWORD。
©深圳市神盾信息技术有限公司,2008 第 7 页/共 202 页
技术资料,【Kette3.0 用户手册】
1.6 定义
1.6.1 转换
1. Value:Values 是行的一部分,并且是包含以下类型的的数据:Strings、floating
point Numbers、unlimited precision BigNumbers、Integers、Dates、或者 Boolean。
2. Row:一行包含 0 个或者多个 Values。
3. Output Stream:一个 Output Stream 是离开一个步骤时的行的堆栈。
4. Input Stream:一个 Input Stream 是进入一个步骤时的行的堆栈。
5. Hop:一个 Hop 代表两个步骤之间的一个或者多个数据流。一个 Hop 总是代表着一
个步骤的输出流和一个步骤的输入流。
6. Note:一个 Note 是一个转换附加的文本注释信息。
1.6.2 任务
Job Entry:一个 Job Entry 是一个任务的一部分,它执行某些内容。
Hop:一个 Hop 代表两个步骤之间的一个或者多个数据流。一个 Hop 总是代表着两个 Job
Entry 之间的连接,并且能够被原始的 Job Entry 设置,无条件的执行下一个 Job Entry,
直到执行成功或者失败。
Note:一个 Note 是一个任务附加的文本注释信息。
©深圳市神盾信息技术有限公司,2008 第 8 页/共 202 页