logo资料库

kettle中文版教程.pdf

第1页 / 共202页
第2页 / 共202页
第3页 / 共202页
第4页 / 共202页
第5页 / 共202页
第6页 / 共202页
第7页 / 共202页
第8页 / 共202页
资料共202页,剩余部分请下载后查看
技术资料,【Kette3.0 用户手册】 Kettle 3.0 用户手册 1.7  1.8  1.9  1.7.1  1.7.2  1.1  1.2  1.3  1.4  1.5  1.6  目录  Kettle 3.0 用户手册 ...................................................................................................................... 1  Kettle 3.0 用户手册 ...................................................................................................................... 6  1.  Kettle 介绍 ................................................................................................................................ 6  什么是 kettle ............................................................................................................. 6  Kettle 的安装 ............................................................................................................ 6  运行 Spoon ............................................................................................................... 6  资源库 ....................................................................................................................... 6  资源库自动登录 ....................................................................................................... 7  定义 ........................................................................................................................... 8  1.6.1  转换 ................................................................................................................... 8  1.6.2  任务 ................................................................................................................... 8  选项 ........................................................................................................................... 9  General 标签 ................................................................................................... 10  Look Feel 标签 ............................................................................................... 11  搜索元数据 ............................................................................................................. 12  设置环境变量 ......................................................................................................... 13  2.  创建一个转换或任务 ............................................................................................................. 13  3.  数据库连接(Database Connections) ...................................................................................... 14  描述 ......................................................................................................................... 14  设置窗口 ................................................................................................................. 14  选项 ......................................................................................................................... 14  数据库用法 ............................................................................................................. 15  4.  SQL 编辑器(SQL Editor) ....................................................................................................... 16  描述 ......................................................................................................................... 16  屏幕截图 ................................................................................................................. 16  局限性 ..................................................................................................................... 16  5.  数据库浏览器(Database Explorer) ........................................................................................ 17  屏幕截图 ................................................................................................................. 17  描述 ......................................................................................................................... 17  6.  节点连接(Hops) ................................................................................................................ 18  描述 ......................................................................................................................... 18  转换连接 ................................................................................................................. 18  任务连接 ................................................................................................................. 18  屏幕截图 ................................................................................................................. 18  创建一个连接 ......................................................................................................... 19  拆分一个连接 ......................................................................................................... 19  转换连接颜色 ......................................................................................................... 19  7.  变量(Variables) .................................................................................................................. 20  6.1  6.2  6.3  6.4  6.5  6.6  6.7  3.1  3.2  3.3  3.4  4.1  4.2  4.3  5.1  5.2  ©深圳市神盾信息技术有限公司,2008 第 1 页/共 202 页
技术资料,【Kette3.0 用户手册】 7.1  7.2  8.1  8.2  8.3  8.4  9.1  9.2  9.3  9.4  9.5  9.6  变量使用 ................................................................................................................. 20  变量范围 ................................................................................................................. 20  7.2.1  环境变量 ......................................................................................................... 20  7.2.2  Kettle 变量 ...................................................................................................... 21  7.2.3  内部变量 ......................................................................................................... 21  8.  转换设置(Transformation Settings) .................................................................................. 22  描述 ......................................................................................................................... 22  屏幕截图 ................................................................................................................. 22  选项 ......................................................................................................................... 25  其它 ......................................................................................................................... 26  9.  转换步骤(Transformation steps) ....................................................................................... 27  描述 ......................................................................................................................... 27  运行步骤的多个副本 ............................................................................................. 27  分发或者复制 ......................................................................................................... 28  常用错误处理 ......................................................................................................... 29  Apache 虚拟文件系统(VFS)支持 .................................................................... 31  转换步骤类型 ......................................................................................................... 33  9.6.1  文本文件输入(Text Input) ........................................................................ 33  9.6.2  表输入(Table Input) ................................................................................... 45  9.6.3  获取系统信息(Get System Info) ............................................................... 47  9.6.4  生成行(Generate Rows) ............................................................................ 51  9.6.5  文件反序列化(De-serialize from file)(原来名称为 Cube 输入) .......... 52  9.6.6  XBase 输入(XBase input) ......................................................................... 53  Excel 输入(Excel Input) ............................................................................ 54  9.6.7  9.6.8  XML 输入(XML input) .................................................................................. 58  9.6.9  获取文件名(Get File Names) ......................................................................... 61  9.6.10  文本文件输出(Text File Output) .................................................................... 62  9.6.11  表输出(Table output) ...................................................................................... 65  9.6.12  插入/更新(Insert/Update) ............................................................................... 68  9.6.13  更新(Update) ............................................................................................. 70  9.6.14  删除(Delete) .................................................................................................... 71  9.6.15  序列化到文件(Serialize to file)(以前是 Cube Output) .................................. 72  9.6.16  XML 输出(XML output) ........................................................................... 73  9.6.17  Excel 输出(Excel Output) ............................................................................... 76  9.6.18  Access 输出(Microsoft Access Output) ..................................................... 78  9.6.19  数据库查询(Database lookup) ....................................................................... 80  9.6.20  流查询(Stream lookup) ............................................................................. 81  9.6.21  调用数据库存储过程(Call DB Procedure) .................................................... 83  9.6.22  HTTP 客户端(HTTP Cient) ............................................................................ 84  9.6.23  字段选择 (Select values) ............................................................................... 86  9.6.24  过滤记录(Filter rows) ..................................................................................... 89  9.6.25  排序记录(Sort rows) ................................................................................. 90  9.6.26  添加序列(Add sequence) ................................................................................ 91  9.6.27  空操作-什么都不做(Dummy-do nothing) ..................................................... 93  ©深圳市神盾信息技术有限公司,2008 第 2 页/共 202 页
技术资料,【Kette3.0 用户手册】 9.6.28  行转列(Row Normaliser) ................................................................................ 95  9.6.29  拆分字段(Split Fields)............................................................................... 97  9.6.30  去除重复记录(Unique rows) .......................................................................... 98  9.6.31  分组(Group By) ............................................................................................ 100  9.6.32  设置为空值(Null if) ...................................................................................... 101  9.6.33  计算器(Calculator) .................................................................................. 102  9.6.34  增加 XML(XML Add) ............................................................................. 104  9.6.35  增加常量(Add constants) ........................................................................ 106  9.6.36  行转列(Row Denormaliser) ..................................................................... 107  9.6.37  行扁平化(Flattener) ................................................................................. 108  9.6.38  值映射(Value Mapper) ............................................................................ 110  9.6.39  被冻结的步骤(Blocking step) ................................................................. 111  9.6.40  记录关联(笛卡尔输出)(Join Rows-Cartesian Product)....................... 112  9.6.41  数据库连接(Database Join) ..................................................................... 114  9.6.42  合并记录(Merge rows) ............................................................................ 115  9.6.43  存储合并(Stored Merge) ......................................................................... 116  9.6.44  合并连接(Merge Join) .................................................................................. 117  9.6.45  Java Script 值(Java Script Value) ............................................................. 119  9.6.46  改进的 Java Script 值(Modified Java Script Value) ................................ 127  9.6.47  执行 SQL 语句(Execute SQL script) ...................................................... 129  9.6.48  维度更新/查询(Dimension lookup/update) ............................................ 132  9.6.49  联合更新/查询(Combination lookup/update) ......................................... 133  9.6.50  映射(Mapping) ........................................................................................ 134  9.6.51  从结果获取记录(Get rows from result) .................................................. 135  9.6.52  复制记录到结果(Copy rows to result) .................................................... 135  9.6.53  设置变量(Set Variable) ........................................................................... 136  9.6.54  获取变量(Get Variable) ........................................................................... 137  9.6.55  从以前的结果获取文件(Get files from result) ....................................... 138  9.6.56  复制文件名到结果(Set files in result) .................................................... 139  9.6.57  记录注射器(Injector) .............................................................................. 140  9.6.58  套接字读入器(Socket Reader) ................................................................ 141  9.6.59  套接字输写器(Socket Writer) ................................................................. 141  9.6.60  聚合行(Aggregate Rows) ........................................................................ 142  9.6.61  流 XML 输入(Streaming XML Input) .................................................. 143  9.6.62  中止(Abort) ............................................................................................. 149  9.6.63  Oracle 批量装载(Oracle bulk loader) ...................................................... 151  任务设置(Job Settings) ........................................................................................... 153  描述 ....................................................................................................................... 153  屏幕截图 ............................................................................................................... 153  选项 ....................................................................................................................... 153  其它 ....................................................................................................................... 154  任务条目(Job Entries) ............................................................................................. 154  描述 ....................................................................................................................... 154  任务条目类型 ....................................................................................................... 155  10.  11.  10.1  10.2  10.3  10.4  11.1  11.2  ©深圳市神盾信息技术有限公司,2008 第 3 页/共 202 页
技术资料,【Kette3.0 用户手册】 11.2.1  特殊的任务条目 ........................................................................................... 155  11.2.2  转换 ............................................................................................................... 157  11.2.3  任务 ............................................................................................................... 159  11.2.4  Shell .............................................................................................................. 161  11.2.5  Mail ............................................................................................................... 163  SQL ............................................................................................................... 165  11.2.6  11.2.7  FTP ................................................................................................................ 166  Table Exists ................................................................................................... 168  11.2.8  11.2.9  File Exists ...................................................................................................... 169  11.2.10  Evaluation(javascript) ................................................................................... 170  11.2.11  SFTP .............................................................................................................. 171  11.2.12  HTTP ............................................................................................................. 173  11.2.13  Create file ...................................................................................................... 175  11.2.14  Delete file ...................................................................................................... 176  11.2.15  Wait for file ................................................................................................... 177  11.2.16  File compare .................................................................................................. 178  11.2.17  Put files with secureFTP ............................................................................... 180  11.2.18  Ping a host ..................................................................................................... 181  11.2.19  Wait for .......................................................................................................... 182  11.2.20  Display Msgbox info ..................................................................................... 183  11.2.21  Abort job ....................................................................................................... 184  11.2.22  XSL transformation ....................................................................................... 185  11.2.23  Zip files ......................................................................................................... 186  图形界面(Graphical View) ...................................................................................... 187  描述 ....................................................................................................................... 187  添加步骤或者任务条目 ....................................................................................... 188  12.2.1  拖放创建步骤 ............................................................................................... 188  12.2.2  从步骤类型树创建步骤 ............................................................................... 188  12.2.3  在你想要的位置创建步骤 ........................................................................... 189  隐藏步骤 ............................................................................................................... 189  转换步骤选项(右键上下文菜单) ................................................................... 189  12.4.1  编辑步骤 ....................................................................................................... 189  12.4.2  编辑步骤描述 ............................................................................................... 189  12.4.3  数据迁移 ....................................................................................................... 189  12.4.4  复制 ............................................................................................................... 189  12.4.5  复制步骤 ....................................................................................................... 189  12.4.6  删除步骤 ....................................................................................................... 190  12.4.7  显示输入字段 ............................................................................................... 190  12.4.8  显示输出字段 ............................................................................................... 190  任务条目选项(右键上下文菜单) ................................................................... 190  12.5.1  打开转换/任务 .............................................................................................. 190  12.5.2  编辑任务入口 ............................................................................................... 190  12.5.3  编辑任务入口描述 ....................................................................................... 190  12.5.4  复制任务入口 ............................................................................................... 190  12.  12.1  12.2  12.3  12.4  12.5  ©深圳市神盾信息技术有限公司,2008 第 4 页/共 202 页
技术资料,【Kette3.0 用户手册】 12.6  12.7  12.8  12.9  12.5.5  复制选择的任务入口到剪贴板 ................................................................... 190  12.5.6  排列/分布 ...................................................................................................... 191  12.5.7  拆开节点 ....................................................................................................... 191  12.5.8  删除所有任务入口的副本 ........................................................................... 191  添加节点连接 ....................................................................................................... 191  运行转换 ............................................................................................................... 191  屏幕截图 ............................................................................................................... 191  执行选项 ............................................................................................................... 192  12.9.1  在哪里执行 ................................................................................................... 192  12.9.2  预览 ............................................................................................................... 192  12.9.3  使用安全模式 ............................................................................................... 192  12.9.4  日志级别 ....................................................................................................... 192  12.9.5  重放日期 ....................................................................................................... 192  12.9.6  参数 ............................................................................................................... 192  12.9.7  变量 ............................................................................................................... 192  12.10  设置远程或者从属服务器 ................................................................................... 193  概述 ....................................................................................................... 193  12.10.1  12.10.2  屏幕截图 ............................................................................................... 193  日志(Logging) ......................................................................................................... 193  日志描述 ............................................................................................................... 193  屏幕截图 ............................................................................................................... 194  日志网格 ............................................................................................................... 194  13.3.1  转换日志网格 ............................................................................................... 194  13.3.2  任务日志网格 ............................................................................................... 195  按钮 ....................................................................................................................... 195  13.4.1  转换按钮 ....................................................................................................... 195  13.4.2  任务按钮 ....................................................................................................... 197  网格(Grids) .............................................................................................................. 198  描述 ....................................................................................................................... 198  功能 ....................................................................................................................... 198  导航 ....................................................................................................................... 199  资源库浏览器(Repository Explorer) ...................................................................... 199  描述 ....................................................................................................................... 199  屏幕截图 ............................................................................................................... 200  右键单击功能 ....................................................................................................... 200  备份/资源库 .......................................................................................................... 200  共享对象(Share objects) ......................................................................................... 201  13.1  13.2  13.3  13.4  14.1  14.2  14.3  15.1  15.2  15.3  15.4  13.  14.  15.  16.  ©深圳市神盾信息技术有限公司,2008 第 5 页/共 202 页
技术资料,【Kette3.0 用户手册】 Kettle 3.0 用户手册 1. Kettle 介绍 1.1 什么是 kettle Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计 用来帮助你实现你的 ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水 壶,名字的起源正如该项目的主程序员 MATT 在一个论坛里说的哪样:希望把各种数据放到 一个壶里然后以一种指定的格式流出。 Spoon 是一个图形用户界面,它允许你运行转换或者任务,其中转换是用 Pan 工具来运 行,任务是用 Kitchen 来运行。Pan 是一个数据转换引擎,它可以执行很多功能,例如:从 不同的数据源读取、操作和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述 的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。 1.2 Kettle 的安装 要运行此工具你必须安装 Sun 公司的 JAVA 运行环境 1.4 或者更高版本,相关资源你可 以到网络上搜索 JDK 进行下载,Kettle 的下载可以到 http://kettle.pentaho.org/取得最 新版本。 1.3 运行 Spoon 下面是在不同的平台上运行 Spoon 所支持的脚本: Spoon.bat: 在 windows 平台运行 Spoon。 Spoon.sh: 在 Linux、Apple OSX、Solaris 平台运行 Spoon。 1.4 资源库 一个 Kettle 资源库可以包含那些转换信息,这意味着为了从数据库资源中加载一个转 换,你必须连接相应的资源库。 ©深圳市神盾信息技术有限公司,2008 第 6 页/共 202 页
技术资料,【Kette3.0 用户手册】 要实现这些,你需要在资源库中定义一个数据库连接,你可以在 Spoon 启动的时候,利 用资源库对话框来定义。 关于资源库的信息存储在文件 “reposityries.xml”中,它位于你的缺省 home 目录的 隐 藏 目 录 “ .kettle ” 中 。 如 果 是 windows 系 统 , 这 个 路 径 就 是 c:\Documents and Settings\\.kettle。 如果你不想每次在 Spoon 启动的时候都显示这个对话框,你可以在“编辑/选项”菜单 下面禁用它。 admin 用户的缺省密码也是 admin。如果你创建了资源库,你可以在“资源库/编辑用户” 菜单下面修改缺省密码。 1.5 资源库自动登录 你可以设置以下的环境变量,来让 Spoon 自动登录资源库。 环境变量:KETTLE_REPOSITORY,KETTLE_USER,KETTLE_PASSWORD。 ©深圳市神盾信息技术有限公司,2008 第 7 页/共 202 页
技术资料,【Kette3.0 用户手册】 1.6 定义 1.6.1 转换 1. Value:Values 是行的一部分,并且是包含以下类型的的数据:Strings、floating point Numbers、unlimited precision BigNumbers、Integers、Dates、或者 Boolean。 2. Row:一行包含 0 个或者多个 Values。 3. Output Stream:一个 Output Stream 是离开一个步骤时的行的堆栈。 4. Input Stream:一个 Input Stream 是进入一个步骤时的行的堆栈。 5. Hop:一个 Hop 代表两个步骤之间的一个或者多个数据流。一个 Hop 总是代表着一 个步骤的输出流和一个步骤的输入流。 6. Note:一个 Note 是一个转换附加的文本注释信息。 1.6.2 任务 Job Entry:一个 Job Entry 是一个任务的一部分,它执行某些内容。 Hop:一个 Hop 代表两个步骤之间的一个或者多个数据流。一个 Hop 总是代表着两个 Job Entry 之间的连接,并且能够被原始的 Job Entry 设置,无条件的执行下一个 Job Entry, 直到执行成功或者失败。 Note:一个 Note 是一个任务附加的文本注释信息。 ©深圳市神盾信息技术有限公司,2008 第 8 页/共 202 页
分享到:
收藏