第五章-大数据预处理技术

---

Kettle作业设计

作业的概念及组成

一个作业包含一个或多个作业项，这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳和每个作业项的执行结果来决定。

组成：作业项、作业跳(跳)、注释

作业项

与转换的步骤相比

有影子复制
作业项之间传递一个结果对象
可以并行执行
后缀名：转换（ktr),作业（kjb)

跳

三种判断方式:

两种状态：Enabled(可用)、Disabled(不可用)

作业的创建及常用作业项

执行方式

回溯
多路径和回溯：作业运行的结果不是唯一的；
并行执行

变量

定义：任意长度的字符串值，有自己的作用范围；
定义变量的两种方式：系统设置和用户自定义；
系统设置：Java虚拟机、Kettle的内部变量；
用户自定义：使用kettle.properties文件。在“设置变量”中设置作业项的属性、获取属性文件中的变量

监控

监控包括日志和邮件两种方式
日志包含的级别及其对应内容：

Nothing:
Error:
Basic:
Detailed:
Debug:
Rowlevel:
Minimal:

---