第四章-数据清理

数据清理概述

无论数据清理是在加载到数据仓库之前，还是在从数据仓库抽取数据时，都不可能跳过数据清理这个过程

kettle中几个常用数据清理步骤：

计算器；
字符串替换；
字符串操作；
字符串剪切：对字符串做剪切的功能；
拆分字段；
值映射；
字段选择：可以对字段进行选择、删除、重命名等操作；
去除重复记录和去除重复记录(哈希值)的两个步骤。

拆分字段成多行(列拆分为多行)：支持正则表达式；
拆分字段；
合并字段；
字段选择： “选择和修改”、“移除”和“元数据”三个分类

数据是否指的同一客观实体

重复数据分为两类：完全重复数据，不完全重复数据

完全重复数据：两个数据行的数据完全一致

不完全重复数据：客观上表示现实世界的同一实体，但由于表达方式不同或拼写错误等原因，导致数据存在多条重复

只能处理事先排好序的数据