数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。
数据预处理的任务：
- 数据清理
- 数据集成
- 数据规约
- 数据变换
数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致
- 缺失值：
- 忽略元组
- 人工填写缺失值
- 使用一个全局常量
- 使用属性的中心度量
- 使用与给定元组属同一类的所有样本的属性均值或中位数
- 使用最可能的值（最流行）
- 噪声数据
- 分箱
- 回归
- 离群点分析
数据集成——合并来自多个数据存储的数据
- 实体识别问题
- 冗余和相关分析
- 元组重复
- 数据值冲突的监测与处理
数据规约——得到数据集的规约表示，但仍接近于保持原始数据的完整性
- 数据规约策略概述
- 维归约
- 数量规约
- 数据压缩
- 小波变换——线性信号处理技术，适合高维数据(http://hi.baidu.com/qingshuangcii/item/31e8831e65350dde64eabf4c)
- 主成成分分析——一种维归约方法，适合稀疏数据
- 属性子集选择
- 回归和对数线性模型：参数化数据规约
- 直方图
- 聚类
- 抽样
- 数据立方体聚集
数据变换与数据离散化——数据被变换或统一成适合于挖掘的形式，更容易理解
- 数据变换的策略概述
- 规范化
- 分箱离散化
- 直方图分析离散化
- 聚类、决策树和相关分析离散化
- 标称数据的概念分层