博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【读书笔记-数据挖掘概念与技术】数据预处理
阅读量:4839 次
发布时间:2019-06-11

本文共 594 字,大约阅读时间需要 1 分钟。

数据预处理的目的:提高数据质量,数据质量的三要素:准确性、完整性、一致性。

数据预处理的任务:

  • 数据清理
  • 数据集成
  • 数据规约
  • 数据变换

数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致

  • 缺失值:
  1. 忽略元组
  2. 人工填写缺失值
  3. 使用一个全局常量
  4. 使用属性的中心度量
  5. 使用与给定元组属同一类的所有样本的属性均值或中位数
  6. 使用最可能的值(最流行)
  • 噪声数据
  1. 分箱
  2. 回归
  3. 离群点分析

数据集成——合并来自多个数据存储的数据

  • 实体识别问题
  • 冗余和相关分析
  • 元组重复
  • 数据值冲突的监测与处理

数据规约——得到数据集的规约表示,但仍接近于保持原始数据的完整性

  • 数据规约策略概述
  1. 维归约
  2. 数量规约
  3. 数据压缩
  • 小波变换——线性信号处理技术,适合高维数据(http://hi.baidu.com/qingshuangcii/item/31e8831e65350dde64eabf4c)
  • 主成成分分析——一种维归约方法,适合稀疏数据
  • 属性子集选择
  • 回归和对数线性模型:参数化数据规约
  • 直方图
  • 聚类
  • 抽样
  • 数据立方体聚集

数据变换与数据离散化——数据被变换或统一成适合于挖掘的形式,更容易理解

  • 数据变换的策略概述
  • 规范化
  • 分箱离散化
  • 直方图分析离散化
  • 聚类、决策树和相关分析离散化
  • 标称数据的概念分层

转载于:https://www.cnblogs.com/XBWer/p/4331263.html

你可能感兴趣的文章
css 光标
查看>>
深入理解await与async
查看>>
将一个数字扁平化,去重并升序
查看>>
边缘缓存模式(Cache-Aside Pattern)
查看>>
博文汇总
查看>>
在Java大环境下.NET程序员如何夺得一线生机
查看>>
GUID做主键真的合适吗
查看>>
【linux之路】常用的命令
查看>>
git将某个分支的代码完全覆盖另一个分支
查看>>
概率DP RED IS GOOD
查看>>
Linux Shell 小脚本经典收藏
查看>>
go tool proof
查看>>
numpy数组及处理:效率对比
查看>>
Luogu P1318 积水面积
查看>>
前台线程 和 后台线程
查看>>
PHP性能优化大全(转)
查看>>
shell编程
查看>>
ImageSwitch+Gallery
查看>>
【软件需求工程与建模 - 小组项目】第0周:团队成员介绍
查看>>
unresolved external symbol "public: virtual __thiscall...错误
查看>>