数据挖掘的基本概念：数据库、数据仓库、机器学习，统计学

“数据挖掘“(Data Mining)又被称为“数据中的知识发现”（KDD），顾名思义，也就是通过数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等一些列步骤，对数据进行分类、聚类，发现其中的关联关系或者离群点，来发现新的知识。

1、数据类型

上世纪70-80年代，“数据库”技术的发展而产生的数据库管理系统，方便用户进行关系型的数据管理，用户可以进行SQL查询等数据操作，关系型数据库实际上就是二维表；然而对于大型的跨地域公司，要汇总各个地方数据库却不容易，于是就产生了“数据仓库”，数据仓库将数据库的数据进行整合，下钻（drill down）和上卷（roll up）操作可以得到详细信息和汇总信息，由此诞生了高级数据库系统和高级数据分析，数据仓库可以看做是数据立方体（Data Cube）。20世纪90年代，万维网迅速发展，各式各类的数据类型出现，时间序列数据、超文本和多媒体数据（图片、视频、声音），空间数据（地图），网状数据（社会关系网络）等各种复杂的非结构化数据，总之，可以大致的将数据挖掘的数据类型分为以下几类：
（１）数据库 数据

数据库系统，又称为数据库管理系统（DBMS），是一种关系型数据库，又不同的表组成，每一个表有一个唯一的“关键字标识”来表示一个对象，每个对象有又若干属性，每个对象及其属性构成一个“元组”。

对于一个学生关系表，学号是唯一的“关键字标识”，姓名、性别、院系、年级都是属性，每一行都是一个“元组”。
（２）数据仓库　数据

数据立方体

数据仓库的数据格式可以看做是一个数据立方体，是一个多维的数据结构，如图有三个维度，分别是时间维、机构维、指标维。对数据立方体进行切片可以得到截面数据，竖直方向切片可以得到周一（Monday）三个地方借记卡情况。
下钻是对数据的具体化，如对时间维下钻，可以得到周一10:00至14:00的四个小时内的借记卡使用情况；
上卷又称上钻，是对数据汇总，对机构维上卷，可以得到中国借记卡使用情况。
（3）事务数据
事务数据库数据中每个记录是一个事务，如淘宝的一次订单。
（4）其他数据
数据库一般是结构化的数据，还有许多非结构化数据。如序列数据（时间序列、生物序列等），空间数据（地图），工程设计数据（建筑结构设计），超文本和多媒体数据、网状数据等。

2 数据挖掘的步骤

（1）数据清理：消除噪音数据
（2）数据集成：多种数据组合一起
（3）数据选择：选择相关数据
（4）数据变换：汇总等操作将数据变换成适合挖掘的数据
（5）数据挖掘：对数据进行操作
（6）模式评估：根据某种模式来评估其价值
（7）知识表示：可视化表现

3 数据挖掘模式

（1）类和概念：特征化与区分
对数据汇总和分类，考察其具有什么样的特征。
（2）挖掘频繁模式：关联和相关性
频繁出现的序列：出现次数最多的事件；频繁出现的子序列：事件之间的关联性，如购买A的情况下再购买B的模式
（3）预测分析的分类和回归
分类：决策树、神经网络

回归：相关性描述和预测，描述解释变量与被解释变量之间的相关性，并构造数学模型来预测被解释变量。
（4）聚类
根据“最大化类内相似性，最小化类间相似性”的原则进行聚类和分组。

（5）离群点
异常的值，有的时候需要抛弃异常值，但有时通过异常值可以发现问题，如欺诈行为。

4 数据挖掘相关内容

（1）统计学
统计学中数值描述（如均值、中位数、众数、方差，柱状图、散点图等），回归分析（线性回归、非线性回归、一元回归、多元回归），离散型和连续性数据的概率分布、描述性统计和推断性统计都和数据挖掘相关。
（2）机器学习
机器学习是用数据对机器不断训练以来提高机器性能，类似条件反射。比如机器最开始只能识别“中华田园犬”，“犬”类库中只有中华田园犬，通过一次又一次学习，将萨摩耶、吉娃娃、哈士奇、泰迪都纳入“犬”库，机器就知道了这些也是“犬”。随着图片和种类的增加，机器对犬的识别度也逐渐增加。
（3）数据库和数据仓库
数据库和数据仓库本身就是用于数据的管理，其包含的海量数据可以用来做OLTP，OLAP。
（4）信息检索