数据挖掘概述_数据分析师

      最近看了比较多的关于大数据处理方面的知识，但是例如Hadoop，Spark，Storm等平台大都是对于数据的存储和管理操作，并不是对于 数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理，数据挖掘。学习数据挖掘也非常偶然，首先毕竟本人一直在做的是数据方面的工作，数据挖 掘相当于是对数据处理后的下一步操作，学习一下数据挖掘的基本知识，了解了解常用的一些数据挖掘算法，对我来说也是一件不错的事。

      由于我目前的水准还只是入门水准，就简单的聊聊数据挖掘的基本概念。数据挖掘，英文为:Data Miming,又叫KDD，知识的再次发现，数据挖掘，顾名思义，就是从数据中发掘出对于人们来说，有意义的东西。数据挖掘无处不在，最常见的就是在网上 购物的时候，人家会推荐一些可能让你感兴趣的商品。专业上讲，这叫BI（商业智能）。还有很多例如银行利用数据进行欺诈检测。下面是数据挖掘的一般步骤:

1.数据清理（数据预处理）

2.数据集成 （数据预处理）

3.数据选择 （数据预处理）

4.数据变换 （数据预处理）

5.数据挖掘

6.模式评估

7.知识表示

      前四步又是作为数据预处理的操作。数据预处理有很多作用，比如取出噪声数据或者是离群点的处理，还有数据的规格化的操作。也许你会问，我们这么 庞大的数据存在于什么地方呢，像一般的系统，就是存在于关系数据库中，但是这时候就有问题了，数据挖掘对于数据的需求量往往是非常大的，这就需要很多的数 据，所以我们通过一个叫数据仓库的概念，把许多的数据库组织起来，形成一个数据仓库，然后我们对于数据仓库进行OLAP联系分析处理。而数据仓库又是以数 据立方体的形式来表现数据的情况的。

挖掘 数据的 什么

      数据挖掘都挖出些什么东西呢，首先一个就是 频繁模式 的挖掘，这个很好理解吧，这里涉及很多的频繁项集的挖掘算法，比如Apriori算法，里面还有很多关联和相关性的要素。还有一个挖掘中经常提到的东西叫 分类 ,分类算法在数据挖掘中也是非常重要的，比较常被人说起的就是贝叶斯分类算法，基于概率统计的算法，随后在分类算法的基础上又出现了聚类分析，就有了后面 的k-means算法，k-中心点算法。对于前面的2大模块的挖掘体系，都有相对应的高级阶段的挖掘分析。对于更加特殊的数据格式和更加复杂的环境又会有 不同的挖掘算法和方式的不同。

数据挖掘的展望

      未来一定会是一个数据大爆炸的时代，数据挖掘将会是一个非常热门的领域，他是一个多学科交叉的领域，机器学习，神经网络，统计学，对于各行各业都会起到非常重要的作用。