大数据和数据挖掘_大数据数据挖掘区别-CDA数据分析师官网

热线电话：13121318867

大数据和数据挖掘_大数据数据挖掘区别

2016-12-12

大数据是不是数据挖掘的延伸？两者的相似度有多少？

数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

大数据是今年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战（一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算）。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。
大数据需要映射为小的单元进行计算，再对所有的结果进行整合，就是所谓的map-reduce算法框架。在单个计算机上进行的计算仍然需要采用一些数据挖掘技术，区别是原先的一些数据挖掘技术不一定能方便地嵌入到 map-reduce 框架中，有些算法需要调整。
此外，大数据处理能力的提升也对统计学提出了新的挑战。统计学理论往往建立在样本上，而在大数据时代，可能得到的是总体，而不再是总体的不放回抽样。

———-

在我读数据挖掘方向研究生的时候：
如果要描述数据量非常大，我们用Massive Data（海量数据）
如果要描述数据非常多样，我们用Heterogeneous Data（异构数据）
如果要描述数据既多样，又量大，我们用Massive Heterogeneous Data（海量异构数据）
……
如果要申请基金忽悠一笔钱，我们用Big Data（大数据）

—-**************************————-

大数据和数据挖掘什么区别？

传统的数据挖掘就是在数据中寻找有价值的规律，这和现在热炒的大数据在方向上是一致的。
只不过大数据具有“高维、海量、实时”的特点，就是说数据量大，数据源和数据的维度高，并且更新迅速的特点，传统的数据挖掘技术可能很难解决，需要从算法的改进（提升算法对大数据的处理能力）和方案的框架（分解任务，把大数据分析拆解成若干小单元加以解决，或者通过规律的提取，把重复出现的数据加以整合等等）等多方面去提升处理能力。
所以，可以理解成大数据是场景是问题，而数据挖掘是手段。

大数据和数据挖掘的区别

大数据指的是什么？
是仅仅指海量的结构化或者非结构化的数据还是指的对海量的数据进行处理并得到有用信息的一种能力？如果是后者的话，那这和数据挖掘有什么区别？数据挖掘也是要从大量数据中获取有用的、潜在的信息。

——-

数据挖掘需要人工智能、数据库、机器语言和统计分析知识等很多跨学科的知识。数据挖掘的出现需要条件: 1、海量的数据。 2、计算机技术大数据量的处理能力。 3、计算机的存储与运算能力。 4、交叉学科的发展。大数据是包含数据挖掘的，两者是息息相关的。

数据挖掘需要人工智能、数据库、机器语言和统计分析知识等很多跨学科的知识。再者，数据挖掘的出现需要条件，第一个条件：海量的数据；第二个条件：计算机技术大数据量的处理能力；第三个条件：计算机的存储与运算能力；第四个条件：交叉学科的发展。

大数据只是数据挖掘的出现的一个条件。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。对于大数据这块，楼主有空可以看看FineBI，挺好用的。

大数据处理和数据挖掘之间是什么关系？

这里涉及到几个概念，大数据、数据处理、数据挖掘。不管多大的数据都会需要数据处理，只是用的工具和对技术的要求不一样，数据量越大要求越高。所谓的大数据，你可以搜索下，很多解释，基本特点是数量大，更新快，结构复杂，价值密度低，但是价值大。数据挖掘是很大的一个概念，就是从数据中有意识无意识的用技术手段挖掘信息，然后加以利用的过程。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名”