聊一聊统计学和数据挖掘的区别（五）-CDA数据分析师官网

热线电话：13121318867

聊一聊统计学和数据挖掘的区别（五）

2019-02-13

不管是在数据挖掘工作中还是统计工作中，这两个工作的目的都是发现数据的结构，我们在前面的文章中使用统计学的性质进行描述统计学和数据挖掘的区别，下面我们就从数据挖掘的性质来讲述数据挖掘和统计学的区别。

数据挖掘和统计学的基础也是不一样的，由于统计学基础的建立在计算机的发明和发展之前，所以常用的统计学工具包含很多可以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。但是对于公司来说，1000个数据就是九牛一毛，很明显，面对这么多的数据，则需要设计不同于那些“原则上可以用手工实现”的方法。这意味这计算机对于数据的分析和处理是关键的。分析者直接处理数据将变得不可行。相反，计算机在分析者和数据之间起到了必要的过滤的作用。这也是数据挖掘特别注重准则的另一原因。尽管有必要，把分析者和数据分离开很明显导致了一些关联任务。这里就有一个真正的危险：非预期的模式可能会误导分析者，这样很容易得出一个错误的结论。

我们必须意识到一点，就是在现代统计中计算机不是一个重要的工具。它们确实是，并不是因为数据的规模。对数据的精确分析方法如bootstrap方法、随机测试，迭代估计方法以及比较适合的复杂的模型正是有了计算机才是可能的。计算机已经使得传统统计模型的视野大大的扩展了，还促进了新工具的飞速发展。

很多问题都是在两个层次上产生。第一个是微观层次。例如，特殊的属性可能丢失或输错了。如果有人知道一个案例，由于挖掘者不知道，丢失的数据被记录为99而作为真实的数据处理。第二个是宏观层次，整个数据集被一些选择机制所歪曲。交通事故为此提供了一个好的示例。越严重的、致命的事故，其记录越精确，但小的或没有伤害的事故的记录却没有那么精确。事实上，很高比例的数据根本没有记录。这就造成了一个歪曲的映象－可能会导致错误的结论。

我们在这篇文章中从数据挖掘的性质给大家讲述了数据挖掘与统计学的区别，数据挖掘方面的知识是有很多的，掌握了这些才能够做好数据挖掘工作。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；