大数据泡沫时代：是时候对大数据回归理性了

大数据时代来临，社会对数据人才的理解和评价存在泡沫，是时候需要回归到理性。从智联网的招聘信息看到，很多公司招聘高级数据分析，都特别提出类似的要求：熟练使用SAS、SPSS、R等工具。这些软件都是统计软件，里面的算法都是上个世纪不懂公司业务的人弄出来的。既然是统计领域的知识，为什么特别强调这部分知识呢？其他知识重要性都较轻吗？公司不需要？

很多公司招高级数据分析如此，阿里巴巴数据分析专家卢辉写的书也有类似的问题。很多人都有光环效应（他们认为由于阿里的数据厉害，所以阿里的数据分析专家写的都是对的，其实阿里发展好，是整个团队多年努力出来的）。目前开始有些相对聪明的人慢慢从这个泡沫中从模糊中感觉到不妥，而我本身就是读统计的，由于敢于说真话让我先后被两个中国新闻人物器重和教导。经验不是一篇文章就能说清楚，我这里只说说我对阿里巴巴数据分析专家卢辉著的书《数据挖掘与数据化运营实战》，下文简称卢书的一些看法，希望推动社会对数据人员的认识更理性。
CDA数据分析师是指在互联网、零售、金融、电信、医学、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。CDA数据分析师覆盖了国内企业招聘数据分析师所要求的所有技能，包括统计知识、软件应用（SPSS/SAS/R等）、数据挖掘、数据库、报告撰写、项目经验等。CDA数据分析师分为LEVEL ⅠⅡⅢ三个等级，成为一名合格的CDA数据分析师能够胜任企业不同层次的数据分析工作。
笔者去年年底看了卢书，有些地方跟笔者有共识，但是书上也有很多问题。

先举个例子，大家都知道同样头晕，病根可能是不同的，所以学医的学生全部科目都要学，实习要全部科室都走一趟。如果医生知识面不够广的话，就容易误诊。如果你同意上面例子的话，那么统计方面，知识面不够广就会有问题，这结论大家就能理解了。

例如卢书第17页提到“数据挖掘很多时候并不需要特别专业的统计背景作为必要条件，不过需要强调的是基本的统计知识和技能是必需的”。什么才算基本？懂法律才算最基本吧？统计法规定统计的职权是调查、报告、监督看出，国家强调的是调查，不是统计分析。而第2章提到统计分析与数据挖掘的差异以及书后面介绍的内容，看出卢书作者对统计的认识只停留是统计分析上。这样有什么问题呢？

第6章数据挖掘项目完整应用案例演示，提到某公司存在用户流失的情况，大家都很自然想到调查原因，有些原因可以通过分析日志记录的用户行为数据就能知道大概的问题，也可能公司并没有相关的数据，需要做调查，包含市场调查或业务调查。不论是否有相关的用户行为数据，都属于统计这个大范围内。

但是卢书在第6章提到的方法，浪费大量人力物力，却没得到大家真正关心的答案。书中介绍的做法是：“本案例主要集中是3个方面：1、模型投入应用后提前锁定有高流失风险的高活跃用户群体；2、可以将建模过程中发现的有价值的，最可能影响流失的重要字段和指标选择性地提供给运营方；3、针对影响流失的核心指标和字段，可以提供给业务方，作为参考线索。”也就是花了很多的时间和人力成本却没直接回答流失原因，对于没有相关的数据，不懂调查也不想做调查的人就说这不是他们的工作范围。

另外，卢书封面写“以业务为核心，以思路为重点，以挖掘技术为辅佐”，这点笔者同意，但是书中内容多处违背这个道理。例如按照“以业务为核心，以思路为重点”的说法，业务分析和报告应该是具有逻辑性，可读性。但是卢书中第17页提到“神经网络挖掘技术，它里面的隐蔽层就是一个黑箱，没有人能在所有的情况下读懂”“在实践应用中，这种情况常会让习惯统计分析公式的分析师或者业务人员感到困惑”“只要模型能正确预测客户行为”“业务部门、运营部门不了解技术细节，又有何不可呢？”按照“以业务为核心，以思路为重点”的说法，计算不符合业务逻辑的情况是应该选择其他方法去实现，但卢书采用了“以挖掘技术为主，思路为辅”的做法，以只要能正确预测用户行为试图让大家觉得这样做可行。试想如果黑箱算法预测的结果出了问题，容易查问题和解决吗？

面对着业务人员对他们使用的计算不理解时，卢书第59页提到的做法是“业务团队”“应该具备”“能理解数据分析师的分析报告”。这再一次为上一个说不清的问题找了个借口。真正以“以业务为核心，以思路为重点”的做法，是要求数据分析师的报告要让业务团队的人看得懂。统计法规定统计的职权是调查、报告、监督。报告最起码就是要让别人看得懂，有可读性。卢书把这个逻辑颠倒了。强调使用SAS、SPSS、R等工具进行分析的数据分析师、数据挖掘，他们做的报告也偏向于卢书提到的情况，甚至干脆不写报告。

数据分析、数据挖掘是这几年才新兴的职位，他们使用的只是统计知识中很少一部分的内容加上互联网需要的知识，但是统计的其他知识都没用吗？社会对数据人员的评价高还是对统计的评价高？统计局做人口调查应该是家喻户晓的常识，为什么很多数据人员不愿意提，甚至希望与调查划清界线。面试过很多公司的数据分析，他们都说自己很喜欢统计，当深入问的时候，原来他们只喜欢数据分析那部分工作，这反映社会现状和教育问题了。他们只做了统计工作中，报告职能里面数据分析的工作而已，但是要求社会给予的报酬只是统计的小部分吗？目前社会对哪个的评价更高呢？