大数据时代：数据就是一切(2)_数据分析师培训

在大数据时代，不光能够把数据用来赚钱和做生意，实际上这些数据还能用到一些意想不到的地方，还能为我们的一些生活，为我们的政府决策等等都带来一些很重要的影响。”陈宇新表示，近年来，他和复旦大学的团队做得一个研究，就是基于电商的大数据来研究出生月份与创业的关系。

　他介绍，研究中他们使用了一个电商的平台。用卖家和买家的比例作为基数，通过电商平台上卖家和买家的比例来看哪个月份的人更容易创业。

　　“结果确实是验证了我们的想法，9月份出生的是创业比例最高的，9月份正好是在班里面年纪比较大的人。”陈宇新认为会出现这样倾向的原因是，通常我国的小学生都是8月31日之前出生的前一年入学，8月31日以后出生的在后一年入学。所以如果你是9月份、10月份出生的人，你在班级里面年纪会偏大一些，年纪偏大的人从小到大在班里面都容易成为leader， 就证明确实我们教育中的8月31日这条线确实对孩子的成长和未来有影响。 “我们为什么做这个呢？并不是说做这个好玩。”他表示，现在有很多家长都是削尖脑袋，或者是想办法走后门，让自己9月份之后出生的孩子能够提前上学，否则觉得很亏。甚至有的年轻父母会选择提前剖腹产，让孩子出生在8月份，不要落到9月份，这样的话小孩就不输在起跑线上。

　　陈宇新认为，“小孩可能早上学了，但是可能就失去了成为创业领袖，成为企业家的机会，这种希望就会减少。”

　　因此，他认为，大数据研究对家长的选择，对教育的政策制定者也会有帮助。在大数据时代，大数据不但对企业的利润产生影响，还能对政府的决策，对生活的方方面面都可以产生积极的帮助和影响。

我们看到越来越多的用户在做大数据的投资，我们看到他们在做大数据投资的过程当中面临着很多的挑战。”百分点集团运营副总裁韩志勇表示。“第一个挑战是数据的挑战。”

　　他认为，如果把企业所有的数据资产按照所有权进行一个分类，一般分为三类：一是第一方数据，就是企业自己在日常的生产经营过程当中所得到的数据，这个数据的所有权百分之百归企业所有。比如说我们企业ERP里面的数据，你的订单的数据，所有的呼叫中心用户的维修记录等等，都是在日常生活过程当中产生的数据，这些数据的所有权归企业方所有，所以叫第一方数据；二是第二方数据，是由企业和合作伙伴共享的数据。现在越来越多的商家会在天猫、淘宝、1号店和京东上开店。开店的这些数据就是由双方共享的数据，这个数据由双方共有；三是第三方数据，包括第三方公开的数据源能够提供数据。

　　“现在中国很多企业在做数据分析和数据研究的时候，用的仅仅是第一方的数据，更多的是关注在自己企业内部产生的数据，这是传统我们看到所有的BW、BI这样的工具做的事情。而一个更残酷的事实是说，即使是第一方的数据，我们的企业其实用得都非常少，我们用得是什么数据？我们一般只关注交易数据，事务性的数据。”他认为，国内很多企业的日志性的数据和过程性的数据都没有记录，也没有去研究。根据百分点的研究，一个企业完整的数据资产里面，现在能够被有效利用的不超过5%，而超过80%企业的数据资产其实是游离于企业之外的。

　　“第二个挑战，没有方法。”韩志勇认为，从数据的采集、数据的处理和数据的分析这三个角度来看，在大数据时代，现在越来越多的企业面临这样一些问题，很多企业建了大数据Hadoop平台，但是这个Hadoop平台如何和原有的数据衔接？能够快速、便捷的把数据导入并且加以应用？如何能够实时的采集线上的数据？对于第二方和第三方的数据有没有有效的手段获取？在数据处理上，我们不同来源的数据，这些数据到底能不能整合？

　　他认为，对于企业来说第三个挑战是缺少工具。

　　“因为越来越多的企业在进行大数据分析和大数据挖掘的时候发现，他们传统的数据挖掘的工具其实是满足不了他们的需求。”在他看来，用机器识别，是我们传统的数据分析工具欠缺的。我们传统的数据分析工具都是基于报表，基于格式化的工具做的，对于非结构化和半结构化的数据都会出问题。

　　他认为，“实时计算是大数据非常典型的特征，我们说在海量数据里面商机稍纵即逝，任何一个人，一个页面大概三秒钟就要关掉，我们需要在三秒钟的时间里面判断出来这个人到底喜欢不喜欢，在这三秒钟的时间里面能够影响他。甚至于说我们互联网广告的展示，从识别一个人到投放广告就100毫秒的时间，这100毫秒的时间里面怎么完成所有计算过程？对实时计算工具要求非常难，是传统的挖掘工具解决不了的。”

　　韩军：数据给电子商务带来很多价值

　　“我们当时不知道大数据这个名词的时候，我们做了一个系统，叫PI系统。后来在一次会议上分享，说你这就是一个大数据的案例。” 1号店的CTO韩军这样描述1号店最早的数据运用。“实际上我们这个系统就是从网上扒了很多数据，还有网下，包括超市门店的数据，把这些数据进行处理，然后和我们内部的数据进行对比，最后把这个数据输出，其中之一就是价格，我们会智能定价，其实就是这么一个系统。”

　　在他看来，电子商务相对来讲对数据的需求是非常旺盛的。实际上电商本身天然就是一个数据处理的公司，因为电商和传统的商业很大的不同，有大量的中间数据。传统商业的数据就是小票，从用户浏览到最后订单生成，到客户投诉，包括退换货等等，所有的数据都存储在系统里面。其实电子商务就是比传统的商务多了很多的数据，而这些数据给电子商务带来了很多的价值，电商就可以利用这些数据进行自己的一些处理。

　韩军用1号店的数据运用举例，他们是把用户的一些人口统计信息，兴趣图谱、标签、消费类型、忠诚度、购买频次、购买时间、访问时长、访问深度等等数据全部进行一个整理，这就可以得到1号店所用的用户画像，把用户画像再输出，就产生了一个循环的过程。“1号店的特色就是我们对电子商务的理解更深刻，所以我们有一些针对电子商务所特定的场景分析和了解，形成我们1号店所特有的分析模型。”

　　他认为，对这些数据进行分析之后，实际上最后是需要应用场景的。他介绍，在1号店里有一个全自动的运营决策，这就是一个数据服务的应用场景。

　　他举了一个简单的例子，其实是一个销量的预计。根据数据的分析，销售的预测，对于缺货率的分析和对手动态的分析。当然也包括地域分析，不同的地域销售是不一样的。像一升装的欧德堡牛奶，上海仓库将来在某一个时间点上会出现缺货，所以形成一个决策，就是说调拨100箱牛奶，补货1千箱牛奶。对另外一个品牌的牛奶进行促销，从用户的注意点，从欧德堡转换到另外一个品牌。

　　“因为按照预测，欧德堡很快就要缺货，所以是多方位的决策体系。等欧德堡牛奶补货回来以后，可以再做欧德堡的促销。这样的话，使得缺货对生意的影响最小，销售有回升。”