大数据的“真面目”及其利用_数据分析师培训

　大数据的定义

　　近年来，人们对“大数据”的关注度日益提高。这都归因于麦肯锡全球研究院在2011年发布的研究报告。该报告认为人们即将迎来一个利用规模大到超出现有数据处理系统能力的巨量信息时代，并暗示战略性地利用这些信息数据，就有可能产生巨大的商业机会。

　　那么大数据到底是什么呢?从字面来看，它指的是以现有信息处理技术无法应对的庞大信息量。而实际上，当我们将储蓄了各种服务的使用信息数据与用户的属性信息相结合，并在这些信息数据发生时能够全量获取，就被称做大数据。

　　典型的是互联网服务的利用数据。另外还包括零售业销售数据(POS数据)、电力使用数据、来自加速度传感器和无线运动监控器等设备的传感器测量数据。

　　与抽样数据不同，大数据网罗了来自各种服务用户的所有利用数据，它积累的信息不是以一天、一小时，而是以每分、每秒的实际发生情况为基础的。从地区信息方面来看，它不是以市区町村或其他更小的单位来划分的，许多时候可以精确到6位、7位数的经纬度座标级别。

　　大数据的三个特性

　　人们通常以巨量(Volume)、多样(Variety)和高速(Velocity)三个词来概括大数据的特征，统称为“3V”。但诸如作为典型大数据的电力、加速度传感器等探测的数据就谈不上拥有搜索关键词这种“多样性”。从速度和巨量这些条件来看也是如此，未必总能符合3V标准。

　　从利用角度来看，大数据具有以下三个特性。

　　一是可获得的“属性深度”低于一般的行为观察和问卷调查数据。即使掌握了何时用过、用了多少等信息，但无法知晓“是在什么状况下，出于什么理由或目的进行了这些行为活动”等利用背景。用户的属性信息(有无幼年子女、职业、教育程度、收入等)也比较少。这可以说是将这些数据用于市场营销时的一个课题。

　　二是覆盖了所有的发生数据。可以找出抽样数据中无法看到、相当于发生频率较低的尾端部分的数据的独特类型。

　　三是信息利用的实时性。由于大数据可以实时读取、处理消费和利用过程中各个场合发生的情况，所以可用于捕捉特定行为和需求发生的瞬间。比如，当某位特别关注某种汽车的用户浏览了相关网页时，就可以立刻提供有关该汽车的信息。这是无法借助传统市场营销数据实现的。

　　大数据发挥优势的事例

　　下面，让我们以“为顾客提供价值”这种市场营销视角，从六个步骤上来观察一下数据的广泛利用。

　　第一步是“看清市场结构与需求”，这是制定各种商品开发与服务战略的基础;第二步是基于这种市场判断，设计所提供的核心价值、服务属性;第三是针对不同顾客的市场营销;第四是像前面提到那样，在需求发生时提供推销服务(广告、邮件、网站内容等);第五是检验实施前四步以后产生的效果;第六是从数值上预测未来情况。

　　大数据在上述后四个步骤方面尤其具有优势。比如，要提供符合个别用户特性的服务和信息，大数据是不可或缺的前提。在互联网上依据用户的网络记录过滤不恰当信息，提供有针对性的广告及符合个人消费行为的优惠券等，这都属于典型事例。

　　实时打广告或在搜索框中输入热门话题的部分字眼时，立刻就会自动提示话题相关词汇，这种现象源于积累了用户的使用数据后所产生的“机械学习”。通过这种机械学习利用大数据的特点，在于服务提供方即使不理解具体语境也无妨。

　　此外，越是要详细获取信息，就越是离不开大数据的帮助。比如，观察在特定的一周内，人们傍晚在某车站附近的店铺内集中购买鸡肉的变化情况这样的例子。

　　预测分析选举结果、景气动向等

　　另外，人们的一个强烈期望，是运用大数据对不大遥远的未来，也就是对当下或者近期做出准确的定量预测。我在雅虎实施过两个有趣的预测。一是预测了2013年7月的参议院选举结果。

　　最终发现，我们的预测大部分准确，预测结果的准确率超过了所有主要媒体。具体而言，我们发现互联网上关注度—搜索量和推特、Facebook上的原创发帖量等——与投票方式具有高度关联性，针对每个选举区进行了预测。历来的办法是通过专家学者的观察、选民的呼声和问卷调查结果等进行综合预测，而我们仅依据数据的类型和利用量进行预测，获得了准确性超越传统做法的结果。

　　另一个例子是经济情况的预测。内阁府公布的景气动向指数，通常在时间上要滞后1、2个月，但人们想知道的不是两个月前的景气好坏，更想知道现在的情况如何，于是我们开始了这个预测。我们首先从分析搜索词条入手。雅虎上全年大约会出现75亿种搜索词条。我们对其中经常被搜索的约60万个进行了全面分析后，筛选出了尤与经济指标密切相关的200个关键词。以此为基础，制作了用于推导当前景气指标的模式，预测结果也成功做到了基本准确。

　　如上所述，在对近期或当前的定量预测中，大数据发挥出巨大作用。实际上，它早已被用到了日常的供应链管理中，便利店一天三次发送数千件商品也没有出现赤字的一个理由就在于此。

　　妨碍利用的各种问题

　　然后，我想谈一谈利用大数据时可能出现的几种典型问题。第一，几乎所有企业实体根本就没有称得上大数据的数据。这是问题之前的问题。

　　第二，各种数据本身尚未得到充分完善，导致无法整合数据加以利用。比如，零售商品数据，通常按大类、中类、小类等多层次分类，但对这种商品管理数据结构，即使是在同一个零售集团内部，每个链条都各不相同。这样一来，整合利用就变得极为困难。如何将这些数据整合起来加以利用是一个重大课题。

　　即使解决了上述两个问题，另外还需要一种可以实时处理和利用庞大数据的机制。大多数企业既没有这种机制，而且也不具备基础，将不断涌入的数据存储到记忆装置中去。就算拥有存储基础，也没有运用维护的人才。

　　为了解决这些问题，公司迫切需要的是拥有综合技能的人才，运用信息科学和工程技术学，从海量的数据中找出解决商业课题的答案。

　　综上所述，缺乏数据、无法整合、不能建立读取处理和利用的机制、没有足够的储存保管基础、缺乏运用维护人才以及可以综合梳理并解决问题的人才——这就是现今大多数公司利用大数据的现状。

　　安全对策上的两极分化

　　在有关大数据的争论中，人们经常提到隐私保护问题，由于混杂了基于不同立场的论调，所以视角的不同会导致问题反映的层次不同。

　　关于安全问题，大多数主要的互联网运营商早已为此采取了有效的措施。比如雅虎，将可以锁定个人的信息与行为痕迹数据明确地分离开来，使用的数据都经过了匿名化处理。

　　另一方面，许多传统型企业对个人信息与日志文件都不加以区分，而是把它们整合起来进行管理;再加上许多这样的企业缺乏监控危险的完善机制，甚至难以发现数据是否已经外泄。

　　在数据的利用上，企业间出现了两极分化。为了保护使用者，各家企业在利用之前，必须首先针对数据管理制定规章指南。

　　日本面临的三个“障碍”

　　总体而言，与美国等一些国家相比，现今日本的数据利用环境存在三大障碍。一是创造大数据的企业较少。二是缺乏打造一个便于利用数据环境的基础。比如，日本的电费是美国的好几倍，导致数据中心的设立和运营成本高昂。这也是信息类主要企业始终没有涉足日本数据基础设施建设领域的一个原因。为了吸引数据产业落户，至少应该设置一些诸如提供特殊电价的例外措施。

　　第三是前述的人才不足问题。针对这一问题，需要兼备三种能力的人才，即“数据科学能力”、“数据工程技术能力”，以及在理解问题背景的基础上，梳理并解决这些问题的“商务能力”。

　　数据科学能力指的是理解和运用信息处理、人工智能、统计学等信息科学知识的能力。数据工程学能力指的是能以有意义的形式运用数据科学，组建并运用实际系统的能力。我认为，不一定非得要求一人多能，但能否有意识地集中培养一批各有所长的人才，将是决定未来大数据利用成功与否的关键。