企业大数据分析实践指南、总结与展望

在我们身处的时代，数据无处不在。据IBM公司估算，我们每天产生约2.5万ZB的数据，这意味着世界上90%数据都是过去的两年中产生的。

Gartner公司分析报告显示，在2015年财富500强的公司中百分之八十五的企业无法利用大数据来获取竞争优势。

到2020年，全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富，企业可以使用最先进的分析技术，利用这些数据更好地了解客户的行为，识别商业机会，制定运营战略。

让我们举几个例子：

金融机构每天通过信用评分模型，了解他们的客户在未来12个月内每种信贷产品（抵押贷款、信用卡、分期贷款）上的信用。他们以该信用评分为基础来进行坏帐准备，计算巴塞尔协议II/III规定所需资本金数量，或是制定营销方案（例如根据信用评分调整信用卡额度）。

电信运营商使用最近通话行为数据建立流失模型，估计客户在未来一到三个月流失的可能性。

运营商会根据模型得分来制定营销活动，避免有价值的客户流失。

Facebook和Twitter会使用社交媒体分析技术进行内容分析和情感语义分析，以便更好地了解品牌认知度，进一步调整产品服务设计。

亚马逊和Netflix等在线零售商不断地分析顾客的购买行为，以决定产品捆绑销售策略，并利用推荐系统为客户下一次购买推荐产品。

信用卡公司使用欺诈检测模型，检测付款是否具有欺骗性，是否发生了信用卡盗刷。

政府采用数据分析技术来预测逃税行为，优化公共预算分配，分析交通数据提高公共交通效率，分析预测恐怖袭击保障国家安全。

化数据为价值

数据是任何分析模型成功的基础。当启动分析项目时，有必要详细列出企业内所有可用于分析的数据。这里的原则就是数据越多越好！因为很多分析模型都能自动决定哪些数据对当前分析很重要，哪些数据可以排除在下一步分析之外。

我们的研究不断印证了这样一个观点：改善分析模型最好的办法，就是投资于你的数据！这可以通过数量和质量两个维度的提升来完成。对于前者，一个关键点是如何整合结构化数据（例如关系数据库）和非结构化数据（如文本），提供全方位综合视角进行客户行为分析的，另一个关键点则是在线数据和离线数据的整合，很多企业为这个问题所困扰。此外企业还可以超越其内部边界，考虑从外部数据供应商那里购买外部数据，以弥补其内部数据的不足。大量的研究表明采用外部数据，对比较和完善分析模型非常有用。

虽然数据常常体量巨大，但是数据质量经常是一个痛点。GIGO（garbage in garbage out）的原则在这里非常适用，烂数据只会生成烂模型。听起来显而易见，然而实践中数据质量往往成为许多分析项目的“阿喀琉斯之踵”。数据质量可以分解成很多维度：准确性、完整性、新近度、一致性等。在大数据分析中，企业必须专门制定数据质量管理方案，设立数据审核员、数据管家或数据质量经理等职位，持续监测数据质量。

数据分析应该从商业问题开始，而不是从具体的技术解决方案开始。但是这带有一丝“鸡生蛋，蛋生鸡”的意味。要解决商业问题、识别商业机会，需要对潜在的技术解决方案有了解。以社交媒体分析为例，只有首先了解分析技术后，公司才能开始思考如何利用它们研究在线品牌认知度，进行趋势监测。为了跨越分析技术和业务之间的鸿沟，持续性培训和学习是关键，它能使企业始终屹立在分析技术的潮头，保持竞争优势。在这一点上，学术界应该深刻检讨，因为现有的很多大数据分析（或数据科学）硕士课程无法满足上述的要求。

将数据转化为洞察力和提升价值的另一个关键点是分析模型的验证。分析模型需要适当的机制和工具来进行审核和验证，越来越多的公司将分析团队拆分成模型开发和模型验证两个团队。良好的公司治理能够在两个团队之间筑起一道防火墙，使得由前一小组开发的模型可以客观和独立地被后者团队评估。公司甚至可以考虑由外部合作伙伴进行模型验证。通过建立分析基础信息设施，公司能够不断基于现有状况对模型进行评估和验证，提升分析模型性能，抓住更多目标客户。

数据分析往往不是一蹴而就的事情。事实上，当分析模型投入使用时就已经过时了！分析模型总是落后于现实，我们能做的只是保持这种滞后性尽可能小。分析模型所使用的数据，都是在一个特定的时间点和特定的内外部环境条件下采集得到的。这一特定环境不是静态的，而是随着内部因素（如新战略，不断变化的客户行为）和外部因素（新宏观经济环境和法律法规）不断变化而变化。

例如，欺诈检测分析中，欺诈者总是试图不断逃避模型的侦测，以骗取更多的钱财。另一个例子是信用评分模型在很大程度上依赖于当前的宏观经济状况（复苏或是衰退）。因此，分析模型要取得成功创造价值，就必须对内外部环境进行监测，以及时调整或重建模型。

构建底层基础

为了建立一个分析环境，企业需要就所采纳的硬件和软件技术进行选择。

硬件方面，需要专门的基础设施（如Hadoop和相关的软件栈）来清理、整合、存储和管理数据。为了减少支出，企业可能选择云存储，并将大数据作为一种服务。公司在同外部进行数据传输和交换时，应采取适当的谨慎措施，保证数据私密性。

软件方面，很多厂商提供了大数据分析的商业解决方案。目前市场还有很多的开源分析软件（R、weka、Rapidminer），虽然这些开源软件解决方案变得非常流行，但是他们还不够成熟，还不足以很好的处理具有大体量、多样性等特性的大数据。大数据分析成为越来越多公司的DNA 组成部分，但是政府、金融、医药，每个行业都有自己发展足迹，数据、业务和监管都具有特异性，需要针对不同的基因组成进行不同的设置。因此企业需要的是能提供综合全面垂直业务解决方案的软件，而不是一个跨行业的横向通用软件。

鉴于建立数据分析构架环境的复杂性，公司可能会考虑外包。然而，公司内部数据及其蕴藏的信息是公司最宝贵的战略资产，因此不宜让第三方完全拥有数据访问权。相反，企业应该建立内部分析中心和培养公司人员的分析技能，以服务公司广泛的分析需求，这是公司在管理中应该考虑的问题。同样公司董事会和高级管理人员都应该参与到分析环境构建中。很多企业还尝试设立首席分析官（CAO）这样的职位，专门负责建立企业范围内的分析环境和基础设施，管理各业务单位分析模型的研发、审核及部署。

最后一点，我们现在看到越来越多的中小型企业开始借助大数据分析。这些公司通常预算有限，因此它们比较中意那些现成的可以直接用于数据分析的现成软件解决方案。比如利用在线分析工具，来研究网站的使用现状，优化网站设置、改善网站在搜索引擎排名并购买付费引擎营销方案。

总结与展望：

在文章的结尾之处，我们想再次重申企业进行大数据分析所必须注意的几个问题：

从公司管理的角度来看：

（1）公司应同时关注数据体量和数据质量；

（2）持续学习和培训能填平新分析技术和新商机之间的鸿沟；

（3）分析开发团队应该包括独立的模型开发团队和模型验证团队；

（4）分析并不仅仅是模型开发和验证，还包括模型的监测和回溯测试。

从技术的角度企业应该：

（1）考虑使用云服务来进行大数据分析；

（2）应该关注垂直式行业解决方案，谨慎选择开源软件；

（3）对待外包分析要慎之又慎，最好能在企业内部建立分析环境，并置于高层的管理之下。