透过大数据看企业创新
如何发现大数据中的价值,是我们研究大数据的重要原因。作者介绍了若干简单的数据分析模型,分析创业成功的效率。另外,通过对比连续三年的演讲的话题的数量,得出了那些话题正在走向热门。而话题中的热点词的变化,也反映了话题方向的变化。
技术与创新是几乎所有初创IT公司赖以生存发展的根本,也是像Google、Apple这样的巨无霸们前进的动力,EMC也不例外。除了自上而下的创新,EMC更加注重自下而上的crowdsourcing式的创新。在每年的Innovation Showcase活动中,EMC鼓励员工针对公司的产品,服务,运营,员工等各个方面提出自己的创意。经过一系列的评审,出众的点子会入围 Finalist,甚至成为某些奖项的Winner。更重要的,这些点子还有被立项孵化的可能。
在2011年度的Innovation Showcase中,EMCer们创纪录地提出了近1500个创新Ideas,可谓百花齐放,百家争鸣。通过分析这样的数据,我们首先可以:
• 获得基本的统计信息。类似商业报表,我们可能关心的信息包含有多少人参与了这样的活动,他们的地理分布,他们的职位分布,哪些人是effective innovators等等。
更有趣的,我们可以对这些Idea进行一个主题模型分析,从而:
• 洞察到这些点子的潜在语义结构
• 分析这些点子包含的主题信息,同时刻画主题。
EMC是一个技术驱动的IT公司,通过深化主题分析的结果,我们更进一步地
• 了解到哪方面的技术是EMCer最关心的,并且
• 研究年复一年的技术趋势的变化。
为了达到这些目的,以数据分析为己任的ELC大数据实验室利用相关分析工具,通过数据科学家和对公司业务熟悉的领域专家们的密切协作,从数据中挖掘出了一些有趣的结果。在保护公司IP和个人Privacy的前提下,我们选择性地展示其中一些结果。
1.寻找Effective Innovators
Figure 1 气泡图帮助寻找effective innovators
为了在所有的Submitter中寻找最有效率的创新者,我们统计了每个Innovator的投稿数(NEntries)和入围Finalist的点子数目(NFinalists)。我们可以效率定义:
Effectiveness = NFinalists / NEntries
除了这种数值的表示,我们也使用了可视化的方法来辅助寻找effective innovator。如图所示,横轴表示NEntries,纵轴表示NFinalists。每个innovator的(NEntries, NFinalists)对应于图中的一个点。比如红框内的点表示某个Innovator投了14个Ideas,其中5个入围。定性地说,位于图中左上角的 Innovator都是有效率的创新人。需要注意的是,当多个Innovator具有相同(NEntries,NFinalists)对时,它们在图上显示为同一个点。点的颜色深度反映了这种重合度的强弱。
我们是利用Google Public Data Explorer来做这样的展现的,利用这个工具的一个好处就是方便发布分析结果:https://plus.google.com/u/0/113662585874608138956/posts/SHYJ6NjYsYj。它提供基本的交互功能,比如将鼠标放置某点上, 会显示此Innovator的姓名。为了公司宝贵的人力资源,这儿显示的姓名全都做过加密,希望能替公司保护各位Innovator的信息^-^。
2.寻找Idea中蕴含的主题
通俗地说,主题分析就是去分析发现每一篇文章的主要议题是什么。比如新浪新闻上有讲政治的,有讲体育的,也有关于军事的,属于同一个主题下的文章应该在用词、表达上有一定的相似处。所以,主题分析本质上是一个聚类(Clustering)的过程,即把相似的文章聚成一类,然后通过分析这一类文章的内容来概 括出主题。这儿需要强调的是,通常的主题分析是一种探索性的、无监督的分析:数据里面没有显性的主题或Tag;甚至在分析前,也不知道这些文本里蕴含了多 少个主题,每个主题的名字是什么。
主题分析最流行的工具是LDA(Latent Dirichlet Allocation)。LDA是ML大牛David Blei在博士期间在老牛M. I. Jordan的指导下做的工作。最早的Journal Version是2003年的JMLR,最近Blei又写了一片关于LDA的综述类文章“Introduction to Probabilistic Topic Models”。关于这个课题,
初级的读者可以了解一下LDA是为了做什么的,重点理解Bag of Words的输入,以及输出的结果的展现。
中级的读者如果有概率图模型PGM的基础,可以试着了解LDA所基于的概率假设和概率模型是什么,去思考为什么这样的假设是合理的。这儿需要一些基本概念,比如独立,条件独立,联合分布的分解,以及图模型的plane representation。
高级的读者们需要去搞定的是基于LDA的推理算法。因为LDA是一个Bayesian Model,所以整个推理的中心就是计算感兴趣的变量的后验分布posterior probability。为了这个目标,可以采用sampling based method,比如Gibbs sampling;也可以首先把问题转化为一个优化问题,然后用Variational EM的方法迭代求解。市面上两种方法都有很多实现,可能有自己不同的应用场景,也不好说哪种方法更优。
Figure 2 文本分布图
利用LDA我们对于EMC 2011 Innovation Showcase的数据进行了分析,上图显示的是从中发现的25个主题。每个bar的高度对应属于这个主题的文章个数。对于每个主题我们可以逐一显示属于它的那些文章,并且也可以显示“Word Scoring”,即在主题中每个词的重要性。由于篇幅关系,我们这儿只关注一些特别的主题。
显然,在所有主题中,Topic22享有最高的权重。为了理解Topic 22的含义,我们看一下此主题中的重要词汇。
我们把如图所示的结果展示给熟悉公司的领域专家,得到的回答是Topic22应该是关于Employee Engagement,Productivity and Benefits 。换句话说,在这次创新活动中,有相当数量的点子是针对员工与公司的关系的。很有意思的发现!
EMC是一个High-Tech公司,理所当然的我们有更多的技术性的创新。通过对于其他主题的分析,我们找到了关于存储的主题,关于云计算的主题,关于大数据的主题等等。主题分析对于理解这些创新点子的隐含结构信息有很大的帮助。
3.寻找主题的趋势和演化规律
很幸运,EMC把员工的Idea当成公司的财富保留了下来,即使是去年,前年以及更久远的数据;更幸运的,我们拿到了这批数据,从而可以主题的趋势分析。下面我们就举例分析这几年EMCer在创新中所关注的主题的趋势。
Figure 3 三年来的主题趋势
通过在2011年的LDA模型上对于2009,2010,2011数据进行推理,我们得到了入上图所示的所有25个主题在这三年里受关注的变化。根据这个图以及前一节所进行的主题诠释,我们就可以回答诸如“近些年EMCer是如何看待cloud或者big data的?”这类问题。比如,topic22代表的employ engagement主题在2011年达到一个峰值;topic4代表的big data有一个稳步的增长;而topic9代表的cloud基本保持平稳。
主题的演化讲的是同一个主题的内容随着时间变化而变化的规律。比如说,我们看到在这三年里,每年都有将近60篇的Idea是关于cloud云计算的。我们可以通过这些文章的常用词理解关于云计算创新的演化。
通过上图我们看到,EMCer的想法和公司的战略以及主流的云计算趋势是非常吻合的:在09年EMCer对云计算的认识还停留在系统主机的基础上,到了10年大家开始讨论虚拟化以及私有云的技术,而在去年的重点则转变为包含私有云和公有云的混合云技术。
再以big data大数据主题topic4为例:
在前两年,大数据分析在EMC还只是关于一般数据库的查询和分析。2010年收购了Greenplum之后,我们看到,不仅更多的人讨论数据分析,而且在2011年大家开始关注大数据,Greenplum,和实时的分析。
4.结语
从2007年开始的5年间,EMC总共有6000多位员工参与了每年的Innovation Showcase活动。在这个分析中,Big Data Lab的数据科学们积极的和熟悉公司业务运作的F/D Engineer们协同工作,通过分析这些Idea来刻画EMC的创新生态系统。使大家对于EMCer的创新结构有了一定的了解。
通过这样的分析我们获得了重要的actionable insights来帮助提高公司创意文化。具体的actions包括对于新兴趋势进行引导和加强,组织针对某个主题的special interest group等等。只有通过这些后续的动作,才能真正让数据分析的结果发光发热,给公司增值。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14