数据分析的影响因素之分析算法

整个数据分析的流程就是基于基础数据，通过不同的算法或数学模型来实现业务价值的过程。当我们拥有了数据基础后，下一步要做的就是选择合适的算法来挖掘隐藏在数据中的信息价值。

在以往企业的数据分析中，数据分析人员更多会从历史数据与当期数据的对比，当期数据多种纬度的现状呈现角度入手，其呈现价值主要在于对于企业运营的情况进行呈现，由于企业各个部门中有大量的信息需要同步给其他部门，而这些内容如果光靠语言描述或者会议纪要的方式传递的话，无论是承载的信息量还是传递效率还是记录过程中的信息流失都是无法承受的。

所以从很久以前开始，数字化管理就已经成为企业的关键管理模块了。正如质量管理专家戴明说的那句名言：In God We Trust, All Others Bring Data.(除了上帝我无条件相信以外，所有其他的都给我把数据拿出来)。

在以往，这个“所有其他的”的范围倒是还比较小，因为数据分析人员只要把上述内容做好，把当期的情况全面呈现出来，再跟以往作下对比就行了，如果说做的比较好的，则会把趋势分析也加入进来，基于以往的数据，基于趋势分析算法来评估未来该数据指标的变动趋势和波动范围。

可是在今天，这些内容已经远远不能满足企业的胃口了，导致这一切发生的根本原因就在于上一篇文章我所说的，技术和管理能力的提升所导致的数据指标的极大丰富，这一因素致使以往管理者想都不敢想的数学算法，数学模型的应用成为可能。

从数学角度来看数据分析的话，其“了解过去”，用数字的方式来呈现企业内部方方面面的运营情况仅仅只是其功能的很小的一部分，甚至可以说这部分内容都不能算在数学领域内，因为其根本就没有涉及到任何的算法或模型的应用。而真正应用数学知识来实现的数据分析则更多会关注在预测未来上。

何为未来的预测，在前边我所提到的趋势分析就是其中一种，即运用统计学算法来计算未来数据的波动情况，而这个内容的应用在以往之所以能够实现的原因就在于其对于数据指标的需求较为简单，因为只要数据库中能够有单一指标的历史数据积累，即便数据的记录有所缺失都能够应用该算法。

但是再往上，在应用统计学中的更高阶的算法工具时，如聚类分析，回归分析时，我们对于数据指标的需求就大大提升了。就像“啤酒尿布”理论中使用的RFM模型就需要最近一次消费(Recency)、消费频率(Frequency)、消费金额(Monetary)和商品类型等四类指标信息。而一旦提升到关联分析这个层级，我们所需要就已经不是有限的指标了，而是已经把指标的丰富度作为了模型品质的考核因素之一了，也就是说模型中的指标越丰富，那么这个模型就越可能发挥其作用，至于完全独立的创建数学模型的话，我们则不仅需要数据指标了，其他诸如文本信息的结构化都成为了模型构成的核心要素了。

所以说在以往，如果想要达成上述工具或模型的应用，我们的数据库需要多么强大，不过在今天，这一切终于得到了系统层面上的解决方案，在大数据技术的应用下，让我们来看看何为真正的数据分析吧。

目前针对业务需求，我们最为常用的统计学分析方法主要有两类，即聚类分析跟回归分析。以下让我们分别以案例的方式来介绍这两部分内容。

聚类分析（客户分类/热门问题聚焦）

聚类分析，专业定义请各位自行查找百度百科，在这里我用大白话来说，其实聚类分析顾名思义就是“物以类聚”的分析方法，它的目标就是把类似的对象放到一个类型中去。

聚类分析这个分析工具在企业的运营过程中能够起到非常巨大的效果，最典型的应用场景就是客户分类或者说市场细分层面上，在以往我们都是通过客户的消费能力来界定客户类型的，即“高端客户”等，而且这个消费能力的边界也是企业自己脑补的，100元以下一类？1000元以下一类？10000元以下一类？都是企业管理人员自己看着定的，当然并不是说这种拍脑袋的方法有什么错误，实际上资深企业管理人员的经验往往是最好的分析工具。但是这个工具无法推广，如果换个新人来，出错误的概率就会大大提升，而且另一方面，仅仅只是消费能力是不是就能够界定出所谓的“高端客户”，这本身也存在一定的不合理性。今天比较先进的企业会采取将交互活跃度，购买频次等信息共同加入的方法来全面衡量所谓的“高端客户”，但这是否足够全面，其实大家心里都明白。但如果再增加内容，一方面数据来源困难，一方面传统的人工界定的方法难以顾得过来这么多的信息，而此时就需要大数据系统和统计学软件了。在今天的数据库中，我们所记录的内容已经远远不是当年的客户简单的行为信息了，包括地理信息（如住址，气候，环境），人口信息（年龄、性别、职业、收入、教育、家庭类型、家庭人口），心理信息（风格个性、爱好、态度特点、渠道偏好），交互信息（购买产品类型、交互频次、购买频次、售后频次、售后内容、产品评价）等等。通过SPSS或者SAS统计软件，我们能够将这些内容通通放入程序中进行综合分析，在这些各类型的信息综合之下，我们将能够在一个更为完整的客户画像之下对客户进行分类，进而对企业战略侧重提供关键信息。

在文本分析中，聚类分析也起到了不可忽视的作用，譬如热门问题聚焦。以往企业可以收集到很多客户反馈的评论，这些客户声音对企业的价值很大，可是庞大的信息量、非结构化的文本，使得对文本价值的挖掘造成了很大困扰。为了使文本信息量缩小并且可分析，首先我们可以去掉一些水词（如：的、呀等副词）；然后将一些相似的词或近义词进行聚类（如：交费、充钱、充不上钱、交钱等即可聚类为交费），这样我们会聚类出很多关键词；然后，我们对这些关键词进行聚类，即可得到热门话题（如：交费出问题）。由于汉语的博大精神，现在文本分析的道路还存在一些障碍，不过不久的将来，文本分析应该会带给企业更多的显性价值。

回归分析（疾病分析/《纸牌屋》）

回归分析的具体定义在这里也不详讲，从作用上来讲，这种分析方法最重要的目的就在于找到各种因素之间的具体关系。这个分析工具能够在大量的毫无关联的因素之间，基于一个目标因素进行分析，来看其他所有的因素与这个目标因素之间究竟有着怎么样的关系，在这个领域中，属医学分析相关应用最为成熟，举例来讲，医生希望能够通过一系列检查来判断病人是否有得心脏病，那就需要判断心脏病可能会跟哪些其他症状有相关性，这就需要对以往得过心脏病的病人与没得过心脏病的正常人进行综合比对，将各个指标，诸如心率，胆固醇等指标进行汇总，以对象是否有心脏病作为目标因素来分析，通过SVM等回归算法来判断，患有心脏病的对象与没有心脏病的对象之间有差异的因素都有哪些，这些因素将会成为我们对患者检查的关键因素。

而在商业领域中，netflix的《纸牌屋》就是另一个典型的例子了，我们可以看到，以往客户观看的电视剧类型，演员阵容，主题类型，包括地点，结局等，通过以客户是否观看作为判断因素，将上述因素与这个目标进行回归分析，我们就能看到影响客户观看的关键因素都可能是哪些，他们本身又应该是什么，这样就能进一步判断不同类型的客户，以及这类客户的需求会有哪些，应该给他们推什么产品，或者设计什么产品等，这同样能够为企业战略提供重要支撑。

上述案例是众多的数学方法应用于数据分析的典型场景，但并不是全部场景，实际上这个领域可以扩展的内容太多，几乎无法穷举，而伴随着今天底层数据的越发成熟，我们能够使用的数据分析方法也就越来越丰富，能够给企业带来价值的纬度也就越来越多，可以说在今天这样的技术支撑下，我们才真正敢说数据分析迎来了正式的春天，而要真正进入这一数据时代，除了前边所说的数据和算法支撑，这些都属于业务层面，我们最后需要的就是事务层面的需求，这也就是我在下次文章中希望能够介绍的，在组织结构上的数据分析变革。

其实算法层面并不像其他层面有那么多的问题，其实它就是一个客观的工具，我们更多需要的是在业务层面，即数据指标层面，和事务层面，即组织结构层面上的支撑，只有这些支撑真正到位，我们才能应用这些数学工具，真正发挥数据分析的价值。