运营商的新方向-运用Hadoop技术将大数据资产变现

移动互联网时代的今天，手机不再仅仅是个通讯工具，它是钱包(手机支付)，是商店(手机淘宝)，是地图(手机导航)，是资讯来源(新闻订阅)，是社交工具(微信微博)……手机角色的变化丰富了人们的生活，却颠覆了运营商的世界。不久前，运营商还靠着语音和短信服务垄断着移动通讯市场，现在却不得不和微信等APP共分一杯羹。运营商投资提供了高速稳定的3G/4G网络，却是为百度、阿里、腾讯等互联网公司在OTT领域玩得风生水起做嫁衣。智能手机用户在手机上消费越来越多，三大运营商的收入增长率却从常年的两位数降至了一位数。缺少竞争带来的高利润高增长模式已经被打破。运营商面临着一个抉择：是满足于在移动互联网市场中充当管道，还是充分利用拥有网络设备和海量用户的优势扭转局面，继续做行业的领头羊?运营商心中应该已经有了决定，但是运营商该如何利用优势?其实答案一直都只有一个，那就是深刻地理解用户，深刻地理解自己。

困境的出路——精细化经营

互联网公司大获成功的一大原因是它们深刻地理解用户的各种需求和习惯。它们的产品具有极大的多样性，这意味着大量的创收方式。运营商虽然也通过调整通话、短信、流量的比例推出不同的套餐，相较五花八门的APP便显得单调许多，收入增长点极少。想要增加收入，运营商必须放眼用户在通讯之外的活动，关注过去不曾关注的用户细节，洞察用户的潜在需求甚至创造和引导用户的需求。

基础网络设备是运营商的核心竞争力，也是巨额投资的地方。在传统优势语音和短信业务受到巨大侵蚀的情况下，运营商更应该发挥它拥有网络的优势，提供高覆盖率、高质量的网络服务，以此来保有老客户吸引新客户。同时，运营商也应该通过优化网络的铺设，在保证网络覆盖率的情况下避免建设多余基站，提高投资效益。

要做到理解客户和优化网络，运营商需要高度关注生产中的细节，换言之就是精细化经营。而精细化经营的方向都蕴藏在运营商手中的海量的运营数据，用户行为数据和网络数据中。这些数据可以为经营分析和网络分析提供有力的决策支撑。

运营商的第一步

广东移动下的某地级市分公司(以下称分公司)为了集中处理手中数据建立了统一的数据分析系统，汇聚了包括CRM(客户关系管理)、计费、经营分析和网络分析四个方面的数据，总量达80TB。分公司根据业务需求用SQL设计编写了很多复杂模型，交给该系统来运行。该系统的分析模块像一颗精密的大脑，从经营管理数据、用户行为数据和网络优化数据中计算出各种指标用于支撑经营和网络分析的决策。然而，运营商业务繁杂，近年来增长的3G/4G业务带来的海量数据更是增加了数据分析的难度。这些指标不但数量大(近千个指标，而且数量还在增长)，而且涉及到的表数目多(接近300张)，很多表还涉及到十多个月份的数据，导致计算量浩大。数据分析系统使用Oracle作为计算引擎，对所有指标的一次计算至少要用两天时间，一些复杂的指标甚至无法得出结果。决策的制定具有很高的时效性，如此有限的计算能力让该系统完全无法发挥其应有的分析作用，大大限制了的生产力。为了让该系统能够正常运转，分公司将目光投向了在海量数据计算上有极大优势的大数据技术。

运营商的选择

近年来，随着大数据技术的发展，大数据解决方案的市场涌现了很多产品，主要分为MPP数据库和Hadoop发行版两种。分公司应该选择MPP还是Hadoop呢?在MPP或Hadoop下，它又应该选择哪一个具体产品呢?分公司的技术人员对市场上的产品进行了仔细的调研。他们发现，MPP数据库支持经营和网络分析模型使用的SQL，但是计算性能不够，不能快速完成运算。而基于Hadoop的产品大多对SQL支持不足。分公司尝试过某著名北美厂商的Hadoop发行版。然而，这家北美厂商的Hadoop发行版支持的SQL很少，不支持分公司的大多数经营和网络模型。向这个Hadoop发行版迁移需要对大量模型进行改写，意味着极高的知识成本。而使用混合架构——只改写尤其复杂的模型放在Hadoop上计算，简单一些的模型依旧使用Oracle——会导致数据分析系统业务过于复杂，带来大量的后期管理维护成本。最后，分公司发现了星环科技的Hadoop发行版一站式大数据平台Transwarp Data Hub(TDH)。TDH平台下的交互式内存分析引擎Transwarp Inceptor使用Spark作为计算框架速度极快，而且全面支持SQL，完美满足数据分析系统的运算需求。然而，分公司对TDH这个完全由国内团队研发的Hadoop发行版还持保留态度，了解了TDH在国内的多个成功案例后，才决定一试。

问题解决了

经过部署，TDH的工作流程为：先用平台自带的数据导入工具将分公司原本存储在Windows文件系统，Linux文件系统和Oracle中的数据导入至TDH下的分布式文件系统HDFS中;数据导入完成后，Transwarp Inceptor利用分布式内存计算得出结果并通过TDH自带的JDBC接口传输到客户端或者其他BI和报表工具。

部署了TDH方案后，分公司的问题迅速得到了解决。原先使用Oracle花两天时间都不能完全计算得出的上千个指标Transwarp Inceptor用了8小时便全部计算完成。从Oracle可以完成计算的指标中随机选取四个与TDH做性能对比，可以得到下图(每个指标对应的两个条柱中，左边的是TDH所花时间，右边的是Oracle所花时间，都以秒为单位)，TDH的计算优势一览无余:

部署了大数据平台后，数据分析系统终于可以发挥它的分析作用，将指标传达给决策层，清晰透明地反映经营管理状况，帮助决策层迅速准确地找出问题和发现新的商机。在此基础上，数据分析系统还可以通过对用户数据的分析建立客户标签，为客户画像，做到“比客户更了解客户”。这样分公司可以基于客户的行为分析来洞察用户的潜在需求，通过产品推荐和宣传针对性地刺激和引导用户的需求，使产品多样化、个性化，创造新的收入增长点。根据用户画像，分公司还可以适当地推出优惠活动和赠送活动来体现客户关怀。另一方面，数据分析系统对经营数据的分析可以帮助领导层进行预算管控，投资管理，进而提升资源管理的准确性，提高投资效益。而对网络数据的分析可以帮助分公司优化基站选址，减少重复投资，提高网络质量，最终提升用户体验减少客户流失甚至从竞争对手中赢来客户。

让数据说话

仅仅讨论“精细营销”或许有些抽象。下面，我们来看看分公司具体在如何用新系统做用户数据分析。在这个例子中，分公司根据用户的手机品牌进行了数据分析。我们将看到，单单从不同品牌的用户习惯上我们就可以得出不少有价值的结论。

首先，对手机价位分析可以看出，分公司的客户主要集中千元和高端两个价位：

其中，小米占有700-1500元机市场中最高份额(22.9%)和1500-2000元第二的市场份额(21.1%，略低于第一的三星)。从这点可以看出，小米近年来注重线上销售、针对年轻和资费敏感客户的营销策略取得了巨大的成功，从而在千元机和中端市场中脱颖而出，作为一个较新的智能终端品牌，发展势头强劲。事实上，2014年的用户数据显示，小米以4%的市场份额增幅在所有品牌中排名第一，超过3%的苹果，也就是说，给这个年轻品牌一些时间，它可以更加成功。

高端机市场中，不出所料，老牌劲旅苹果以59.02%的市场份额牢牢占据龙头地位，远超第二名三星的30.24%，几乎是三星市场份额的两倍。苹果手机受欢迎程度我们都不陌生，“果粉”对苹果的忠诚度也不是新闻，那么苹果的品牌粘性具体有多大呢?让数字说话：

根据对用户数据进行的“换机分析”，也就是统计用户换手机前后使用的品牌，我们看出有超过一半的苹果用户会再次选择苹果，苹果有着绝对的品牌忠诚度。通过对苹果用户ARPU(每用户平均付费)数据的分析，分公司发现，苹果用户中一半以上都是高价值用户(ARPU大于80元/月)，远远多于全量市场的高端用户。综合来看，不难看出延续对苹果的推广和加强对小米的推广都将是分公司近期营销的重点。

此外，分公司还对用户的APP下载、上网搜索关键词、阅读内容进行了分析并制作了用户标签。以苹果用户为例，他们绝大多数(99%以上)都下载了微信、QQ客户端，上网搜索最偏好购物类关键词(频率超过90%)，阅读习惯最喜欢经管励志的主题(占据一半以上的阅读量)。所以，苹果用户获得了“爱腾讯”、“爱购物”、“爱励志”的标签。利用类似的标签根据用户的行为习惯进行有针对性的营销，不仅可以获得更高的营销回报，还可以让用户方便得获得他们所需，提升他们的满意度。

故事还没结束

目前，分公司的数据分析系统仅处理其所在地级市产生的数据。但是系统使用的大数据平台TDH有很强的扩展性，通过添加服务器便可扩大规模和提升性能，数据分析系统可以轻松推广到广东省移动。对全省用户数据做分析，运营商将得到更全面更准确的信息。在移动互联网时代，分公司选择大数据解决方案十分有借鉴意义。因为用户的增长和高速网络的普及，其他运营商都将面临传统数据库无法解决日益增长的数据的难题。但正是这些数据中蕴藏着运营商的潜在问题、解决方案和新的商机，任何运营商要对这些数据好好利用都必须选择大数据解决方案。

经营和网络分析仅仅是大数据对运营商业务帮助的冰山一角。大数据还可以在很多其他方面助力运营商。比如，大数据在处理半结构化和非结构化数据上的优势可以帮助运营商处理多媒体手机终端带来的图片、音频和视频数据。大数据对实时数据进行实时处理的能力可以帮助运营商及时发现网络故障并迅速抢修，还可以根据用户所在地点进行实时wifi热点推荐。毫不夸张地说，大数据产品将是运营商在移动互联网时代最重要的工具。请我们共同期待大数据技术打造的更智慧的运营商。