Yahoo的大数据分析的个人化应用_数据分析师培训

大数据(Big Data)近年来已成为市场关注焦点，为了能够发掘大数据的商业价值，在基础建设已经渐渐完备，数据搜集及储存能力已然成熟的环境下，大数据应用的探索焦点，已逐渐从数据技术与系统的讨论，逐渐转移到数据的分析与各领域的深化应用。

如目前的入口网站早已是许多人日常生活不可或缺的服务提供者，透过使用者在使用入口网站服务的行为分析，业者不但可以更进一步地提供个人化推荐服务，还可能为相关业者找到更多的商机。

但并非所有的数据都能产生价值，必须透过很多生态系统搭配组合，才能产生用户所需要的资讯。

大数据已成市场关注焦点。数据的确需要去开采，也需要技术及工具，但技术及工具也可能会用错或浪费资源，所以技术人员不能只看技术，而是要去理解数据真正的价值所在。

如健康照护服务及定位数据如果加以混搭，虽然可以提供更进一步的价值，但如何说动使用者开放或分享，其实需要更细致的说服过程。此外，大数据分析所呈现的世界，客户需求会更加清晰，但市场区隔也会变小，产品及服务必须要更加客制化。

随着无线网路、行动装置及物联网的时代来临，人与物的连结将变得更加多样化，也创造出更多各类型的数据，如何管理、维护及分析这些数据，并将正确分析的结果即时传给正确的使用者，创造更多的商业价值，势必将成为企业未来非常重要的竞争力，大数据分析的价值，值得加以重视。

大数据分析的个人化应用

网际网路基础建设渐趋成熟，加上行动装置的便利性及普及，让许多人的日常生活行为，已经离不开网路，其中又以入口网站接触到的使用者最多，也成为大数据的最主要来源。

如Yahoo提供的诸多服务，如电子信箱、购物、新闻、理财等，都可以追踪到消费者的足迹，加上使用者其他的网路使用行为如点击广告等，以及全球每月可收集超过16亿只智慧型手机及平板电脑上的使用者行为，如何进一步分析这些个人化应用，已成为重要议题。资讯及选择太多，其实也是大数据分析所遭遇的一大难题，以Yahoo所能追踪的消费者使用足迹为例，就会发现其实跟一般官网可以追踪的足迹不太一样，由此也可知，大数据与一般数据其实仍有差别，不能用同样的思考或方法来分析。

大数据具有5大特性，包括数据量(volume)、速度(velocity)、多样性(variety)、易变性(variability)及真实性(veracity)。其中数据量、速度及多样性这3项是一般较常用来评估大数据的标准。

由于使用者平日在网路的应用习惯，举凡使用搜寻引擎、即时通讯、看影音节目、气象、听音乐、购物、社群活动、上传相片、电邮及阅读新闻，Yahoo都有提供对应的服务，其中光是使用者接触到的媒体内容、电子商务及数位行销广告的使用行为分析，就可以产生非常大的商业价值。在分析大数据时，Yahoo一定会做好个人隐私保护，只有行为数据才是真正可以分析的行为。例如，光是早餐的麦片种类就超过70种，往往会造成消费者选择的困扰，但如果透过适当的使用者经验分析，就能提升使用者的正面体验。

以一个小资女班族的日常生活为例，早上在搭捷运上班途中，打开手机看新闻，透过大数据分析，就会优先提供这位使用者平常阅读的影剧新闻、近期因为想要旅游而常关注的旅游文章，以及最近热门浏览的财经新闻。

透过大数据分析使用者行为，也能让使用者得到更多相关资讯。如使用者在点击购物中心84折运动的资讯时，网站就会提示使用者之前看过的那些商品，其实也适用此活动。

甚至在使用者因为点选了广告推荐的日本秋季赏枫行程，个人化推荐模组就会显示超级商城的冬季新装长大衣，或是日本零食、美妆等商品资讯。而且当使用者下班后经过药妆店时，超级商城App也会提供有限定商品折扣的讯息，而且凭App产生的条码，到店购买就可享有第二件7折优惠。

Yahoo首页每天分析超过1亿个以上的网路使用行为，才能提供使用者最感兴趣的互动，而且使用者的网路使用行为愈多，Yahoo提供的资讯也会愈精准。

而对厂商而言，精准行销广告本来就会有提高广告投资效益的效果，如果能根据使用者行为，在首页出现相关的广告，或提示相关的行销活动，抓到使用者的需求，销售将会成倍数成长，尤其是个人化模组的促销量，效果又会比网站推荐模组的效果更好。

针对电子商务，Yahoo台湾团队自主研发演算法与归纳消费者行为模式进行分群，透过数百群产品推荐模组，提供更优质的个人化服务，让购物中心来自个人化推荐模组的业绩显着增加。电子商务方向的大数据分析经验，发现使用者对于即时性的要求很高，也就是说，使用者的任何行为，要在10几分钟后就能完成分析，提供进一步的建议。

要做到前述的使用者行为分析，其实需要各种数据分析技术支援，如分析消费者各类行为与需求的预测模型，也要有能力即时侦测互动事件，并回馈产生最佳的个人化服务内容，而具备一个能够从互动产生的大数据中，快速地搜集、储存、撷取、汇整与计算的大数据分析平台，更是其中的关键要素。

大数据分析平台的运作过程，必须先要有数据来源，然后透过Hadoop、Shark及SQL等技术，很快地完成数据分析处理，最后再将结果储存并展示在使用者的面前。此外，大数据要做到个人化分析应用，科学建模(Science Modeling)的重要性不言可喻，科学建模依据的数学或科学理论，透过雅虎的实际工程(Practical Engineering)及适应学习(Adaptive Learning)能力，可以具体实践出成果。大数据分析要做到个人化应用，批次讯号及即时讯号的分析技术，两者无法相互替代，必须相辅相成，再透过分群数据技术及个人化引擎，最后才能提供为使用者个人量身订做的专属建议。