大数据峰会：技术热点与应用实践的融合

本次大会虽然只有短短一天，但是却以更加国际化的视野，帮助与会者了解全球大数据技术的发展趋势；从行业应用出发，探讨大数据领域的实践经验，深度剖析大数据的核心技术。

eBay总经理，eBay China Center of Excellence田卫做了开场致辞，在感谢各位来宾的同时，对1500位报名但由于场地限制，未能来参会的朋友们也表示了歉意。大数据以迅雷不及掩耳之势，迅速的扩展到金融、娱乐、工作和生活中来。以打桥牌的经历为例，她介绍了自己如何通过一个”小数据“实现了价值。”打桥牌，不仅牌要打得好，还要运气好，失误少。我将大数据技术融入到桥牌中来，通过对大量数据的积累与分析，最终以新人身份冲入第14届世界桥牌竞标赛。这足以说明数据分析的魅力。未来，eBay会开源几个大数据平台工具，将顶尖的大数据技术分享给世界。”

eBay全球数据架构副总裁Debashis Saha则发表了题为“大数据基础架构的未来”的演讲。如今有五分之一的美元是花费在网上，eBay已经不仅仅是一家连接买家和卖家的电子商务公司。eBay目前有1.28亿的活跃用户，Paypal有1.43亿活跃账户，200PB以上的数据。几年前，Hadoop的出现为这些大数据的处理提供了可能。Debashis首先介绍了eBay如何在Hadoop的基础上，扩展平台和工具，来适应大数据商业的需求，在eBay的生态系统中，分为三层：Infrastructure，Platform和Services。接下来，Debashis介绍了eBay在深度数据分析和快速、实时分析方面所做的工作，包括对开源社区的贡献。

国立台湾大学卓越教授林智仁，作为作为机器学习的研究者，带来了“大规模分布式机器学习”的分享。分布式机器学习还在很初期的阶段，其带来的最大挑战是：以前在一台机器上的算法、工具等都已经基本失效，要考虑算法、系统和应用等各个方面，但也有人说大量的数据中能够更容易挖掘出有效数据。从技术角度来说，分布式机器学习的优点是：1.可实现并行数据加载，提高加载效率；2.容错机制。但分布式机器学习也有缺点：深度分析使流程更加复杂。如果真的要采用分布式机器学习，就要考虑数据的计算时间，加载时间和同步时间，而在过去的机器学习中，大部分场景中却只考虑了计算时间。最后，林智仁介绍了几个分布式机器学习的算法及其应用场景，比如Logistic Regression问题的分布式实现，Google的Sibyl系统，并以用户的CTR预测应用场景进行了说明。

Druid创始人Eric Tschetter接下来发表演讲“Druid之旅，大数据实时分析数据存储框架”的演讲。Eric以一个Demo开场介绍了Druid。Druid是一个开源的、实时处理数据库，主要用于数据量较大、多维度数据的场景，满足不宕机的数据分析需求，在Druid之前，他们尝试过RDBMS（加载速度过慢）、NoSQL存储（随着维度的增加，效率降低），由于各种缺陷开始了Druid的开发。Druid将历史数据和实时数据分开，Realtime Nodes、Historical Nodes，还有Broker Nodes，再将两者进行合并处理。接下来Eric详细介绍了Druid的数据存储形式和处理方式。

eBay全球平台架构资深架构师Sami Ben-romdhane详细介绍了“Eagle：Hadoop平台监控、预警及自动化”的实践经验。eBay的Hadoop平台团队，包括9位中国工程师和11位美国工程师，Eagle完全由中国的团队开发。eBay的Hadoop节点从2007年的几个，发展到2014年的10000个，Hadoop集群的管理成为难点，Eagle应运而生。Eagle的应用场景包括监控M/R作业，作业性能的分析，服务器异常检测，管理SLA作业，监控节点审计日志，监控HDFS镜像，监控进程GC日志等。Eagle的主要组件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分别对其做了详细解说，并介绍了Eagle完全由中国团队开发完成。

EV Analysis Corporation首席数据科学家Ying Li则分享了数据科学的实践。Ying Li首先介绍了数据科学的定义和自己多年积累的实践原则：Question，用问题指引工作；Unknowns，知道你的盲点；Explore，从不同角度看数据；Scrupulous vs. Speed, Science vs. Scrappiness；Truth，数据和现实的关联。认为数据科学的一个重要性质是可重复性，而评价数据科学家的一个重要指标则是其代表作。

CSDN云计算日前翻译的《Kylin正式发布：面向大数据的终极OLAP引擎方案》引发了开发者对麒麟（Kyllin）极大的兴趣。eBay资深架构师蒋旭对刚刚开源的技术Kylin——基于Hadoop的大规模联机分析引擎，进行了深入的分析。随着eBay大量数据都迁移到Hadoop上，如何读取数据？如何达到百亿数量级的数据，秒级时间内就能收到数据分析结果？而Hive又太慢了，eBay开发了Kylin来完成这个任务。对于开发者关心的“现在已经有很多SQL-on-Hadoop技术了，为什么还要重复造车轮？”这个问题，蒋旭详细分析了现有系统的问题，多数选择ROLAP的模式，数据集一大，查询延迟特别长。为此，eBay选择了MOLAP和ROLAP的混合模式，并坚持尽量使用Hadoop已有功能的原则，Kylin支持ANSI SQL查询。并能与现有商业智能工具无缝的整合，比如Tableau。 支持TB到PB级别的快速查询能力。麒麟（Kylin）是完全由中国团队研发并贡献到开源社区的产品，目前正在提交到Apache孵化器项目。