2014年10月25日,由eBay、CSDN共同举办的“大数据峰会”在上海豫园万丽酒店成功举办。本次活动由CSDN&《程序员》总编刘江主持,eBay全球数据架构副总裁Debashis Saha,eBay全球平台架构资深架构师Sami Ben-romdhane,eBay资深架构师蒋旭,Druid创始人Eric Tschetter,EV Analysis Corporation首席数据科学家Ying Li,腾讯数据平台部精准推荐中心总监李勇等嘉宾为大家奉上一场大数据的技术盛宴。
eBay上海大数据峰会2014 参会嘉宾
本次大会虽然只有短短一天,但是却以更加国际化的视野,帮助与会者了解全球大数据技术的发展趋势;从行业应用出发,探讨大数据领域的实践经验,深度剖析大数据的核心技术。
eBay上海大数据峰会2014 大会现场
eBay总经理,eBay China Center of Excellence田卫做了开场致辞,在感谢各位来宾的同时,对1500位报名但由于场地限制,未能来参会的朋友们也表示了歉意。大数据以迅雷不及掩耳之势,迅速的扩展到金融、娱乐、工作和生活中来。以打桥牌的经历为例,她介绍了自己如何通过一个”小数据“实现了价值。”打桥牌,不仅牌要打得好,还要运气好,失误少。我将大数据技术融入到桥牌中来,通过对大量数据的积累与分析,最终以新人身份冲入第14届世界桥牌竞标赛。这足以说明数据分析的魅力。未来,eBay会开源几个大数据平台工具,将顶尖的大数据技术分享给世界。”
eBay全球数据架构副总裁Debashis Saha则发表了题为“大数据基础架构的未来”的演讲。如今有五分之一的美元是花费在网上,eBay已经不仅仅是一家连接买家和卖家的电子商务公司。eBay目前有1.28亿的活跃用户,Paypal有1.43亿活跃账户,200PB以上的数据。几年前,Hadoop的出现为这些大数据的处理提供了可能。Debashis首先介绍了eBay如何在Hadoop的基础上,扩展平台和工具,来适应大数据商业的需求,在eBay的生态系统中,分为三层:Infrastructure,Platform和Services。接下来,Debashis介绍了eBay在深度数据分析和快速、实时分析方面所做的工作,包括对开源社区的贡献。
国立台湾大学卓越教授林智仁,作为作为机器学习的研究者,带来了“大规模分布式机器学习”的分享。分布式机器学习还在很初期的阶段,其带来的最大挑战是:以前在一台机器上的算法、工具等都已经基本失效,要考虑算法、系统和应用等各个方面,但也有人说大量的数据中能够更容易挖掘出有效数据。从技术角度来说,分布式机器学习的优点是:1.可实现并行数据加载,提高加载效率;2.容错机制。但分布式机器学习也有缺点:深度分析使流程更加复杂。如果真的要采用分布式机器学习,就要考虑数据的计算时间,加载时间和同步时间,而在过去的机器学习中,大部分场景中却只考虑了计算时间。最后,林智仁介绍了几个分布式机器学习的算法及其应用场景,比如Logistic Regression问题的分布式实现,Google的Sibyl系统,并以用户的CTR预测应用场景进行了说明。
Druid创始人Eric Tschetter接下来发表演讲“Druid之旅,大数据实时分析数据存储框架”的演讲。Eric以一个Demo开场介绍了Druid。Druid是一个开源的、实时处理数据库,主要用于数据量较大、多维度数据的场景,满足不宕机的数据分析需求,在Druid之前,他们尝试过RDBMS(加载速度过慢)、NoSQL存储(随着维度的增加,效率降低),由于各种缺陷开始了Druid的开发。Druid将历史数据和实时数据分开,Realtime Nodes、Historical Nodes,还有Broker Nodes,再将两者进行合并处理。接下来Eric详细介绍了Druid的数据存储形式和处理方式。
eBay全球平台架构资深架构师Sami Ben-romdhane详细介绍了“Eagle:Hadoop平台监控、预警及自动化”的实践经验。eBay的Hadoop平台团队,包括9位中国工程师和11位美国工程师,Eagle完全由中国的团队开发。eBay的Hadoop节点从2007年的几个,发展到2014年的10000个,Hadoop集群的管理成为难点,Eagle应运而生。Eagle的应用场景包括监控M/R作业,作业性能的分析,服务器异常检测,管理SLA作业,监控节点审计日志,监控HDFS镜像,监控进程GC日志等。Eagle的主要组件包括Eagle Data Feeder,Eagle Logstash Integration,Eagle Data Storage,Eagle Query Service,Eagle Anomaly Detection,Sami分别对其做了详细解说,并介绍了Eagle完全由中国团队开发完成。
EV Analysis Corporation首席数据科学家Ying Li则分享了数据科学的实践。Ying Li首先介绍了数据科学的定义和自己多年积累的实践原则:Question,用问题指引工作;Unknowns,知道你的盲点;Explore,从不同角度看数据;Scrupulous vs. Speed, Science vs. Scrappiness;Truth,数据和现实的关联。认为数据科学的一个重要性质是可重复性,而评价数据科学家的一个重要指标则是其代表作。
CSDN云计算日前翻译的《Kylin正式发布:面向大数据的终极OLAP引擎方案》引发了开发者对麒麟(Kyllin)极大的兴趣。eBay资深架构师蒋旭对刚刚开源的技术Kylin——基于Hadoop的大规模联机分析引擎,进行了深入的分析。随着eBay大量数据都迁移到Hadoop上,如何读取数据?如何达到百亿数量级的数据,秒级时间内就能收到数据分析结果?而Hive又太慢了,eBay开发了Kylin来完成这个任务。对于开发者关心的“现在已经有很多SQL-on-Hadoop技术了,为什么还要重复造车轮?”这个问题,蒋旭详细分析了现有系统的问题,多数选择ROLAP的模式,数据集一大,查询延迟特别长。为此,eBay选择了MOLAP和ROLAP的混合模式,并坚持尽量使用Hadoop已有功能的原则,Kylin支持ANSI SQL查询。并能与现有商业智能工具无缝的整合,比如Tableau。 支持TB到PB级别的快速查询能力。麒麟(Kylin)是完全由中国团队研发并贡献到开源社区的产品,目前正在提交到Apache孵化器项目。
腾讯数据平台部精准推荐中心总监李勇则以“腾讯大数据平台与推荐应用架构”作为峰会的结尾。腾讯的月活跃用户8.3亿,微信月活跃用户4.4亿,QQ空间月活跃用户6.5亿,游戏月活跃用户过亿。如今腾讯的数据分析已经能做到始终“不落地”,即全部的实时处理。腾讯大数据平台有如下核心模块:TDW、TRC、TDBank、TPR和Gaia。简单来说,TDW用来做批量的离线计算,TRC负责做流式的实时计算,TPR负责精准推荐,TDBank则作为统一的数据采集入口,而底层的Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础,数据应用商业化是价值导向。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14