GraphLab提供了一个完整的平台,让机构可以使用可扩展的机器学习系统建立大数据以分析产品,该公司客户包括Zillow、Adobe、Zynga、Pandora、Bosch、ExxonMobil等,它们从别的应用程序或者服务中抓取数据,通过推荐系统、欺诈监测系统、情感及社交网络分析系统等系统模式将大数据理念转换为生产环境下可以使用的预测应用程序。
Carlos Guestrin是GraphLab的联合创始人兼首席执行官,同时也是华盛顿大学的机器学习的Amazon Professor。作为机器学习界国际公认的引领者,Carlos获得过多项殊荣——被Popular Science杂志评为2008年 “Brilliant 10”,凭借AI领域的卓越贡献获得IJCAI Computers and Thought Award,同时他也是美国青年科学家总统奖获得人。
本文基于GraphLab首席执行官Carlos Guestrin关于AWS服务的QA内容撰写的。
Q:机器学习是什么?在过去10年又获得了什么样的发展?
Carlos Guestrin:机器学习是一种科学,它设想计算机可以通过大量的数据阅读从模型中学习,并将学到的知识作为基础,自动地进行准确的预测和决策制定。在过去10年中,我们可以看到机器学习已经在无人汽车驾驶、在线商店喜好产品推荐、营销定位、信用卡防欺诈等领域得到使用。鉴于其可以将“大数据”转化为改善生产生活的洞察力,多样化和大体积的数据让机器学习成为一个热门的投资方向。
Q:你可以分享GraphLab成立背后的故事吗?为什么会开始这样一个业务?
Carlos Guestrin:GraphLab原型诞生在2008年卡耐基梅隆大学,在我的引领下,与我的两个学生一起创办,他们分别是博士和博士后。在这之前,团队一直致力于先进图分析应用程序的研究。为了完成某些目标,他们需要建立具备更高扩展性的工具。这些工具一经建立就得到了众多关注,当时一个简单的研讨会甚至吸引了300余人参与,是预期的十倍。这一结果显示,这个市场拥有庞大的需求,同时也证明了平台设计的优越性。当时,团队完美地利用了EC2的能力,在图分析、异步通信取得了颠覆性进展,与同类图分析系统对比中拥有数量级的性能优势。
到2012年,我和妻子(同样是计算机科学教授)正在考虑一个新的工作。在Jeff Bezos游说我们去华盛顿大学的同时,Amazon创始人及董事长约见了我们夫妇,并确定两个华盛顿大学机器学习Amazon Professor的职位。随后我们转移到PNW,也遇见了一些有才华并且想在新兴大数据分析领域大展拳脚的学生。在Madrona Ventures和NEA的资金支持下,GraphLab公司在一年后的2014年3月正式诞生,并以测试版的形式推出了第一个商业版CreateTM。
Q:能否谈谈GraphLab的创建,以及它如何简化大数据分析?
Carlos Guestrin:当下,将原始数据转化为洞察力,并建立一个预测应用程序仍然是极具挑战并且复杂的,它需要数据科学家或同样知识渊博的软件工程师来完成。同时,必不可少的是,完成这个工作还需要大量复杂的工具,用以收集、清洗、建模、分析并将结果对商店或者应用程序进行展示。许多情况下,生产环境下的原型代码实现是个漫长及昂贵的过程。这样一来,许多没有编程经验的数据科学家将毫无用武之地,同时,机构也很难从他们的数据中提取价值。
应运而生的是,GraphLab提供了一个这样的平台,让毫无编程经验的数据科学家可以快速地将理念转化为生产环境可以使用的产品。通过大量GraphLab用户了解到,GraphLab Create可以帮助他们快速的提高生产力,并且在不需要太多编程经验和人力的情况下快速交付价值。
Q:它是否支持部署在AWS的预测应用程序?
Carlos Guestrin:原始数据到业务转化预测分析的过程往往起始于一个数据科学家、一台笔记本及一个必须在大规模测试下验证关键概念的原型。这个过程可能因为AWS非常易于扩展而缩短,但是对于许多数据科学家来说,将原型进行生产环境的代码重实现仍然非常困难。
这就给GraphLab带来了机会。GraphLab Create可以在全AWS环境下运行。只需要修改一行代码,数据科学家就可以将他们笔记本上基于GraphLab建立的原型迁移到AWS中。任何大小的数据集及模型都可以从Amazon S3加载和访问,同时GraphLab还提供了跨AWS集群的部署、监测、数据管道优化及预测服务。
Q:可以分享一些常见用例吗?人们是怎么使用GraphLab Create的?
Carlos Guestrin:常见GraphLab Create使用覆盖了各种领域:
零售业:推荐系统和价格预测(比如机票)
金融服务:通过行为和交易分析预防欺诈
生物医学:通过医疗记录分析预报疾病,定制化药物设计
通信领域:预报客户流失
社交网络分析:识别关键网络和社区影响者
市场和媒体:情绪分析,目标锁定
Q:预测应用程序是不是只有企业在使用?
Carlos Guestrin:完全错误。州政府和地方政府使用GraphLab来分析市民情绪以及判断哪个区域的地方基础设施需要及时关注;生物医学研究团队使用GraphLab分析临床记录来预测病人的病情发展趋势;各种类型的传感器网络使用GraphLab获得有价值的数据以帮助提升航空和铁路运输安全。通常情况下,政府、科研机构、保健和服务提供者都期望通过有效的数据利用来提高运行效率。
Q:那么,早期的公司是否需要重点对待数据科学?创业公司需要在什么阶段开始关注大数据?
Carlos Guestrin:对于任何规模的公司来说,数据科学及数据驱动决策都有着非常重要的意义。大型公司不能只止步于历史记录分析,他们需要让陈旧的客户推荐系统高效起来,利用包括实时分析的领先预测技术。调查及评论字段的文本和情感分析可以帮助了解用户情绪,从而减少意外发生。同样的,刚起步的公司拥有基于数据分析的业务模型同样非常重要,尤其有益于销售、市场、媒体、广告等领域。当下,还存在一些以数据科学为核心的创业公司,他们为某个特殊垂直领域或应用建立高度专业化的定制服务,比如分析在医疗保健上的浪费、供应链优化以及保险索赔。
所有这些公司,不管规模大小,他们都有着共同的特点,那就是拥有大量的数据,但是缺少数据科学资源以及计算能力。这些正是AWS和GraphLab联合提供的优势,通过移除扩展瓶颈,大数据已经从炒作过渡到真正投入生产阶段。
Q:十年后,你眼中的机器学习会对大数据有什么样的推进?
Carlos Guestrin:十年后,对比当下数据科学家和富有经验的工程师,机器学习将掌握在更多人手中,他们将提供比现在更多的生产力。比如,业务分析人员和业务线拥有者将更依赖预测服务提供的实时利润前景预测,政府、医疗、私营部门的服务提供者将可以根据需求定制化产品。同时,对于非技术人们来说,机器学习和数据驱动决策带来的独立价值提升将被人们公认。
Q:GraphLab的下一个举措是什么?
Carlos Guestrin:GraphLab正走在大众化机器学习的路上,旨在实现上文所述“全民都可以机器学习”的愿景。就眼前来说,我们正在致力于旗舰产品1.0版本的打造,GraphLab Create将在10月15日全面可用。首次发行后,我们会将机器学习能力交付到所有机构。同时,我们也将看到更多的大数据需求得以实现。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14