大数据技术论坛(下):大数据时代的掘金术
2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。
用友软件高级工程师 白小勇
2014中国大数据技术大会第二日上午的大数据技术论坛,用友软件高级工程师白小勇主持了下午的论坛。前通联数据首席战略官龙白滔、VMware高级产品线经理董波、亚信科技大数据事业部数据资产管理部门产品总监高伟、阿里巴巴数据平台事业部ODPS技术专家徐冬、携程资深软件工程师廖晓格、品友互动数据架构师廖海仁六位专家主要就大数据技术的相关问题展开了演讲。
前通联数据首席战略官 龙白滔
前通联数据首席战略官龙白滔,带来了名为“金融投资大数据实践分享”的主题演讲。龙白滔从金融大数据和传统大数据的区别;金融数据的生产过程;金融大数据的存储;金融大数据的分析和挖掘;分析在线交互式金融编程分析研究平台五个方面对金融大数据实践进行分享。
金融大数据和消费互联网大数据的区别体现在以下几个方面:
其中,他表示时间序列数据是未来最重要的数据类型,所以掌握时间序列数据的存储、处理以及关键算法是十分重要的。比如KDB是传统金融机构的标配,Cassandra在国外的物联网和能源领域已经得到了比较成功的应用。随后,龙白滔还介绍了如何把结构化、标准化数据形成有意义的金融行业数据。龙白滔还提到相比国外,国内对前言技术的掌握和应用还差得比较远。
VMware高级产品线经理 董波
VMware高级产品线经理董波,向大家分享了“VMware为大数据应用铺平道路 ”主题演讲。企业对大数据的应用通常要经历三个阶段:概念验证阶段,快速低成本的验证大数据技术带来的价值;生产应用阶段,满足应用SLA,满足系统扩容需求;以及Hadoop即服务阶段,快速敏捷高效的满足各个业务的差异化需求。
vSphere Big Data Extension能够帮你快速简便部署,让你全力关注业务,并且BDE可与第三方管理工具无缝集成。vRealize Operations Manager,能够实现系统全面监控,智能自动分析管理,基于预测主动运维。vSpherevMotion能够消除计划或非计划宕机时间,检测失效自动恢复。
董波在演讲中还提到,运用Hadoop集群管理平台,可平衡处理企业中各部门集群使用需求。他说,当多个部门需求Hadoop集群服务,并且需求各不相同时,需要建设自助服务平台来解决此类问题。VMware推出的VCAC产品,可弹性伸缩处理各部门的集群使用需求,并且减少IT管理人员处理压力。
亚信科技大数据事业部数据资产管理部门产品总监 高伟
亚信科技大数据事业部数据资产管理部门产品总监高伟,与现场参会者分享了主题为“数据资产管理——大数据时代的掘金术 ”。数据资产管理是企业或组织采取的各种管理活动,用以保证数据资产的安全完整,合理配置和有效利用,从而提高带来的经济效益,保障和促进各项事业发展。高伟表示尽管“数据是资产”概念已经广为人知,但“如何管理数据资产”仍然缺少成熟理论以及工具手段,存在市场空白。
传统数据管理方式不适合数据资产管理要求,亚信提倡建立一体化全流程的数据资产管理体系,具有以下关键特性:完善的数据治理与管控,高效的数据资产应用,以及创新的数据资产运营。最后,高伟总结道,数据资产管理已达到与CRM相同的高度,并呼吁数据资产管理技术人员,要考虑如何将技术与业务及商业相结合。
阿里巴巴数据平台事业部ODPS技术专家 徐冬
阿里巴巴数据平台事业部ODPS技术专家徐冬,分享了主题为“ODPS MapReduce 对外开放实践 ”。演讲中,徐冬主要谈到ODPS(Open Data Process System)在阿里云巴巴的使用情况;在ODPS上搭建LOT模型;MapReduce实现过程;MapReduce API介绍以及MapReduce API开放用户实践。ODPS作为阿里大规模数据处理的底层平台,每日提交数十万计任务,底层是跨数据中心的超大规模集群,支持多种编程模型、范式。
其中,徐冬提到MapReduce API在两个方面进行了调整,包括:取消对MapReduce自定义类型支持、希望将MapReduce API做成类似Hadoop。最后,他表示MapReduce作为开放服务,明年年初将会对用户开放。
携程资深软件工程师 廖晓格
携程资深软件工程师廖晓格,分享了主题为“让大数据更实时和可视化”。廖晓格主要介绍了携程大数据平台架构,HBase在携程的应用,携程产品的生态介绍,以及未来的挑战。
携程每天的日志量40T,总条数上千亿条,每天用户行为数据30T,并且业务数据飞速增长,所有数据都需要及时反馈给用户,应用或监控。携程大数据平台架构与Hadoop生态环境类似,底层使用HDFS,上面是调度系统,并且通过MapReduce、Spark做离线数据分析,Storm和HBase做在线数据分析。其中HBase是按业务划分,底层构建HBase门禁系统。携程还构建了一套Mobile监控系统和UBT(User Behavior Tracking)系统,用来跟踪用户行为和用户流量,并形成直观的可视化图像。
品友互动数据架构师 廖海仁
品友互动数据架构师廖海仁,带来了名为“DSP 基于数据的实时竞价优化”的主题演讲。首先,他首先介绍DSP优化中的五个特征:
随后,廖海仁重点介绍DSP优化过程中重要问题:第一,Ranking,搜索广告,每个广告有不同的KPI;第二,sample Selection bias,解决问题前需要进行CTR预估;第三,mobile optimization,mobile优化与PC有很大的差别,需要单独解决。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14