京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据技术论坛(下):大数据时代的掘金术
2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。
用友软件高级工程师 白小勇
2014中国大数据技术大会第二日上午的大数据技术论坛,用友软件高级工程师白小勇主持了下午的论坛。前通联数据首席战略官龙白滔、VMware高级产品线经理董波、亚信科技大数据事业部数据资产管理部门产品总监高伟、阿里巴巴数据平台事业部ODPS技术专家徐冬、携程资深软件工程师廖晓格、品友互动数据架构师廖海仁六位专家主要就大数据技术的相关问题展开了演讲。
前通联数据首席战略官 龙白滔
前通联数据首席战略官龙白滔,带来了名为“金融投资大数据实践分享”的主题演讲。龙白滔从金融大数据和传统大数据的区别;金融数据的生产过程;金融大数据的存储;金融大数据的分析和挖掘;分析在线交互式金融编程分析研究平台五个方面对金融大数据实践进行分享。
金融大数据和消费互联网大数据的区别体现在以下几个方面:
其中,他表示时间序列数据是未来最重要的数据类型,所以掌握时间序列数据的存储、处理以及关键算法是十分重要的。比如KDB是传统金融机构的标配,Cassandra在国外的物联网和能源领域已经得到了比较成功的应用。随后,龙白滔还介绍了如何把结构化、标准化数据形成有意义的金融行业数据。龙白滔还提到相比国外,国内对前言技术的掌握和应用还差得比较远。
VMware高级产品线经理 董波
VMware高级产品线经理董波,向大家分享了“VMware为大数据应用铺平道路 ”主题演讲。企业对大数据的应用通常要经历三个阶段:概念验证阶段,快速低成本的验证大数据技术带来的价值;生产应用阶段,满足应用SLA,满足系统扩容需求;以及Hadoop即服务阶段,快速敏捷高效的满足各个业务的差异化需求。
vSphere Big Data Extension能够帮你快速简便部署,让你全力关注业务,并且BDE可与第三方管理工具无缝集成。vRealize Operations Manager,能够实现系统全面监控,智能自动分析管理,基于预测主动运维。vSpherevMotion能够消除计划或非计划宕机时间,检测失效自动恢复。
董波在演讲中还提到,运用Hadoop集群管理平台,可平衡处理企业中各部门集群使用需求。他说,当多个部门需求Hadoop集群服务,并且需求各不相同时,需要建设自助服务平台来解决此类问题。VMware推出的VCAC产品,可弹性伸缩处理各部门的集群使用需求,并且减少IT管理人员处理压力。
亚信科技大数据事业部数据资产管理部门产品总监 高伟
亚信科技大数据事业部数据资产管理部门产品总监高伟,与现场参会者分享了主题为“数据资产管理——大数据时代的掘金术 ”。数据资产管理是企业或组织采取的各种管理活动,用以保证数据资产的安全完整,合理配置和有效利用,从而提高带来的经济效益,保障和促进各项事业发展。高伟表示尽管“数据是资产”概念已经广为人知,但“如何管理数据资产”仍然缺少成熟理论以及工具手段,存在市场空白。
传统数据管理方式不适合数据资产管理要求,亚信提倡建立一体化全流程的数据资产管理体系,具有以下关键特性:完善的数据治理与管控,高效的数据资产应用,以及创新的数据资产运营。最后,高伟总结道,数据资产管理已达到与CRM相同的高度,并呼吁数据资产管理技术人员,要考虑如何将技术与业务及商业相结合。
阿里巴巴数据平台事业部ODPS技术专家 徐冬
阿里巴巴数据平台事业部ODPS技术专家徐冬,分享了主题为“ODPS MapReduce 对外开放实践 ”。演讲中,徐冬主要谈到ODPS(Open Data Process System)在阿里云巴巴的使用情况;在ODPS上搭建LOT模型;MapReduce实现过程;MapReduce API介绍以及MapReduce API开放用户实践。ODPS作为阿里大规模数据处理的底层平台,每日提交数十万计任务,底层是跨数据中心的超大规模集群,支持多种编程模型、范式。
其中,徐冬提到MapReduce API在两个方面进行了调整,包括:取消对MapReduce自定义类型支持、希望将MapReduce API做成类似Hadoop。最后,他表示MapReduce作为开放服务,明年年初将会对用户开放。
携程资深软件工程师 廖晓格
携程资深软件工程师廖晓格,分享了主题为“让大数据更实时和可视化”。廖晓格主要介绍了携程大数据平台架构,HBase在携程的应用,携程产品的生态介绍,以及未来的挑战。
携程每天的日志量40T,总条数上千亿条,每天用户行为数据30T,并且业务数据飞速增长,所有数据都需要及时反馈给用户,应用或监控。携程大数据平台架构与Hadoop生态环境类似,底层使用HDFS,上面是调度系统,并且通过MapReduce、Spark做离线数据分析,Storm和HBase做在线数据分析。其中HBase是按业务划分,底层构建HBase门禁系统。携程还构建了一套Mobile监控系统和UBT(User Behavior Tracking)系统,用来跟踪用户行为和用户流量,并形成直观的可视化图像。
品友互动数据架构师 廖海仁
品友互动数据架构师廖海仁,带来了名为“DSP 基于数据的实时竞价优化”的主题演讲。首先,他首先介绍DSP优化中的五个特征:
随后,廖海仁重点介绍DSP优化过程中重要问题:第一,Ranking,搜索广告,每个广告有不同的KPI;第二,sample Selection bias,解决问题前需要进行CTR预估;第三,mobile optimization,mobile优化与PC有很大的差别,需要单独解决。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10