大数据技术论坛(上):Spark、Hadoop技术成主角
2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Tec就hnology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。
2014中国大数据技术大会第二日上午大数据技术论坛上,百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了上午的论坛。网易NTSE/TNT引擎负责人胡炜、英特尔大数据首席架构师戴金权,VMware资深业务解决方案架构师介文清,搜狐移动研发部经理刘佳, Admaster技术副总裁卢亿雷5位专家主要专注于大数据技术展开演讲。
大数据技术论坛主持人:百度大数据部副总监 薛正华
大数据技术论坛主持人:中国移动集团公司业务支撑系统部项目经理 何鸿凌
胡炜:网易数据库压缩技术
12月14日,在大数据技术论坛上午的演讲中,网易NTSE/TNT引擎负责人胡炜发表主题为“网易数据库压缩技术”的演讲。胡炜认为理想中的压缩技术应该是无论你提供哪种压缩技术,它都应该是智能化的、在数据的压缩、解压以及在压缩数据访问达到高效率、无论用什么方式去压缩和解压,都要保持灵活性。
网易NTSE/TNT引擎负责人 胡炜
对于数据库压缩特点,胡炜总结出五点:
最后,胡炜介绍网易大数据压缩方式是在全局建立字典上,通过区分数据属性进行灵活的在线压缩、解压,访问效率相比传统压缩提高2倍到10倍左右。接下来,胡炜计划通过更多的统计信息,实现采集字典的自动划分功能。
戴金权:基于Spark软件栈的下一代大数据分析
英特尔大数据首席架构师 戴金权
英特尔大数据首席架构师戴金权表示,大数据深入分析大致分为两类:类似SQL数据分析,进行关系型云运算;达到实时、快速的数据分析速度。他认为,利用Spark构建下一代大数据分析,能够为用户构建新的应用场景及新的分析应用,并举例说明Spark与SQL结构式数据结合的方式,对
Hive和Parquat进行数据处理。
介文清:12306:改变传统思路解决问题的NoSQL实践
介文清以12306为例展开演讲,介绍如何运用NoSQL建设余票查询系统、订单查询系统,并且,实现每秒1万次订单查询、余票10分钟更新一次的频率。
VMware资深业务解决方案架构师 介文清
介文清表示传统设计的系统架构无法解决,12306网站数据流量问题。系统切换时,将SQL数据库进行抽取,送到NoSQL集群中,数据量进行并行运算,开始新旧系统工作负载在90%—10%之间,运行正常之后可完全放在新系统中运行。
刘佳:基于全网内容的新闻客户端推荐系统
刘佳针对新闻客户端遇到的内容分类质量识别图文、视频、音频、游戏、数据稀疏、内容冷启动、用户冷启动、噪音处理:三俗内容等棘手问题的处理方式展开演讲。
搜狐移动研发部经理 刘佳
首先,刘佳介绍搜狐移动端新闻推荐的两个特点:
随后,刘佳介绍新闻推荐系统中三俗内容的处理方式,他说:“推荐系统出现三俗内容,可以提高18%-20%的转化率,虽然可以暂时提高点击率,但是对用户的粘性有很大的影响。我们会通用户阅读分布、用户属性分布统计性和精细化的分类进行筛选三俗内容。整体处理后,转化率下降到15%,推荐总量提升20%,用户使用频次也有20%的提升。”
卢亿雷:Hadoop在广告监测技术的实践
卢亿雷围绕广告营销数据流程、广告监测技术特点、广告监测数据差异、广告数据挖掘平台架构、ADH在广告营销数据挖掘的特、AdMaster数据分析平台六点展开演讲。
Admaster技术副总裁 卢亿雷
演讲中,卢亿雷表示,ADH是针对广告行业做出来的Hadoop,他有以下五个特点:
在广告监测数据中,卢亿雷总结出:不同IP库系统导致出现不同地域结论;监测代码部署时点的不同;监测机制和指标定义的差异;移动APP较不稳定的网络环境等是导致数据差异的主要因素。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14