京公网安备 11010802034615号
经营许可证编号:京B2-20210330
CDA数据分析师俱乐部从2013年3月开始成功举办了很多次线下聚会讨论,积累了丰富的经验,基于大数据狂潮和数据分析业务的发展,现在我们改变聚会的形式和时间,将以CDA数据分析师驿站的形式,在每周六(18:30-20:30无特殊情况时间不变)邀您与大家围在一起,喝喝咖啡,谈谈合作,听听大数据牛人的真知灼见 。会员也可以发言和主题分享,只需要提前告知申请,并准备简单的ppt!
10月17日,CDA俱乐部线下活动回顾
主题:Hadoop从部署到应用
俱乐部特邀嘉宾:曹正凤老师
一、先用几分钟聊了下大数据现状。
二、转为Hadoop的安装与部署
1.配置单机分布,
2.进而布置成伪分布
3.最后搭建集群分布的流程和编程(一连串代码就不写了。。)
三、最后讲到大数据的实际应用,主要有以下几点:
1.大数据提升预测准确性,
2.精准营销,整合营销,联合营销。 并以 谷歌、耐克等企业为例。
俱乐部特邀嘉宾:孙增辉老师。
从企业需求、技术实现等角度,讲解MapReduce、spark、storm三种分布式的优缺点。区别与联系。在运行海量数据时,公司主要有两种解决方式,一个是用大型计算机(两千万左右),二是采用分布式(价格便宜),所以在大部分企业中都是用分布式运行处理海量数据。Hadoop和spark的衔接,storm的性能优势及成本劣势。最后详细的讲解了三种软件在企业中应用的流程。
针对两位嘉宾的发言,其他会员进行了半个小时的提问,针对会员的各种问题,两位老师都一一解答。主要有一下几点:
1.现在企业中用的是 商业Hadoop还是免费版本的, 因为免费版本的要自己写程序,而上夜班的只要点点按钮就可以了,这对要不要学习Hadoop,很迷茫。
因为商业的Hadoop的费用是很贵的,并且和企业的具体需求匹配度等问题,现在大部分企业都是使用免费版本的,例如 阿里 百度, 他们都是自定义开发Hadoop的。
2.我现在搭建过单机分布,想在想要研究Hadoop的维护方向,老师有何建议?
如果你只是搭建过单机,对Hadoop的整体运行流程和应用都不了解,那还是从基本学起。现在维护方面有需求,但是没有形成规模,并且Hadoop更新太快了, 做维护研究,会贬值的,就是你学会了2.版本的维护,Hadoop的3.版本就上线了,那你就要从新学起
3.就想您说的Hadoop更新太快,那我们现在学习这些有用吗?会不会刚学习完,就更新了,还要重新学起?
Hadoop更新是很快,但主要从内存等方面更新, 代码原理是不会改变的, 所以把代码学会,就不怕Hadoop更新的快与慢了,但对Hadoop更新的特点要了解清楚
当投入到一件事情后,时间就会过得很快。不知不觉两个半小时已经过去,会员们还在积极讨论,但时间已经很晚了,不得不结束本次活动。相信会员们都收获了一定的知识或者想法,但还没有尽兴,我们创建了微信群,以便后期交流。后续俱乐部互动会持续展开。希望大家多多参与交流
期待下一期活动:《数据分析案例集》新书试读会:http://bbs.pinggu.org/thread-3932529-1-1.html
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Power BI数据可视化分析中,切片器是连接用户与数据的核心交互工具,其核心价值在于帮助使用者快速筛选目标数据、聚焦分析重点 ...
2026-04-23以数为据,以析促优——数据分析结果指导临床技术改进的实践路径 临床技术是医疗服务的核心载体,其水平直接决定患者诊疗效果、 ...
2026-04-23很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标是所有企业都需要的”“哪些指标是因行业而异的”“北极星指标和 ...
2026-04-23近日,由 CDA 数据科学研究院重磅发布的《2026 全球数智化人才指数报告》,被中国教育科学研究院官方账号正式收录, ...
2026-04-22在数字化时代,客户每一次点击、浏览、下单、咨询等行为,都在传递其潜在需求与决策倾向——这些按时间顺序串联的行为轨迹,构成 ...
2026-04-22数据是数据分析、建模与业务决策的核心基石,而“数据清洗”作为数据预处理的核心环节,是打通数据从“原始杂乱”到“干净可用” ...
2026-04-22 很多数据分析师每天盯着GMV、转化率、DAU等数字看,但当被问到“什么是指标”“指标和维度有什么区别”“如何搭建一套完整的 ...
2026-04-22在数据分析与业务决策中,数据并非静止不变的数值,而是始终处于动态波动之中——股市收盘价的每日涨跌、企业月度销售额的起伏、 ...
2026-04-21在数据分析领域,当研究涉及多个自变量与多个因变量之间的复杂关联时,多变量一般线性分析(Multivariate General Linear Analys ...
2026-04-21很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度”“这 ...
2026-04-21在数据处理与分析的全流程中,日期数据是贯穿业务场景的核心维度之一——无论是业务报表统计、用户行为追踪,还是风控规则落地、 ...
2026-04-20在机器学习建模全流程中,特征工程是连接原始数据与模型效果的关键环节,而特征重要性分析则是特征工程的“灵魂”——它不仅能帮 ...
2026-04-20很多数据分析师沉迷于复杂的机器学习算法,却忽略了数据分析最基础也最核心的能力——描述性统计。事实上,80%的商业分析问题, ...
2026-04-20在数字化时代,数据已成为企业决策的核心驱动力,数据分析与数据挖掘作为解锁数据价值的关键手段,广泛应用于互联网、金融、医疗 ...
2026-04-17在数据处理、后端开发、报表生成与自动化脚本中,将 SQL 查询结果转换为字符串是一项高频且实用的操作。无论是拼接多行数据为逗 ...
2026-04-17面对一份上万行的销售明细表,要快速回答“哪个地区卖得最好”“哪款产品增长最快”“不同客户类型的购买力如何”——这些看似复 ...
2026-04-17数据分析师一天的工作,80% 的时间围绕表格结构数据展开。从一张销售明细表到一份完整的分析报告,表格结构数据贯穿始终。但你真 ...
2026-04-16在机器学习无监督学习领域,Kmeans聚类因其原理简洁、计算高效、可扩展性强的优势,成为数据聚类任务中的主流算法,广泛应用于用 ...
2026-04-16在机器学习建模实践中,特征工程是决定模型性能的核心环节之一。面对高维数据集,冗余特征、无关特征不仅会增加模型训练成本、延 ...
2026-04-16在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15