大数据平台在互联网行业的应用
本文是对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
大数据显雏形——发展
所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题。在上市之前,公司的数据,无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此,我们开始整理数据,做数据报表,花费一年多的时间做数据整理、数据规范,慢慢的大数据的平台有了雏形。
后来公司上市之后,数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。
2015年到2016年这两年,公司将目标投入到数据智能上,建立了一个非常大的系统平台,并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上,我们不仅仅要进行管理销售,还要构建销售能力模型,预测未来业绩。因为在美国市场的股价,更多的是依赖公司未来的发展,公司未来预期决定了公司现在的股价,因此总共的业绩预测非常重要,能够非常精确的3 预测销售更加重要。
大数据平台建设
公司拥有很多的业务数据库,有订单、CRM、合同管理、人力资源等数据库。以往,我们会把这些数据库里的数据做集成,做一个简单的数据仓库,然后根据业务需求,在数据集成的基础上,通过帆软报表建立一个决策系统,做数据展示,提供服务。这个过程的好处是开发成本低,投入成本低,技术架构简单,可以非常快速的在公司内部运行起来。
但是这样的方式随着业务系统的增多,逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大;数据存储能力受限,无法追溯较远的历史数据。二是很多情况下,不同的产品经理和工程师所提的需求是不同的,而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标,由于数据指标定义不一致,存在意义相近重复指标的时候,管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控,这会导致IT部门工作压力较大。
除了以上反映的问题,公司在基于未来发展情况下又呈现了新一轮的现状,并提出了以下需求:
l 业务的多元化发展,公司大量的并购导致集团数据量和数据需求爆发式增长;
l 数据网状流通,基础数据、数据指标缺少统一的元数据管理;
l 为了更好发掘数据价值,提升数据能力、构建标准化数据体系成为当务之急。
大数据平台业务架构
集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理,数据模型的开发以及建立统一的数据标准。第二个是数据开发员,它会对接产品,然后去做一些业务开发。第三个是业务人员,业务人员是运营、销售、市场人员,在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门,他们有很多对于审计包括公司一些非常核心的数据的分析需求,他们会通过独立的数据查询系统实现数据多维度分析。
下图是技术架构,在底层进行数据存储,抓取数据,并将存储层的数据传给处理层,在处理层完成业务计算,形成指标。然后前端通过帆软报表的应用,将数据以业务报表的方式进行图形化展示,并在移动报表APP上进行展示。
除去这个,我们还在管理上做了数据中心的建设规范。然后是数据质量管理,包括确保数据的准确性,为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。
大数据可视化
数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面,由于我们
1、需求来源多:团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门,且各个部门关注的指标千差万别。
2、报表可视化方式多:需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求,还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。
3、自定义开发多:为了对接公司内部的业务系统,需要经常自定义开发。
所以,需要一个满足这些需求的可视化报表开发工具。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14