大数据精准营销必读的“三步曲”及“两误区“
随着云时代的来临,大数据也吸引了越来越多的关注,大多行业都因沾染这两个词汇为荣。马云也表示,在接下来的社会经济发展中,数据将如过去的“石油”成为一种核心资源。
其实,上面这些搜集的数据多数是无效的。在我的文章《展会大数据精准营销,你应该知道这些事》中,明确提要一个词汇“大数据画像”,考虑到未来的营销会是精准化营销,搜集数据时一定要按数据的组合进行整理,而大数据画像很直接地告诉我们该搜集怎样的数据,由于篇幅有限,此处不过多讲解,更多请自行百度一下进行阅读。
大数据浪潮,汹涌来袭,与互联网的诞生一样,这绝不仅仅是信息技术领域的升级,更是在全球范围企业加速创新、社会加速变革的利器。现代关系学之父德鲁克说过,预测未来最好的方法,就是去创造未来。而“大数据战略”,在当下及未来某节点上能起到“给我一个杠杆,我能翘起整个地球”的效用。
大数据的应用离不开数据,从搜集、存储、分析到预测。而关于数据的收集,许多人都会觉得无从下手,那么大数据的应用真的那么难吗?
今年早些时候,一项出自Gartner的统计结果引起了我的关注。该结果称,到2018年,由于面对关于技能和整合的挑战,70%的Hadoop应用都将陷入困境。
诚然,技能与整合是会为我们带来挑战,但现如今,各个服务提供商都声称能使大数据应用变得更容易、更平滑,那么挑战与困难会出现在什么环节呢?我们从大数据项目的上游部分入手,开始分析。
1、数据收集
对于数据收集,乍一看是一项艰巨的任务。因为对于数据,不仅仅要做到全面,还要做到精准。再加上大数据收集并纳入数据湖泊(hub)的一系列工作,使人对大数据项目望洋兴叹。但是如果将数据收集问题肢解开来的话,你会发现实际操作难度系数降低了不少。
来自传统来源的数据:我们有各种传统的体系为我们作分析提供数据来源,例如会计系统、HR系统、CRM系统及专业的数据采集技术等等。通过现有的ETL技术,我们可以汇聚这些系统中的数据。大体上我们有两种选择:一种是将实体数据从数据仓库复制、替换到数据湖泊(hub),另一种是在结构上搭建数据湖泊(hub)(虚拟数据仓库的一种变体)。
来自物联网的结构化的数据:物联网中的传感器以及其他设备产生的数据会使应用变得复杂,主要原因是数据产生量与摄入量的及时匹配问题。不过这其中涉及的数据通常高度标准化,而且对上游数据转换的需求量不大。
非结构化的数据:诸如Hadoop之类的大数据平台可以简化媒体文件以及文字数据的收集工作。这些数据可以被简单地“倾倒”入数据湖泊(hub)而后加以利用,因为这些数据的存储是无结构的。
2、数据存储
数据不断增长造成单机系统性能不断下降,即使不断提升硬件配置也难以跟上数据的增长速度。因此,关于数据的存储就发展出来数据库进行存储,具体有如下几种:
并行数据库
并行数据库是指那些在无共享的体系结构中进行数据操作的数据库系统。这些系统大部分采用了关系数据模型并且支持SQL语句查询,但为了能够并行执行SQL的查询操作,系统中采用了两个关键技术:关系表的水平划分和SQL查询的分区执行。
NoSQL数据管理系统
传统关系型数据库在处理数据密集型应用方面显得力不从心,主要表现在灵活性差、扩展性差、性能差等方面。最近出现的一些存储系统摒弃了传统关系型数据库管理系统的设计思想,转而采用不同的解决方案来满足扩展性方面的需求。这些没有固定数据模式并且可以水平扩展的系统现在统称为NoSQL(有些人认为称为NoREL更为合理),这里的NoSQL指的是“Not Only SQL”,即对关系型SQL数据系统的补充。
NewSQL数据管理系统
传统数据库支持ACID和SQL等特性限制了数据库的扩展和处理海量数据的性能,因此尝试通过牺牲这些特性来提升对海量数据的存储管理能力。这种方式取消了耗费资源的缓冲池,在内存中运行整个数据库;它还摈弃了单线程服务的锁机制,也通过使用冗余机器来实现复制和故障恢复,取代原有的昂贵的恢复操作。这种可扩展、高性能的SQL数据库被称为NewSQL。
得益于自身基础设计理念,大数据平台可以无限扩展。如果大数据平台在云端运行维护,那么它的灵活性将更强,但是网络也存在较大安全问题。但是我们从整个数据的应用过程来看,至少从概念上讲,存储数据是大数据应用中最易于实现的部分。
3、数据使用(非应用)
在数据湖泊中存储了理想的数据后,我们该怎么将其加以利用呢?数据的转换、协调、确保不同数据源之间的一致性、检查数据的质量,这些是大数据应用中最难实施的部分,而且在这些方面我们可用的自动化工具少之又少。
如果我们的需求只是基于某个单一数据源开发项目,或者基于一致的数据集得出报告的话,那么我们有许多集成度高的无缝化解决方案可以使用。然而想要结合多种数据源、探索利用不同属性的数据的话,我们就不得不自行开发。
4、大数据的两个误区
大数据“万能”
个人认为,目前大多企业不具备数据应用的能力,因为大数据之间存在相关性。“一句话,即便在大数据时代,种种‘黑天鹅’事件也仍然是没有办法被准确预测到的。因为所有根据过去的理论数据模型进行的假设都无法准确推演未来,它们不过是为了未来某个黑天鹅做着准备。”
大数据涉及海量非相关数据的相关性的统计,其相关性的存在基础又是什么呢?非相关数据,很多时候两者的相关性是真相关,也可能是伪相关。需要注意,这种相关性要成为可推演的行为逻辑,首要前提就是确保这种相关性的基础是恒定不变的。
因此,我们要注意和警惕的是,大数据并非是一个万能的事物,它的缺陷在于立足于统计学基础之上,必然是会因为统计样本的变化而发生变化的。过去决定未来,是无法反映出时代进步和调整的可能性的。过去所做的推断,永远只代表了过去那个阶段为止的最高极限,本身是不会自我演化和发展的。
大数据之“大”
人们往往犯这样的错误,认为大数据越大越好。事实是数据并非越大越好,有价值的分析工具是帮助客户从海量的大数据找出真正可用于决策的数据,这些有价值的数据就是‘小数据’。”换言之,“小数据”是针对客户的特定需求概括、提炼出的数据。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14