
让大数据成为一种基本的使用和操作能力
大数据重构消费者主权
“大数据”之“大”,不仅仅源于其体量的庞大,更表现在它的无处不在。数据充斥在我们生产生活的方方面面,从大数据分析中获得竞争优势,已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样,开始为企业提供重要的生产因素。
我们会有一套技术和方法,比如我们熟悉的Hadoop,这里面包括数据采集存储,如何分析挖掘,如何产生一些有意义的信息或者支持等等。我们通过数据化的手段构建成数据世界,这个数据世界很好的反映或者模拟了现实世界。在这个数据世界之上,我们再构建自己的业务系统,这些业务系统通过数据世界能了解到现实是怎么样,从而变的更加智能化,
在这场数字革命的背景下,消费者的数据就是一切。对于企业来说,如何通过消费者数据化完成“以产品为中心”到“以客户为中心来”的转变,进而驱动核心产品的运营是最核心的事情。
作为概念,这很容易理解。然而在信息高度碎片化、信息渠道高度碎片化、和信息消费者对外部事物兴趣高度碎片化的数字世界中找到对的人,并不那么容易。
信息化的五大趋势:云大物移社
在整个信息化的方向上,百分点技术副总裁刘译璟提到五个大的趋势:云计算、大数据、物联网、社会化跟移动化。
云是信息化未来的一大趋势。未来所有的信息系统都在云上,因为我们更加关注运用而不关注这些底层的资源,和这些基础的服务从哪里来。放到云上去。
物联网技术是在数据世界跟现实之间的边界。物联网中的Sensor等设备将现实世界转化到数据世界,把现实世界中各种基本的实体、行为转化成数据来形成数据世界。
大数据是这个数据世界中的大脑。这颗大脑将大量数据进行收集加工,转化成信息,甚至转化成知识,最后再通过物联网的技术反馈到现实世界中。这个过程是周而复始持续不断的,使得大数据这颗大脑越来越了解现实世界,越来越智能。
整个现实世界和数据世界不断的通过这几种技术交互,大数据在里面是处于一个核心的加工地位,他把数据转化成中心和知识,不断的产生更多的价值。
移动化是一种资源分配的策略,特别是零散的、碎片化资源的分配。移动化没有带来革命性的技术,但带来了革命性的应用。移动时代到来后,人们更深入的与数据世界对接,拓宽了个人的边界,也使得不同的能更加深度连接在一起。比如用滴滴打车,出租车司机能在接单或者开车的过程中决定接下来要干什么,把自己的零碎的时间更好地利用起来,甚至实现划零为整。相反的,我们也可以看到并不是所有的应用都适合移动化,例如程序开发或者财务审计,这些工作需要大块专注的时间和精力,无法利用零碎的资源完成。
社会化意味者广泛的连接。但另一方面,人以群分物以类聚,社会化也决定了信息技术必须深入到垂直的行业应用才能充分发挥价值。因此,我们可以预见未来一定会形成多个垂直领域的“云大物移”,每个云内部将深度共享数据和信息,而云间则只进行适度的数据和信息交互。
简单总结来讲,在未来的信息社会中,云计算是骨骼,物联网是整个信息里的感官,大数据是大脑,移动化是策略,社会化是最终的灵魂。
企业应用大数据的必备条件
一个企业或者一个组织如果想真的应用大数据的话,必须具备哪些条件呢?刘译璟将其归纳为以下几个方面:
相关的时代必须要到来
在高喊DT时代已经到来的同时,我们看到的事实是很多企业连信息化的门槛都没迈过。譬如很多的企业没有CRM系统,所有的会员管理还是依靠一些小本本,根本谈不上数据化。或者很多企业只有本地化的一些系统,还没有进入到互联网的时代,数据化程度很低,在这种前提下,谈大数据是没有什么意义的。
明确大数据的价值理念
今天,很多企业主在讲数据是核心资产,大数据很重要。但他们之所以这么说,原因是他认为数据只有花钱才能得来,而不是看到自己的经营过程有很多数据,可以做出数据化运营。这样的情况下,说到底他并不清楚数据能对他的业务产生核心的变化。
什么叫做理念?就是不要用大数据做形象工程,而是相信数据能够给业务创造价值,一定会用到业务里。当消费者跑到你的阵地上,一方面,你要尽可能把阵地上消费者最满意的信息给到他,另一方面也要找到对你的产品感兴趣的人,然后再基于数据分析整个过程。
哪怕一开始确实效果非常不好,甚至比以前可能下降,但是企业相信通过不断的优化不断的反馈提高效率。大数据就是一颗大脑,这个大脑一开始是一片白纸什么,都不知道,我们只有通过一轮一轮的循环才能让他真正变得更加智能。
大数据要驱动智能化的业务系统,因此其中最核心的是人工智能相关的技术和应用知识是紧密相关的,包括自然语言理解、知识表示、自动求解和决策、机器学习,以及与此密切相关的图象语音识别、智能Agent等技术。为了支持这些技术和应用,我们对数据存储和计算的要求超出了以往任何时候,这就必须要有类似Hadoop的分布式存储和计算技术。Hadoop的诞生,原因就搜索引擎的驱动;Spark的诞生,也是来自于机器学习算法的要求。
将业务转化成数据的能力
从数据技术到大数据平台,大数据技术的发展一定是跟着业务或者跟着智能化的技术发展的。其实,从企业的现实业务到真正构建数据模型,中间有非常大的鸿沟。这个鸿沟包括数据如何采集、如何建模、以及如何把一个业务问题转化成真正的数据的问题。这其实是需要有具备深厚的理论和经验的人来才能完成的,是大数据落地中最具有挑战性的一环。如果不能将一个实际问题转化为数据和数学模型,那就没有任何技术手段来实现它,更无法落地实践。
大数据应该成为一种基本的使用和操作能力
大数据为商业企业全面、深刻认识消费者行为和市场需求提供了新的方式和视角。运用大数据分析消费者行为,并基于分析结果,采取合适的商业模式,是未来商业发展的一种趋势,也是大数据在商业领域的重要应用。
百分点高级研发总刘国栋描述到,他们对大数据有一个理想,就是希望未来每一个普通的人都具备大数据的使用能力和操作能力,每一个人都能够随时随地利用大数据的能力解决自己的问题。于是,他们在过去六七年的时间里都致力于研发一款可以填平大数据技术与企业应用之间鸿沟的产品——大数据操作系统(BD-OS)。
作为计算机的操作系统,Windows系统让人和机器更容易更快更便捷的交互,并把机器的高性能和处理复杂问题的能力赋予人类。大数据整个发展过程也是这样的。BD-OS致力于解决人和大数据交互的问题,帮助人更轻松的挖掘和管理数据。在大数据操作系统这个层面,百分点做的第一件事就是将底层技术标准化,基于标准化提取出了一系列的解决方案和接口,基于解决方案和接口建立起了一个完整的、可持续的中间交互层,这个中间交互层的具体落地,可以通过交互层,通过不同的维度使用管理和深入探索挖掘大数据,用户不用关心底下具体的某种技术和某种问题,基本上用户感觉不到是在跟Hadoop交互,或者跟Spark交互。对于用户来讲,在这个环境里工作根本感觉不到自己在使用特别复杂特别庞大的数据,或者特别复杂的技术。
图:BD-OS内置标准化处理模板
刘国栋这样比喻,如果将Hadoop、Spark视作一粒一粒的珍珠,那么BD-OS就是一条线,将那些最亮最圆的东西串起来,而不会随便挑一个技术放到整个BD-OS里面去。
更好的方法和答案还在不久的未来
就像舍恩伯格在《大数据时代》的结语中所道:“大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01