京公网安备 11010802034615号
经营许可证编号:京B2-20210330
让大数据成为一种基本的使用和操作能力
大数据重构消费者主权
“大数据”之“大”,不仅仅源于其体量的庞大,更表现在它的无处不在。数据充斥在我们生产生活的方方面面,从大数据分析中获得竞争优势,已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样,开始为企业提供重要的生产因素。
我们会有一套技术和方法,比如我们熟悉的Hadoop,这里面包括数据采集存储,如何分析挖掘,如何产生一些有意义的信息或者支持等等。我们通过数据化的手段构建成数据世界,这个数据世界很好的反映或者模拟了现实世界。在这个数据世界之上,我们再构建自己的业务系统,这些业务系统通过数据世界能了解到现实是怎么样,从而变的更加智能化,
在这场数字革命的背景下,消费者的数据就是一切。对于企业来说,如何通过消费者数据化完成“以产品为中心”到“以客户为中心来”的转变,进而驱动核心产品的运营是最核心的事情。
作为概念,这很容易理解。然而在信息高度碎片化、信息渠道高度碎片化、和信息消费者对外部事物兴趣高度碎片化的数字世界中找到对的人,并不那么容易。
信息化的五大趋势:云大物移社
在整个信息化的方向上,百分点技术副总裁刘译璟提到五个大的趋势:云计算、大数据、物联网、社会化跟移动化。
云是信息化未来的一大趋势。未来所有的信息系统都在云上,因为我们更加关注运用而不关注这些底层的资源,和这些基础的服务从哪里来。放到云上去。
物联网技术是在数据世界跟现实之间的边界。物联网中的Sensor等设备将现实世界转化到数据世界,把现实世界中各种基本的实体、行为转化成数据来形成数据世界。
大数据是这个数据世界中的大脑。这颗大脑将大量数据进行收集加工,转化成信息,甚至转化成知识,最后再通过物联网的技术反馈到现实世界中。这个过程是周而复始持续不断的,使得大数据这颗大脑越来越了解现实世界,越来越智能。
整个现实世界和数据世界不断的通过这几种技术交互,大数据在里面是处于一个核心的加工地位,他把数据转化成中心和知识,不断的产生更多的价值。
移动化是一种资源分配的策略,特别是零散的、碎片化资源的分配。移动化没有带来革命性的技术,但带来了革命性的应用。移动时代到来后,人们更深入的与数据世界对接,拓宽了个人的边界,也使得不同的能更加深度连接在一起。比如用滴滴打车,出租车司机能在接单或者开车的过程中决定接下来要干什么,把自己的零碎的时间更好地利用起来,甚至实现划零为整。相反的,我们也可以看到并不是所有的应用都适合移动化,例如程序开发或者财务审计,这些工作需要大块专注的时间和精力,无法利用零碎的资源完成。
社会化意味者广泛的连接。但另一方面,人以群分物以类聚,社会化也决定了信息技术必须深入到垂直的行业应用才能充分发挥价值。因此,我们可以预见未来一定会形成多个垂直领域的“云大物移”,每个云内部将深度共享数据和信息,而云间则只进行适度的数据和信息交互。
简单总结来讲,在未来的信息社会中,云计算是骨骼,物联网是整个信息里的感官,大数据是大脑,移动化是策略,社会化是最终的灵魂。
企业应用大数据的必备条件
一个企业或者一个组织如果想真的应用大数据的话,必须具备哪些条件呢?刘译璟将其归纳为以下几个方面:
相关的时代必须要到来
在高喊DT时代已经到来的同时,我们看到的事实是很多企业连信息化的门槛都没迈过。譬如很多的企业没有CRM系统,所有的会员管理还是依靠一些小本本,根本谈不上数据化。或者很多企业只有本地化的一些系统,还没有进入到互联网的时代,数据化程度很低,在这种前提下,谈大数据是没有什么意义的。
明确大数据的价值理念
今天,很多企业主在讲数据是核心资产,大数据很重要。但他们之所以这么说,原因是他认为数据只有花钱才能得来,而不是看到自己的经营过程有很多数据,可以做出数据化运营。这样的情况下,说到底他并不清楚数据能对他的业务产生核心的变化。
什么叫做理念?就是不要用大数据做形象工程,而是相信数据能够给业务创造价值,一定会用到业务里。当消费者跑到你的阵地上,一方面,你要尽可能把阵地上消费者最满意的信息给到他,另一方面也要找到对你的产品感兴趣的人,然后再基于数据分析整个过程。
哪怕一开始确实效果非常不好,甚至比以前可能下降,但是企业相信通过不断的优化不断的反馈提高效率。大数据就是一颗大脑,这个大脑一开始是一片白纸什么,都不知道,我们只有通过一轮一轮的循环才能让他真正变得更加智能。
大数据要驱动智能化的业务系统,因此其中最核心的是人工智能相关的技术和应用知识是紧密相关的,包括自然语言理解、知识表示、自动求解和决策、机器学习,以及与此密切相关的图象语音识别、智能Agent等技术。为了支持这些技术和应用,我们对数据存储和计算的要求超出了以往任何时候,这就必须要有类似Hadoop的分布式存储和计算技术。Hadoop的诞生,原因就搜索引擎的驱动;Spark的诞生,也是来自于机器学习算法的要求。
将业务转化成数据的能力
从数据技术到大数据平台,大数据技术的发展一定是跟着业务或者跟着智能化的技术发展的。其实,从企业的现实业务到真正构建数据模型,中间有非常大的鸿沟。这个鸿沟包括数据如何采集、如何建模、以及如何把一个业务问题转化成真正的数据的问题。这其实是需要有具备深厚的理论和经验的人来才能完成的,是大数据落地中最具有挑战性的一环。如果不能将一个实际问题转化为数据和数学模型,那就没有任何技术手段来实现它,更无法落地实践。
大数据应该成为一种基本的使用和操作能力
大数据为商业企业全面、深刻认识消费者行为和市场需求提供了新的方式和视角。运用大数据分析消费者行为,并基于分析结果,采取合适的商业模式,是未来商业发展的一种趋势,也是大数据在商业领域的重要应用。
百分点高级研发总刘国栋描述到,他们对大数据有一个理想,就是希望未来每一个普通的人都具备大数据的使用能力和操作能力,每一个人都能够随时随地利用大数据的能力解决自己的问题。于是,他们在过去六七年的时间里都致力于研发一款可以填平大数据技术与企业应用之间鸿沟的产品——大数据操作系统(BD-OS)。
作为计算机的操作系统,Windows系统让人和机器更容易更快更便捷的交互,并把机器的高性能和处理复杂问题的能力赋予人类。大数据整个发展过程也是这样的。BD-OS致力于解决人和大数据交互的问题,帮助人更轻松的挖掘和管理数据。在大数据操作系统这个层面,百分点做的第一件事就是将底层技术标准化,基于标准化提取出了一系列的解决方案和接口,基于解决方案和接口建立起了一个完整的、可持续的中间交互层,这个中间交互层的具体落地,可以通过交互层,通过不同的维度使用管理和深入探索挖掘大数据,用户不用关心底下具体的某种技术和某种问题,基本上用户感觉不到是在跟Hadoop交互,或者跟Spark交互。对于用户来讲,在这个环境里工作根本感觉不到自己在使用特别复杂特别庞大的数据,或者特别复杂的技术。
图:BD-OS内置标准化处理模板
刘国栋这样比喻,如果将Hadoop、Spark视作一粒一粒的珍珠,那么BD-OS就是一条线,将那些最亮最圆的东西串起来,而不会随便挑一个技术放到整个BD-OS里面去。
更好的方法和答案还在不久的未来
就像舍恩伯格在《大数据时代》的结语中所道:“大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27