京公网安备 11010802034615号
经营许可证编号:京B2-20210330
知识正是大数据之“大”背后的那个“小_数据分析师
“大数据时代”无疑是目前最为流行的词语之一,一大堆关于大数据的科普和专业的书如雨后春笋一般涌现出来,你无法拒绝它的诱惑,总想弄清楚它到底在说什么,总在担心大数据会把我们带到什么样的一个不可预知的未来。然而,大数据只描述了数据的规模大,是一种对现在信息爆炸时代的表象认识,并没有深入到信息时代发展的本质层面,因此,大家都在等待一个新的时代的出现。
这个时代就是在DIKW(Data-Information-Knowledge-Wisdom)概念中界定的K的时代,知识的时代。知识正是大数据之“大”背后的那个“小”。比如第谷测了一辈子的行星运动轨迹,记录的数据汗牛塞屋,后来他的学生开普勒又花了将近一辈子的时间整理出了三大定律,这个大数据终于变得小了一点,到了牛顿时代,一个简单的平方反比的万有引力定律,就把所有一屋的大数据的内容全说透了。
虽然知识的概念出现很早,但到底什么是知识呢?在科学上要清晰的定义非常难,现在也做不到。但其中有一种解释,我很赞同,即知识是信息之间的关联。关联代表着新物质和新性质的产生,而不是静态的两个物体机械地摆在一起。比如H原子和O原子关联在一起,产生的不是2个原子物理上挨得很近这么简单,而是产生了一种叫H2O的新物质,它拥有它的母体、它的前辈所没有的液态流动的性质,因为有了这个物质,孕育了所有的生命,造就了地球这个生机盎然的大千世界。
在知识挖掘中常举的啤酒和尿布的例子,讲的就是通过关联获得知识的例子。啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,这种独特的销售现象引起了管理人员的注意,经过后续调查发现,这种现象出现在年轻的父亲身上。在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。沃尔玛发现了这一独特的现象,开始在卖场尝试将啤酒与尿布摆放在相同的区域,让年轻的父亲可以同时找到这两件商品,并很快地完成购物,这就是“啤酒与尿布”故事的由来。
啤酒和尿布放在一起,代表了一种精巧的知识结构,是一种高级的人类智力活动的结果。发现关联就是发现知识,就是发现新物质、发现新性质,就是发现新的运营模式,就是发现人们未知的新世界,随着关联规模和深度的增加,也就扩大了人类认识世界和认识自己的能力,从而也就扩展了人类的生存能力和把握未来的能力。
大数据的根本目标就是要像挖掘万有引力定律一样,挖掘数据背后的规律,让数据由大变小,从而为我所用,创造出更多的经济、社会和科学价值。因此,我们认为知识时代才是抓住时代发展本质的描述,而所有技术层面的新生事物,都是实现这个时代目标的物质和技术基础,比如搜索技术是信息时代的技术基础,网络是信息时代的物质基础。在新的知识时代,大数据和相应的挖掘技术是技术基础,而数据仓库和高速网络、智能终端等是物质基础。知识工程是实现知识挖掘的系统工程,是突破人类认识能力的局限,从“大数据时代”走向“知识时代”的基础之一。
所谓知识工程,本质上就是建立企业的基因工程,即构建企业“天生的”学习和适应能力。
首先,让我们先从自然界看看基因的伟大之处。2012年11月14日凌晨,8岁的“那仁”登上Nature杂志官方网站的首页头条新闻。这头来自蒙古国阿尔泰省自然保护区的雄性野骆驼,成为世界上首个向全球展示双峰驼全基因组序列图谱的野生骆驼。野骆驼是世界上惟一能靠喝盐水生存的动物。它能在极其严酷的
环境中生存下来,正是由于其背后的遗传秘密。“野骆驼奔跑起来时速可达80公里,在遇到危险时,能连续奔跑两三天。它们机警而胆怯,视觉、听觉、嗅觉相当灵敏,顺风时可以嗅到数公里甚至几十公里外的气味,判断出很远地方的水源。它们可以在遇到沙暴之前,随时关闭鼻孔而不影响呼吸,来不及躲避就会平躺在地上避风。它们还会在风暴过后,用泪水冲洗沙尘以保护眼睛”。这就是这种“天生的适应能力”。
再来看另一个动物——狼。狼是生物系统中最有智慧的动物之一。CCTV曾报道,四川一位画家收养了一只小狼,养到3个月大的时候要放归草原,必须锻炼它捕杀羊的能力,羊很高大根本不理会狼的挑衅,狼很快就发现了羊和羊脖子上的羊绳的关系,就咬着羊绳想把羊拉出来,无奈力小拉不动,人们就拿个牛头把羊吓了出来,狼很快就学会了这一点。只看了一次就知道了牛头和羊的关系,真的是聪明绝伦,难怪狼群可以不被驯服却照样活了下来。在技术层面,狼的聪明就在于它能很快发现事物之间的关联,并且充分利用这样的关联改变自己的行为,这是多么智慧的生灵,当然是一个有知识的行为。
建立企业生存和发展的根基,就是要建立一种适应环境的能力和学习能力,而员工只是表现这种企业所有员工共有的这种企业基因的一个载体。这样,在环境相同的时候,所有员工的表现基本一致,实现了企业行为的稳定性和规范性,同时又具备了在变化环境下能发现事物之间关联的知识发现的能力,由此建立企业稳定发展的基础。这里的关键是,如何实现在企业拥有员工之前就先拥有能力,如何承载这个能力呢?只有一个办法,这就是必须建立一个软件平台,把已有的对象、以及发现对象之间关联的能力,都根植在这个软件平台上。首先是企业的内部知识的梳理,最后进化到整个web网络,整个社会由此进入到知识时代。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22数据收集是数据分析、数据挖掘与数字化运营的源头工作,数据收集的完整性、准确性、时效性直接决定后续数据分析结果的可信度与业 ...
2026-09-21箱线图是数据分析中用于识别数据分布、判断离散程度、筛查异常值的核心图表。相比于直方图、趋势图,箱线图可以精准区分正常数据 ...
2026-09-21 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-09-21在数据库数据查询与数据分析工作中,日期时间是最常用的数据类型之一。原始数据库中存储的日期格式多为标准时间戳、年月日时分秒 ...
2026-09-20在时序数据分析中,增长率是衡量数据涨跌幅度、研判发展趋势、识别周期波动的核心指标,主要分为环比增长率与同比增长率。传统Ex ...
2026-09-20 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-09-20CDA数据分析师 出品 作者:李诗怡 STP模型(营销战略三步法) 定义: 现代营销战略核心框架,通过市场细分(S)、目标市场选择( ...
2026-09-18在互联网产品迭代、运营优化、界面改版与策略升级过程中,主观经验判断容易造成决策偏差、盲目改版、资源浪费等问题。AB实验(AB ...
2026-09-18 很多企业并不缺少指标,缺少的是让指标“串起来、动起来、用起来”的体系。零散指标像散落一地的珠子,指标体系则是那根把珠 ...
2026-09-18在电商行业精细化运营时代,流量红利逐步消退,粗放式投流、广撒网营销模式已无法适配市场竞争需求。依托用户点击、加购、收藏、 ...
2026-09-17在数据可视化与数据分析工作中,图表是将零散数据转化为直观业务规律的核心工具。不同图表拥有专属的数据逻辑与分析维度,能够从 ...
2026-09-17