京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据不是“最正确”,而是“最可能”
这两年大数据的发展速度令人惊讶,深究起来似乎要感谢商家们不遗余力地“宣传”,让大数据终于落入凡间,然而,聚光灯之外的大数据又是怎样的呢?
你真的懂得大数据吗?
仔细想想,你真的懂得大数据吗?笔者发现很多人其实都是道听途说,一知半解。最近 RADICA DATA LAB 早前进行“大数据市场应用调查”,表示教育水平更高者更熟悉大数据。
大数据其实并不是甚么新奇奥秘的玩意,说穿了它就只是 Found Data ,将零散杂乱的各种数据统合分析,从而演算出某些结论、推测以及反应。昔日的数据库是被动的,它要求使用者逐一回馈,像是填写各项问卷、收集技术样本等等。
“最可能的答案”而非“最正确的答案”
不论是收集过程、数量以及分析数据都需要花费大量时间,而且往往是针对一些特定主题及目的,数据亦不够全面。然而由于现在电脑及手机的普及,以及网络通讯的流行,实现新的数据收集方式:将大量“数位化资讯”进行演算分析从而“数据化”。即使是普通人也会听闻及发现,为什么手机会知道自己的喜好,搜索时都是将自己常去的网站排名靠前,显示的广告都是自己有兴趣的,这就是大众所感知到的“大数据”如何影响自己。
大数据有别过去收集数据的方式,它不需要刻版而特定的数据,纵使再零碎不全,都一律交由电脑收集及识别。大众日常于网络上做的每一步活动,都有纪录下来,让有关方面可以依据需要分析用户个人喜好、居住地区、考虑条件、特定浏览时间等等提供“最可能的答案”,而非“最正确的答案”。
大数据重视关联
大数据是违反科学的:科学讲求精确,它却讲求模糊。科学讲求因果,它只重视关联。科学只纪录有用的数据,它却是所有数据都有价值。早于 20 世纪 20 年代 B.Russell 就提出过有关的论文,之后 1965 年 L.A.zadeh 发表模糊集合理论,正式奠定基础。模糊理论实际上是模糊集合、模糊关系、模糊逻辑、模糊控制、模糊量测等理论的泛称。
过去人类尤其是西方科学重精确轻模糊,胡适亦曾撰文《差不多先生传》,[大数据魔方]崇尚西方学风的他们抨击讽刺中国人特有的“近似推理( Approximation reasoning )”:缺乏科学精神,凡事模棱两可,只要差不多就好。讽刺的是不出数十年,西方科技发展就要学习差不多先生,追求不明确与模糊概念。事实上,模糊理论应用最有效最广泛的领域就是模糊控制。模糊控制出人意料的解决了传统西方理论逻辑无法解决或难以解决的疑难,并取得了一些惊人的成效:大数据就是其中的佼佼者。
大数据未必百分百正确,但又合乎一般人理解的范围
例如“青年”这个概念,它的内涵大家都清楚明白,但是什么样的年龄阶段内的人是青年,恐怕大家莫衷一是,因为在“青年”这个概念中没有一个清晰确定的边界与外延,这就是模糊概念。人们在认识模糊性时往往带有主观性,每个人对模糊事物的认知不可能完全相同。我们询问一千人他们认知中“年青”的年龄范围,那么我们可能得到一千个不同的答案。尽管如此,当我们用模糊统计的方法对海量数据进行分析时,答案又具有一定的规律性。
大数据就是以相近的原理运作,假设我们要求电脑在甲城市报告“低收入青年的数量”,这里所说的“低收入”、“青年”都是模糊概念,过去的统计学要先求出“何谓低收入”“何谓青年”的“精确范围”然后才能进行下一步的统计:你要先告诉电脑某个薪金以下是低收入,哪个年龄阶层是青年,然后在资料库指定栏位找符合的条目。然而在大数据时代下,电脑能通过模糊概念去分析判断,演算法会自己跑自己分析“低收入”及“青年”大概的范围,将相关的数据条列出来。它未必百分百正确,但又合乎一般人理解的范围。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 多表进阶与 DDL/DML 连接 · 子查询 · 合并 · 建表与书写规范 ” 三、DQL 多表进阶:连 ...
2026-11-20 前面讲了怎么搭指标体系,但很多团队卡在最后一步:高层定了一个漂亮的目标,往下一层层写进周报,最后却落不到任何人的具体 ...
2026-11-20 很多团队做数据分析的现状是:老板要一个数就拉一个数,周报里堆满了 GMV、DAU、转化率,却没人说得清这些数之间是什么关系 ...
2026-11-20这周你大概又经历过一次:报表自己跑了,SQL 让 AI 写了,连周报初稿都不用自己动手。你一边松口气,一边心里发慌——那我还剩什 ...
2026-11-20 做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12