京公网安备 11010802034615号
经营许可证编号:京B2-20210330
什么是大数据时代的思维
一百多年前,汽车行业是第一个真正引入大规模生产概念的行业。那些以前买不起车的美国工薪阶层,突然承担得起汽车这个富人的专属玩具了。福特T型车让成千上万美国家庭拥有汽车。但大规模制造也有其局限性,福特先生说过,你可以买到各种色彩的车,但红色、绿色都不可能,只能是黑色。大规模生产让数以百计的人买得起商品,但商品本身却是一模一样的。
我们面临这样一个矛盾:手工制作的产品漂亮无比却非常昂贵;与此同时,量产化的商品价格低廉,但无法完全满足消费者的需求。
我认为下一波的改革是大规模定制,为大量客户定制产品和服务,成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色,厂商有能力满足要求,但价格又不至于像手工制作那般让人无法承担。
因此,在厂家可以负担得起大规模定制带去的高成本的前提下,要真正做到个性化产品和服务,就必须对客户需求有很好的了解,这背后就需要依靠大数据技术。
数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。举例来说,这里有一张照片,照片里的人在骑马。这张照片每一分钟,每一秒都要拍一张,但随着处理速度越来越快,从1分钟一张到1秒钟1张,突然到1秒钟10张后,就产生了电影。当数量的增长实现质变时,就一张照片变成了一部电影。
让我来告诉大家,美国有一家创新企业Decide.com。它可以帮助人们做购买决策,告诉消费者什么时候买什么产品,什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据,然后帮助数以十万计的用户省钱,为他们的采购找到最好的时间,提高生产率,降低交易成本,为终端的消费者带去更多价值。
在这类模式下,尽管一些零售商的利润会进一步受挤压,但从商业本质上来讲,可以把钱更多地放回到消费者的口袋里,让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司,在几个星期前,被ebay以高价收购。
再举一个例子,SWIFT是全球最大的支付平台,在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如,该公司现在为全球性客户提供经济指数,这又是一个大数据服务。
大数据有三大特点: 更多,更乱,但内部有关系可循。
如果拍一张照片,我需要对着某一个人,好比说拍陈部长的照片,如果焦点只对准他,那其他的人物在照片里就会模糊掉。我会得到陈部长的所有信息,但是其他观众的信息就过滤掉了。我们采集信息的时候也要做决策,到底要回答什么问题,采集什么数据,因为一旦数据采集完毕,就无法重新问另外的问题。
但今天我们已经拥有全新的照相技术了,一张照片里可以把对角所有事物,包括所有的数据、光线都会被拍摄进去。这样,我任意点一个地方,它都能变得清晰。
为什么要这么做呢?方便决策。
我可以在照片生成之后再决定我究竟要什么,因为这些数据包含所有的答案。不要把自己限制于眼前的问题,要为有前瞻性,把其他有可能出现的问题也给囊括进去。这是一个非常创新的办法,同时很清晰地告诉我们大数据能够做什么。我可以跟大家分享一个秘密,如果你把照相机拿出来仔细看,可以看到这是中国制造。
在拥有如此多的数据以后,接下来我们面对的数据质量问题。
为了避免混乱,我们需要找到数据之间的关联性。
举个实际生活中的例子,大约20年前,亚马逊刚成立时,杰夫·贝索斯让50个书评员来为他卖书,他意识到不仅仅可以请人来写书评,还可以用数据技术来提供图书推荐。起初他使用的是小数据,不是大数据,把客户进行分类,比如说有人对中国旅游或者是对园艺感兴趣,系统会自动提供推荐。他的同事告诉他,刚刚开始使用这个数据推荐时,使用体验并不好;在进一步分析后,亚马逊决定不对人进行分类,而是对用户的需求分类。这个做法做法非常成功,以至于到今天,推荐系统为亚马逊带去30%的销售收入。
这就是数据收集和再处理。亚马逊有交易数据,每买一本书就是一个交易,然后对这个数据进行分析。但今天我们已不再满足于交易数据了,转而收集起沟通数据。你看了某一个书评、某一个交流会给商家更多的信息和细节。
同时,大数据也重构了传统零售业,是未来零售业变革的催化剂。比如使用谷歌眼镜,消费者不需要屏幕了,因为下一代的眼镜会更好地理解消费者看到什么,知道如何更好地抓住人们的视线。对于零售商而言,消费者眼中看到的信息是极具价值的资产。卖家就可以了解大家在看什么样的广告,什么样的产品,在路过橱窗时究竟看了一些什么。
数据的产生和收集本身并没有直接产生服务,最具价值的部分在于:当这些数据在收集以后,会被用于不同的目的,数据被重新再次使用。
大数据的一大优点就是数据可以被重复使用。比方说这家公司实时车辆交通数据采集商Inrix,该公司目前有1亿个手机端用户。Inrix可以帮助你开车,避开堵车,为司机呈现路的热量图,红的就表面堵车。如果只提供数据,这个产品没什么特色,
但值得一提的是,Inrix并没有用交警的数据,这个软件的每位用户在使用过程中会给服务器发送实时数据,比如走的多快,走到哪里,这样每个客户都是探测器。
这里还有更大的秘密,Inrix可以重复使用数据。比如它了解到周末堵车时,哪里有堵车哪里有更好的销售,他们就可以把这样的数据提供给投资公司,投资公司根据这些数据对零售业再投资,这样的服务以前是从来不存在的。
那么,大数据可以如何为创新企业所用?
你觉得之前成立新公司需要大笔资金,但事实并非如此。Inrix一开始并没有钱,如果你想在大数据时代获得成功,你已经不需要大的生产基地,大的仓库了。你只需数据,只要拥有数据,对其进行分析就可以了。有云存储的话,这个成本就更低。Inrix在成立之初根本没有服务器和电脑,他们只是租用了云服务,也不需要很多的启动资金,他们只是有这样一个产品想法。
大数据时代的思维方式是:每天早上起来想一下,这么多数据我能用来干什么,这些价值在哪里可以找到,能不能找到一个别人以前都没有做过的事情。你的想法和思路,是最重要的资产。
大数据的思维方式也可以帮助政府为大家提供更好更有效的服务,好比说我们可以通过大数据来确定哪些地方会有火灾。以前防火检查员只有13%的时间可以准备预测,现在他们找到火灾隐患的概率达到了70%,比以前提高了6倍。将效率提高6倍是一个巨大无比的进步,未来的公共服务业可以由此获得更多便利。
Target是一家非常大的美国零售公司,他们已有大数据的分析。
有一天,一个电话打进来,是一位非常生气的客户,这个客户说公司送给他17岁的女儿一个折扣券,这个产品是尿布或者是避孕药,这位客户说:“我17岁的女孩子根本不需要,我需要你来道歉。”几天以后,客户自己跑来道歉,他说你说的很准,我的女儿真的怀孕了。因为怀孕的女性会有不同的生活习惯,会买不同的东西,我们自己有时候都不知道他们已经怀孕了,而Target反而知道了。
这家公司就用这些信息为客户推荐产品,然后给折扣券。为什么要讲这个例子呢?因为美国很多客户感到紧张,Target有这样的能力来了解他们的生活中究竟发生了一些什么。
这意味着大数据的另一个关键点,要提高客户对你的信任。
举个例子,大数据时代美国运通有这样一个功能,你给他们打电话的话,他们会知道你是谁,好比说你的电话号码跟你的姓名相关。如果在电话里说:你好吗?维克托先生,我能为你做什么,这会吓着客户,因为他不知道为什么你知道他的名字。营造信任很重要。我相信你的过程中,也希望你们相信我,所以我们做大数据分析的时候,客户需要能够信任服务供应商,而服务供应商也需要表现出来为什么他是值得信任的。
这样一个信任也不应该被打碎,企业应该要知道哪些事情可以做,哪些事情不能做,客户的信任将是最珍贵的资产。
什么样的服务行业会从大数据中获益?
其实所有的服务行业都可能从中获益,即便是你觉得和大数据没有关系的也可以从中获益,好比说医疗服务、教育、学习。
我正在写一本新的书,明年的上半年会出版,还是大数据以及相关的服务业。明年你就知道了,这本书里面会提到大数据对服务业很重要,因为服务业将会面对巨大的改变,这不仅仅是效率,大数据会为各行各业带来效率,而大数据对于服务业来说不仅仅是效率,我们更多看到将是创新。我们会有越来越多的创新想法,来提供新的产品和服务,这样的话可以让经济更好地发展,我们以前是从来没有看到过的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23