
《大数据时代》作者、牛津大学教授维克托.迈尔.舍恩伯格(ViktorMayer-Schönberger),今天在2014浦江创新论坛上发表了大数据工业4.0主题演讲。
舍恩伯格认为,世界的本质就是大数据,大数据正在开启重大的时代转型。大数据正在改变的的生活以及理解世界的方式,正在成为新发明和新服务的源泉。从因果关系到相关关系的思维变革,正是大数据的关键,建立在相关关系分析法基础上的预测才是大数据的核心。
其主体演讲内容整如下,有部分删节。
当我们谈大数据以及创新的背景时,追溯到百年前,亨利福特催生了当时的福特车型,启动了汽车的大众生产新时代。这不但改变了汽车制造业,改变了经 济,同时也改变了整个社会,改变了我们对距离和时空的感受感觉。之前,我们有亨利福特以及他的福特车型,而现在,我们有苹果手表即将上市。
在这样的背景下,如何定义创新?福特车型主要是与大众生产有关,就某一个车型进行最低成本的批量型生产。快进到现在的时代,苹果手表将会有上千种不同的配置,而且以低成本进行生产,既可以单纯大众生产,还可以进行个性化大众生产。
个性化大众生产,成为现代化的标志。再说创新,我们看到是从大众车型生产到个性化大众生产的时代,我们对本身的想法进行了否定。实际上,创新是 更好地对世界上发生的事情进行数据技术分析和理解。在人类发展当中,通过理解和观察做到创新,并且通过观察捕捉信息从而加深理解。
最近我们开始谈及小数据,因为收集、分析、储备、再使用数据成本非常高昂而耗费时间。现在我们看到要理解世界的方式和方法,是基于我们对于大数据无法正确理解而驱动的,这样的背景正在变化。
一、大数据带给我们对现实的新体验
我们收集分析储蓄数据,再改变数据分析的过程,改变了我们对世界进行理解的方式。从1989年到2010年这20年时间,全球数据的数量增长了 100倍,我们看到数据的爆炸性增长,我们从模拟世界进展到了数码世界或曰数字世界。为什么是这样?因为数量能够转化为质量。譬如我们拍数码照片,每一秒 钟一个人骑马的照片,如果连拍20张照片,可以突然看到数量的改变带来新的质量飞跃,这就是我们对现实的新的观察和体验,这就是数据所带来的改变,信息数 量增长,可以带来我们对世界洞察力新的变革。
二、大数据帮助我们更好理解世界
数据和与之相关的问题,是我们观察世界的出发点。换言之,要让数据说话,让数据来帮助人们看世界,让数据帮助我们更好地理解世界。譬如在拍照时必须 做焦点的选择,哪些是最重要的要作为焦点,而不重要变为模糊的背景?这时,我们会知道在数据时代什么对我们更重要。使用大数据相机拍摄,可以把所有的焦点 重心捕捉起来,在拍完照片之后,可以自己选择任何一个成为焦点的对象。大数据照相机的优点、力量所在,正是可以让数据说话,把互不关联的数据结合起来。通 过分析这些数据间的关系和关联,你可以找出一个事件的因果关系。
三、大数据创新改变生活的方方面面
上世纪50年代,美国国防部想让科学家打造一个软件,能够自动把俄文翻成英文,这个项目最后花费了10亿美金、以及15年时间,最后以失败而告终。 而现在加利福尼亚一个创业公司,利用因特网作为基础,创建统计性、或然性,打造出成功的翻译机器。利用大数据创新后的结果,比以前所有的对机器翻译的研究 都更加出色。
在健康领域,有一位博士利用大数据把数字传感器放到了早产儿身上,然后收集那些与他的生命体征非常相关的关键信息,包括他的血压、心跳数量,大概在 一秒钟内可传递1200多项相关的数据。假以时日,他们开始寻找这些数据所带来的模式和规律,通过这些模式和规律来预测这个孩子未来可能遭遇到的感染、与 之相关的疾病,从而帮助医护人员给早产儿更好的医疗护理。
四、重复使用数据以获取更大的价值
大数据的创新里蕴含有非常多的价值,但最重要的是可以在那些已经用过的数据里获取更大的价值。以前,我们根据数据的用处使用它,用完后把数据丢弃。 但是现在不是这样:我们要把数据一遍遍重复使用,像一座冰山,我们看到的只是冰山一角,数据最重要的价值都隐藏在我们看不见的海水下面。
美国西雅图创投公司重复使用数据,帮助人们在上下班的路上躲开交通堵塞区域。他们有APP(即应用),称之为热图,根据交通堵塞的不同情况显示不同 的颜色,每天都有1亿人在使用这个应用。这个数据从哪里来?每一个智能手机的用户,都是一个传感器,当你在行走或开车时,智能手机已把数据传输出去了,计 算你走在哪条路最佳。这些数据可进行重复,公共部门利用这些数据,可以更好了解公共交通状况。
罗罗公司(即劳斯莱斯),很长时间内都是为飞机提供引擎的,引擎上的传感器留下了很多数据,这些数据本来用后即弃,但现在,他们把这些数据重新整 理,可准备预测引擎里面哪一个零部件即将产生故障,根据预测结果可以提早进行维修和零件替换。所以,这个公司服务板块成长很快,服务创已占到营收总额的 17%。
多林格公司,开发了学习英语的智能手机应用。他们把所有的数据收集起来,发现分析人们学习英语时使用的各种方法,比如西班牙人学习英语的方法与中国 人学习方法不一样。他们使用了云计算服务,不需要很高成本,不需要建设生产制造商基地,不需要建立工厂,也不需要建立谷歌数据库那么大规模的数据库。
在现代世界里,物理规模已经不是那么重要,重要的是要有能力收集数据,有能力分析数据,从数据当中得出点子。
五、以谦逊、人性化的态度分析大数据
大数据的下一个趋势是什么?有了大数据之后,在未来我们肯定能够学的更多,我们也会变得更健康,寿命会延长,汽车会不需要司机但是,大数据显而 易见也有限制,在下一步我们一定要非常当心,以一种非常审慎的态度掌握大数据技术。非常重要的一点是,我们一定从大数据当中进行不断学习。
另外我们应专注于对人类有益的领域,这就是人和电脑之间的差异。我们应更加谦逊,谦逊是非常好的特质。数据经常是不完整、不完美的,我们做大数据分析时,不仅仅是用谦逊的态度去做,而且要以人性化态度分析大数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15