
预测未来,原本只存在科幻电影与想象中。大数据的出现,终于让人类有可能掌握这一神奇的力量。每个公司都在贪婪地收集数据,期待能在竞争中抢占先机。大部分公司认为,收集的数据越多,预测的准确性就越高。但这种论断并不完全正确。
当今企业面临的最大问题是数据泛滥,很多企业已经被海量的数据淹没。前所未有的计算能力,飞速发展的传感器技术和日新月异的数据挖掘工具,这些都为公司带来大量非结构化的原始数据。公司现在缺乏的是“正确”的数据。
想要正确的答案,先问正确的问题。
到目前为止,企业所应用的软件系统是以功能为基础的。举例来说,电子商务应用软件的主要功能是完成交易。尽管它也会收集数据,但这些数据都是和改善消费体验相关的,它不会去收集其他数据。换言之,公司凭借本能去鲸吞数据,并没有带着明确的目的和问题。当然,这些数据对完成交易功能已绰绰有余,但当公司用数据分析制定战略决策时,例如进入新市场或为产品定价,他们就会发现,手头的数据根本无法回答这些问题,我们将这种现象称为数据缺口。
要填补数据缺口,公司要彻底改变软件系统的设计和应用思路,它们要为数据分析而生。公司要抛弃漫无目的的数据收集方式,要有的放矢地去收集数据。未来,新一代软件系统将成为公司数字供应链的第一个环节,它不但能满足基本的功能需求,为消费者服务,更能为公司收集正确的数据,解答公司最迫切的问题。因此,对公司来说,技术现在已不是最大的难题,最大的挑战是根据自身业务需求,设计出正确的问题。
量化周边世界。
当公司无法收集需要的数据,那么就应重新审视收集这些数据的方法。有很多软件公司已经开始研发下一代软件系统,添加更多的API(应用程序编程接口),让用户更便捷地从软件中提取数据。
公司也在行动,他们在客户交互系统中添加更多的数据收集点。Netflix(在线影片租赁公司)会记录用户观看影片的整个过程,例如用户何时会暂停播放,又会重复观看哪些片段。Knewton(在线教育公司)则观测学生如何使用公司的软件,例如他们完成作业的时间、最高得分、甚至学生的键盘记录和完成某一问题的时间。公司创始人兼CEO何塞·费雷拉说:“我们每天要从每位学生身上获取数千个数据点。”
传感器技术的发展,使公司获得了又一件填补数据缺口的利器。UPS开发了一套车载传感器和手持电脑系统,它不仅可以追踪货物的位置,还可以跟踪送货车辆的行程。通过这套系统,公司发现,送货路线中左转弯越多,送货的速度就越慢,油耗越高。根据这些发现,公司将送货路线中的左转弯限制到最低的数量,仅这一措施,就使公司每年节省约九百万加仑的汽油。
创建数据供应链
在很多公司中,辛苦得来的数据只停留在硬盘中,无人问津。公司应停止建立数据仓库,而去打造一条数据供应链。得到可靠的数据源后,公司还要将这些数据组合、分析,就像工厂的生产线将零部件组装成产品一样。一直以来,数据分析对公司来说是一个艰巨的挑战,但这在很大程度上是由于此前公司分析数据方式无目的性。要有效地分析数据,公司必须想方设法地搞清楚,什么样的数据才能够支持战略决策,并确保收集正确的数据。换句话说,公司要带着明确的目的收集数据,这样才能带来更好的数据和更好的分析结果。
福特公司研究发现,购买混合动力汽车的消费者都颇具环保意识,他们希望电力驾驶的比例尽可能高。但是在原先的驾驶系统中,是否进行油电切换取决于电池的剩余电量。如何在保证汽车正常运行的前提下,尽量提高电力行驶的比例呢?带着这一明确的问题,福特分析了车载GPS上的数据,他们发现很多车主的驾驶范围集中在几个固定的位置之间,例如学校、公司和超市等。于是公司开发了一套路径算法,当电脑发现汽车的行驶范围在电池的容量之内时,汽车就会更多地依赖电池行驶。
在不久的将来,一些公司将会建立起行动敏捷的数据供应链,形成数据收集、数据分析和结果反馈的良性循环。随着商业环境和战略的变化,他们会重新设计自己的问题,收集并分析全新的数据。
转变企业文化
在向数据分析转型中,仅仅在软件开发环节加入数据需求还不够,下一步是要培养以数据和事实为导向的企业文化。公司要淡化业务模块(数据的使用者)与IT模块(数据的提供者)之间的界限,这样才能同时提高两者的效率。
为达成这一目标,很多公司在内部设定新的高级管理职位,例如首席数据官(Chief Data Officer)。他们负责数据的收集、整合、输送和分析。即便没有这样一位数据带头人,每位员工都要培养寻找更好、更多和更新的数据的意识。只有这样公司才能系统性地使用数据引导决策,变成更聪明、更成功的组织。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15