
大数据分析停滞不前 信任问题面临大考
有时候大数据分析似乎总是在原地踏步,似乎数据信任的问题阻碍了数据分析的进一步应用。业务领导们理解新数据分析是必须经历的转型,但是他们不确定这种转变是否值得信赖。最近,来自咨询专业服务公司KPMG(毕马威会计事务所)的一份调查报告对这种进退两难的处境给出了一些看法。
大数据分析停滞不前 信任问题面临大考
Forrester研究公司在2016年7月发起了一份调查报告,针对KPMG(毕马威会计事务所)管理的2165位数据和分析决策制造商进行调查。报告显示,数据和分析工具已被广泛用于分析现有客户(50%)和发现新客户(48%)。然而,只有大约34%的业务负责人“非常信任”工具分析业务运营数据得到的结论。
有迹象表明,在数据和分析工具方面的投入在增加。因此,数据分析领域的专家Bill
Nowacki认为,分析结果的受信任程度理所当然也在变好。在SearchDataManagement组织的一次采访中,Nowacki表示分析工具需要更透明。也就是说,分析工具应该给管理层展示推荐观点背后的逻辑,展示分析工具给出结论的依据。
研究结果似乎把焦点集中在了数据信任的空白。未来大家对数据质量持有信心的趋势如何呢?
Bill Nowacki表示,目前大家对于“分析是必不可少的”这一核心理念已经基本认同了。不过,与此同时我们对管理层的培训还不够,业界普遍应该对此采取一定措施。
我们可以从调查报告的统计图表中看到,对分析的整体接受度展示出来是U形走势。回想前几年,那时候真的像是“西部狂野时代”,大家都在构建各种分析模型,没有充分的审查就很快直接购买。这些工具都被纳入常规决策。这种状态持续了较长一段时间。
后来,我们看到某些决策并没有预期的那么准确和最优。模型的真实可信度就面临了很大挑战。现在,我们处在U形趋势的底部,不过也开始苏醒了,现在是时候以更加严肃的态度来看待它了。我们要考虑使用哪些数据,数据来自哪里,数据是否足够正确等等。
业界已经有一些预测模型在使用了,尤其是在市场营销和定价方面。人们用模型做优化或者资产管理。我们看到许多类似的案例。但是,如果涉及到公司的关键业务,我们要确保业务稳定就要慎重考虑了。我们开始看到了U型趋势的另一边——低谷后的上升趋势,不过结构合理性、治理、法规遵从都要求更多分析透明度。
机器学习用于预测分析并没有改善透明度。看来要打开“黑盒子”帮助提升数据信任度并不容易啊。
如果你回顾一下FICO公司(全球预测分析和决策管理公司)的发展历程,就会发现在20世纪80年代到90年代,他们已经使用神经网络实现了较好的高度可预测的信用评分。不过,缺失的仍然是解释能力。
监管人员会来告诉我,“如果你想让大家都相信,你必须能解释为什么。”在“西部狂野时代”模型刚诞生时,大家都需要更好的透明度。我们需要理解引擎为什么会给出这些观点,并理解这些观点代表什么。
如果工具都是“黑盒子”,大家很难信任它。因此,在设计阶段做选择时应考虑提高透明度,这样可以逐渐培养一些信任。
今天我们看到的是更加深思熟虑的设计,我们花时间思考怎样才可以达到更好的效果,这样才会获得长足发展。例如,人们会检查他们的零售店投资组合,利用所有签名或登记信息发现所有店铺里真正优质的客户群。你能拿到的是所有的真实样本,可以在这个群体中设定目标价格,看是否能得到预期结果。一旦确认价格调整在小范围客户群中有效,就可以一点一点实施到更大范围的群体中。这种小步变革的方式很容易实现逐步推广。
高管们已经逐渐接受针对各种业务进行分析,但是没有什么比成功案例更有说服力了。我们应该深思熟虑地看待市场,看看我们设定的试验目标并验证之前利用大数据对市场的预测,这样也可以帮助增加对数据分析工具的信任。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15