大数据需要理性认知
认清大数据
“当前对于大数据最明显的认识误区是把大数据和Hadoop MapReduce划等号,和互联网UGC(用户生成内容)画等号。”
《计算机世界》:“大数据”是当前最流行的概念,应该怎样理解这个概念?
潘越:大数据原来只是技术领域里的概念,后来逐渐发展到与产业和商业紧密相关,这导致围绕着大数据的很多观念和做法都发生了转变。过去人们更强调数据本身的价值,只保存“有用的”数据,然后对此做出分析就可以了。但是随着数据管理和数据分析技术的进步,现在已经可以处理更大规模的数据,所以此时就需要考虑数据分析服务的个性化问题,人们对于数据应用的理念也开始发生转变。现在的大数据服务商可以先把各种各样的数据保存下来,包括那些原来被认为是“没有用”的数据,然后进行有针对性的分析和实现按需交付,从而给客户带来快捷和更细化的服务,推动商业的进步。
《计算机世界》:大数据应用就是保存所有的数据、分析所有的数据?
潘越:把数据尽可能地保存并不是说把数据像堆杂物一样地储存,而是需要对数据进行组织和管理,IBM称之为数据治理,意思就是把数据当做资产来看待。资产肯定包括不同的类型,数据也一样。
对一个企业来说,它的主数据就是核心资产,其中可能包括客户信息、产品信息、供应商信息等。核心资产非常重要,也经常要被使用,所以必须保证其在安全和高效的环境下得到利用和保护;还有一类数据关系到企业的业绩水平,它将决定企业的运营做得好还是不好,体现出的是绩效管理的结果,这部分数据由数据仓库支持;第三类则是关系到企业未来的数据,它们的价值在于“潜力”,比如原始单据就是这类数据,企业有可能从中挖掘出新价值,让自己的业务做得更好、更有前景,它们是“内容管理”的对象;此外还有一类“很快的数据”,它们是需要迅速得出处理结果的数据。比如一个客户来了,企业马上就要分析出该客户的兴趣点是什么、与其他客户有何关联关系等,以便及时做出最有效的应对。这种数据的形态与前几种都不同,它们需要以流数据的方式进行处理。
需要指出的是,每一类数据都有一个生命周期,都有一个从获取、管理、应用,到用于决策支持的过程。
《计算机世界》:大数据应用发展到理想状态,企业就可以精准预测客户需求,提前解决供应问题吗?人们对大数据的认识是否有误区?
潘越:1974年的诺贝尔经济学奖得主哈耶克,他发表的获奖演说题为《知识的伪装》,其中说到:“随着科学知识的增加,我们高估了自己理解构成世界的微妙变化能力,也高估了我们对每个变化的重要性做出判断的能力。”所以,无所不知只是人的错觉。现在很多研究者制作出一些精确的数学模型,认为这就是因果模型,但其实它们是关联模型。同样,大数据本身也不能帮你得出因果关系,而只能显现关联关系。
当前对于大数据最明显的认识误区是把大数据和Hadoop MapReduce画等号,和互联网UGC画等号。其实MapReduce只对处理大数据中的一类数据有效,而且只是一种处理方法。互联网UGC也只是大数据分类中的一部分,许多行业都有待挖掘的大数据资源,包括传统零售行业、医疗行业、政府信息等。
数据就是资产
“各行各业都有大规模的数据资源,只不过因为种种原因,很多没有开放,只要有合理的机制解决开放问题,让数据能在被充分保护的基础上加以利用,就能发掘出很多大数据的应用机会。”
《计算机世界》:大数据时代,IBM追寻怎样的目标?
潘越:IBM总的原则就是:为客户创造价值。在大数据方面,IBM所做的是帮助客户确认数据资产,对数据资产进行有效管理和有效利用,让数据资源长久为客户服务,这是我们的基本原则。短时期内,IBM的目标是通过自己的技术、产品和服务,帮助客户管好、用好数据资源。而在将来,IBM一方面希望更深层次地利用现有或者可能产生的数据,进一步挖掘数据的价值;另一方面,IBM认为数据既然是资产,就可以进行交易,未来是否可以把数据资产定价,像别的资产一样自由交易,又该怎样进行交易,这个问题IBM正在研究。
《计算机世界》:当前在行业应用方面,IBM的大数据能力体现在哪里?
潘越:目前零售行业是大数据应用非常活跃的领域,在中国,IBM跟王府井百货和苏宁都有合作,用大数据技术和服务帮助这些传统零售商在向电商形态转变。事实上,传统的零售商也有自己的优势,比如它的物流系统要比第三方更稳定可靠,所以在电商领域他们有自己的后发优势,当这种优势与大数据技术得到良好结合,他们的电商之路一定会顺畅很多。另外,医疗行业也是大数据应用的重要行业,超级电脑Watson就在朝这个方向努力。
Watson是一个问答系统,可以根据病人的病历、分析文献和其他医生的意见,给出一个诊断决策。目前Watson在医疗领域已经有应用案例,比如IBM和美国最大的保险公司WellPoint就在进行相关合作。更重要的是,IBM将Watson与大数据结合在一起,还在于探索解决非结构化数据的处理问题,尤其是多媒体数据,包括图像、视频等等。比如医学影像通常需要专业的医生去解读,而IBM现在试图让Watson也去完成这类解读,这是一个很大的挑战,但是如果能够探索出解决办法,无疑将对医疗行业的发展带来巨大推动力。
《计算机世界》:用户生成内容是大数据的重要来源,这是否意味着互联网企业在大数据时代的话语权最大?
潘越:短期来讲互联网企业很有优势,因为他们既是数据的生产者,也是数据的利用者,他们可以很方便地把数据用于改善用户体验,由此便获得了先天的话语权。但从长远来看,大数据的应用远远不限于互联网,就好像采矿,最初都会挖一些容易探到的矿产,生产出来的产品也都比较初级,然而当行业发展成熟,下游产品越来越丰富,后续的探索会更加有价值。比如石油资源可以支持化工行业,化工业的价值要比初级的炼油高得多。所以,数据的后续深挖能力,也将决定大数据领域企业的份量。另外,当把浅层的矿产挖完后,就需要具备更强的探矿能力,把用户生成数据理顺以后,对于其他类型的数据是否具备处理能力会显得更加重要。其实,各行各业都有大规模的数据资源,只不过因为种种原因,很多没有开放,只要有合理的机制解决开放问题,让数据能在被充分保护的基础上加以利用,就能发掘出很多大数据的应用机会。所以在将来,一定不是非互联网企业就没有掌控大数据产业话语权的机会。
《计算机世界》:IBM认为大数据和目前正在不断推进的认知计算的交汇点在哪里?认知计算将会是最理想的大数据计算方式吗?
潘越:认知计算,从狭义来讲,是计算机和心理学以及神经生物学交叉的研究领域。现在相关概念被扩大化了,能跟人有自然接口的、可以学习的系统,都被称为认知计算。最近认知计算领域进展比较快,有两个原因:一是因为硬件技术的进步,现在已经能够更大规模地建立神经网络,IBM有一个项目就是在研究利用立体的集成电路去搭建一个高密度的神经网络,现在能做到类猫脑的程度,最终的目标是构建一个达到人脑级别的神经网络;第二,当前计算领域,算法方面有很大的提高。在认知计算领域,越是基本的概念机器越难学会表达,以前这是计算方面的难点,而现在这一块有了突破。
不过目前,认知计算和大数据还是各做各的,没有完全融合,未来如果两者能很好地结合,将带来无限可能。事实上,认知计算属于人工智能范畴,而人工智能一直是IBM特别关注的领域,因此把认知计算和大数据应用的能力协调发挥,也是IBM的努力方向。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14