
创新驱动中的云计算和大数据技术
中央和国家今年在力推“互联网+”以及大数据战略,以及十三五规划中强调的创新驱动,均离不开当前的信息技术中的云计算和大数据。为进一步了解云计算和大数据技术,以及云计算和大数据技术在创新驱动中的作用,笔者采访了华南师范大学计算机学院副院长赵淦森教授。赵淦森教授是我国最早开展云计算和大数据研究的学者之一。目前赵淦森教授是国际云计算信息处理联合会云计算专委会副主席、中国电子学会云计算专委会委员和中国大数据专委会委员、广东省大数据专委会副秘书长以及广州市大数据行业协会副会长等。以下为赵淦森教授结合国家高新技术企业的广东智华科技一起落地多个智慧工程,真正实现云计算和大数据的有关分享。
云计算和大数据是近年来非常热的话题,也是近年来非常重要的技术。对云计算和大数据的技术层面的理解,以及对云计算和大数据在推动社会发展的层面的理解,有助于大家理解云计算和大数据,接纳云计算和大数据,以及更好地利用云计算和大数据,推动创新驱动,落实国家的相关战略。
一、生产关系和社会发展中的信息技术
云计算和大数据在当前的信息社会中是不可替代的生产力。从生产关系和生产力的角度来,农业社会以土地为主要生产要素,以人力为主要的生产力;工业社会以原材料为主要生产要素,以机器和能源作为主要的生产力;信息社会是以数据和信息为主要生产要素,以信息技术为主要的生产力。
信息技术的深入应用,使得我们对世界的认知和管理都逐步数字化。数字化后的世界更加便于我们利用数学模型进行分析、演算和预测,以支撑我们对世界运作进行相应的干预,让世界运作更加的高效率和更加的智能化。数字化的认知和管理,不可避免会产生和留存大量的数据。同时大量的数据也迫使我们建设越来越大规模的IT基础设施的来承载和处理数据。由此,数据和IT基础设施都出现了规模爆炸的问题。
二、云计算和大数据的技术内涵
云计算是当前IT技术中重点解决超大规模的基础设施的管理和超大规模资源的利用和交付等问题的体系;大数据是重点解决从巨量复杂数据出发来发现新的科学知识的技术和方法。
具体来讲,云计算要解决的是大规模基础设施的管理、大能力的构建以及资源和服务交付等三大问题。形象点说,如果我们有100万台服务器,我们如何让100万台服务器听指挥,安装软件、部署软件、更新软件、运行软件、配置网络地址以及开关机等。服务器都听指挥了以后,加入我们有一个非常复杂的任务,需要100万台服务器加起来那么快的超级服务器来处理。云计算通过对任务进行分解形成大量的子任务,分发和协调100万台服务器分别完成相应的子任务,最终通过同步和汇总,形成了结果,从而利用100万台小服务器构建一台巨大服务器(等同100万台服务器能力的总和)来处理任务。最后,云计算利用第三方服务模式进行资源交付,利用租赁模式进行资源的共享和利用。
大数据的核心是如何从数据出发,发现新的知识。部分科学家认为这是一种新的科学发现的方法。传统的科学方向的方法学有实验科学、理论科学和计算科学等。实验科学通过开展可重复的、特定设计的实验来检验和发现事实和规模;理论科学通过设定相应的科学假设以及规则,然后通过逻辑推导和演算等,得到一个完整的科学理论体系。计算科学则依据相关的科学理论和数学模型,通过对数据进行分析和对行为进行仿真、模拟和推演等,来发现相应的科学知识。大数据与上述科学发现方法不同,其基于数据出发,不做过多的假设,寻找数据所暗示的客观规律和情况。大数据的科学发现不一定要构建完全正确的科学理论,其更加注重挖掘和发现有用的规律和模型。
三、云计算和大数据驱动的社会发展和变革
当前推行的互联网+战略中,从技术层面,离不开云计算和大数据。互联网+的核心内容为通过IT技术对现有业务和活动的渗透,完成对原有业务和活动的数字化、互联网化。同时,利用信息技术对原有业务和活动进行流程优化和创新。日常大家说的“羊毛长在猪身上,让狗来买单”,说明的就是利用大数据等信息技术对传统业务进行流程优化和创新,形成新的价值并且利用新价值来补贴原有业务,以实现持续获利。其中,猪代表的时候传统业务,羊毛代表是补贴,而狗代表的是创新业务。如很多地方的WIFI免费提供。提供商自己承担WIFI服务的所有费用。但提供商通过跟踪WIFI用户的使用、分析WIFI用户的网上行为,从而形成了对用户喜好的有效的刻画和描述,后续利用这些分析结果完成精准的广告投放。广告投放的收入远大于提供WIFI服务的费用。因此,WIFI服务可以免费。但提供商在免费提供服务的过程中掌握了用户的行为数据从而利用广告盈利。
仅掌握少量数据,或者仅对小范围的业务和活动进行渗透,其带来的效益并不明显。互联网+提出的时候大范围广泛地对业务和活动进行信息技术的渗透,充分掌握数据。大范围的信息技术的渗透,需要有云计算支撑来构建足够大规模的IT基础设施。广泛地采集的巨量数据,也需要大数据等技术来协助获取相应的价值。
我们协助过某国际银行巨头,通过融合其银行系统中用户的保险数据、储蓄数据、贷款数据以及证券交易数据等,可以有效地实现了对用户的收入层次、消费习惯和喜好、理财理念等的分析挖掘。我们也协助过某政府部门利用互联网上海量的信息和数据,结合政府内部的部分数据,成功分析和挖掘了重点企业的真实税务状况,并发现了某企业偷税漏税的重要线索。
四、云计算和大数据构建的创新蓝图
云计算和大数据对传统业务的改造,使得我们可以构建多元参与、网状关联的产业体系。新产业体系中引入了更多的参与者,使得产业体系更加的稳健和更加的多元化,更加的有活力;云计算和大数据也让产业体系的分工更加的精细,业务更加的丰富,允许更多的人来共同参与、创造和分享经济效益。
传统的信息获取和业务协同,基于物理上的时空关联和依赖性等因素,构建了相关的活动序列和业务关系。云计算和大数据等信息技术对物理世界和活动的渗透,使得我们能够通过不同的侧面和环节掌握相关的信息和数据。此类信息和数据的获取,有可能可以消除原有的依赖性和避免物理上的时空关联,从而可以重构相关的活动序列和业务关系,使得业务可以得到创新,活动可以得以变革等。同样的原因,我们借助于云计算和大数据等信息技术,在一定条件下可以在与原有不同的环节对世界和活动进行管理和干预,从而创造了新的活动和业务,形成了新的秩序和业务流程。
十三五规划中的创新驱动,需要有云计算和大数据等信息技术的支撑,实现技术创新和业务创新,构建非零和的商业业务和产业链条,实现对原有业务的改进和提升的同时,构建了创新业务获取新价值。原有业务的改进和提升,是对现有产业的升级改造过程;构建了创新业务,是对产业结构的改变。由此,实现了对经济发展法师的改变和产业结构的优化,从而有效地保持经济增长。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
2025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25