京公网安备 11010802034615号
经营许可证编号:京B2-20210330
创新驱动中的云计算和大数据技术
中央和国家今年在力推“互联网+”以及大数据战略,以及十三五规划中强调的创新驱动,均离不开当前的信息技术中的云计算和大数据。为进一步了解云计算和大数据技术,以及云计算和大数据技术在创新驱动中的作用,笔者采访了华南师范大学计算机学院副院长赵淦森教授。赵淦森教授是我国最早开展云计算和大数据研究的学者之一。目前赵淦森教授是国际云计算信息处理联合会云计算专委会副主席、中国电子学会云计算专委会委员和中国大数据专委会委员、广东省大数据专委会副秘书长以及广州市大数据行业协会副会长等。以下为赵淦森教授结合国家高新技术企业的广东智华科技一起落地多个智慧工程,真正实现云计算和大数据的有关分享。
云计算和大数据是近年来非常热的话题,也是近年来非常重要的技术。对云计算和大数据的技术层面的理解,以及对云计算和大数据在推动社会发展的层面的理解,有助于大家理解云计算和大数据,接纳云计算和大数据,以及更好地利用云计算和大数据,推动创新驱动,落实国家的相关战略。
一、生产关系和社会发展中的信息技术
云计算和大数据在当前的信息社会中是不可替代的生产力。从生产关系和生产力的角度来,农业社会以土地为主要生产要素,以人力为主要的生产力;工业社会以原材料为主要生产要素,以机器和能源作为主要的生产力;信息社会是以数据和信息为主要生产要素,以信息技术为主要的生产力。
信息技术的深入应用,使得我们对世界的认知和管理都逐步数字化。数字化后的世界更加便于我们利用数学模型进行分析、演算和预测,以支撑我们对世界运作进行相应的干预,让世界运作更加的高效率和更加的智能化。数字化的认知和管理,不可避免会产生和留存大量的数据。同时大量的数据也迫使我们建设越来越大规模的IT基础设施的来承载和处理数据。由此,数据和IT基础设施都出现了规模爆炸的问题。
二、云计算和大数据的技术内涵
云计算是当前IT技术中重点解决超大规模的基础设施的管理和超大规模资源的利用和交付等问题的体系;大数据是重点解决从巨量复杂数据出发来发现新的科学知识的技术和方法。
具体来讲,云计算要解决的是大规模基础设施的管理、大能力的构建以及资源和服务交付等三大问题。形象点说,如果我们有100万台服务器,我们如何让100万台服务器听指挥,安装软件、部署软件、更新软件、运行软件、配置网络地址以及开关机等。服务器都听指挥了以后,加入我们有一个非常复杂的任务,需要100万台服务器加起来那么快的超级服务器来处理。云计算通过对任务进行分解形成大量的子任务,分发和协调100万台服务器分别完成相应的子任务,最终通过同步和汇总,形成了结果,从而利用100万台小服务器构建一台巨大服务器(等同100万台服务器能力的总和)来处理任务。最后,云计算利用第三方服务模式进行资源交付,利用租赁模式进行资源的共享和利用。
大数据的核心是如何从数据出发,发现新的知识。部分科学家认为这是一种新的科学发现的方法。传统的科学方向的方法学有实验科学、理论科学和计算科学等。实验科学通过开展可重复的、特定设计的实验来检验和发现事实和规模;理论科学通过设定相应的科学假设以及规则,然后通过逻辑推导和演算等,得到一个完整的科学理论体系。计算科学则依据相关的科学理论和数学模型,通过对数据进行分析和对行为进行仿真、模拟和推演等,来发现相应的科学知识。大数据与上述科学发现方法不同,其基于数据出发,不做过多的假设,寻找数据所暗示的客观规律和情况。大数据的科学发现不一定要构建完全正确的科学理论,其更加注重挖掘和发现有用的规律和模型。
三、云计算和大数据驱动的社会发展和变革
当前推行的互联网+战略中,从技术层面,离不开云计算和大数据。互联网+的核心内容为通过IT技术对现有业务和活动的渗透,完成对原有业务和活动的数字化、互联网化。同时,利用信息技术对原有业务和活动进行流程优化和创新。日常大家说的“羊毛长在猪身上,让狗来买单”,说明的就是利用大数据等信息技术对传统业务进行流程优化和创新,形成新的价值并且利用新价值来补贴原有业务,以实现持续获利。其中,猪代表的时候传统业务,羊毛代表是补贴,而狗代表的是创新业务。如很多地方的WIFI免费提供。提供商自己承担WIFI服务的所有费用。但提供商通过跟踪WIFI用户的使用、分析WIFI用户的网上行为,从而形成了对用户喜好的有效的刻画和描述,后续利用这些分析结果完成精准的广告投放。广告投放的收入远大于提供WIFI服务的费用。因此,WIFI服务可以免费。但提供商在免费提供服务的过程中掌握了用户的行为数据从而利用广告盈利。
仅掌握少量数据,或者仅对小范围的业务和活动进行渗透,其带来的效益并不明显。互联网+提出的时候大范围广泛地对业务和活动进行信息技术的渗透,充分掌握数据。大范围的信息技术的渗透,需要有云计算支撑来构建足够大规模的IT基础设施。广泛地采集的巨量数据,也需要大数据等技术来协助获取相应的价值。
我们协助过某国际银行巨头,通过融合其银行系统中用户的保险数据、储蓄数据、贷款数据以及证券交易数据等,可以有效地实现了对用户的收入层次、消费习惯和喜好、理财理念等的分析挖掘。我们也协助过某政府部门利用互联网上海量的信息和数据,结合政府内部的部分数据,成功分析和挖掘了重点企业的真实税务状况,并发现了某企业偷税漏税的重要线索。
四、云计算和大数据构建的创新蓝图
云计算和大数据对传统业务的改造,使得我们可以构建多元参与、网状关联的产业体系。新产业体系中引入了更多的参与者,使得产业体系更加的稳健和更加的多元化,更加的有活力;云计算和大数据也让产业体系的分工更加的精细,业务更加的丰富,允许更多的人来共同参与、创造和分享经济效益。
传统的信息获取和业务协同,基于物理上的时空关联和依赖性等因素,构建了相关的活动序列和业务关系。云计算和大数据等信息技术对物理世界和活动的渗透,使得我们能够通过不同的侧面和环节掌握相关的信息和数据。此类信息和数据的获取,有可能可以消除原有的依赖性和避免物理上的时空关联,从而可以重构相关的活动序列和业务关系,使得业务可以得到创新,活动可以得以变革等。同样的原因,我们借助于云计算和大数据等信息技术,在一定条件下可以在与原有不同的环节对世界和活动进行管理和干预,从而创造了新的活动和业务,形成了新的秩序和业务流程。
十三五规划中的创新驱动,需要有云计算和大数据等信息技术的支撑,实现技术创新和业务创新,构建非零和的商业业务和产业链条,实现对原有业务的改进和提升的同时,构建了创新业务获取新价值。原有业务的改进和提升,是对现有产业的升级改造过程;构建了创新业务,是对产业结构的改变。由此,实现了对经济发展法师的改变和产业结构的优化,从而有效地保持经济增长。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在实验检测、质量控制、科研验证等场景中,“方法验证”是确保检测/分析结果可靠、可复用的核心环节——无论是新开发的检测方法 ...
2026-03-04在数据分析、科研实验、办公统计等场景中,我们常常需要对比两组数据的整体差异——比如两种营销策略的销售额差异、两种实验方案 ...
2026-03-04在数字化转型进入深水区的今天,企业对数据的依赖程度日益加深,而数据治理体系则是企业实现数据规范化、高质量化、价值化的核心 ...
2026-03-04在深度学习,尤其是卷积神经网络(CNN)的实操中,转置卷积(Transposed Convolution)是一个高频应用的操作——它核心用于实现 ...
2026-03-03在日常办公、数据分析、金融理财、科研统计等场景中,我们经常需要计算“平均值”来概括一组数据的整体水平——比如计算月度平均 ...
2026-03-03在数字化转型的浪潮中,数据已成为企业最核心的战略资产,而数据治理则是激活这份资产价值的前提——没有规范、高质量的数据治理 ...
2026-03-03在Excel办公中,数据透视表是汇总、分析繁杂数据的核心工具,我们常常通过它快速得到销售额汇总、人员统计、业绩分析等关键结果 ...
2026-03-02在日常办公和数据分析中,我们常常需要探究两个或多个数据之间的关联关系——比如销售额与广告投入是否正相关、员工出勤率与绩效 ...
2026-03-02在数字化运营中,时间序列数据是CDA(Certified Data Analyst)数据分析师最常接触的数据类型之一——每日的营收、每小时的用户 ...
2026-03-02在日常办公中,数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法(Finite Element Method, FEM)作为工程数值模拟的核心工具,已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代,“以用户为中心”已成为企业运营的核心逻辑,而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA(Certifi ...
2026-02-28在Python面向对象编程(OOP)中,类方法是构建模块化、可复用代码的核心载体,也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中,索引是提升查询效率的核心手段—— 面对千万级、亿级数据量,合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27在数字化时代,企业积累的海量数据如同散落的珍珠,若缺乏有效的梳理与分类,终将难以发挥实际价值。CDA(Certified Data Analys ...
2026-02-27在问卷调研中,我们常遇到这样的场景:针对同一批调查对象,在不同时间点(如干预前、干预后、随访期)发放相同或相似的问卷,收 ...
2026-02-26在销售管理的实操场景中,“销售机会”是核心抓手—— 从潜在客户接触到最终成交,每一个环节都藏着业绩增长的关键,也暗藏着客 ...
2026-02-26在CDA数据分析师的日常工作中,数据提取、整理、加工是所有分析工作的起点,而“创建表”与“创建视图”,则是数据库操作中最基 ...
2026-02-26在机器学习分析、数据决策的全流程中,“数据质量决定分析价值”早已成为行业共识—— 正如我们此前在运用机器学习进行分析时强 ...
2026-02-25在数字化时代,数据已成为企业决策、行业升级的核心资产,但海量杂乱的原始数据本身不具备价值—— 只有通过科学的分析方法,挖 ...
2026-02-25