京公网安备 11010802034615号
经营许可证编号:京B2-20210330
创新驱动中的云计算和大数据技术
中央和国家今年在力推“互联网+”以及大数据战略,以及十三五规划中强调的创新驱动,均离不开当前的信息技术中的云计算和大数据。为进一步了解云计算和大数据技术,以及云计算和大数据技术在创新驱动中的作用,笔者采访了华南师范大学计算机学院副院长赵淦森教授。赵淦森教授是我国最早开展云计算和大数据研究的学者之一。目前赵淦森教授是国际云计算信息处理联合会云计算专委会副主席、中国电子学会云计算专委会委员和中国大数据专委会委员、广东省大数据专委会副秘书长以及广州市大数据行业协会副会长等。以下为赵淦森教授结合国家高新技术企业的广东智华科技一起落地多个智慧工程,真正实现云计算和大数据的有关分享。
云计算和大数据是近年来非常热的话题,也是近年来非常重要的技术。对云计算和大数据的技术层面的理解,以及对云计算和大数据在推动社会发展的层面的理解,有助于大家理解云计算和大数据,接纳云计算和大数据,以及更好地利用云计算和大数据,推动创新驱动,落实国家的相关战略。
一、生产关系和社会发展中的信息技术
云计算和大数据在当前的信息社会中是不可替代的生产力。从生产关系和生产力的角度来,农业社会以土地为主要生产要素,以人力为主要的生产力;工业社会以原材料为主要生产要素,以机器和能源作为主要的生产力;信息社会是以数据和信息为主要生产要素,以信息技术为主要的生产力。
信息技术的深入应用,使得我们对世界的认知和管理都逐步数字化。数字化后的世界更加便于我们利用数学模型进行分析、演算和预测,以支撑我们对世界运作进行相应的干预,让世界运作更加的高效率和更加的智能化。数字化的认知和管理,不可避免会产生和留存大量的数据。同时大量的数据也迫使我们建设越来越大规模的IT基础设施的来承载和处理数据。由此,数据和IT基础设施都出现了规模爆炸的问题。
二、云计算和大数据的技术内涵
云计算是当前IT技术中重点解决超大规模的基础设施的管理和超大规模资源的利用和交付等问题的体系;大数据是重点解决从巨量复杂数据出发来发现新的科学知识的技术和方法。
具体来讲,云计算要解决的是大规模基础设施的管理、大能力的构建以及资源和服务交付等三大问题。形象点说,如果我们有100万台服务器,我们如何让100万台服务器听指挥,安装软件、部署软件、更新软件、运行软件、配置网络地址以及开关机等。服务器都听指挥了以后,加入我们有一个非常复杂的任务,需要100万台服务器加起来那么快的超级服务器来处理。云计算通过对任务进行分解形成大量的子任务,分发和协调100万台服务器分别完成相应的子任务,最终通过同步和汇总,形成了结果,从而利用100万台小服务器构建一台巨大服务器(等同100万台服务器能力的总和)来处理任务。最后,云计算利用第三方服务模式进行资源交付,利用租赁模式进行资源的共享和利用。
大数据的核心是如何从数据出发,发现新的知识。部分科学家认为这是一种新的科学发现的方法。传统的科学方向的方法学有实验科学、理论科学和计算科学等。实验科学通过开展可重复的、特定设计的实验来检验和发现事实和规模;理论科学通过设定相应的科学假设以及规则,然后通过逻辑推导和演算等,得到一个完整的科学理论体系。计算科学则依据相关的科学理论和数学模型,通过对数据进行分析和对行为进行仿真、模拟和推演等,来发现相应的科学知识。大数据与上述科学发现方法不同,其基于数据出发,不做过多的假设,寻找数据所暗示的客观规律和情况。大数据的科学发现不一定要构建完全正确的科学理论,其更加注重挖掘和发现有用的规律和模型。
三、云计算和大数据驱动的社会发展和变革
当前推行的互联网+战略中,从技术层面,离不开云计算和大数据。互联网+的核心内容为通过IT技术对现有业务和活动的渗透,完成对原有业务和活动的数字化、互联网化。同时,利用信息技术对原有业务和活动进行流程优化和创新。日常大家说的“羊毛长在猪身上,让狗来买单”,说明的就是利用大数据等信息技术对传统业务进行流程优化和创新,形成新的价值并且利用新价值来补贴原有业务,以实现持续获利。其中,猪代表的时候传统业务,羊毛代表是补贴,而狗代表的是创新业务。如很多地方的WIFI免费提供。提供商自己承担WIFI服务的所有费用。但提供商通过跟踪WIFI用户的使用、分析WIFI用户的网上行为,从而形成了对用户喜好的有效的刻画和描述,后续利用这些分析结果完成精准的广告投放。广告投放的收入远大于提供WIFI服务的费用。因此,WIFI服务可以免费。但提供商在免费提供服务的过程中掌握了用户的行为数据从而利用广告盈利。
仅掌握少量数据,或者仅对小范围的业务和活动进行渗透,其带来的效益并不明显。互联网+提出的时候大范围广泛地对业务和活动进行信息技术的渗透,充分掌握数据。大范围的信息技术的渗透,需要有云计算支撑来构建足够大规模的IT基础设施。广泛地采集的巨量数据,也需要大数据等技术来协助获取相应的价值。
我们协助过某国际银行巨头,通过融合其银行系统中用户的保险数据、储蓄数据、贷款数据以及证券交易数据等,可以有效地实现了对用户的收入层次、消费习惯和喜好、理财理念等的分析挖掘。我们也协助过某政府部门利用互联网上海量的信息和数据,结合政府内部的部分数据,成功分析和挖掘了重点企业的真实税务状况,并发现了某企业偷税漏税的重要线索。
四、云计算和大数据构建的创新蓝图
云计算和大数据对传统业务的改造,使得我们可以构建多元参与、网状关联的产业体系。新产业体系中引入了更多的参与者,使得产业体系更加的稳健和更加的多元化,更加的有活力;云计算和大数据也让产业体系的分工更加的精细,业务更加的丰富,允许更多的人来共同参与、创造和分享经济效益。
传统的信息获取和业务协同,基于物理上的时空关联和依赖性等因素,构建了相关的活动序列和业务关系。云计算和大数据等信息技术对物理世界和活动的渗透,使得我们能够通过不同的侧面和环节掌握相关的信息和数据。此类信息和数据的获取,有可能可以消除原有的依赖性和避免物理上的时空关联,从而可以重构相关的活动序列和业务关系,使得业务可以得到创新,活动可以得以变革等。同样的原因,我们借助于云计算和大数据等信息技术,在一定条件下可以在与原有不同的环节对世界和活动进行管理和干预,从而创造了新的活动和业务,形成了新的秩序和业务流程。
十三五规划中的创新驱动,需要有云计算和大数据等信息技术的支撑,实现技术创新和业务创新,构建非零和的商业业务和产业链条,实现对原有业务的改进和提升的同时,构建了创新业务获取新价值。原有业务的改进和提升,是对现有产业的升级改造过程;构建了创新业务,是对产业结构的改变。由此,实现了对经济发展法师的改变和产业结构的优化,从而有效地保持经济增长。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27对数据分析从业者和学生而言,表结构数据是最基础也最核心的分析载体——CRM系统的用户表、门店的销售明细表、仓库的库存表,都 ...
2025-11-27在业务数据可视化中,热力图(Heat Map)是传递“数据密度与分布特征”的核心工具——它通过颜色深浅直观呈现数据值的高低,让“ ...
2025-11-26在企业数字化转型中,业务数据分析师是连接数据与决策的核心纽带。但“数据分析师”并非单一角色,从初级到高级,其职责边界、能 ...
2025-11-26