京公网安备 11010802034615号
经营许可证编号:京B2-20210330
创新驱动中的云计算和大数据技术
中央和国家今年在力推“互联网+”以及大数据战略,以及十三五规划中强调的创新驱动,均离不开当前的信息技术中的云计算和大数据。为进一步了解云计算和大数据技术,以及云计算和大数据技术在创新驱动中的作用,笔者采访了华南师范大学计算机学院副院长赵淦森教授。赵淦森教授是我国最早开展云计算和大数据研究的学者之一。目前赵淦森教授是国际云计算信息处理联合会云计算专委会副主席、中国电子学会云计算专委会委员和中国大数据专委会委员、广东省大数据专委会副秘书长以及广州市大数据行业协会副会长等。以下为赵淦森教授结合国家高新技术企业的广东智华科技一起落地多个智慧工程,真正实现云计算和大数据的有关分享。
云计算和大数据是近年来非常热的话题,也是近年来非常重要的技术。对云计算和大数据的技术层面的理解,以及对云计算和大数据在推动社会发展的层面的理解,有助于大家理解云计算和大数据,接纳云计算和大数据,以及更好地利用云计算和大数据,推动创新驱动,落实国家的相关战略。
一、生产关系和社会发展中的信息技术
云计算和大数据在当前的信息社会中是不可替代的生产力。从生产关系和生产力的角度来,农业社会以土地为主要生产要素,以人力为主要的生产力;工业社会以原材料为主要生产要素,以机器和能源作为主要的生产力;信息社会是以数据和信息为主要生产要素,以信息技术为主要的生产力。
信息技术的深入应用,使得我们对世界的认知和管理都逐步数字化。数字化后的世界更加便于我们利用数学模型进行分析、演算和预测,以支撑我们对世界运作进行相应的干预,让世界运作更加的高效率和更加的智能化。数字化的认知和管理,不可避免会产生和留存大量的数据。同时大量的数据也迫使我们建设越来越大规模的IT基础设施的来承载和处理数据。由此,数据和IT基础设施都出现了规模爆炸的问题。
二、云计算和大数据的技术内涵
云计算是当前IT技术中重点解决超大规模的基础设施的管理和超大规模资源的利用和交付等问题的体系;大数据是重点解决从巨量复杂数据出发来发现新的科学知识的技术和方法。
具体来讲,云计算要解决的是大规模基础设施的管理、大能力的构建以及资源和服务交付等三大问题。形象点说,如果我们有100万台服务器,我们如何让100万台服务器听指挥,安装软件、部署软件、更新软件、运行软件、配置网络地址以及开关机等。服务器都听指挥了以后,加入我们有一个非常复杂的任务,需要100万台服务器加起来那么快的超级服务器来处理。云计算通过对任务进行分解形成大量的子任务,分发和协调100万台服务器分别完成相应的子任务,最终通过同步和汇总,形成了结果,从而利用100万台小服务器构建一台巨大服务器(等同100万台服务器能力的总和)来处理任务。最后,云计算利用第三方服务模式进行资源交付,利用租赁模式进行资源的共享和利用。
大数据的核心是如何从数据出发,发现新的知识。部分科学家认为这是一种新的科学发现的方法。传统的科学方向的方法学有实验科学、理论科学和计算科学等。实验科学通过开展可重复的、特定设计的实验来检验和发现事实和规模;理论科学通过设定相应的科学假设以及规则,然后通过逻辑推导和演算等,得到一个完整的科学理论体系。计算科学则依据相关的科学理论和数学模型,通过对数据进行分析和对行为进行仿真、模拟和推演等,来发现相应的科学知识。大数据与上述科学发现方法不同,其基于数据出发,不做过多的假设,寻找数据所暗示的客观规律和情况。大数据的科学发现不一定要构建完全正确的科学理论,其更加注重挖掘和发现有用的规律和模型。
三、云计算和大数据驱动的社会发展和变革
当前推行的互联网+战略中,从技术层面,离不开云计算和大数据。互联网+的核心内容为通过IT技术对现有业务和活动的渗透,完成对原有业务和活动的数字化、互联网化。同时,利用信息技术对原有业务和活动进行流程优化和创新。日常大家说的“羊毛长在猪身上,让狗来买单”,说明的就是利用大数据等信息技术对传统业务进行流程优化和创新,形成新的价值并且利用新价值来补贴原有业务,以实现持续获利。其中,猪代表的时候传统业务,羊毛代表是补贴,而狗代表的是创新业务。如很多地方的WIFI免费提供。提供商自己承担WIFI服务的所有费用。但提供商通过跟踪WIFI用户的使用、分析WIFI用户的网上行为,从而形成了对用户喜好的有效的刻画和描述,后续利用这些分析结果完成精准的广告投放。广告投放的收入远大于提供WIFI服务的费用。因此,WIFI服务可以免费。但提供商在免费提供服务的过程中掌握了用户的行为数据从而利用广告盈利。
仅掌握少量数据,或者仅对小范围的业务和活动进行渗透,其带来的效益并不明显。互联网+提出的时候大范围广泛地对业务和活动进行信息技术的渗透,充分掌握数据。大范围的信息技术的渗透,需要有云计算支撑来构建足够大规模的IT基础设施。广泛地采集的巨量数据,也需要大数据等技术来协助获取相应的价值。
我们协助过某国际银行巨头,通过融合其银行系统中用户的保险数据、储蓄数据、贷款数据以及证券交易数据等,可以有效地实现了对用户的收入层次、消费习惯和喜好、理财理念等的分析挖掘。我们也协助过某政府部门利用互联网上海量的信息和数据,结合政府内部的部分数据,成功分析和挖掘了重点企业的真实税务状况,并发现了某企业偷税漏税的重要线索。
四、云计算和大数据构建的创新蓝图
云计算和大数据对传统业务的改造,使得我们可以构建多元参与、网状关联的产业体系。新产业体系中引入了更多的参与者,使得产业体系更加的稳健和更加的多元化,更加的有活力;云计算和大数据也让产业体系的分工更加的精细,业务更加的丰富,允许更多的人来共同参与、创造和分享经济效益。
传统的信息获取和业务协同,基于物理上的时空关联和依赖性等因素,构建了相关的活动序列和业务关系。云计算和大数据等信息技术对物理世界和活动的渗透,使得我们能够通过不同的侧面和环节掌握相关的信息和数据。此类信息和数据的获取,有可能可以消除原有的依赖性和避免物理上的时空关联,从而可以重构相关的活动序列和业务关系,使得业务可以得到创新,活动可以得以变革等。同样的原因,我们借助于云计算和大数据等信息技术,在一定条件下可以在与原有不同的环节对世界和活动进行管理和干预,从而创造了新的活动和业务,形成了新的秩序和业务流程。
十三五规划中的创新驱动,需要有云计算和大数据等信息技术的支撑,实现技术创新和业务创新,构建非零和的商业业务和产业链条,实现对原有业务的改进和提升的同时,构建了创新业务获取新价值。原有业务的改进和提升,是对现有产业的升级改造过程;构建了创新业务,是对产业结构的改变。由此,实现了对经济发展法师的改变和产业结构的优化,从而有效地保持经济增长。
CDA学员免费下载查看报告全文:2026全球数智化人才指数报告【CDA数据科学研究院】.pdf
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化时代,数据已成为企业决策的核心驱动力,数据分析与数据挖掘作为解锁数据价值的关键手段,广泛应用于互联网、金融、医疗 ...
2026-04-17在数据处理、后端开发、报表生成与自动化脚本中,将 SQL 查询结果转换为字符串是一项高频且实用的操作。无论是拼接多行数据为逗 ...
2026-04-17面对一份上万行的销售明细表,要快速回答“哪个地区卖得最好”“哪款产品增长最快”“不同客户类型的购买力如何”——这些看似复 ...
2026-04-17数据分析师一天的工作,80% 的时间围绕表格结构数据展开。从一张销售明细表到一份完整的分析报告,表格结构数据贯穿始终。但你真 ...
2026-04-16在机器学习无监督学习领域,Kmeans聚类因其原理简洁、计算高效、可扩展性强的优势,成为数据聚类任务中的主流算法,广泛应用于用 ...
2026-04-16在机器学习建模实践中,特征工程是决定模型性能的核心环节之一。面对高维数据集,冗余特征、无关特征不仅会增加模型训练成本、延 ...
2026-04-16在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14在Python网络编程、接口测试、爬虫开发等场景中,HTTP请求的发送与响应处理是核心需求。Requests库作为Python生态中最流行的HTTP ...
2026-04-14 很多新人学完Python、SQL,拿到一张Excel表还是不知从何下手。 其实,90%的商业分析问题,都藏在表格的结构里。 ” 引言:为 ...
2026-04-14在回归分析中,因子(即自变量)的筛选是构建高效、可靠回归模型的核心步骤——实际分析场景中,往往存在多个候选因子,其中部分 ...
2026-04-13在机器学习模型开发过程中,过拟合是制约模型泛化能力的核心痛点——模型过度学习训练数据中的噪声与偶然细节,导致在训练集上表 ...
2026-04-13在数据驱动商业升级的今天,商业数据分析已成为企业精细化运营、科学决策的核心手段,而一套规范、高效的商业数据分析总体流程, ...
2026-04-13主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-04-13在数据可视化与业务分析中,同比分析是衡量业务发展趋势、识别周期波动的核心手段,其核心逻辑是将当前周期数据与上年同期数据进 ...
2026-04-13在机器学习模型的落地应用中,预测精度并非衡量模型可靠性的唯一标准,不确定性分析同样不可或缺。尤其是在医疗诊断、自动驾驶、 ...
2026-04-10数据本身是沉默的,唯有通过有效的呈现方式,才能让其背后的规律、趋势与价值被看见、被理解、被运用。统计制图(数据可视化)作 ...
2026-04-10在全球化深度发展的今天,跨文化传播已成为连接不同文明、促进多元共生的核心纽带,其研究核心围绕“信息传递、文化解读、意义建 ...
2026-04-09