
创新驱动中的云计算和大数据技术
中央和国家今年在力推“互联网+”以及大数据战略,以及十三五规划中强调的创新驱动,均离不开当前的信息技术中的云计算和大数据。为进一步了解云计算和大数据技术,以及云计算和大数据技术在创新驱动中的作用,笔者采访了华南师范大学计算机学院副院长赵淦森教授。赵淦森教授是我国最早开展云计算和大数据研究的学者之一。目前赵淦森教授是国际云计算信息处理联合会云计算专委会副主席、中国电子学会云计算专委会委员和中国大数据专委会委员、广东省大数据专委会副秘书长以及广州市大数据行业协会副会长等。以下为赵淦森教授结合国家高新技术企业的广东智华科技一起落地多个智慧工程,真正实现云计算和大数据的有关分享。
云计算和大数据是近年来非常热的话题,也是近年来非常重要的技术。对云计算和大数据的技术层面的理解,以及对云计算和大数据在推动社会发展的层面的理解,有助于大家理解云计算和大数据,接纳云计算和大数据,以及更好地利用云计算和大数据,推动创新驱动,落实国家的相关战略。
一、生产关系和社会发展中的信息技术
云计算和大数据在当前的信息社会中是不可替代的生产力。从生产关系和生产力的角度来,农业社会以土地为主要生产要素,以人力为主要的生产力;工业社会以原材料为主要生产要素,以机器和能源作为主要的生产力;信息社会是以数据和信息为主要生产要素,以信息技术为主要的生产力。
信息技术的深入应用,使得我们对世界的认知和管理都逐步数字化。数字化后的世界更加便于我们利用数学模型进行分析、演算和预测,以支撑我们对世界运作进行相应的干预,让世界运作更加的高效率和更加的智能化。数字化的认知和管理,不可避免会产生和留存大量的数据。同时大量的数据也迫使我们建设越来越大规模的IT基础设施的来承载和处理数据。由此,数据和IT基础设施都出现了规模爆炸的问题。
二、云计算和大数据的技术内涵
云计算是当前IT技术中重点解决超大规模的基础设施的管理和超大规模资源的利用和交付等问题的体系;大数据是重点解决从巨量复杂数据出发来发现新的科学知识的技术和方法。
具体来讲,云计算要解决的是大规模基础设施的管理、大能力的构建以及资源和服务交付等三大问题。形象点说,如果我们有100万台服务器,我们如何让100万台服务器听指挥,安装软件、部署软件、更新软件、运行软件、配置网络地址以及开关机等。服务器都听指挥了以后,加入我们有一个非常复杂的任务,需要100万台服务器加起来那么快的超级服务器来处理。云计算通过对任务进行分解形成大量的子任务,分发和协调100万台服务器分别完成相应的子任务,最终通过同步和汇总,形成了结果,从而利用100万台小服务器构建一台巨大服务器(等同100万台服务器能力的总和)来处理任务。最后,云计算利用第三方服务模式进行资源交付,利用租赁模式进行资源的共享和利用。
大数据的核心是如何从数据出发,发现新的知识。部分科学家认为这是一种新的科学发现的方法。传统的科学方向的方法学有实验科学、理论科学和计算科学等。实验科学通过开展可重复的、特定设计的实验来检验和发现事实和规模;理论科学通过设定相应的科学假设以及规则,然后通过逻辑推导和演算等,得到一个完整的科学理论体系。计算科学则依据相关的科学理论和数学模型,通过对数据进行分析和对行为进行仿真、模拟和推演等,来发现相应的科学知识。大数据与上述科学发现方法不同,其基于数据出发,不做过多的假设,寻找数据所暗示的客观规律和情况。大数据的科学发现不一定要构建完全正确的科学理论,其更加注重挖掘和发现有用的规律和模型。
三、云计算和大数据驱动的社会发展和变革
当前推行的互联网+战略中,从技术层面,离不开云计算和大数据。互联网+的核心内容为通过IT技术对现有业务和活动的渗透,完成对原有业务和活动的数字化、互联网化。同时,利用信息技术对原有业务和活动进行流程优化和创新。日常大家说的“羊毛长在猪身上,让狗来买单”,说明的就是利用大数据等信息技术对传统业务进行流程优化和创新,形成新的价值并且利用新价值来补贴原有业务,以实现持续获利。其中,猪代表的时候传统业务,羊毛代表是补贴,而狗代表的是创新业务。如很多地方的WIFI免费提供。提供商自己承担WIFI服务的所有费用。但提供商通过跟踪WIFI用户的使用、分析WIFI用户的网上行为,从而形成了对用户喜好的有效的刻画和描述,后续利用这些分析结果完成精准的广告投放。广告投放的收入远大于提供WIFI服务的费用。因此,WIFI服务可以免费。但提供商在免费提供服务的过程中掌握了用户的行为数据从而利用广告盈利。
仅掌握少量数据,或者仅对小范围的业务和活动进行渗透,其带来的效益并不明显。互联网+提出的时候大范围广泛地对业务和活动进行信息技术的渗透,充分掌握数据。大范围的信息技术的渗透,需要有云计算支撑来构建足够大规模的IT基础设施。广泛地采集的巨量数据,也需要大数据等技术来协助获取相应的价值。
我们协助过某国际银行巨头,通过融合其银行系统中用户的保险数据、储蓄数据、贷款数据以及证券交易数据等,可以有效地实现了对用户的收入层次、消费习惯和喜好、理财理念等的分析挖掘。我们也协助过某政府部门利用互联网上海量的信息和数据,结合政府内部的部分数据,成功分析和挖掘了重点企业的真实税务状况,并发现了某企业偷税漏税的重要线索。
四、云计算和大数据构建的创新蓝图
云计算和大数据对传统业务的改造,使得我们可以构建多元参与、网状关联的产业体系。新产业体系中引入了更多的参与者,使得产业体系更加的稳健和更加的多元化,更加的有活力;云计算和大数据也让产业体系的分工更加的精细,业务更加的丰富,允许更多的人来共同参与、创造和分享经济效益。
传统的信息获取和业务协同,基于物理上的时空关联和依赖性等因素,构建了相关的活动序列和业务关系。云计算和大数据等信息技术对物理世界和活动的渗透,使得我们能够通过不同的侧面和环节掌握相关的信息和数据。此类信息和数据的获取,有可能可以消除原有的依赖性和避免物理上的时空关联,从而可以重构相关的活动序列和业务关系,使得业务可以得到创新,活动可以得以变革等。同样的原因,我们借助于云计算和大数据等信息技术,在一定条件下可以在与原有不同的环节对世界和活动进行管理和干预,从而创造了新的活动和业务,形成了新的秩序和业务流程。
十三五规划中的创新驱动,需要有云计算和大数据等信息技术的支撑,实现技术创新和业务创新,构建非零和的商业业务和产业链条,实现对原有业务的改进和提升的同时,构建了创新业务获取新价值。原有业务的改进和提升,是对现有产业的升级改造过程;构建了创新业务,是对产业结构的改变。由此,实现了对经济发展法师的改变和产业结构的优化,从而有效地保持经济增长。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10在企业数据量从 “GB 级” 迈向 “PB 级” 的过程中,“数据混乱” 的痛点逐渐从 “隐性问题” 变为 “显性瓶颈”:各部门数据口 ...
2025-10-10在深度学习中,“模型如何从错误中学习” 是最关键的问题 —— 而损失函数与反向传播正是回答这一问题的核心技术:损失函数负责 ...
2025-10-09本文将从 “检验本质” 切入,拆解两种方法的核心适用条件、场景边界与实战选择逻辑,结合医学、工业、教育领域的案例,让你明确 ...
2025-10-09在 CDA 数据分析师的日常工作中,常会遇到这样的困惑:某电商平台 11 月 GMV 同比增长 20%,但究竟是 “长期趋势自然增长”,还 ...
2025-10-09Pandas 选取特定值所在行:6 类核心方法与实战指南 在使用 pandas 处理结构化数据时,“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络(SCNN) 为解决这一痛点,球面卷积神经网络(Spherical Convolutional Neural Network, SCNN) 应运而生。它通 ...
2025-09-30在企业日常运营中,“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”,金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗?基础方法、进阶技巧与场景边界 在数据分析领域,聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树:原理、优化与工业级实战指南 在机器学习领域,决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29