京公网安备 11010802034615号
经营许可证编号:京B2-20210330
新年伊始 大数据仍面临重重考验
大数据从“概念”走向“价值”,基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业——这是中国计算机学会大数据专家委员会对“大数据”2018年十大趋势预测中的内容。在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等。“大数据”从2012年预热,到被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场“泡沫”。2018年,大数据将面临的问题有哪些?
数据开放仍是大问题
数据应用的前提是数据开放,这已经是共识。中国工程院院士、中国互联网协会理事长邬贺铨指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。
孙九林介绍了美国在数据开放方面的做法。美国政府提供政策和经费保障,使数据信息中心群成为国家信息生产和服务基地,保障数据信息供给不断,利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中,把全社会带进了信息化时代。
“让每一位公民在数据、信息、知识、理论、决策、效益的各个环节上发挥才华,让民众把数据信息流动过程中和应用过程中的各种价值充分挖掘出来,国家为他们才华的发挥和价值的挖掘带好路、服务好、创造好环境。”孙九林认为这就是美国政府选择的数据信息共享的“大循环”道路。该思路在利益分配上的基本点就是让全社会受益,让整个国家受益。
目前,我国还没有国家层面的专门适合数据共享的国家法律,只有相关的条例、法规、章程、意见等。
针对于大数据利用的前端——数据共享的问题,孙九林认为,十多年的数据共享取得了很大的成效,特别是全社会的共享理念得到共识,但存在的问题仍然很突出:缺少国家层面的政策,已有分散的若干意见约束力不够,高层管理人员对数据开放共享的深刻意义的认识有待提高;现有国家数据共享平台难以满足国家发展和科技创新对数据资源的需求;缺少数据开放共享的专职队伍和相应的数据专家以及管理人才;缺少对专职数据共享服务人员的合理评价机制和标准等等。
急需“国家大数据战略”宏观统筹
“不要被大数据(Big Data)的 Big 误导,大数据更强调的不是数据大,而是数据挖掘。”在第十届国家信息化专家论坛上,邬贺铨院士指出,大数据需要更强调数据挖掘利用,关键的是要有国家大数据战略。
邬贺铨提出,需要制定国家大数据发展战略,大数据是一个应用驱动性很强的服务,其标准和产业格局尚未形成,这是我国跨越发展的机会,但切忌一哄而起在目的不明的情况下到处建设大数据中心,到处搞“数据房地产”,而是需要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。同时,我国需要尽快制定“信息保护法”和“信息公开法”,既要鼓励面向群体而且服务于社会的数据挖掘,又要防止针对个体侵犯隐私的行为,提倡数据共享又要防止数据被滥用。
中国计算机学会专家委员会指出:大数据时代有两点非常有利于中国信息产业的发展,第一是大数据技术发开源为主,迄今为止没有形成技术垄断;第二点,中国的人口和经济规模决定了中国的数据资产规模全球最大。因此,政府、学界、产业界和资本市场应该通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,释放大数据的巨大价值。
目前已经有一批企业开始用数据创业。在国外已经有不少用数据提供服务、做数据分析、进行可视化研究的公司,有些已经取得不错的业绩,甚至有很好的前景而拒绝大公司收购。有人预测,如果国内互联网创业者,能从海量的“垃圾”信息中嗅出些端倪,找到某个切入点,没准能成为行业的佼佼者。不过,现在在国内找出个像样的“大数据”初创公司并非易事;但也有人认为,正是有这样的空白存在,才让人看到机遇
各国大数据人才紧缺
大数据人才无疑是紧缺人才。Gartner咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预计,美国到2018年深度数据分析人才缺口将达14万~19万人,能够分析数据帮助公司获得经济效益的技术及管理人才有150万人的缺口。中国能理解与应用大数据的创新人才更是稀缺资源。
大数据专家委员会认为,从目前各国的人才培养来看,数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能,具有较宽的知识面,具有独立获取知识的能力。复旦大学的课程设置强调了数据科学家是研究数据的科学家,而不仅仅是一个数据工程师或者数据分析师。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、业务监控、运营复盘等场景中,列值趋势计算是核心需求之一。无论是分析销售额的月度增长、用户活跃的变化趋势、库存 ...
2026-06-12在数字经济深度渗透的当下,消费者的购买行为已从过去的 “被动接受” 转变为 “主动决策”。流量红利消退、获客成本攀升、用户 ...
2026-06-12CDA三级认证是三个级别中的塔尖,全面考察数据战略、团队领导和复杂项目的综合能力。它所对应的《敏捷数据挖掘》教材,不再局限 ...
2026-06-12在游戏产业的商业逻辑中,付费玩家是支撑游戏生存与发展的核心支柱。行业普遍遵循 “二八定律”:20% 的付费玩家贡献了游戏 80% ...
2026-06-11【核心关键词】企业、定位、传统、产品、互联网、可视化、业务侧、数字化、结构化、数据分析、传统制造业、市场状态、发展空间 ...
2026-06-11 解读《CDA二级教材:量化策略分析(2025)》的全景结构与学习逻辑 ” CDA二级认证是企业招聘数据分析师时最常提及的证书门槛 ...
2026-06-11【核心关键词】药企、可视化、营销、分类、数据分析师、销售数据、业务人员、指导方向、分析报告、营销数据、营销医生 【专访摘 ...
2026-06-10在统计学分析、问卷调研、实验验证、业务复盘等场景中,卡方检验与 T 检验是应用最广泛的两类基础假设检验方法。前者专门处理分 ...
2026-06-10 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-06-10在MySQL数据库日常查询、数据统计、后台接口开发、数据导出等场景中,开发者经常需要查询数据表除某几列之外的所有字段。例如查 ...
2026-06-09在Python网络请求、爬虫开发、接口测试、数据抓取等实操场景中,requests库是最常用的第三方请求工具,而content属性是requests ...
2026-06-09 数据分析正在重塑每一个行业。CDA认证的三本官方教材,分别对应Level I、Level II、Level III,为你铺就从业务数据分析到数 ...
2026-06-09在数字财务、智慧财税、业财融合深度推进的当下,传统财务模式下数据标准混乱、业务流程碎片化、知识无法沉淀、系统互通性差等问 ...
2026-06-08随着数字经济深度渗透各行各业,数据正式成为继土地、劳动力、资本、技术之后的第五大生产要素,是企业数字化转型、精细化运营、 ...
2026-06-08 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-06-08【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04