
新年伊始 大数据仍面临重重考验
大数据从“概念”走向“价值”,基于大数据的推荐与预测逐步流行,数据科学将兴起,安全与隐私成为重要问题,大数据产业成为战略性产业——这是中国计算机学会大数据专家委员会对“大数据”2018年十大趋势预测中的内容。在这份预测中,还包括数据商品化与数据共享联盟化,大数据生态环境逐步发展等。“大数据”从2012年预热,到被各行各业所提及,各种舆论声音纷杂,有人认为这是一个机遇,也有人认为这会是一场“泡沫”。2018年,大数据将面临的问题有哪些?
数据开放仍是大问题
数据应用的前提是数据开放,这已经是共识。中国工程院院士、中国互联网协会理事长邬贺铨指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。
孙九林介绍了美国在数据开放方面的做法。美国政府提供政策和经费保障,使数据信息中心群成为国家信息生产和服务基地,保障数据信息供给不断,利用网络把数据和信息最便捷、及时地送到包括科学家、政府职员、公司职员、学校师生在内所有公民的桌上和家庭中,把全社会带进了信息化时代。
“让每一位公民在数据、信息、知识、理论、决策、效益的各个环节上发挥才华,让民众把数据信息流动过程中和应用过程中的各种价值充分挖掘出来,国家为他们才华的发挥和价值的挖掘带好路、服务好、创造好环境。”孙九林认为这就是美国政府选择的数据信息共享的“大循环”道路。该思路在利益分配上的基本点就是让全社会受益,让整个国家受益。
目前,我国还没有国家层面的专门适合数据共享的国家法律,只有相关的条例、法规、章程、意见等。
针对于大数据利用的前端——数据共享的问题,孙九林认为,十多年的数据共享取得了很大的成效,特别是全社会的共享理念得到共识,但存在的问题仍然很突出:缺少国家层面的政策,已有分散的若干意见约束力不够,高层管理人员对数据开放共享的深刻意义的认识有待提高;现有国家数据共享平台难以满足国家发展和科技创新对数据资源的需求;缺少数据开放共享的专职队伍和相应的数据专家以及管理人才;缺少对专职数据共享服务人员的合理评价机制和标准等等。
急需“国家大数据战略”宏观统筹
“不要被大数据(Big Data)的 Big 误导,大数据更强调的不是数据大,而是数据挖掘。”在第十届国家信息化专家论坛上,邬贺铨院士指出,大数据需要更强调数据挖掘利用,关键的是要有国家大数据战略。
邬贺铨提出,需要制定国家大数据发展战略,大数据是一个应用驱动性很强的服务,其标准和产业格局尚未形成,这是我国跨越发展的机会,但切忌一哄而起在目的不明的情况下到处建设大数据中心,到处搞“数据房地产”,而是需要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手。同时,我国需要尽快制定“信息保护法”和“信息公开法”,既要鼓励面向群体而且服务于社会的数据挖掘,又要防止针对个体侵犯隐私的行为,提倡数据共享又要防止数据被滥用。
中国计算机学会专家委员会指出:大数据时代有两点非常有利于中国信息产业的发展,第一是大数据技术发开源为主,迄今为止没有形成技术垄断;第二点,中国的人口和经济规模决定了中国的数据资产规模全球最大。因此,政府、学界、产业界和资本市场应该通力合作,在确保国家数据安全的前提下,最大程度地开放数据资产,释放大数据的巨大价值。
目前已经有一批企业开始用数据创业。在国外已经有不少用数据提供服务、做数据分析、进行可视化研究的公司,有些已经取得不错的业绩,甚至有很好的前景而拒绝大公司收购。有人预测,如果国内互联网创业者,能从海量的“垃圾”信息中嗅出些端倪,找到某个切入点,没准能成为行业的佼佼者。不过,现在在国内找出个像样的“大数据”初创公司并非易事;但也有人认为,正是有这样的空白存在,才让人看到机遇
各国大数据人才紧缺
大数据人才无疑是紧缺人才。Gartner咨询公司预测,大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预计,美国到2018年深度数据分析人才缺口将达14万~19万人,能够分析数据帮助公司获得经济效益的技术及管理人才有150万人的缺口。中国能理解与应用大数据的创新人才更是稀缺资源。
大数据专家委员会认为,从目前各国的人才培养来看,数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能,具有较宽的知识面,具有独立获取知识的能力。复旦大学的课程设置强调了数据科学家是研究数据的科学家,而不仅仅是一个数据工程师或者数据分析师。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Python HTTP 请求工具对比:urllib.request 与 requests 的核心差异与选择指南 在 Python 处理 HTTP 请求(如接口调用、数据爬取 ...
2025-09-12解决 pd.read_csv 读取长浮点数据的科学计数法问题 为帮助 Python 数据从业者解决pd.read_csv读取长浮点数据时的科学计数法问题 ...
2025-09-12CDA 数据分析师:业务数据分析步骤的落地者与价值优化者 业务数据分析是企业解决日常运营问题、提升执行效率的核心手段,其价值 ...
2025-09-12用 SQL 验证业务逻辑:从规则拆解到数据把关的实战指南 在业务系统落地过程中,“业务逻辑” 是连接 “需求设计” 与 “用户体验 ...
2025-09-11塔吉特百货孕妇营销案例:数据驱动下的精准零售革命与启示 在零售行业 “流量红利见顶” 的当下,精准营销成为企业突围的核心方 ...
2025-09-11CDA 数据分析师与战略 / 业务数据分析:概念辨析与协同价值 在数据驱动决策的体系中,“战略数据分析”“业务数据分析” 是企业 ...
2025-09-11Excel 数据聚类分析:从操作实践到业务价值挖掘 在数据分析场景中,聚类分析作为 “无监督分组” 的核心工具,能从杂乱数据中挖 ...
2025-09-10统计模型的核心目的:从数据解读到决策支撑的价值导向 统计模型作为数据分析的核心工具,并非简单的 “公式堆砌”,而是围绕特定 ...
2025-09-10CDA 数据分析师:商业数据分析实践的落地者与价值创造者 商业数据分析的价值,最终要在 “实践” 中体现 —— 脱离业务场景的分 ...
2025-09-10机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04