大数据产业信息孤岛、技术不足、人才缺失等问题亟需解决
大数据发展中的数据共享难题只是大数据种种问题的冰山一角。当前,我国大数据产业正处于起步阶段,信息孤岛、技术不足、人才缺失等都成为产业发展中亟待解决的大问题。
数据孤岛问题突出
“巧妇难为无米之炊。”大数据的基础在于数据,数据的生命在于共享,拿不到底层的数据,数据分析也就无从谈起。如今,数据孤岛林立、融合困难,已经成为政府与企业面前的首要难题。
“第一个问题就是没数据,理论上我们中国有很多数据,但实际做数据分析会发现非常困难。”中国科学院院士、北京大数据研究院院长鄂维南表示,数据孤岛是一个严重的问题,不同部门的数据储存在不同地方,格式也不一样。大数据最高的层次就是用数据来形成智慧,使得社会各方面可以运转起来。做数据分析先要整合数据,这本身就是研究的困难。
由于政府部门之间、企业之间、政府和企业间信息不对称、制度法律不具体、缺乏公共平台和共享渠道等多重因素,导致大量政府数据存在“不愿公开、不敢公开、不能公开、不会公开”的问题,而已开放的数据也因格式标准缺失无法进行关联融合,形成孤岛。
缺乏动力和担心安全是阻碍数据共享的另一个主要原因。贵阳大数据交易所执行总裁王叁寿透露,不少企业以保护商业机密或节省数据整理成本等为理由,不愿意交易自身数据。部分政府部门也缺乏数据公开的动力:有的是因懒政而让数据沉睡,有的则是已经利用数据开展商业化应用,因此不愿共享。
“数据孤岛的痛不是技术问题,是利益问题,背后隐藏的利益导致了数据孤岛的产生。”鄂维南坦言。
对于如何打通数据孤岛,工信部赛迪研究院软件所所长潘文建议,要建立完善大数据发展协调机制,加快政府数据开放共享,稳步推动公共数据资源开放。同时,统筹规划大数据基础设施建设,推动制定公共信息资源保护和开放的制度性文件,并加强大数据标准化顶层设计,逐步完善标准体系。
在数据共享的路上,2015年成立的贵阳大数据交易所已经做出了成功的尝试。王叁寿表示,若想打通城市现存的信息壁垒,就要让城市多方资源联动起来,搭建城市数据共享的平台,从而激活大数据价值,充分发挥数据资源整合的优质效应,用信息化手段辅助科学决策。
底层技术差距很大
即便解决了数据共享问题,数据可供随时取用,数据的采集和分析仍是主要挑战。微软大中华区董事长兼CEO柯睿杰认为,数据智能并非那么触手可及。大数据来源众多、数量巨大、形式各异,要从中获得一目了然的信息,就需要真正高效、可靠的数据管理和分析平台。
如何处理巨量数据是中国大数据产业面临的首要技术问题。鄂维南表示,“中国的数据体量特别大,比如,中国的视频比任何国家都要多,这些数据储存困难,需要用的时候往往就没了”。再以基因测序领域为例,中国每年新增的基因组测序原始数据超过20PB(1PB相当于100万GB),面临着数据量大、数据处理流程长等技术挑战。
另一方面,数据分析本身也是一个难题。大数据中,绝大部分属于非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域,这些数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流就是不确定性大数据的一个典型例子。这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。
目前,我国大数据技术创新能力还有待提升。《大数据产业发展规划(2016-2020年)》指出,我国在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距,对开源技术和相关生态系统影响力弱。同时,大数据应用水平不高。我国发展大数据具有强劲的应用市场优势,但是目前还存在应用领域不广泛、应用程度不深、认识不到位等问题。
“虽然我们在应用上不落后国外,但是在底层技术上和国外差距特别大,技术都来源于谷歌等国外大公司。”国务院发展研究中心信息中心研究处处长李广乾说,很多时候我们的商业模式走在了技术前面,并没有通过技术手段来推动创新。
对此,潘文表示,国家层面要支持大数据共性关键技术研究,加强海量数据存储、数据清洗、数据分析发掘、数据可视化等领域关键技术攻关,并支持自然语言理解、机器学习、深度学习等人工智能技术创新。
专业人才短缺严重
近年来,我国大数据产业发展进入爆发期,由于成熟的人才培训体系尚未建立,直接导致人才短缺的问题日益突出。“我们面临的最严重的问题就是应用场景和人才的问题,应用场景的问题是需要时间,人才问题是我这么多年来碰到的最严峻的问题。”鄂维南说。
人才不足限制了大数据产业创新发展的成效。清华大学计算机系教授武永卫透露的数据显示,未来3至5年,中国需要180万数据人才,截至目前,中国大数据从业人员只有约30万人。LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》则显示,数据分析是当下中国互联网行业需求最旺盛的6类人才职位之一。
同时,大数据行业选才的标准也不断变化。初期,大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域,以IT、计算机背景的人才居多。随着大数据往各垂直领域的延伸发展,对统计学、数学专业的人才,主要从事数据分析、数据挖掘、人工智能等偏软件领域的需求加大。
在高端人才稀缺的现实情况下,企业多选择从海外和传统行业挖掘跨界人才,但仍然无法满足国内市场的大量需求。针对大数据人才供应不足的现象,各种培训机构和各大高校也开始强化大数据人才的培养。但培养大数据人才需要时间,在短期内对于大数据领域的高端人才仍然会呈现出供不应求的现象。
值得注意的是,今年3月份,教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单,加上第一批获批的北京大学、对外经济贸易大学、中南大学,一共35所高校获批开设该专业。今年开始,部分院校将招收第一届大数据专业本科生。
对于大数据人才建设,潘文表示,要建立适应大数据发展需求的人才培养和评价机制,并建立健全多层次、多类型的大数据人才培养体系。同时,还要完善配套措施,培养大数据领域创新型领军人才,吸引海外大数据高层次人才来华就业、创业。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14