
大数据与上海转型发展2_数据分析师
从国内来看,上海IT产业在人才、技术研发、与国际接轨的信息通信基础设施等方面已经形成了一定的优势。电子信息产品制造业总产值和就业人数居上海六大支柱产业之首;信息服务业的产值在服务业中排名达到第五。但在这貌似光鲜的高科技产业背后,仍然存在产业链层次偏低的问题。IT业内程序员、维修、销售服务等工作被讥称为“IT民工”,其体力劳动量远大于脑力劳动量,处于这一产业链的低端。
抓住大数据发展的机遇,上海要充分挖掘被企业和政府部门“养在深闺”、大量的本土消费和市场行为数据,获得本土或行业的比较优势。大数据拥有单位如果能加以重视,与国内IT企业协作开发,激活这个沉睡的巨大金矿,就可能成就上海自己的、在不同细分行业的IBM、谷歌和亚马逊,引领整个中国IT服务业走向高端。推动大数据的发展,不仅可以作为上海IT产业自身升级的一条重要路径,更可以带动其他产业和城市管理的升级,真正打造上海城市建设和长三角经济发展的升级版。
制约大数据发展的四个瓶颈
从大数据的启用到最终价值的创造,是一连串的事件,需要观念的转变、大数据知识的传播、基础设施、人才、法律等基础条件。目前,这些构成了制约上海发展大数据产业的四大瓶颈。
观念瓶颈:根据Gartner的IT生命周期理论,目前正处于对于大数据认识的泡沫化阶段,需要有一个价值理性回归过程。作为决策层,既不要盲目跟风,更不要轻易否定其价值。这时候,尤其需要冷静下来思考:大数据的出现对于经济社会有何种影响,如何影响本行业,对此我们准备好了吗?当前制度与之适应性如何,需要进行何种变革和创新,甚至提交到立法层面来解决?在如何利用大数据方面,站在城市层面,是否可能形成一个战略规划,明确基础数据的良好治理机制,以保障数据的“流动性”和“可获取性”?政府可以为市场提供哪些服务和支撑,等等。从目前“小数据”的开发利用来看,上海仍存在较严重的数据“孤岛”现象,共享的观念还远没有普及,数据管理的制度仍需健全。面对大数据时代的新浪潮,形势不容乐观。
能力瓶颈:上海企业信息化水平参差不齐,很多大型企业如宝钢、电气集团等信息化应用相当成熟,管理水平在逐渐向国外一流公司看齐。但仍有相当比例企业,尤其是中小型企业信息化水平欠佳。据市经信委的调查,约70%的中小企业没有专职IT人员,管理仍停留在经验层面,拍脑袋决策的事情不在少数。这将很难培育出大数据的能力。虽然中国的技术方面也落于人后,但最大的障碍在于技术的应用和管理能力。上海必须重视提升企业信息化管理能力,夯实好基础。
法律瓶颈:在互联网环境下,哪些数据开发行为属于合理开发,仍缺乏一个相应的法律规定,对个人信息保护也无法可依。加之人为造成的信息不对称成为一些部门利益的重要来源,导致立法进程迟迟不能启动。相关法规缺位一个直接结果就是,信息服务产业发展出现了逆向激励:对于个人信息合理的开发受制种种约束,而信息滥用者借助于种种暗箱操作,反而逃避了监督。这种环境下,推动大数据这个金矿的开发,存在非常大的法律风险。
文化瓶颈:各类组织,包括企业、公共服务机构对大数据知识的了解和技术掌握,有个学习过程。从长远看,根本性障碍还在于对基于数据的决策抱怀疑态度的决策文化。这既与数据本身质量不高有关,也与人们认识世界的方式分不开。反映到决策上,往往更加相信直觉,而不重视数字。尽管上海具有相对开明睿智的城市文化,但决策的科学性和透明性方面仍有改善的空间。
推进措施和建议
上海是中国经济、贸易、金融、航运等领域海量数据的集散地,具备得天独厚的大数据优势。在推动大数据发展问题上,上海可以大有作为,这体现在路径选择、环境营造、基本保障等三个维度。
从路径选择看,可以将从上而下和从下而上两种方式结合。
从上而下,强调数据共享和整合,解决现有数据孤岛问题。近年来,上海斥资建成了各种平台,包括互联网数据中心(IDC)、大型企业数据平台、云计算平台、高精度位置服务平台、各行业信息服务平台以及各类社交媒体平台等,为大数据发展奠定了良好的基础。大数据发展的要求是接入和共享,这需要关注于底层数据的连通。但数据共享与其说是技术问题,不如说是制度和利益协调问题,需要高层的承诺,各方认真协商解决。这一工作的难度并非上海所独有,美国白宫的数据共享问题也仅仅是奥巴马上台之后强势推动下才初见成效。只有在共享问题得以解决后,大数据这座金矿才能充分得以开发,实现跨越式发展。
从下而上,强调以小型应用和微创新为突破口,撬动大数据的发展。上海可以从应用端出发,以小型应用和微创新为突破口,引爆行业的大数据发展。如可以鼓励医院、教育等公共服务部门、现有金融保险、航运企业、大型制造企业、零售等数据量丰富的行业龙头企业,以大数据为纽带,各自开展微创新,激活整个产业链的创新能力。微创新的作用在于不断尝试和改进,找到一个更好的服务模式,进一步激发大的创新。如能基于高质量的大数据分析,创新效果会更好,成本会更低。同时随着应用的深入,自然而然对其他部门数据提出共享需求,最终有助于不同部门之间数据的共享。
从环境营造上,上海可以从内外部两方面着力,推进大数据的发展。
从内部看,上海应着重激发基于大数据的创业创新精神。大数据产业链主要是一些国际大数据公司所主导,目前上海没有可以与之相匹敌的企业,只能依赖于细分市场和特定环节的突破,激发出中小型创业型企业的创新精神,培育一批基于数据的决策的创新型企业及中小型创业型企业,通过市场竞争拼出一条血路。
从外部看,主要还是通过筑巢引凤构建大数据产业链高地。上海享有地域、技术、人才、市场、行政效率和透明度高等多种优势,IT产业集群优势也非常明显,借此可广泛吸引国内外企业将大数据行业分析中心设在上海,就地应用和试点,作为上海战略性新兴产业和现代服务业发展的重点支持对象。
保障机制方面,主要涉及立法突破、人才培育和决策文化等三方面。
其中,在大数据立法上有所突破,是关键一环。大数据立法并不是孤立的,而是应放在计算机和互联网信息安全和保护这一大的框架下,在地方层面,灵活借鉴各先进国家和城市经验,规定对信息利用的合理边界,保护个人信息不被滥用。另外,根据迈尔-舍恩伯格的建议,大数据年代记忆已经成为一种常态,为了对公民隐私进行保护,应该有一种遗忘机制。而这一机制类似于档案的销毁,也应有法有依,否则后果会很严重。
同时,人才是技术研发和市场应用的基础。据麦肯锡的估计,仅在美国,大数据技术人才缺口达14万-19万,管理人才150万。上海应开始重视对大数据专业人才的培育,还要意识到国际性人才争夺战的激烈性,既要培育出人才,更要留得住人才。最直接相关的专业有两大类:第一类是大数据技术研发人才,主要为计算机科学和技术专业;第二类是数据分析和管理人才,主要包括信息系统和信息管理专业、数理统计专业等。
最后,还要倡导基于大数据的决策文化。近年来,上海在努力建设智慧城市中已经应用了大数据的理念,但仍存在一些凭经验和直觉决策的区域。大数据的决策本质特征是公开透明和科学理性,这可以改进政府与民众的互信,倡导这一决策文化可以有效改变公信力不足的不利局面,深化上海服务型政府建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26CDA 数据分析师会被 AI 取代吗? 在当今数字化时代,数据的重要性日益凸显,数据分析师成为了众多企业不可或缺的角色 ...
2025-06-26CDA 数据分析师证书考取全攻略 在数字化浪潮汹涌的当下,数据已成为企业乃至整个社会发展的核心驱动力。数据分析师作 ...
2025-06-25人工智能在数据分析的应用场景 在数字化浪潮席卷全球的当下,数据以前所未有的速度增长,传统的数据分析方法逐渐难以满足海 ...
2025-06-25评估模型预测为正时的准确性 在机器学习与数据科学领域,模型预测的准确性是衡量其性能优劣的核心指标。尤其是当模型预测结 ...
2025-06-25CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24Power Query 中实现移动加权平均的详细指南 在数据分析和处理中,移动加权平均是一种非常有用的计算方法,它能够根据不同数据 ...
2025-06-24数据驱动营销革命:解析数据分析在网络营销中的核心作用 在数字经济蓬勃发展的当下,网络营销已成为企业触达消费者 ...
2025-06-23随机森林模型与 OPLS-DA 的优缺点深度剖析 在数据分析与机器学习领域,随机森林模型与 OPLS-DA(正交偏最小二乘法判 ...
2025-06-23CDA 一级:开启数据分析师职业大门的钥匙 在数字化浪潮席卷全球的今天,数据已成为企业发展和决策的核心驱动力,数据分析师 ...
2025-06-23透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19