迈向实操阶段,工业大数据落地有多难_数据分析师考试
“利用大数据分析系统,我们的工程师可以第一时间发现机器出现的异常,从而将受损失的产品数量降到最低。”中芯国际资深技术顾问王邕保对大数据的作用深有感触。在中芯国际这样的大型制造型企业中,每天各个部门都面临这很多基于数据的决策,从工业大数据中降低损失获取价值是最大诉求。随着“中国制造2025”和“互联网+”国家战略的提出,工业大数据的应用,将成为企业提升生产力、竞争力、创新力的关键要素,也是我国工业转型必须面对的重要课题。
实时数据流形成
大数据已经开始摆脱概念炒作的“雾霾”,开始走向实操阶段。近日,独立调研机构Vanson Bourne对11个国家中来自零售业、金融服务、医疗卫生、银行业、电信业、保险业和政府的1000名IT管理者进行了调查。调查结果显示,大数据战略为95%的中国企业带来了收益,96%的中国大型企业已经或计划在未来一年内实施大数据项目。最值得注意的是,中国区参与调查的全部企业正在或将会利用大数据进行目标更精准的市场和销售活动。
那么,对于工业大数据而言,与其他行业应用相比,又有哪些不同之处呢?
SAS全球行业最佳实践高级总监Thomas Roehm在接受《中国电子报》记者采访时表示,制造业应用大数据技术已有相当长的一段时间,不论是企业ERP系统还是生产车间的感应器等设备采集的数据,都能进行存储和分析。需要指出的是,与之前相比,目前工业大数据技术应用最大的变化就是数据采集的速度更快了,从而形成了实时数据流的分析,这样带来的好处是可以加速工业企业建立预测模型,例如,提高良品率分析的效率,从而能更加及时地采取预防措施提高良品率,减少浪费并减低运营成本。当然,在完善供应链、提高产品质量方面也会有促进作用。
不过,Thomas Roehm也表示,无论是在未来的工业4.0阶段还是智能制造领域,工业大数据最大的挑战仍然是数据本身,特别是实时海量的数据如何更加快速采集、存储和分析。
让数据动起来
在工业领域,随着物联网技术的深入应用,将诞生越来越多的智能工厂,产品全生命周期中各个环节会产生大量的数据类型更为复杂的数据,例如半结构化和非结构化数据。对于这些数据,不仅给数据存储带来挑战,更给数据分析带来前所未有的难题。
“关于大数据的存储,市面上已经有很多的解决方案,例如Gluster、Hadoop等等, 这方面技术已经相对成熟。但是,数据存储下来并不是我们应用大数据技术的目的,如何分析和使用,让大数据动起来,为业务提供价值更为重要。” CA Technologies Erwin研发经理王铮在接受《中国电子报》记者采访时表达了这样的观点。关于这方面,不同厂商提出了不同的方法。据介绍,基于多年的研究,CA Technologies认为数据模型是非结构化数据分析的基础,因而,大数据分析的关键在于如何建立准确的、并且能够自我学习、不断完善的数据模型。
“随着非关系型数据库的崛起与非结构化数据量的增长,企业的数据库环境会逐步转变为异构混和环境,关系型数据库和非关系型数据库共存。这对管理带来了更大的挑战,以前只需要几个DBA就可以管理的中心型关系数据库,现在则需要更多专家、尤其是非关系型数据库专家的加入,并且投入更多管理工具来维护和监控这个复杂的环境。” 王铮补充道。
达梦数据库有限公司董事长冯玉才认为平台化将是大数据技术发展的趋势。“近年来,数据量的规模化增长和应用场景的越发丰富, 使传统IT架构信息系统已无法满足需要,企业级大数据管理不仅面临着有效存储、实时分析和再处理、以及各种信息安全风险等诸多挑战,而且在大数据整合、管理、分析、呈现等各个环节,还需考虑所采购的不同工具之间的兼容、适配、以及建设和维护整套系统所带来的成本压力。因此,能够提供从大数据存储、交换、管理、到分析和呈现的一体化大数据管理服务的“大数据平台”将成为未来市场的焦点。” 冯玉才表示。
需要“干净”的数据
对于大数据分析,也不能完全迷信。用好大数据分析其前提则是数据质量要高。如果从一堆错误的数据里挖掘价值,那么得到的决策建议也是错误的。
西安交大管理学院副院长冯耕中向记者表示,大数据时代企业不仅要重视大数据技术应用,更要重视数据质量的管理。Thomas Roehm也认为,数据分析一切都是源于数据本身,因此一定要保持数据的清洁和干净。
记者了解到,在工业生产中,传感器搜集的数据就具有数据不纯的问题,很多数据值是缺失的。例如,在进行相关温度测定的时候,有可能只是温度达到一定的预值之后传感器才可能进行数据采集,从而导致最后收集到的数据是不完整的,这就带来了问题。对此,不仅需要企业改善数据的纯度,还需要对一些数据进行注入和补充,通过平均值或者是标准差等方式更好的进行建模分析,这样才能得到正确的决策。
“当企业将数据收集起来并放到数据仓库之后,需要进行数据质量相关的研究和管理,比如说判断数据值是否正确,是否出现了重复和冗余的情况。另外,还需要在数据库里部署相应的机制,这样可以扩展到针对所谓的事件流进行实时的研究分析并发现相关数据的规律,从而进一步判断数据值的缺失或者数据值不准确的情况,以此来保证收集数据的准确性。” Thomas Roehm这样建议。
Thomas Roehm还提醒到,工业企业除了生产之外,在产品营销方面也会产生大量的非结构化的数据,特别是来自类社交媒体的数据。例如,有一些人针对产品进行点评,相关点评的真实性有时候是值得怀疑的,这个人有可能对这个产品不感冒,或者持否定的态度,他会一直发表针对该产品的一些负面观点。那么如果企业把这种信息全部收集过来就有可能影响结果的真实度和客观度,这就需要数据质量管理,确保最终分析的数据是优质的。
高端人才成掣肘
工业大数据,涉及到两个主体,一个是工业,另一个是大数据软件技术。在工业领域应用大数据技术对于人才的复合型要求更为突出。例如,做汽车行业的数据分析,不仅需要计算机、统计学、数学等知识,还要拥有丰富的汽车行业知识和经验,通过这些知识经验进行建模,才能开发出合适的分析方法,从而找到数据的价值。
“高度多学科综合性是大数据研究的特点。”中国科学院院士徐宗本表示,“数据获取与管理涉及管理、物理、电子与信息等学科;数据存储与处理涉及计算机科学;数据分析与理解数据数学与统计学;大数据应用则与各行各业相关学科关联。要有技术储备,还要解决好人才培养问题。”
和其他产业不同,大数据产业门槛更高。徐宗本认为其原因有两方面:一方面,大数据要做的事是将无形的、杂乱无章的数据进行真正显化,因此要有很高程度的科技储备。另一方面,对于其他产业,技术相对成熟,只是需要将技术产业化。而大数据产业并不是技术已经成熟的产业,甚至可以说科学基础都还没有成型,但技术变化又如此之快,需要将基础研究、技术研究和产业化融为一体。因此,发展大数据产业,产学研一定要有效结合。
目前,人才培养的重要性已被产业界和教育界意识到。例如上海就已正式启动了“数据科学和大数据人才培养计划”。上海市数据科学重点实验室先期开展“大数据工程硕士项目”。同时,还面向在校大学生,建设一批研究生开放课程。除此之外,沪上大数据人才培养计划还包括数据科学博士与博士后培养。
另外,阿里云携手慧科教育集团启动阿里云大学合作计划AUCP(简称合作计划),联合8 大高校开设云计算与数据科学专业方向,北航、浙大、复旦、上海交大、西安交大、南大、武大、华南理工等首批8 所高校,正式落户合作计划。按照规划,未来3 年,阿里云与慧科教育集团将在全国100 所高校完成专业课程开设,通过“互联网+教育”的模式覆盖300所大学的云计算与数据科学教育,培养和认证5 万名云计算和数据科学工作者。此前,亚信与北航、慧科教育集团已达成战略合作,推出大数据企业定制硕士培养项目,帮助亚信突破大数据人才瓶颈。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14