迈向实操阶段，工业大数据落地有多难_数据分析师考试

“利用大数据分析系统，我们的工程师可以第一时间发现机器出现的异常，从而将受损失的产品数量降到最低。”中芯国际资深技术顾问王邕保对大数据的作用深有感触。在中芯国际这样的大型制造型企业中，每天各个部门都面临这很多基于数据的决策，从工业大数据中降低损失获取价值是最大诉求。随着“中国制造2025”和“互联网+”国家战略的提出，工业大数据的应用，将成为企业提升生产力、竞争力、创新力的关键要素，也是我国工业转型必须面对的重要课题。

实时数据流形成

大数据已经开始摆脱概念炒作的“雾霾”，开始走向实操阶段。近日，独立调研机构Vanson Bourne对11个国家中来自零售业、金融服务、医疗卫生、银行业、电信业、保险业和政府的1000名IT管理者进行了调查。调查结果显示，大数据战略为95%的中国企业带来了收益，96%的中国大型企业已经或计划在未来一年内实施大数据项目。最值得注意的是，中国区参与调查的全部企业正在或将会利用大数据进行目标更精准的市场和销售活动。

那么，对于工业大数据而言，与其他行业应用相比，又有哪些不同之处呢？

SAS全球行业最佳实践高级总监Thomas Roehm在接受《中国电子报》记者采访时表示，制造业应用大数据技术已有相当长的一段时间，不论是企业ERP系统还是生产车间的感应器等设备采集的数据，都能进行存储和分析。需要指出的是，与之前相比，目前工业大数据技术应用最大的变化就是数据采集的速度更快了，从而形成了实时数据流的分析，这样带来的好处是可以加速工业企业建立预测模型，例如，提高良品率分析的效率，从而能更加及时地采取预防措施提高良品率，减少浪费并减低运营成本。当然，在完善供应链、提高产品质量方面也会有促进作用。

不过，Thomas Roehm也表示，无论是在未来的工业4.0阶段还是智能制造领域，工业大数据最大的挑战仍然是数据本身，特别是实时海量的数据如何更加快速采集、存储和分析。

让数据动起来

在工业领域，随着物联网技术的深入应用，将诞生越来越多的智能工厂，产品全生命周期中各个环节会产生大量的数据类型更为复杂的数据，例如半结构化和非结构化数据。对于这些数据，不仅给数据存储带来挑战，更给数据分析带来前所未有的难题。

“关于大数据的存储，市面上已经有很多的解决方案，例如Gluster、Hadoop等等， 这方面技术已经相对成熟。但是，数据存储下来并不是我们应用大数据技术的目的，如何分析和使用，让大数据动起来，为业务提供价值更为重要。” CA Technologies Erwin研发经理王铮在接受《中国电子报》记者采访时表达了这样的观点。关于这方面，不同厂商提出了不同的方法。据介绍，基于多年的研究，CA Technologies认为数据模型是非结构化数据分析的基础，因而，大数据分析的关键在于如何建立准确的、并且能够自我学习、不断完善的数据模型。

“随着非关系型数据库的崛起与非结构化数据量的增长，企业的数据库环境会逐步转变为异构混和环境，关系型数据库和非关系型数据库共存。这对管理带来了更大的挑战，以前只需要几个DBA就可以管理的中心型关系数据库，现在则需要更多专家、尤其是非关系型数据库专家的加入，并且投入更多管理工具来维护和监控这个复杂的环境。” 王铮补充道。

达梦数据库有限公司董事长冯玉才认为平台化将是大数据技术发展的趋势。“近年来，数据量的规模化增长和应用场景的越发丰富, 使传统IT架构信息系统已无法满足需要，企业级大数据管理不仅面临着有效存储、实时分析和再处理、以及各种信息安全风险等诸多挑战，而且在大数据整合、管理、分析、呈现等各个环节，还需考虑所采购的不同工具之间的兼容、适配、以及建设和维护整套系统所带来的成本压力。因此，能够提供从大数据存储、交换、管理、到分析和呈现的一体化大数据管理服务的“大数据平台”将成为未来市场的焦点。” 冯玉才表示。

需要“干净”的数据

对于大数据分析，也不能完全迷信。用好大数据分析其前提则是数据质量要高。如果从一堆错误的数据里挖掘价值，那么得到的决策建议也是错误的。

西安交大管理学院副院长冯耕中向记者表示，大数据时代企业不仅要重视大数据技术应用，更要重视数据质量的管理。Thomas Roehm也认为，数据分析一切都是源于数据本身，因此一定要保持数据的清洁和干净。

记者了解到，在工业生产中，传感器搜集的数据就具有数据不纯的问题，很多数据值是缺失的。例如，在进行相关温度测定的时候，有可能只是温度达到一定的预值之后传感器才可能进行数据采集，从而导致最后收集到的数据是不完整的，这就带来了问题。对此，不仅需要企业改善数据的纯度，还需要对一些数据进行注入和补充，通过平均值或者是标准差等方式更好的进行建模分析，这样才能得到正确的决策。

“当企业将数据收集起来并放到数据仓库之后，需要进行数据质量相关的研究和管理，比如说判断数据值是否正确，是否出现了重复和冗余的情况。另外，还需要在数据库里部署相应的机制，这样可以扩展到针对所谓的事件流进行实时的研究分析并发现相关数据的规律，从而进一步判断数据值的缺失或者数据值不准确的情况，以此来保证收集数据的准确性。” Thomas Roehm这样建议。

Thomas Roehm还提醒到，工业企业除了生产之外，在产品营销方面也会产生大量的非结构化的数据，特别是来自类社交媒体的数据。例如，有一些人针对产品进行点评，相关点评的真实性有时候是值得怀疑的，这个人有可能对这个产品不感冒，或者持否定的态度，他会一直发表针对该产品的一些负面观点。那么如果企业把这种信息全部收集过来就有可能影响结果的真实度和客观度，这就需要数据质量管理，确保最终分析的数据是优质的。

高端人才成掣肘

工业大数据，涉及到两个主体，一个是工业，另一个是大数据软件技术。在工业领域应用大数据技术对于人才的复合型要求更为突出。例如，做汽车行业的数据分析，不仅需要计算机、统计学、数学等知识，还要拥有丰富的汽车行业知识和经验，通过这些知识经验进行建模，才能开发出合适的分析方法，从而找到数据的价值。

“高度多学科综合性是大数据研究的特点。”中国科学院院士徐宗本表示，“数据获取与管理涉及管理、物理、电子与信息等学科；数据存储与处理涉及计算机科学；数据分析与理解数据数学与统计学；大数据应用则与各行各业相关学科关联。要有技术储备，还要解决好人才培养问题。”

和其他产业不同，大数据产业门槛更高。徐宗本认为其原因有两方面：一方面，大数据要做的事是将无形的、杂乱无章的数据进行真正显化，因此要有很高程度的科技储备。另一方面，对于其他产业，技术相对成熟，只是需要将技术产业化。而大数据产业并不是技术已经成熟的产业，甚至可以说科学基础都还没有成型，但技术变化又如此之快，需要将基础研究、技术研究和产业化融为一体。因此，发展大数据产业，产学研一定要有效结合。

目前，人才培养的重要性已被产业界和教育界意识到。例如上海就已正式启动了“数据科学和大数据人才培养计划”。上海市数据科学重点实验室先期开展“大数据工程硕士项目”。同时，还面向在校大学生，建设一批研究生开放课程。除此之外，沪上大数据人才培养计划还包括数据科学博士与博士后培养。

另外，阿里云携手慧科教育集团启动阿里云大学合作计划AUCP（简称合作计划），联合8 大高校开设云计算与数据科学专业方向，北航、浙大、复旦、上海交大、西安交大、南大、武大、华南理工等首批8 所高校，正式落户合作计划。按照规划，未来3 年，阿里云与慧科教育集团将在全国100 所高校完成专业课程开设，通过“互联网+教育”的模式覆盖300所大学的云计算与数据科学教育，培养和认证5 万名云计算和数据科学工作者。此前，亚信与北航、慧科教育集团已达成战略合作，推出大数据企业定制硕士培养项目，帮助亚信突破大数据人才瓶颈。