创建大数据项目的五大步骤
企业需要积极的提升他们的数据管理能力。这并非意味着他们应该制定繁琐的流程和监督机制。明智的企业会配合他们的数据活动的生命周期制定灵活的流程和功能:根据业务需求启动更轻更严格、更强大的功能,并根据需求的增加来提升质量或精度。
一些企业正在利用新兴技术来应对新的数据源,但大多数企业仍然面临着需要努力管理好他们已经掌握或者应当掌握的数据信息的困境,而当他们试图部署大数据功能时,发现自己还需要面对和处理新的以及当下实时的数据。
为了能够实现持久成功的大数据项目,企业需要把重点放在如下五个主要领域。
1、确立明确的角色分工和职责范围。
对于您企业环境中的所有的数据信息,您需要对于这些数据信息所涉及的关键利益相关者、决策者有一个清晰的了解和把控。当数据信息在企业的系统传输过程中及其整个生命周期中,角色分工将发生变化,而企业需要对这些变化有一个很好的理解。当企业开始部署大数据项目之后,务必要明确识别相关数据的关键利益相关者,并做好这些数据信息的完善和迭代工作。
2、加强企业的数据治理和数据管理功能。
确保您企业的进程足够强大,能够满足和支持大数据用户和大数据技术的需求。进程可以是灵活的,并应充分考虑到业务部门和事务部门的需求,这些部门均伴有不同程度的严谨性和监督要求。
确保您企业的参考信息架构已经更新到包括大数据。这样做会给未来的项目打好最好的使用大数据技术和适当的信息管理能力的基础。
确保您企业的元数据管理功能足够强大,能够包括并关联所有的基本元数据组件。随着时间的推移,进行有序的分类,满足业务规范。
一旦您开始在您企业的生产部门推广您的解决方案时,您会希望他们长期持续的使用该解决方案,所以对架构功能的定义并监督其发挥的作用是至关重要的。确保您企业的治理流程包括IT控制的角色,以帮助企业的利益相关者们进行引导项目,以最佳地利用这些数据信息。其还应该包括您企业的安全和法务团队。根据我们的经验,使用现有的监督机制能够达到最佳的工作状态,只要企业实施了大数据应用,并专注于快速在进程中处理应用程序,而不是阻碍进程的通过。
3、了解环境中的数据的目的和要求的精度水平,并相应地调整您企业的期望值和流程。
无论其是一个POC,或一个已经进入主流业务流程的项目,请务必确保您对于期望利用这些数据来执行什么任务,及其质量和精度处于何种级别有一个非常清晰的了解。这种方法将使得企业的项目能够寻找到正确的数据来源和利益相关者,以更好地评估这些数据信息的价值和影响,进而让您决定如何最好地管理这些数据信息。更高的质量和精度则要求更强大的数据管理和监督能力。
随着您企业大数据项目的日趋成熟,考虑建立一套按照数据质量或精确度分类的办法,这将使得数据用户得以更好的了解他们所使用的是什么,并相应地调整自己的期望值。例如,您可以使用白色、蓝色或金色来分别代表原始数据、清理过的数据,经过验证可以有针对性的支持分析和使用的数据。有些企业甚至进一步完善了这一分类方法:将数据从1到5进行分类,其中1是原始数据,而5是便于理解,经过整理的、有组织的数据。
4、将对非结构化的内容的管理纳入到您企业的数据管理能力。
非结构化数据一直是企业业务运营的一部分,但既然现在我们已经有了更好的技术来探索,分析和这些非结构化的内容,进而帮助改善业务流程和工业务洞察,所以我们最终将其正式纳入我们的数据管理是非常重要的。大多数企业目前都被困在了这一步骤。
数据库中基本的、非结构化的数据是以评论的形式或者自由的形式存在的,其至少是数据库的一部分,应该被纳入到数据管理。但挖掘这些数据信息则是非常难的。
数字数据存储在传统的结构化数据库和业务流程外,很少有许多的治理范围分组和数据管理的实现,除了当其被看作是一个技术问题时。一般来说,除了严格遵守相关的安全政策,今天的企业尚未对其进行真正有效的管理。当您的企业开始大跨步实现了大数据项目之后,您会发现这一类型的数据信息迅速进入了您需要管理的范畴,其输出会影响您企业的商业智能解决方案或者甚至是您企业的业务活动。积极的考虑将这些数据纳入到您企业的数据管理功能的范围,并明确企业的所有权,并记录好这些数据信息的诸如如何使用、信息来源等等资料。
不要采取“容易的轻松路线”,单纯依靠大数据技术是您企业唯一正式的非结构化数据管理的过程。随着时间的推移,企业将收集越来越多的非结构化数据,请务必搞清楚哪些数据是好的,哪些是坏的,他们分别来自何处,以及其使用是否一致,将变得越来越重要,甚至在其生命周期使用这个数据都是至关重要的。
要保持这种清晰,您可以使用大数据和其他工具,以了解您企业所收集的数据信息,确定其有怎样的价值,需要怎样的管理,这是至关重要的。大多数进入您企业的大数据系统的非结构化数据都已经经过一些监控了,但通常是作为一个BLOB(binarylargeobject)二进制大对象和非结构化的形式进行的。随着您的企业不断的在您的业务流程中“发掘”出这一类型的数据,其变得更加精确和有价值。其可能还具有额外的特点,符合安全,隐私或法律和法规的元素要求。最终,这些数据块可以成为新的数据元素或添加到现有的数据,但您必须有元数据对其进行描述和管理,以便尽可能最有效地利用这些数据。
5、正式在生产环境运行之前进行测试。
如果您的企业做的是一次性的分析或完整的一次性的试点,这可能并不适用于您的企业,但对大多数企业来说,他们最初的大数据工作将迅速发展,他们找到一个可持续利用他们已经挖掘出的极具价值的信息的需求。这意味着需要在您的沙箱环境中进行测试,然后才正式的在您的生产环境运。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14