2017大数据产业从数据中寻找智慧的力量
大数据产业发展了两年之后,从探索阶段进入了应用阶段。企业和政府看到了数据价值,从被动了解走向主动拥抱。数据被定义成重要的资源,正在得到企业的重视,在企业的经营过程中发挥着重要的作用。数据部门或者数据负责人也成为热点,正在帮助企业实施数据战略,寻找数的商业价值。
数据的商业应用成为企业认识数据价值的一个切入点,也是企业实施数据战略的一个重要前提。数据如何应用,数据如何同场景结合,数据如何变成生产力,数据如何指导业务决策成为了企业最关心的问题。大多数企业还是将精力放在数据架构,技术平台,数据采集等探索工作,没有理顺数据价值应用的发展路径,也没有从数据中看到真正的商业价值,看到智慧的力量。
数据本身是没有价值的,必须同商业需求结合在一起,才能够产生化学反映,体现商业价值。数据的应用场景常常成为企业在数据应用中最迫切的需求。中国有句古话,不积跬步无以至千里,数据的价值应用需要经历多个阶段,完成所有基础工作之后,数据的商业价值才能体现出来。就像一个武功高手,必须先拥有多年修炼的内功,才能够吐纳自如,于无形中取得优势,一击而中。
一、企业需要重新认识数据工程
从数据到智慧,从数据到资产,从数据到价值需要系统化思维和严谨的数据工程,没有经历过数据工程,数据应用将失去一个重要基础,无法在企业中发挥出作用。
企业发展过程中经历过业务工程和技术工程,业务工程是指商业模式寻找的过程,主要是指的业务流程的建立。经过多次试错,企业通过业务工程找到了成熟的商业模式。企业借助于业务工程建立了业务流程,业务工程帮助企业解决了业务环节中分工和责任的问题,帮助企业高效运转起来,并从根本上解决了企业扩大规模,高速运转过程中需要解决的管理问题,业务工程也可以看成是管理工程。
技术工程是指在业务工程实施过程中,业务流程的工具化、系统化过程。借助于信息系统的搭建和实施,企业对业务流程实施控制,提高流程效率,降低业务运营成本。技术工程就是信息化过程,帮助企业利用系统和工具来管理业务流程,实现业务工程。
业务工程和技术工程都解决了一个问题,就是现代化生产,标准化企业的商业模式和业务流程。业务流程成为业务工程和技术工程的核心,数据成为业务工程和技术工程的附属品和重要的流程产物。
在企业以产品为中心的时代,客户缺少选择权,数据作为副产品,主要是用于财务控制和资源管理。数据没有被作为一种资产来看待,更多的时候,数据只是一个流程的记录,是业务流程的副产品。企业不会化太多的精力去经营,企业将大部分精力放在了产品和是市场宣传。
当进入以客户为中心的时代之后,用户成为了企业的中心,数据也成了联系客户和洞察客户的直接桥梁。如果企业想更多地了解客户,分析客户需求,优化产品,提升客户满意度,企业就必须利用数据了解客户的消费,行为,心理以及预测客户未来的需求。数据将不再是业务流程中的副产品,将会是企业了解客户的一个途径。数据不再仅仅是业务流程中的记录,将会成为一类特殊的资产,从数据中看到更多的价值。
数据工程就是以数据为中心,从数据采集到数据应用的过程。
数据工程也是从数据到智慧的过程,其必须经历四个阶段,原始数据到原数据,原数据到信息,信息到知识,知识到智慧。
原始数据到原数据是数据采集和处理过程
数据以多种形式存在,主要的形式是流程中记录下来的数据,多为结构化数据,直接采集信息系统的数据库里面,形成原数据,直接就可以调用。另一部分是行为数据,分为主动行为数据和被动行为数据,主动行为数据包括社交数据,点击数据,浏览数据,言论数据等。
被动行为数据就是传感器数据,包括GPS数据,WIFI,ibeacon,摄像头,压力感应器,气压记,湿度记等传感器采集的数据,这些数据只有通过数据采集和处理,才可以放到数据库里面进行应用。
原数据就是指放到结构化数据库里面,可以直接调用和分析的数据,是数据应用的基础,数据标签的主要来源就是原数据。
原数据到信息是数据统计分析的过程
这个阶段是数据统计汇总,以不同维度和角度展现的过程,我门看到的数据报表和数据可视化过程就是数据到信息的过程。
信息是数据具有价值的第一个产品,从信息中可以看到业务发展趋势和业务经营情况。经常看到业务数据的环比、同比、对比、百分比、热力图等都是数据作为信息的展示方式。从数据统计汇总中基本上可以了解业务经营情况,产品销售情况,客户增长情况,客户满意情况等基本信息。信息可以帮助企业从数据中了解商业经营情况,从数据中了解运营成本,单个客户价值等情况。
信息是数据价值应用的第一个阶段,企业主要通过信息统计来了解客户满意度和产品销售情况,大部分企业的数据应用处于这个阶段。数据还没有开始帮助企业进行一些商业决策。
信息到知识是数据分析挖掘过程
这个过程需要人的智慧,借助于数据分析,企业可以发现一些商业机会,包括产品体验和客户需求,高价值客户和流失客户,潜在客户的基本特征和基本需求,也包括用户行为的分析以及需求。
在这个阶段企业可以借助于数据分析和挖掘发现产品销售的相关性,提升相关产品搭配销售。借助于知识图谱技术找到羊毛党和网络欺诈分子的特征,制定反欺诈的规则。通过分析用户下班之后在App中的行为,针对性推送一些具有价值的交易信息,帮助客户进行决策。通过分析客户物理行为轨迹和品牌偏好,帮助企业客户制定广告营销策略以及商铺搭配策略等。
信息到知识的过程是商业机会总结发现的过程,数据的价值体现在对客观事物规律的总结,在这个阶段,数据应用价值主要依靠人的智慧和高质量的数据分析结果。
知识到智慧是人工智能决策的过程
企业面临的数据纬度是海量的,数据对于商业决策影响是多方面的。一个商业决策可能需要考虑和分析数十万个数据个体和数据纬度,通过传统的方法和工具已经无法短时间内帮助企业计算出结果,同时复杂无序的非结构化数据也在一定程度上加大了数据分析的难度。
基于新数据技术的人工智能或者说是数据模型已经可以帮助企业在复杂的数据中去发现一些规律,帮助企业进行商业决策。例如金融企业可以借助于TDA拓扑分析、RF(随机森林),GBDT,深度学习,遗传算法等方式来进行基于行为数据的风控。可以取得90%以上的判断准确率。另外互联网企业的开源计算框架(软件库)正在提升算法的速度和精度。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14