
为何要从数据管理,进化到大数据治理_数据分析师
最近参加了“中国优秀首席信息官(CIO)评选”的颁奖大会,现场很多人都在谈大数据,其中有传统行业、有银行、也有医院。我注意到大部分演讲嘉宾均集中讨论如何应用大数据,或是如何用数据进行创新。
但跟以往的很多会议一样,我很少听到数据作为原材料应该怎么管理。
你可能会说,银行业、通讯业等不是早就在做数据管理了吗?
的确,数据管理(data management)并非新鲜,20年前就有人在做了。但在数据呈指数级增长之下,我们现在讲的数据已跟以往不一样。不仅是数据的大小,而且包括数据的内容、来源、结构等都很不一样。
以往我们可能根本不敢想象,Facebook的日均新增数据量已达到600T。与此同时,无数以往不可能出现的算法和应用也随之呈爆炸式增长。
数据在创新;算法在创新;应用也在创新。我们不禁会问,以往的数据管理思路,能适应新形势的要求吗?
自上而下管理费时失事
在一些传统银行,若你需要看某个数据,就必须拿着申请单找一堆人签字,最后,从一个类似医院取药的视窗中,将按照流程签满字的纸递给数据管理员。
而这个管理员会告诉你,你要等几个小时才可拿到数据。
因他要从一大堆备份中,找出你要的数据,加载完后才能给你。这就是传统的数据管理方式:严格按照自上而下的流程进行,甚至要做到滴水不漏。
后来,这个银行发生了一个对他们来说具有时代意义的改变——那个帮你找数据的管理员,变成了机器人。虽然机器人的效率大大提升了,但数据管理的本质却没有变化。
在大数据时代,数据将会促成新技术的发展,以及更多新数据的产生。
开放的网络环境、频繁的数据更新、丰富的数据种类,加上数据保护的需求激增、数据生态圈的物种增多、流动性加快……这些复杂多变又未知的环境,对于中央式管理是极大的挑战。
试想,若还是按照以往的方式,会出现怎样的情形?
也许,数据的审批人会比数据的使用者还多;也许,数据的创新会停滞不前;也许,数据的应用价值会比现在晚几年才被发现……
数据治理须人人参与
因此,我们必须意识到,数据治理不等同于数据管理,绝非依靠自上而下的贯彻执行便可解决。
相反,数据治理需要每个人的参与和协同,要求每个人都有意识去治理好数据。而且数据治理本身也可以变成应用和创新,成为更多应用和创新的“水、电、煤”。
在数据产生价值之前,不管看数据还是直接应用数据,首先都要注意:数据有没有?数据准不准?粒度细不细?是否稳定的?
若行政总裁每天看的数据都是错误的,或者不是稳定产出的,那么企业依赖数据的决策将付出极高代价。
所以企业若不做数据治理,或者还是按照以往的思维来管理数据,那么,日后对数据的依赖愈深,便可能愈快出问题。
数据治理的新思路,不仅是指组织结构上要从由上而下变成全体协同,而且要在技术上创新,提供更智能的治理工具,帮助大家提高数据质量、保护数据安全及有效控制数据成本。
最后我想说,大数据时代的数据治理,一定是将有形的管理策略化成无形的智能产品,从一纸命令变成根植在每个人脑中的信念和下意识的习惯。我们要用大数据的思维方式,用数据来治理数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Pandas 选取特定值所在行:6 类核心方法与实战指南 在使用 pandas 处理结构化数据时,“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络(SCNN) 为解决这一痛点,球面卷积神经网络(Spherical Convolutional Neural Network, SCNN) 应运而生。它通 ...
2025-09-30在企业日常运营中,“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”,金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗?基础方法、进阶技巧与场景边界 在数据分析领域,聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树:原理、优化与工业级实战指南 在机器学习领域,决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29在标签体系的落地链路中,“设计标签逻辑” 只是第一步,真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键,在于标签加 ...
2025-09-29在使用 Excel 数据透视表进行多维度数据汇总时,折叠功能是梳理数据层级的核心工具 —— 通过点击 “+/-” 符号可展开明细数据或 ...
2025-09-28在使用 Pandas 处理 CSV、TSV 等文本文件时,“引号” 是最容易引发格式混乱的 “隐形杀手”—— 比如字段中包含逗号(如 “北京 ...
2025-09-28在 CDA(Certified Data Analyst)数据分析师的技能工具箱中,数据查询语言(尤其是 SQL)是最基础、也最核心的 “武器”。无论 ...
2025-09-28Cox 模型时间依赖性检验:原理、方法与实战应用 在生存分析领域,Cox 比例风险模型(Cox Proportional Hazards Model)是分析 “ ...
2025-09-26检测因子类型的影响程度大小:评估标准、实战案例与管控策略 在检测分析领域(如环境监测、食品质量检测、工业产品合规性测试) ...
2025-09-26CDA 数据分析师:以数据库为基石,筑牢数据驱动的 “源头防线” 在数据驱动业务的链条中,“数据从哪里来” 是 CDA(Certified D ...
2025-09-26线性相关点分布的四种基本类型:特征、识别与实战应用 在数据分析与统计学中,“线性相关” 是描述两个数值变量间关联趋势的核心 ...
2025-09-25深度神经网络神经元个数确定指南:从原理到实战的科学路径 在深度神经网络(DNN)的设计中,“神经元个数” 是决定模型性能的关 ...
2025-09-25在企业数字化进程中,不少团队陷入 “指标困境”:仪表盘上堆砌着上百个指标,DAU、转化率、营收等数据实时跳动,却无法回答 “ ...
2025-09-25MySQL 服务器内存碎片:成因、检测与内存持续增长的解决策略 在 MySQL 运维中,“内存持续增长” 是常见且隐蔽的性能隐患 —— ...
2025-09-24人工智能重塑工程质量检测:核心应用、技术路径与实践案例 工程质量检测是保障建筑、市政、交通、水利等基础设施安全的 “最后一 ...
2025-09-24CDA 数据分析师:驾驭通用与场景指标,解锁数据驱动的精准路径 在数据驱动业务的实践中,指标是连接数据与决策的核心载体。但并 ...
2025-09-24在数据驱动的业务迭代中,AB 实验系统(负责验证业务优化效果)与业务系统(负责承载用户交互与核心流程)并非独立存在 —— 前 ...
2025-09-23CDA 业务数据分析:6 步闭环,让数据驱动业务落地 在企业数字化转型中,CDA(Certified Data Analyst)数据分析师的核心价值,并 ...
2025-09-23