京公网安备 11010802034615号
经营许可证编号:京B2-20210330
数据仓库实施需注意的四大问题
在实施数据仓库的过程中,还面临着很多影响数据仓库项目成败的关键因素,而这些因素实际上并不完全是技术层面的。这也是为什么数据仓库项目失败比例很高的主要原因。只有在项目中很好的解决这些问题,才能保证数据仓库项目的最终成功。下面分别介绍这些需要关注的问题:
1.采用何种实施方法
企业级数据仓库的实现通常有两种途径:一种是从建造某个部门特定的数据集市开始,逐步扩充数据仓库所包含的主题和范围,最后形成一个能够完全反应企业全貌的企业级数据仓库;另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。前一种方法是各个击破,投资少、周期短且易于见到成果,但由于该设计开始时是以特定的部门级主题为框架的,向其他的主题和部门扩充往往非常困难。而后一种方法恰恰相反:投资大、周期长,但是易于扩展。
以哪种方法进行实施,主要取决于各个行业和客户的实际情况。如电信和银行业,采用第二种方法比较可行,这是因为这两个行业业务发展变化快,为了能够适应将来的变化,整个数据仓库架构必须是可扩展的和易于维护的。如果只是基于部门级的需求去设计,将来肯定无法适应变化。如果重新设计,势必造成前期投入的浪费。对其他一些行业,如制造业和零售业,本着“急用先行”的原则,可以先从某一局部入手,慢慢扩展为数据仓库。
从技术上讲,以部门需求作为主要考虑因素建立的系统,它的数据量不会太大,会影响对将来数据膨胀风险的正确估计,当数据集市扩展到企业范围的时候,由于原有技术无法支撑新的数据规模,会造成数据装载和数据分析速度的降低,甚至达到不可用的地步。另外,企业级的数据仓库会涉及更多的额业务系统,只有充分研究各业务系统,才能了解如何对不同格式、不同标准、不同接口的数据进行集成。如果没有这方面的准备,当扩展到企业层面时,会面临很多技术问题,难以解决,而不得不对原有系统进行修改或重建。
当然,对于第二种方法,也不是说把摊子铺的越大越好。合理的做法是“统筹规划,分步实施”。根据业务需求,把业务的主要方面都涵盖进去,确定彼此之间的联系;对于次要的需求,可以预留一些接口,以备将来细化。否则,如果整个调研周期拖得太长,等进入实施阶段,业务又发生变化,不得不重新修改设计,同样会造成浪费。所以,先搭建好一个易于扩展且稳定的架构,在此基础上逐步实施,是一个兼顾长远发展与合理投入的最佳方式。
此外,分步实施还可以减少风险:前一阶段的经验教训可以为下一阶段提供有益的借鉴,从而使得数据仓库的建设不断完善,不断发展。
2.从业务需求出发,结合先进的实现技术
和其他的应用系统相比,数据仓库对于需求分析和系统设计等前期工作要求更高,其重要性也更加突出。可以说,分析和设计阶段决定了数据仓库最终的失败。因为需求不明确、设计不合理造成的根本性缺陷是以后实施阶段所无法弥补的。因此在分析和设计阶段,对相关的业务部门和技术部门要进行详细的调研,在用户和开发人员之间的迭代和反馈是必须和重要的,它决定了数据仓库最终的成功与否。
由于数据仓库是面向业务分析的,所以最主要的需求应该从业务部门获取和收集,因为数据仓库最终是要服务于业务部门的。需求抓的不准,导致将来将无法解决业务部门的问题,这个数据仓库项目就是失败的,技术再先进也没有用。这是衡量数据仓库成败与否的唯一尺度。
实施的过程中,最好能够把行业专家的经验,与企业现有的需求进行整合,以期得到一个更加全面的需求范围,有利于适应将来业务的变化和扩展。
从技术的角度来讲,必须建立一个可伸缩、可扩展、高性能的数据仓库平台,才能为将来不断的完善、不断发展打下一个良好的基础;同时,由于数据仓库项目要涉及多个业务系统,数据量非常庞大,所以本身的投入也是很大的,在保证系统高效稳定的前提下,尽量降低成本是非常重要的。
3.如何进行主题规划
正如前面所讲,建立数据仓库需要长远的规划,我们建议企业“自底向上”地建立数据仓库,并不意味着不需要在设计阶段的长远规划。采用逐步积累的方式建立数据仓库,其最大的问题是已有的主题是否有助于形成企业级的主题,数据加载模块时候能够重用等。数据仓库的长远规划,并不仅仅是技术部门的事情,应当把数据仓库的构建作为企业发展战略的一个重要组成部分。
数据仓库设计的第一步是主题的确定,从现在的情况看,主题的范围太大实现不了,太小没有意义,应该选择相对独立而且技术上可行的一些业务。例如客户分析、产品分析、收入分析和市场分析等。因为这些分析与企业当前的业务运行联系最紧密,通过它们,可以了解:
·哪个企业拥有哪些不同类型的客户?
·哪些是给我最大收益的客户?如何提升他们的价值?
·如何掌握新的竞争形势下客户的需求与行为?
·哪些业务最受欢迎,利润最高?
·业务的分布如何?
·快速成长的新的收入来源有哪些?
·应收账款、欠费情况如何?
·与其他同行竞争对手的结算金额占整个收入的比例?
·我的客户是否打算选择其他竞争对手?
·运营成本和收益?
·哪些市场活动是有成效的,收益多少?
在完成第一阶段的实施后,可以开始第二阶段的实施。第二阶段主要是从市场营销、资源管理、网络管理、客户服务等部分入手;第三阶段可继续扩展到财务、绩效等更高层次的、全局性的财务、运营情况分析。这时候,所有的重要信息都已连成一体,CEO可以了解有关成本、利润、市场营销还有客户发展趋势等多方面的企业宏观层面的决策信息,它们为定制战略决策提供了充分的依据。决策的制定再也不是单凭经验和感觉了。从而大大的提高了决策的质量,规避了风险。减少了决策失误造成的巨大损失。这也正是数据仓库高投资回报率的重要体现。
当然,在进行主体规划的时候,必须重点强调的是:技术框架和系统设计必须从整个企业的角度来考虑,即使刚开始实施的时候是面向某个部门的。以电信企业为例,在进行“客户”主题设计的时候,就必须考虑到同一用户还有可能是长途电话、移动电话的用户。因此在设计时如果同时考虑固定电话用户,就不仅要解决不同系统的互联问题,在不同系统中用户数据的集成也将是一个巨大的挑战。
4.领导层的参与和支持
数据仓库是面向业务主题的分析型应用。它既需要业务部门的全力配合,又需要先进可靠的技术手段及良好的项目管理过程来实现。它涉及众多的业务部门、系统开发部门、系统运维支撑部门等。在设计和实施阶段需要不同部门的沟通和协作,是一个负责的系统工程。只有领导层从战略的高度上认识到它的重要性,在项目实施过程中给与大力支持和配合,协调各部门资源,保证他们可以及时到位,全职投入才能取得项目的成功。所以数据仓库项目又通常被称为“一把手”工程。从这一点上看,建立一个企业级的数据仓库,主要的障碍不在于技术,而是不同部门之间组织、协调的问题。而高层领导的大力推动和支持,无疑是解决这一问题的最有效的途径。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、后端开发、业务运维等工作中,SQL语句是操作数据库的核心工具。面对复杂的表结构、多表关联逻辑及灵活的查询需求, ...
2026-01-26支持向量机(SVM)作为机器学习中经典的分类算法,凭借其在小样本、高维数据场景下的优异泛化能力,被广泛应用于图像识别、文本 ...
2026-01-26在数字化浪潮下,数据分析已成为企业决策的核心支撑,而CDA数据分析师作为标准化、专业化的数据人才代表,正逐步成为连接数据资 ...
2026-01-26数据分析的核心价值在于用数据驱动决策,而指标作为数据的“载体”,其选取的合理性直接决定分析结果的有效性。选对指标能精准定 ...
2026-01-23在MySQL查询编写中,我们习惯按“SELECT → FROM → WHERE → ORDER BY”的语法顺序组织语句,直觉上认为代码顺序即执行顺序。但 ...
2026-01-23数字化转型已从企业“可选项”升级为“必答题”,其核心本质是通过数据驱动业务重构、流程优化与模式创新,实现从传统运营向智能 ...
2026-01-23CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2026-01-22在数字化时代,企业积累的海量数据如同散落的珍珠,而数据模型就是串联这些珍珠的线——它并非简单的数据集合,而是对现实业务场 ...
2026-01-22在数字化运营场景中,用户每一次点击、浏览、交互都构成了行为轨迹,这些轨迹交织成海量的用户行为路径。但并非所有路径都具备业 ...
2026-01-22在数字化时代,企业数据资产的价值持续攀升,数据安全已从“合规底线”升级为“生存红线”。企业数据安全管理方法论以“战略引领 ...
2026-01-22在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21在实际业务数据分析中,单一数据表往往无法满足需求——用户信息存储在用户表、消费记录在订单表、商品详情在商品表,想要挖掘“ ...
2026-01-21在数字化转型浪潮中,企业数据已从“辅助资源”升级为“核心资产”,而高效的数据管理则是释放数据价值的前提。企业数据管理方法 ...
2026-01-21在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20定量报告的核心价值是传递数据洞察,但密密麻麻的表格、复杂的计算公式、晦涩的数值罗列,往往让读者望而却步,导致核心信息被淹 ...
2026-01-20在CDA(Certified Data Analyst)数据分析师的工作场景中,“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判 ...
2026-01-20在建筑工程造价工作中,清单汇总分类是核心环节之一,尤其是针对楼梯、楼梯间这类包含多个分项工程(如混凝土浇筑、钢筋制作、扶 ...
2026-01-19数据清洗是数据分析的“前置必修课”,其核心目标是剔除无效信息、修正错误数据,让原始数据具备准确性、一致性与可用性。在实际 ...
2026-01-19在CDA(Certified Data Analyst)数据分析师的日常工作中,常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量 ...
2026-01-19在数据仓库与数据分析体系中,维度表与事实表是构建结构化数据模型的核心组件,二者如同“骨架”与“血肉”,协同支撑起各类业务 ...
2026-01-16