京公网安备 11010802034615号
经营许可证编号:京B2-20210330
从数据本身来考虑,数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。
步骤(1)信息收集:根据确定的数据分析对象,抽象出在数据分析中所需要的特征信息,然后选择合适的信息收集方法,将收集到的信息存入数据库。对于海量数据,选择一个合适的数据存储和管理的数据仓库是至关重要的。
步骤(2)数据集成:把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。
步骤(3)数据规约:如果执行多数的数据挖掘算法,即使是在少量数据上也需要很长的时间,而做商业运营数据挖掘时数据量往往非常大。数据规约技术可以用来得到数据集的规约表示,它小得多,但仍然接近于保持原数据的完整性,并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。
步骤(4)数据清理:在数据库中的数据有一些是不完整的(有些感兴趣的属性缺少属性值)、含噪声的(包含错误的属性值),并且是不一致的(同样的信息不同的表示方式),因此需要进行数据清理,将完整、正确、一致的数据信息存入数据仓库中。不然,挖掘的结果会差强人意。
步骤(5)数据变换:通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据,通过概念分层和数据的离散化来转换数据也是重要的一步。
步骤(6)数据挖掘过程:根据数据仓库中的数据信息,选择合适的分析工具,应用统计方法、事例推理、决策树、规则推理、模糊集,甚至神经网络、遗传算法的方法处理信息,得出有用的分析信息。
步骤(7)模式评估:从商业角度,由行业专家来验证数据挖掘结果的正确性。
步骤(8)知识表示:将数据挖掘所得到的分析信息以可视化的方式呈现给用户,或作为新的知识存放在知识库中,供其他应用程序使用。
数据挖掘过程是一个反复循环的过程,每一个步骤如果没有达到预期目标,都需要回到前面的步骤,重新调整并执行。不是每件数据挖掘的工作都需要这里列出的每一步,例如在某个工作中不存在多个数据源的时候,步骤(2)便可以省略。
步骤(3)数据规约、步骤(4)数据清理、步骤(5)数据变换又合称数据预处理。在数据挖掘中,至少60%的费用可能要花在步骤(1)信息收集阶段,而其中至少60%以上的精力和时间花在了数据预处理过程中。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
大学里“比较有用”的证书,不能靠一张榜单排出来。同一张证,对目标岗位明确的人是简历上的能力证据,对没有方向的人只是一次报 ...
2026-10-29“比较好考”是选证书时最常被搜索、也最容易被误读的一个词。有人把它理解成报名条件宽松,有人理解成科目少、背一背就能过,还 ...
2026-10-29本科毕业能考的证书很多,但真正值得在毕业求职阶段投入的,通常只有一两个。判断顺序建议反过来:先按报考资格分档,确认“现在 ...
2026-10-29“中国证书难度排行”很难做成一张绝对总榜。原因不在证书太多,而在“难”的口径不同:有的证书难在报名资格,工作年限和专业限 ...
2026-10-29先把结论说清楚:真正以“在校学籍”为报考前置、社会人员完全不能报的证书并不多。网上流传的“大学生专属证书”清单,很多其实 ...
2026-10-29“有哪些比较好考的证书”,这个问题看似在要一份名单,实际难点在于“好考”本身没有统一口径。有人指报名不设专业限制,有人指 ...
2026-10-29“考什么证书有用”这个问题,很难有一个统一答案。同一张证书,对想进某个行业的人是敲门砖,对已经在该行业工作多年的人可能只 ...
2026-10-29大专学历能考的证书不少,但真正值得投入时间的,要先过两道筛子:第一道是“大专能不能报”,第二道是“这个证对应什么岗位、能 ...
2026-10-29“普通人能考的证书”这个问题,真正的难点不在找证书名单,而在两件事:一是你能不能报,二是考完有没有对应的岗位任务。前者看 ...
2026-10-29“女孩子容易考什么证”这个问题,真正难的不是找证书名单,而是“容易”两个字没有说清。报考门槛低,不等于考试简单;考试简单 ...
2026-10-29先说结论:不存在一张“所有女性都吃香”的证书。把“吃香”拆开看,无非三种意思——能不能进某个岗位(岗位需求)、单位认不认 ...
2026-10-29上班族选证书,最容易犯的错是先看“哪个证含金量高”,再倒推自己要不要考。更稳妥的顺序反过来:先看这个证能不能在业余时间学 ...
2026-10-29“目前哪个证书含金量高”没有放之四海皆准的答案。同一张证书,对财会在校生、想转行做数据分析的在职人员、工程从业者,价值完 ...
2026-10-29会计岗位没有一张“通吃”的证书。比较务实的思路是:先确认自己当前做的是哪一段工作——出纳与核算、成本与总账、税务申报、审 ...
2026-10-29计算机专业能考的证书不少,但真正值得先考的,取决于你准备走哪条岗位路径。比较稳妥的分类是四类:软考职称类、厂商技术认证、 ...
2026-10-29“国家认可的人工智能证书”这句话本身容易误导。证书体系里并没有一个统一的“国家认可”标签,同一个说法可能指向五种完全不同 ...
2026-10-29“各个行业都能考的证书”这句话,其实包含两个不同的问题:一是报考时不限专业、不限行业;二是考出来以后,在不同行业的岗位上 ...
2026-10-29大学生考证最容易踩的坑,是把“别人考了什么”当成自己的清单。更实用的做法是先回答三个问题:我打算投什么岗位?这个证书现在 ...
2026-10-29结论先说:大学生没有适合所有人的“必考清单”,把证书控制在2—4本核心组合较合理——1—2本通用基础,1—2本岗位技能,学有余 ...
2026-10-29成人大学学历能考什么证书,先看两件事:你的学历层次是成人大专还是成人本科,以及你打算去的岗位有没有证书门槛。判断顺序应当 ...
2026-10-29