数据挖掘语言及其标准化研究进展
数据挖掘包含范围广泛的任务,从数据描述到挖掘关联规则、数据分类和演化分析,所以,设计一个全面的数据挖掘语言是富有挑战性的,因为每个任务有不同的要求。一个设计有效的数据挖掘查询语言需要具有对不同种类数据挖掘任务的能力、限制和根本机制的深入理解。定义一个数据挖掘查询形式的数据挖掘任务的过程如下:选择要挖掘的与任务相关的数据和要挖掘的知识类型、在挖掘过程中需要的背景知识、对模式评估的衡量标准和阈值、可视化发现模式的预期表现、数据增长的动态性;以及特殊的挖掘任务比如有针对性的项目集挖掘,流数据挖掘,分布式和分区数据挖掘。
1 数据挖掘语言
数据挖掘语言根据功能和不同的侧重点可以分为3种:数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。
1.1 数据挖掘查询语言
每个用户的数据挖掘任务都不尽相同,一个数据挖掘任务可以用一个数据挖掘查询指定,查询作为数据挖掘系统的输入,数据挖掘查询用以下原语形式定义。
(1)任务相关数据。
(2)要挖掘的知识种类。
(3)背景知识。
(4)兴趣度的度量。
(5)获取模式的可视化表示。
(6)数据维护。
(7)特殊类型的挖掘。
1.2 数据挖掘建模语言
数据挖掘建模语言是对数据挖掘进行定义和描述的语言,为了使不同系统之间共享模型而不是以往的孤立形式,需要开发出一种标准的建模语言,使数据挖掘系统在模型定义和描述方面都遵循它,同样,为了解决无法发现孤立知识的问题,也可以在其他应用系统中嵌入数据挖掘模型,目前主流的数据挖掘建模语言包括PMML(Predictive Model Markup Language)与CWM(Common Warehouse Metamodel)两种。
1.2.1 PMML
PMML是一种基于XML的定义预言模型的语言,允许应用程序和OLAP工具可以不用独立开发数据挖掘模块,直接从数据挖掘系统中获得模型:此外,PMML还可以收集使用大量的潜在模型,并统一管理各种模型集合。
PMML对那些需要分布式学习、全部学习和部分学习的应用程序特别有效,因为它提供了一个灵活的机制来定义预言模型的模式,并同时支持涉及多个预言模型的模型选择和模型平衡,此外,在它的支持下,不同应用程序和系统之间可以很便捷地移动预言模型。
使用PMML进行模型定义包括以下几部分:(1)头文件;(2)数据模式;(3)数据挖掘模式;(4)预言模型模式;(5)预言模型定义;(6)全体模型定义;(7)选择和联合模型及全体模型的规则;(8)异常处理的规则。
其中预言模型定义是必备的,此外必须定义预言模型的模式。PMML标准版提供了一个文档类型定义集合(DTD)来详细说明决策树和多项式回归模型的实体与属性。使用标准的XML解析器对PMML进行解析,应用程序可以决定模型的详细格式、输入输出的数据类型、并且使用标准的数据挖掘术语解释模型结果。并且,使用PMML可以使挖掘模型与应用平台和操作系统无关,无需关心模型的创建过程。
1.2.2 CWM(Common Warehouse Metamodel)
公共仓库元模型CWM由OMG(Object Management Group,对象管理组织)制定,其主要目的是在异构环境下辅助不同平台、不同的数据仓库工具和元数据知识库进行元数据交换,CWM模型包括元数据(技术类与商业类)存储与元数据交换。
CWM标准定义了数据仓库和商业智能工具之间共享元数据的语法规范,包括4个方面:描述数据仓库系统的CWM元模型,CWM元模型的XML表示,数据仓库和商业智能工具共享元数据的DTD交换格式,以及数据仓库和商业智能工具共享元数据的API(应用程序接口)。
CWM元模型规范由以下5个包组成,分别定义了各领域的元模型:
(1)对象模型包,是构造和描述其他包中元模型类的基础,是UML的子集。
(2)基础包,包括表示CWM概念和结构的各种模型元素,可被其他CWM包共享。
(3)资源包,用于描述数据资源,包括关系数据资源、XML数据资源、记录式数据资源以及多维数据资源。
(4)分析包,包括数据转换、OLAP、数据挖掘、信息可视化和商业术语五个子包。
(5)管理包,用于描述数据仓库管理,包含两个子包:数据仓库过程、数据仓库操作。
1.3 通用数据挖掘语言
数据挖掘建模语言一定程度上解决了目前数据挖掘系统的一些问题,但是也有缺点,比如没有将模型与数据真正地分离、需要进行大量的数据转换才能建模、没有被所有的数据挖掘软件商采用等等。因此,有必要开发出一种更为通用的数据挖掘语言。通用数据挖掘语言合并了上述两者的特点,它可以定义模型,也可以作为查询语言与数据挖掘系统进行通信,进行特殊的交互式的挖掘。
微软推出的一款数据挖掘语言,命名为OLE DB for DM,是OLE DB的一个扩展,制定这一规范的目的是使来自不同数据挖掘软件商的数据挖掘算法轻松地嵌入到用户应用程序中。
OLE DB for DM定义了一些重要的新概念和特点,以填补传统的数据挖掘技术和目前关系数据库管理系统之间的空白,包括以下几点:
(1)数据挖掘模型DMM(Data Mining Model),DMM类似于一个关系表,但是包含一些特殊列,由数据挖掘中的数据训练和预言制定使用,DMM既可以用来创建预言模型,又可以产生预言,DMM存储被数据挖掘算法发现的模式,这点与标准的关系表中存储原始数据不同,其所有结构与内容都可以用XML字符串表示。
(2)预言联接操作(Predication Join Operation),与SQL语法中的联接操作类似,通过映射一个在训练好的数据挖掘模型和设计的输人数据源之间联接查询,使开发人员较容易地得到确切符合商业需求的自定义预言结果。
(3)OLE DB for DM模式行集合(Schema Rowsets),这些特殊目的的模式行集合允许使用者发现诸如可用的挖掘服务、挖掘模型、挖掘列模型等临界信息内容,数据挖掘提供者在模型创建和训练阶段装入模式行集合。
2 分析与评价
数据挖掘查询语言与数据挖掘系统进行通信,提供独立于应用的操作原语,进行交互和特殊的挖掘,但是,由于各查询语言目前没有形成统一标准,因此并没有实质性解决数据挖掘系统之间相互孤立的问题。
PMML提供了一个简单开放的框架以处理和交换预言模型,使用户可以更迅速地使用挖掘出的信息,更容易实现商业智能。PMML使用户可以将模型与应用程序分离,即在一个应用程序中开发模型,而在其他应用程序中进行模型的可视化、分析、估值等操作、或以其他方式使用模型,从而使在不同模型之间无缝交换模型成为可能,解决了上文提到的系统彼此孤立的问题。但PMML还不能算是一种完整的数据挖掘模型定义语言,而只是预言模型标记语言,因为它不包括预言模型和描述模型。
3 结语
介绍了数据挖掘语言及其标准化方面的研究进展,对目前较为流行的几种数据挖掘语言的特点进行了分析比较,可以看出,数据挖掘语言发展的必然趋势是标准化方向,但也需要一定的理论基础支持,比如基于高阶逻辑和Rough Set理论的数据挖掘问题的分类描述理论,正如SQL语言的创立是因为有关系代数理论的支持一样。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14