从朴素贝叶斯分类器到贝叶斯网络（下）

2017-03-18

从朴素贝叶斯分类器到贝叶斯网络（下） 三、贝叶斯网络 贝叶斯网络（Bayesian Network）是一种用于表示变量间依赖关系的数据结构，有时它又被称为信念网络（Belief Network）或概率网络（Probability Networ ...

从朴素贝叶斯分类器到贝叶斯网络

2017-03-18

从朴素贝叶斯分类器到贝叶斯网络 一、贝叶斯公式（一些必备的数学基础） 贝叶斯（Thomas Bayes）是生活在十八世纪的一名英国牧师和数学家。因为历史久远，加之他没有太多的著述留存，今天的人们对贝叶斯的研 ...

机器学习中的隐马尔科夫模型（HMM）详解

2017-03-18

机器学习中的隐马尔科夫模型（HMM）详解 在之前介绍贝叶斯网络的博文中，我们已经讨论过概率图模型（PGM）的概念了。Russell等在文献【1】中指出：“在统计学中，图模型这个术语指包含贝叶斯网络在内的比较宽泛 ...

机器学习中的Accuracy，Precision，Recall和F1-Score

2017-03-18

机器学习中的Accuracy，Precision，Recall和F1-Score 在模式识别和信息检索领域，二分类的问题（binary classification）是常会遇到的一类问题。例如，银行的信用卡中心每天都会收到很多的信用卡申请，银行必 ...

机器学习中的kNN算法及Matlab实例

2017-03-18

机器学习中的kNN算法及Matlab实例 K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空 ...

机器学习中的EM算法详解及R语言实例（2）

2017-03-18

机器学习中的EM算法详解及R语言实例（2） 我们在上一篇文章中介绍了EM算法的基本原理，如果读者对此不甚了解，建议参阅 机器学习中的EM算法详解及R语言实例（1） 4. 高斯混合模型 高斯混合模型（GMM， ...

机器学习中的EM算法详解及R语言实例（1）

2017-03-18

机器学习中的EM算法详解及R语言实例（1） 最大期望算法（EM） K均值算法非常简单，相信读者都可以轻松地理解它。但下面将要介绍的EM算法就要困难许多了，它与极大似然估计密切相关。 1 算法原理 不妨 ...

K-means算法原理与R语言实例

2017-03-17

K-means算法原理与R语言实例 聚类是将相似对象归到同一个簇中的方法，这有点像全自动分类。簇内的对象越相似，聚类的效果越好。支持向量机、神经网络所讨论的分类问题都是有监督的学习方式，现在我们所介绍的聚 ...

数据挖掘十大算法之Apriori详解

2017-03-17

数据挖掘十大算法之Apriori详解 有时候，人们会对机器学习与数据挖掘这两个名词感到困惑。如果你翻开一本冠以机器学习之名的教科书，再同时翻开一本名叫数据挖掘的教材，你会发现二者之间有相当多重合的内容。 ...

python中pyc和pyo的作用

2017-03-17

python中pyc和pyo的作用 pyc文件，是Python编译后的字节码（bytecode）文件。只要你运行了py文件，python编译器就会自动生成一个对应的pyc字节码文件。这个pyc字节码文件，经过python解释器，会生成机器码运行 ...

Python变量作用域

2017-03-17

Python变量作用域 1、作用域介绍 python中的作用域分4种情况： L：local，局部作用域，即函数中定义的变量； E：enclosing，嵌套的父级函数的局部作用域，即包含此函数的上级函数的局部作用域，但不是全局的； ...

数据挖掘十大算法之决策树详解（2）

2017-03-17

数据挖掘十大算法之决策树详解（2） ID3算法 ID3和C4.5都是由澳大利亚计算机科学家Ross Quinlan开发的决策树构建算法，其中C4.5是在ID3上发展而来的。 ID3算法的核心是在决策树各个结点上应用信息增益准 ...

数据挖掘十大算法之决策树详解(1)

2017-03-17

数据挖掘十大算法之决策树详解(1) 从分类问题开始 分类（Classification）任务就是确定对象属于哪个预定义的目标类。分类问题不仅是一个普遍存在的问题，而且是其他更加复杂的决策问题的基础，更是机器学习 ...

数据挖掘十大算法之CART详解

2017-03-16

数据挖掘十大算法之CART详解 CART生成 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将 ...

机器学习优化算法之爬山算法小结

2017-03-16

机器学习优化算法之爬山算法小结 机器学习的项目,不可避免的需要补充一些优化算法,对于优化算法,爬山算法还是比较重要的.鉴于此,花了些时间仔细阅读了些爬山算法的paper.基于这些,做一些总结. 目录 　　1. 爬山 ...

Python学习-函数、作用域

2017-03-16

Python学习-函数、作用域 函数： 定义函数： >>> def do_nothing() pass 调用函数： >>> do_nothing() None:是Python中的一个特殊的值，它和False，空值是有区别的。 注意函数参数的传入 ...

Python学习-语句、语法

2017-03-16

Python学习-语句、语法 #： 注释，不支持多行注释 \\： 连接，当一行的程序太长时，可以使用连接符\\(反斜杠) 1、使用if、elif和 else进行标记 小于两个的选择： if 条件 : 语句段1 else : ...

机器学习-Cross Validation交叉验证Python实现

2017-03-16

机器学习-Cross Validation交叉验证Python实现 1.原理 1.1 概念 交叉验证(cross-validation)主要用于模型训练或建模应用中，如分类预测、pcr、pls回归建模等。在给定的样本空间中，拿出大部分样本作为训练集来 ...

机器学习中概率论知识复习

2017-03-16

机器学习中概率论知识复习 1 基本概念 概率论在机器学习中扮演着一个核心角色，因为机器学习算法的设计通常依赖于对数据的概率假设。 1.1 概率空间 说到概率，通常是指一个具有不确定性的event发生的 ...

机器学习实现与分析之五（高斯判别分析）

2017-03-15

机器学习实现与分析之五（高斯判别分析） 高斯判别分析（GDA）简介 首先，高斯判别分析的作用也是用于分类。对于两类样本，其服从伯努利分布，而对每个类中的样本，假定都服从高斯分布，则有: 这 ...