不平衡学习算法的评估指标

2018-04-05

不平衡学习算法的评估指标 先来看下类不平衡的定义：对于二元分类问题，存在类别分布不平衡的问题，即某一类别的样本数量远远多于另一类（分别称为多数类和少数类）。具有这样特征的二元分类数据集被称为不平衡 ...

在机器学习分类中如何处理训练集中不平衡问题

2018-04-01

在机器学习分类中如何处理训练集中不平衡问题 很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。即类别不平衡，为了使得学习达到更好的效果，因此需要解决该类别 ...

机器学习案例实战-信用卡欺诈检测

2018-03-29

机器学习案例实战-信用卡欺诈检测 故事背景：原始数据为个人交易记录，但是考虑数据本身的隐私性，已经对原始数据进行了类似PCA的处理，现在已经把特征数据提取好了，接下来的目的就是如何建立模型使得检测的效 ...

非平衡数据集的机器学习常用处理方法

2018-03-26

非平衡数据集的机器学习常用处理方法 定义：不平衡数据集：在分类等问题中，正负样本，或者各个类别的样本数目不一致。 例子：在人脸检测中，比如训练库有10万张人脸图像，其中9万没有包含人脸，1万包含人 ...

机器学习中非平衡数据集的常用处理方法

2018-03-25

机器学习中非平衡数据集的常用处理方法 不平衡数据集： 在分类等问题中，正负样本，或者各个类别的样本数目不一致。 ：在人脸检测中，比如训练库有10万张人脸图像，其中9万没有包含人脸，1万包含人脸， ...

常用的机器学习&数据挖掘知识点

2018-03-07

常用的机器学习&数据挖掘知识点 Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最 ...

利用R语言如何判别和分类

2018-01-21

利用R语言如何判别和分类 判别分析（discriminant analysis）是一种分类技术。它通过一个已知类别的“训练样本”来建立判别准则，并通过预测变量来为未知类别的数据进行分类。       ...

R语言使用boosting方法对数据分类与交叉验证

2018-01-19

R语言使用boosting方法对数据分类与交叉验证 数据分类说明 与bagging方法类似，boosting算法也是先获得简单的分类器，然后通过调整错分样本的权重逐步改进分类器，使得后续分类器能够学习前一轮分类器，adab ...

R语言使用逻辑回归分类算法

2018-01-15

R语言使用逻辑回归分类算法 逻辑回归属于概率统计的分类算法模型的算法，是根据一个或者多个特征进行类别标号预测。在R语言中可以通过调用logit函数执行逻辑回归分类算法并预测输出概率。通过调用glm函数将fami ...

R语言使用朴素贝叶斯分类算法

2018-01-15

朴素贝叶斯分类器也是一类基于概率的分类器，它源于贝叶斯理论，假设样本属性之间相互独立。 操作 利用朴素贝叶斯分类器对churn数据集进行分类： 导入e1071库，使用naiveBayes函数构建分类器 library(e1071) class ...

如何成为一名顶级战斗力的数据分析师

2017-12-14

如何成为一名顶级战斗力的数据分析师 不知道大家以前听没听说过“10x Developer”这个词，如果你连听都还没听说过，那可真是时候考虑放弃自己的程序猿事业了。就像传说一样，一些程序猿的战斗力能达到同行的10 ...

电力窃漏电用户识别案例

2021-03-08

一、案例综述 案例编号： 102003 案例名称： 电力、热力、燃气及水生产和供应业——电力窃漏电用户识别 作者姓名（或单位、或来源）： 朱江 案例所属行业 ...

R语言中样本平衡的几种方法

2017-12-06

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

让Python猜猜你是否能约会成功

2017-09-21

让Python猜猜你是否能约会成功 我是一个婚恋网站的数据分析师，新入职的第二天，接到老板的任务，让我预测来婚恋网站新注册的男生&女生是否会约会成功。 如何预测一个新来的男生是否会约会成功呢？这很简单 ...

10个令人相见恨晚的R语言包

2017-09-15

10个令人相见恨晚的R语言包 大约3年前我开始使用R，起初进展很慢，与我习惯的语言相比，语法更加直观也比较简单，而且需要一段时间才能习惯于细微的差别。我还不清楚语言的力量与社区和各种包的密切关系。 ...

探秘数据可视化，CDA从来都有故事，又不缺干货！（附福利）

2017-08-31

探秘数据可视化，CDA从来都有故事，又不缺干货！（附福利） 一场秋雨一场寒，赶在秋雨之前，C君又在线下跟大家面对面交流了。自7月29日的CDAS 2017中国数据分析师行业峰会以来，C君已经很久没有和大家线下一 ...

探秘数据可视化，CDA从来都有故事，又不缺干货！（附福利）

2017-08-30

探秘数据可视化，CDA从来都有故事，又不缺干货！（附福利） 一场秋雨一场寒，赶在秋雨之前，C君又在线下跟大家面对面交流了。自7月29日的CDAS 2017中国数据分析师行业峰会以来，C君已经很久没有和大家线下一起 ...

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

SAS逻辑回归之二分类

2017-07-18

SAS逻辑回归之二分类 数据集这里用的是australian,有14个自变量Xi,一个因变量Y，Y值只取0或1。 代码如下： /*逻辑回归数据集australian（690个观测值，每个含14个属性，目标变量y(0、1)）*/   & ...

Python机器学习实战：信用卡欺诈检测

2017-06-05

Python机器学习实战：信用卡欺诈检测 故事背景：原始数据为个人交易记录，但是考虑数据本身的隐私性，已经对原始数据进行了类似PCA的处理，现在已经把特征数据提取好了，接下来的目的就是如何建立模型使得检测 ...