
分类算法的R语言实现案例
最近在读《R语言与网站分析》,书中对分类、聚类算法的讲解通俗易懂,和数据挖掘理论一起看的话,有很好的参照效果。
然而,这么好的讲解,作者居然没提供对应的数据集。手痒之余,我自己动手整理了一个可用于分类算法的数据集(下载链接:csdn下载频道搜索“R语言与网站分析:数据集样例及分类算法实现”),并用R语言实现了朴素贝叶斯、SVM和人工神经网络分类。
数据集记录的是泰坦尼克号乘客的存活情况。数据集包括乘客的等级(class)、年龄(age)、性别(sex)和存活情况(survive),最终希望通过分析乘客的等级、年龄和性别建立模型,对乘客是否能够存活进行分类。
以下是使用read.table()函数读取的数据集情况,可以看到class的3/4分位数和最大值、age的最小值和1/4分位数以及sex的1/4分位数和中位值分别相等,判断数据集可能已经离散化。
[plain] view plain copy
> data <- read.table("./titanic_s.txt", header = TRUE, sep = ",")
> summary(data)
class age sex survive
Min. :-1.8700000 Min. :-0.228000 Min. :-1.9200000 Min. :-1.0000
1st Qu.:-0.9230000 1st Qu.:-0.228000 1st Qu.: 0.5210000 1st Qu.:-1.0000
Median : 0.0214000 Median :-0.228000 Median : 0.5210000 Median :-1.0000
Mean :-0.0007595 Mean : 0.000202 Mean :-0.0002494 Mean :-0.3539
3rd Qu.: 0.9650000 3rd Qu.:-0.228000 3rd Qu.: 0.5210000 3rd Qu.: 1.0000
Max. : 0.9650000 Max. : 4.380000 Max. : 0.5210000 Max. : 1.0000
将数据全部转换为因子类型。可以看到经过转换后,class有四类(贵族、高、中、低)、age有两类(孩子和成人)、sex有两类(男和女)、survive有两类(存活和未存活)。
[plain] view plain copy
> data$class <- as.factor(data$class)
> data$age <- as.factor(data$age)
> data$sex <- as.factor(data$sex)
> data$survive <- as.factor(data$survive)
> summary(data)
class age sex survive
-1.87 :325 -0.228:2092 -1.92: 470 -1:1490
-0.923:285 4.38 : 109 0.521:1731 1 : 711
0.0214:706
0.965 :885
使用table()函数可查看未存活和存活人数分别为1490人、711人,二者数据量相差较大;如果用这样的数据集建模,可能影响分类结果。
[plain] view plain copy
> table(data$survive)
-1 1
1490 711
为此,对数据量较少的存活人员样本进行重抽样,使得二者的样本数量一致。
[plain] view plain copy
> balance <- function(data,yval) {
+ y.vector <- with(data,get(yval))
+ index.0 <- which(y.vector==-1)
+ index.1 <- which(y.vector==1)
+ index.1 <- sample(index.1, length(index.0), replace = TRUE)
+ result <- data[sample(c(index.0,index.1)),]
+ result
+ }
>
> sdata <- balance(data, "survive")
> table(sdata$survive)
-1 1
1490 1490
将重抽样后的数据分为训练数据集和样本数据集,比例默认按7:3分配。
[plain] view plain copy
> apart.data <- function(data, percent = 0.7) {
+ train.index <- sample(c(1:nrow(data)),round(percent*nrow(data)))
+ data.train <- data[train.index,]
+ data.test <- data[-c(train.index),]
+ result <- list(train = data.train, test = data.test)
+ result
+ }
> p.data <- apart.data(sdata)
> data.train <- p.data$train
> data.test <- p.data$test
数据准备妥当后,可以开始采用不同的分类算法构建模型,并使用测试数据集对模型的分类效果进行评估。要构建的模型是关于存活情况survive与class、age以及sex之间的关系,可用如下公式表示。
[plain] view plain copy
> mod.formula <- as.formula("survive~class+age+sex")</span>
分类算法1:朴素贝叶斯分类,注意要加载e1071库。应用测试数据集对效果进行评估,结果真正率tpr(也就是“预测活着也真活着的人数”/“实际活着的人数”)为57%,真负率tnr(也就是“预测没活也真没活的人数”/“实际没活的人数”)84%。看来预测“没活”的情况比较准。
[plain] view plain copy
> install.packages("e1071")
> library(e1071)
> nb.sol <- naiveBayes(mod.formula, data.train);nb.sol
> nb.predict <- predict(nb.sol, newdata = data.test)
> tb <- table(nb.predict, data.test$survive)
> tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr
[1] 0.5735608
> tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr
[1] 0.8447059
分类算法2:支持向量机(SVM)分类。应用测试数据集对效果进行评估,结果也是真正率tpr较低,真负率tnr较高。
[plain] view plain copy
> svm.sol <- svm(mod.formula, data.train);svm.sol
> svm.predict <- predict(svm.sol, data.test)
> tb <- table(svm.predict, data.test$survive)
> tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr
[1] 0.5095949
> tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr
[1] 0.9152941
分类算法3:人工神经网络(ANN)分类,注意加载nnet包。应用测试数据集对效果进行评估,结果也是真正率tpr较低,真负率tnr较高。
[plain] view plain copy
> library(nnet)
> nnet.sol <- nnet(mod.formula, data.train, size =7, maxit = 1000);nnet.sol
> pred.prob <- predict(nnet.sol, data.test)
> pred.class <- ifelse(pred.prob>0.5, 1,0)
> table(pred.class, data.test$survive)
> tb <- table(pred.class, data.test$survive)
> tpr <- tb[2,2]/(tb[2,2]+tb[1,2]);tpr
[1] 0.5095949
> tnr <- tb[1,1]/(tb[1,1]+tb[2,1]);tnr
[1] 0.9152941
通过对具体的数据集进行数据的重抽样、划分训练数据集和测试数据集,以及最终实施相应的分类算法,可以加深对于R语言分类分析过程和方法的理解。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-06-24金融行业的大数据变革:五大应用案例深度解析 在数字化浪潮中,金融行业正经历着深刻的变革,大数据技术的广泛应用 ...
2025-06-24Power Query 中实现移动加权平均的详细指南 在数据分析和处理中,移动加权平均是一种非常有用的计算方法,它能够根据不同数据 ...
2025-06-24数据驱动营销革命:解析数据分析在网络营销中的核心作用 在数字经济蓬勃发展的当下,网络营销已成为企业触达消费者 ...
2025-06-23随机森林模型与 OPLS-DA 的优缺点深度剖析 在数据分析与机器学习领域,随机森林模型与 OPLS-DA(正交偏最小二乘法判 ...
2025-06-23CDA 一级:开启数据分析师职业大门的钥匙 在数字化浪潮席卷全球的今天,数据已成为企业发展和决策的核心驱动力,数据分析师 ...
2025-06-23透视表内计算两个字段乘积的实用指南 在数据处理与分析的过程中,透视表凭借其强大的数据汇总和整理能力,成为了众多数据工 ...
2025-06-20CDA 一级考试备考时长全解析,助你高效备考 CDA(Certified Data Analyst)一级认证考试,作为数据分析师领域的重要资格认证, ...
2025-06-20统计学模型:解锁数据背后的规律与奥秘 在数据驱动决策的时代,统计学模型作为挖掘数据价值的核心工具,发挥着至关重要的作 ...
2025-06-20Logic 模型特征与选择应用:构建项目规划与评估的逻辑框架 在项目管理、政策制定以及社会服务等领域,Logic 模型(逻辑模型 ...
2025-06-19SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的利器 在数据分析的众多方法中,Mann-Kendall(MK)检验凭借其对数据分 ...
2025-06-19CDA 数据分析能力与 AI 的一体化发展关系:重塑数据驱动未来 在数字化浪潮奔涌的当下,数据已然成为企业乃至整个社会发展进 ...
2025-06-19CDA 干货分享:统计学的应用 在数据驱动业务发展的时代浪潮中,统计学作为数据分析的核心基石,发挥着无可替代的关键作用。 ...
2025-06-18CDA 精益业务数据分析:解锁企业增长新密码 在数字化浪潮席卷全球的当下,数据已然成为企业最具价值的资产之一。如何精准地 ...
2025-06-18CDA 培训:开启数据分析师职业大门的钥匙 在大数据时代,数据分析师已成为各行业竞相争夺的关键人才。CDA(Certified Data ...
2025-06-18CDA 人才招聘市场分析:机遇与挑战并存 在数字化浪潮席卷各行业的当下,数据分析能力成为企业发展的核心竞争力之一,持有 C ...
2025-06-17CDA金融大数据案例分析:驱动行业变革的实践与启示 在金融行业加速数字化转型的当下,大数据技术已成为金融机构提升 ...
2025-06-17CDA干货:SPSS交叉列联表分析规范与应用指南 一、交叉列联表的基本概念 交叉列联表(Cross-tabulation)是一种用于展示两个或多 ...
2025-06-17TMT行业内审内控咨询顾问 1-2万 上班地址:朝阳门北大街8号富华大厦A座9层 岗位描述 1、为客户提供高质量的 ...
2025-06-16一文读懂 CDA 数据分析师证书考试全攻略 在数据行业蓬勃发展的今天,CDA 数据分析师证书成为众多从业者和求职者提升竞争力的重要 ...
2025-06-16