京公网安备 11010802034615号
经营许可证编号:京B2-20210330
来源:丁点帮你
作者:丁点helper
在前面的文章中,我们跟大家一起学习了R中的数据导入、基本的操作方法、描述性统计等内容。
这其中的很多操作都是针对格式和内容都完好的数据而言的。但在实际工作中,我们收集到的数据往往不那么完美,需要先进行一番清理。今天开始,我们来学习如何将杂乱的数据整理得井井有条。
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
示例数据是某高校教师对本班学生的调查结果,为方便练习,大家可先下载:
文件名:survey.csv
链接: https://pan.baidu.com/s/1XZgdyb59wPyWy6wp_hmoQw
密码: 5lyw
survey <- read.csv("//Users//Desktop//titanic.csv", header = TRUE)
用下面的语句来了解一下这个数据:
#数据有多少行多少列dim(survey)[1] 238 17#获取数据中的变量名称 names(survey) [1] "ClassProb" "Status" "Year" "Division" "Gender" "HtCm" "Hand" "Haircut" [9] "Exercise" "Coursework" "Web" "TV" "Social" "Econ" "Animal" "Friends" [17] "Pulse"
可以知道,这项调查共涉及到238名同学,调查项目有17项。
数据清理第一步:有无缺失
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
今天这篇文章只介绍如何对数据的完整性进行判断。
在survey这个数据库的238条记录中,如果某条记录中的17个变量都获取到了信息,不存在漏填的情况,那么认为这条记录是完整的。
1.用complete.cases()这个函数得到数据中的每条记录是否完整,其结果是一个逻辑型变量。
如下面的结果,survey这个数据的第一条记录(第一行)是完整的,而第232条记录是不完整的。
complete.cases(survey) [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [20] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [39] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [58] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE [77] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE [96] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[115] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[134] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[153] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[172] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE[191] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[210] TRUE TRUE TRUE TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE[229] TRUE TRUE TRUE FALSE TRUE TRUE TRUE TRUE TRUE TRUE
2. 那么有多少条记录是完整的呢?根据下面的结果,答案是232条。
下面的语句中,which()的作用是得到逻辑型变量complete.cases(survey)中值为TRUE的顺序号。大家可以自行运行一下which(complete.cases(survey))这个语句,看看结果是什么。
所以最后用length(),可以得到共有多少条记录的完整性检验结果为TRUE。
length(which(complete.cases(survey)))[1] 232
3. 仅保留所有完整的记录,并生成一个新数据集。有两种方法:
# 仅保留complete.cases(survey) = TRUE的记录 survey_com <- survey[complete.cases(survey),] # 去掉有缺失情况的记录survey_com <- na.omit(survey)
4. 我们也可以看看有缺失的记录是哪些,来进一步考察数据的缺失规律。
survey_miss <- survey[!complete.cases(survey),] survey_miss
结果如下图:
小结
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
面对一个数据,除了了解数据的行、列、变量等,每条记录的完整性是我们首先需要关注的问题之一。因为缺失记录和未缺失记录之间的差异很可能会对数据分析结果的准确性有直接影响。
通过本文介绍的4个方面来判断数据的缺失情况、定位完整数据和缺失数据,可以对所得样本的质量进行估计,也可为数据填补做好准备。
关于缺失数据的处理方法,大家可以参考这篇文章。
如果你也有待处理的数据,那么快用今天学的方法检验一下你的数据是否完整吧。
只有从根本上了解自己的数据,把每一个缺失值处理好,才可能做出逻辑严密、有说服力的结果。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10