R语言dplyr包主要用于数据清洗和整理，主要功能有：行选择、列选择、统计汇总、窗口函数、数据框交集等是非常高效、友好的数据处理包，学清楚了，基本上数据能随意玩弄，对的，随意玩弄，简直大大提高数据处理及分析效率。我以为，该包是数据分析必学包之一。学习过程需要大量试验，领悟其中设计的精妙之处。
作者：小伍哥
来源：AI入门学习
#包安装与加载
install.packages("dplyr")
library(dplyr)
#调用mtcars数据&数据集介绍
data(mtcars)
str(mtcars)
本文案例使用数据集 mtcars 具体结构如下,直接加载即可共11个字段，32条数据，每个字段的含义如下:mpg-百公里油耗；cyl-气缸数；disp-排量；hp-马力；drat-轴距；wt-重量； qsec-百公里时间 ；vs-发动机类型
##############################################################
按行筛选: filter()
按给定的逻辑判断筛选出符合要求的子数据集, 类似于 subset() 函数
filter(mtcars, mpg>=22)
filter(mtcars, cyl == 4 | gear == 3)
filter(mtcars, cyl == 4 & gear == 3)
注意: 表示 AND 时要使用 & 而避免 &&
##############################################################
按列筛选：select
select()用列名作参数来选择子数据集。dplyr包中提供了些特殊功能的函数与select函数结合使用，用于筛选变量，包括starts_with，ends_with，contains，matches，one_of，num_range和everything等。用于重命名时，select()只保留参数中给定的列，rename()保留所有的列，只对给定的列重新命名。原数据集行名称会被过滤掉。
data(iris)
iris = tbl_df(iris)
#选取变量名前缀包含Petal的列
select(iris, starts_with("Petal"))
#选取变量名前缀不包含Petal的列
select(iris, -starts_with("Petal"))
#选取变量名后缀包含Width的列
select(iris, ends_with("Width"))
#选取变量名后缀不包含Width的列
select(iris, -ends_with("Width"))
#选取变量名中包含etal的列
select(iris, contains("etal"))
#选取变量名中不包含etal的列
select(iris, -contains("etal"))
#正则表达式匹配，返回变量名中包含t的列
select(iris, matches(".t."))
#正则表达式匹配，返回变量名中不包含t的列
select(iris, -matches(".t."))
#直接选取列
select(iris, Petal.Length, Petal.Width)
#返回除Petal.Length和Petal.Width之外的所有列
select(iris, -Petal.Length, -Petal.Width)
#使用冒号连接列名，选择多个列
select(iris, Sepal.Length:Petal.Width)
#选择字符向量中的列，select中不能直接使用字符向量筛选，需要使用one_of函数
vars <- c("Petal.Length", "Petal.Width")
select(iris, one_of(vars))
#返回指定字符向量之外的列
select(iris, -one_of(vars))
#返回所有列，一般调整数据集中变量顺序时使用
select(iris, everything())
#调整列顺序，把Species列放到最前面
select(iris, Species, everything())
##############################################################
神奇变形函数：mutate（）transmute()
mutate()和transmute()函数对已有列进行数据运算并添加为新列，类似于transform() 函数，不同的是可以在同一语句中对刚增添加的列进行操作，mutate()返回的结果集会保留原有变量，transmute()只返回扩展的新变量，原数据集行名称会被过滤掉
1、mutate变量变形
1.1 单个变量操作：mutate可以对数据框中已有的变量进行操作或者增加变量，值得称赞的是，一段mutate的代码中，靠后的变量操作可以操作前期新添加或改变的变量，这是transform所不具备的特性。
1.1.1新增列
mtcars%>% mutate(cyl2 = cyl * 2,cyl4 = cyl2 * 2)
1.1.2删除列
mtcars %>% mutate(mpg = NULL,disp = disp * 0.0163871)
mtcars %>% mutate(cyl = NULL)
不需要的列不在了
1.1.3
窗口函数应用
mtcars %>% group_by(cyl) %>% mutate(rank = min_rank(desc(mpg)))
mtcars %>% group_by(cyl) %>% mutate(mpg_max = max(mpg))
原来的明细还保留，同时每个分组的统计值算出来了，是不是很方便
1.2 批量操作
同时若你嫌麻烦一个个地对变量进行操作，还可以使用mutate_each函数对数据框中的变量批量操作，通过调整funs（即functions）和vars（variables）参数控制functions的数量，以及参与变形的variables，这里控制variables的技巧与select函数相似。
#对每个变量进行排名
mtcars%>%mutate_each(funs(dense_rank))
mpg cyl disp hp drat wt qsec vs am gear carb
1 16 2 13 11 16 9 6 1 2 2 4
2 16 2 13 11 16 12 10 1 2 2 4
3 19 1 6 6 15 7 22 2 2 2 1
4 17 2 16 11 5 16 24 2 1 1 1
5 13 3 23 15 6 18 10 1 1 1 2
#对disp的变量进行排名
mtcars%>%mutate_each(funs(dense_rank,min_rank),disp)
mpg cyl disp hp drat wt qsec vs am gear carb dense_rank min_rank
1 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 13 13
2 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 13 13
3 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 6 6
4 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 16 18
5 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 23 27
6 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 15 17
7 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 23 27
#对除了disp的变量进行排名
mtcars%>%mutate_each(funs(dense_rank,min_rank),-disp)
2、transmute
返回值中不包含原数据集变量，只保留计算转换后的变量。
mtcars%>%mutate(wt_log=log(wt))
mtcars%>%transmute(wt_log=log(wt))
mtcars %>%mutate(displ_l = disp / 61.0237)
mtcars %>%transmute(displ_l = disp / 61.0237)
##############################################################
排名函数 ：ranking
row_number 通用排名，并列的名次结果按先后顺序不一样，靠前出现的元素排名在前
min_rank 通用排名，并列的名次结果一样，占用下一名次。
dense_rank 中国式排名，并列排名不占用名次，如：无论有几个并列第2名，之后的排名仍应该是第3名
percent_rank 按百分比的排名
cume_dist 累计分布区间的排名
ntile 粗略地把向量按堆排名，n即是堆的数量
x = c(5, 1, 3, 2, 2, NA)
row_number(x)
min_rank(x)
dense_rank(x)
percent_rank(x)
cume_dist(x)
ntile(x, 2)
mtcars%>%mutate(dense_rank=cume_dist(cyl))
##############################################################
排序函数: arrange()
注意，排序与排名的区别，结合rank函数理解
按给定的列名依次对行进行排序.
arrange(mtcars, mpg)
arrange(mtcars, mpg,disp)
对列名加 desc() 进行倒序 或者负数:
arrange(mtcars, desc(mpg))
arrange(mtcars, -mpg)
##############################################################
去重函数：distinct
distinct()用于对输入的tbl进行去重，返回无重复的行，类似于 base::unique() 函数，但是处理速度更快。原数据集行名称会被过滤掉。
#
df <- data.frame( x = sample(10, 100, rep = TRUE),
y = sample(10, 100, rep = TRUE) )
#以全部两个变量去重，返回去重后的行数
nrow(distinct(df))
nrow(distinct(df, x, y))
#以变量x去重，只返回去重后的x值
distinct(df, x)
#以变量y去重，只返回去重后的y值
distinct(df, y)
#以变量x去重，返回所有变量
distinct(df, x, .keep_all = TRUE)
#以变量y去重，返回所有变量
distinct(df, y, .keep_all = TRUE)
#对变量运算后的结果去重
distinct(df, diff = abs(x - y))
##############################################################
汇总函数：summarise
1、直接汇总
#返回数据框中变量disp的均值
summarise(mtcars, mean(disp))
#返回数据框中变量disp的标准差
summarise(mtcars, sd(disp))
#返回数据框中变量disp的最大值及最小值
summarise(mtcars, max(disp), min(disp))
#返回数据框mtcars的行数
summarise(mtcars, n())
#返回unique的gear数
summarise(mtcars, n_distinct(gear))
#返回disp的第一个值
summarise(mtcars, first(disp))
#返回disp的最后个值
summarise(mtcars, last(disp))
2、分组统计
# 按变量cyl分组，求disp的均值和个数
mtcars %>%group_by(cyl) %>%
summarise(mean = mean(disp), n = n())
# 按变量cyl, vs分组，求每个组的记录数
mtcars %>%
group_by(cyl, vs) %>%
summarise(cyl_n = n()) %>%
group_vars()
# 按变量cyl分组，求disp的均值和标准差
mtcars %>%
group_by(cyl) %>%
summarise(disp = mean(disp), sd = sd(disp))
##############################################################
数据匹配函数：join 系列
#数据框中经常需要将多个表进行连接操作, 如左连接、右连接、内连接等，dplyr包也提供了数据集的连接操作，
#类似于 base::merge() 函数。语法如下：
#内连接，合并数据仅保留匹配的记录
inner_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
#左连接，向数据集x中加入匹配的数据集y记录
left_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
#右连接，向数据集y中加入匹配的数据集x记录
right_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
#全连接，合并数据保留所有记录，所有行
full_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
#返回能够与y表匹配的x表所有记录
semi_join(x,y, by = NULL, copy = FALSE, ...)
#返回无法与y表匹配的x表的所有记录
anti_join(x, y, by = NULL, copy = FALSE, ...)
df1 = data.frame(CustomerId=c(1:6), sex = c("f", "m", "f", "f", "m", "m"), Product=c(rep("Toaster",3), rep("Radio",3)))
df2 = data.frame(CustomerId=c(2,4,6,7),sex = c( "m", "f", "m", "f"), State=c(rep("Alabama",3), rep("Ohio",1)))
#内连接，默认使用"CustomerId"和"sex"连接
inner_join(df1, df2)
#左连接，默认使用"CustomerId"和"sex"连接
left_join(df1, df2)
#右连接，默认使用"CustomerId"和"sex"连接
right_join(df1, df2)
#全连接，默认使用"CustomerId"和"sex"连接
full_join(df1, df2)
#内连接，使用"CustomerId"连接，同名
字段sex会自动添加后缀
inner_join(df1, df2, by = c("CustomerId" = "CustomerId"))
#以CustomerId连接，返回df1中与df2匹配的记录
semi_join(df1, df2, by = c("CustomerId" = "CustomerId"))
#以CustomerId和sex连接，返回df1中与df2不匹配的记录
anti_join(df1, df2)
##############################################################
集合操作函数: set
dplyr也提供了集合操作函数，实际上是对base包中的集合操作的重写，但是对数据框和其它表格形式的数据操作更加高效。语法如下：
#取两个集合的交集
intersect(x,y, ...)
#取两个集合的并集，并进行去重
union(x,y, ...)
#取两个集合的并集，不去重
union_all(x,y, ...)
#取两个集合的差集
setdiff(x,y, ...)
#判断两个集合是否相等
setequal(x, y, ...)
mtcars$model <- rownames(mtcars)
first <- mtcars[1:20, ]
second <- mtcars[10:32, ]
#取两个集合的交集
intersect(first, second)
#取两个集合的并集，并去重
union(first, second)
#取两个集合的差集，返回first中存在但second中不存在的记录
setdiff(first, second)
#取两个集合的交集，返回second中存在但first中不存在的记录
setdiff(second, first)
#取两个集合的交集, 不去重
union_all(first, second)
#判断两个集合是否相等，返回TRUE
setequal(mtcars, mtcars[32:1, ])
##############################################################
汇总函数：tally系列
tally是一个很方便的计数函数，其根据最初的调用而决定下一次调用n或者sum(n)。它还有其他的小伙伴比如count和n，都是计数家族的。
iris%>%group_by(Species)%>%tally
iris%>%group_by(Species)%>%tally
##############################################################
抽样函数：sample系列
此sample系列是对数据框进行随机抽样，只作用于数据框和dplyr自带的tbl等格式的数据。sample_n为按行数随机抽样，而sample_frac为按比例抽样；其weight参数可以设置抽样的权重而replace参数为有放回抽样。
sample_n(mtcars,2,replace=TRUE)
sample_n(mtcars,2,weight=mpg/mean(mpg))
sample_frac(mtcars,0.1)
sample_frac(mtcars,0.1,weight=1/mpg)
看了这篇文章之后，大家对R语言dplyr包是不是更加了解了呢，希望为大家学习R语言助一臂之力。
