本文基于R语言进行基本数据统计分析,包括基本作图,线性拟合,逻辑回归,bootstrap采样和Anova方差分析的实现及应用。
不多说,直接上代码,代码中有注释。
1. 基本作图(盒图,qq图)
#basic plot boxplot(x) qqplot(x,y)
2. 线性拟合
#linear regression n = 10 x1 = rnorm(n)#variable 1 x2 = rnorm(n)#variable 2 y = rnorm(n)*3 mod = lm(y~x1+x2) model.matrix(mod) #erect the matrix of mod plot(mod) #plot residual and fitted of the solution, Q-Q plot and cook distance summary(mod) #get the statistic information of the model hatvalues(mod) #very important, for abnormal sample detection
3. 逻辑回归
#logistic regression x <- c(0, 1, 2, 3, 4, 5) y <- c(0, 9, 21, 47, 60, 63) # the number of successes n <- 70 #the number of trails z <- n - y #the number of failures b <- cbind(y, z) # column bind fitx <- glm(b~x,family = binomial) # a particular type of generalized linear model print(fitx) plot(x,y,xlim=c(0,5),ylim=c(0,65)) #plot the points (x,y) beta0 <- fitx$coef[1] beta1 <- fitx$coef[2] fn <- function(x) n*exp(beta0+beta1*x)/(1+exp(beta0+beta1*x)) par(new=T) curve(fn,0,5,ylim=c(0,60)) # plot the logistic regression curve
# bootstrap # Application: 随机采样,获取最大eigenvalue占所有eigenvalue和之比,并画图显示distribution dat = matrix(rnorm(100*5),100,5) no.samples = 200 #sample 200 times # theta = matrix(rep(0,no.samples*5),no.samples,5) theta =rep(0,no.samples*5); for (i in 1:no.samples) { j = sample(1:100,100,replace = TRUE)#get 100 samples each time datrnd = dat[j,]; #select one row each time lambda = princomp(datrnd)$sdev^2; #get eigenvalues # theta[i,] = lambda; theta[i] = lambda[1]/sum(lambda); #plot the ratio of the biggest eigenvalue } # hist(theta[1,]) #plot the histogram of the first(biggest) eigenvalue hist(theta); #plot the percentage distribution of the biggest eigenvalue sd(theta)#standard deviation of theta #上面注释掉的语句,可以全部去掉注释并将其下一条语句注释掉,完成画最大eigenvalue分布的功能
4. ANOVA方差分析
#Application:判断一个自变量是否有影响 (假设我们喂3种维他命给3头猪,想看喂维他命有没有用) # y = rnorm(9); #weight gain by pig(Yij, i is the treatment, j is the pig_id), 一般由用户自行输入 #y = matrix(c(1,10,1,2,10,2,1,9,1),9,1) Treatment <- factor(c(1,2,3,1,2,3,1,2,3)) #each {1,2,3} is a group mod = lm(y~Treatment) #linear regression print(anova(mod)) #解释:Df(degree of freedom) #Sum Sq: deviance (within groups, and residuals) 总偏差和 # Mean Sq: variance (within groups, and residuals) 平均方差和 # compare the contribution given by Treatment and Residual #F value: Mean Sq(Treatment)/Mean Sq(Residuals) #Pr(>F): p-value. 根据p-value决定是否接受Hypothesis H0:多个样本总体均数相等(检验水准为0.05) qqnorm(mod$residual) #plot the residual approximated by mod #如果qqnorm of residual像一条直线,说明residual符合正态分布,也就是说Treatment带来的contribution很小,也就是说Treatment无法带来收益(多喂维他命少喂维他命没区别)
(左)用 y = matrix(c(1,10,1,2,10,2,1,9,1),9,1)和
(右)y = rnorm(9);
的结果。可见如果给定猪吃维他命2后体重特别突出的数据结果后,qq图种residual不在是一条直线,换句话说residual不再符合正态分布,i.e., 维他命对猪的体重有影响。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14