R语言多元分析系列 R语言多元分析系列之一：主成分分析 主成分分析（principal components analysis， PCA）是一种分析、简化数据集的技术。它把原始数据变换到一个新的坐标系统中，使得任何数据投影的第一 ...
2017-07-21
R语言的常用函数速查 基本 一、数据管理 vector：向量 numeric：数值型向量 logical：逻辑型向量character；字符型向量 list：列表 data.frame：数据框c：连接为向量或列表 length：求长度 subset：求子集 ...
2017-07-21
R语言与抽样技术学习笔记（Jackknife） R语言与抽样技术学习笔记（Randomize，Jackknife，bootstrap） Jackknife算法 Jackknife的想法在我很早的一篇博客《R语言与点估计学习笔记（刀切法与最小二乘估计 ...
2017-07-20
R语言与抽样技术学习笔记（bootstrap） Bootstrap方法 Bootstrap一词来源于西方神话故事“The adventures of Baron Munchausen”归结出的短语“to pull oneself up by one\'s bootstrap\"，意味着不靠外界力 ...
2017-07-20
R语言与函数估计学习笔记（函数展开） 函数估计 说到函数的估计我们可以肯定的一点是我们很难得到原模型的函数，不过我们可以找到一个不坏的函数去逼近它，所以我们的函数估计从函数展开开始说起。 函数 ...
2017-07-20
R语言与函数估计学习笔记（核方法与局部多项式） 非参数方法 用于函数估计的非参数方法大致上有三种：核方法、局部多项式方法、样条方法。 非参的函数估计的优点在于稳健，对模型没有什么特定的假设，只是认 ...
2017-07-20
R语言与函数估计学习笔记（样条方法） 样条估计 如果函数在不同地方有不同的非线性度，或者有多个极值点，那么用多项式特别是低阶多项式来完成拟合是非常不合适的。一种解决办法是我们之前提到的近邻多项式 ...
2017-07-20R语言与点估计学习笔记（刀切法与最小二乘估计） 一、刀切法（jackknife） 刀切法的提出，是基于点估计准则无偏性。刀切法的作用就是不断地压缩偏差。但需要指出的是缩小偏差并不是一个好的办 ...
2017-07-20
R语言与简单的回归分析 回归模型是计量里最基础也最常见的模型之一。究其原因，我想是因为在实际问题中我们并不知道总体分布如何，而且只有一组数据，那么试着对数据作回归分析将会是一个不错的选择。 一、 ...
2017-07-19
R语言与显著性检验学习笔记 一、何为显著性检验 显著性检验的思想十分的简单，就是认为小概率事件不可能发生。虽然概率论中我们一直强调小概率事件必然发生，但显著性检验还是相信了小概率事件在我做的这一 ...
2017-07-19
R语言之各种检验 1、W检验（Shapiro–Wilk (夏皮罗–威克尔 ) W统计量检验) 检验数据是否符合正态分布，R函数：shapiro.test(). 结果含义：当p值小于某个显著性水平α(比如0.05)时，则认为 ...
2017-07-19
R语言t检验 I.单样本t检验 例1. 有原始数据的t检验 已知某水样中含碳酸钙的真值为20.7mg/L，现用某法重复测定该水样12次，碳酸钙的含量分别为..问该法测定碳酸钙含量所得的均值与诊治有无显著差异？ x ...
2017-07-19R语言逻辑回归、ROC曲线和十折交叉验证 自己整理编写的逻辑回归模板，作为学习笔记记录分享。数据集用的是14个自变量Xi，一个因变量Y的australian数据集。 1. 测试集和训练集3、7分组 [html] view plain copy ...
2017-07-19R语言判别分析 本文中分三个方法介绍判别分析，Bayes判别，距离判别，Fisher判别。前两种判别方法都要考虑两个、或多个总体协方差（这里是算方差，方差是协方差的一种）相等或不等的情况，由var.equal=的逻辑参 ...
2017-07-19
SAS逻辑回归之二分类 数据集这里用的是australian,有14个自变量Xi,一个因变量Y，Y值只取0或1。 代码如下： /*逻辑回归数据集australian（690个观测值，每个含14个属性，目标变量y(0、1)）*/ /*导入 ...
2017-07-18
R语言关联规则 # Apriori算法实现关联规则挖掘 #======================= MODEL1. 输入数据集为transaction类型 ====================== #install.packages(\"arules\") #Apriori算法程序包 lib ...
2017-07-18
R语言主成分分析 解决自变量之间的多重共线性和减少变量个数 根据主成分分析的原理，它一方面可以将k个不独立的指标变量通过线性变换变成k个相互独立的新变量，这是解决多重共线性问题的一个重要方法；另一 ...
2017-07-18
R语言典型相关分析 1 关键点：典型相关分析 典型相关分析是用于分析两组随机变量之间的相关程度的一种统计方法，它能够有效地揭示两组随机变量之间的相互（线性依赖）关系 例如 研究生入学考试成绩与本科 ...
2017-07-18R语言因子分析 因子模型： X=μ + A*F* + ε 其中F=[(f1,f2,…,fm)]^T为公共因子向量，[ε=(ε1,ε2,…,εp)]^T为特殊因子向量，A=[(aij)]^(p×m)为因子载荷矩阵。 I.参数估计 为了建立因子模型，需要要 ...
2017-07-18R语言方差分析ANOVA 自己整理编写的R语言常用数据分析模型的模板，原文件为Rmd格式，直接复制粘贴过来，作为个人学习笔记保存和分享。 I. 单因素方差分析 #用data frame的格式输入数据 medicine <- data.frame( ...
2017-07-18写在开头 老板在微信上甩来一句： "帮我看下为什么销量跌了。" ” 你回工位，打开 SQL，开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者：李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时，PySpark的groupBy()确实能完成统计，这也是它的本职工作。但它有一个根本性局限：每一组数据，最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表，结合地理空间维度与数据密度特征，通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图，画过按天的流量折线图，但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”，在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司，工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中，数据往往不是独立存在的，不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读：大多数人只把 dataclasses 当成偷懒工具，用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系，但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中，行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中，千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 5W1H 分析法 定义：经典系统性思维框架，通过六个核心维度对问题进行全方位拆解与剖析，确 ...
2026-09-28 很多分析师在设计标签时思路清晰，但真到落地环节却面临“数据在手，不知如何转化为可用标签”的困境：或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 用户标签体系 定义： 通过一系列高度精炼的特征标识，对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库，广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展，数据已成为核心生产要素，各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道，但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时，却常常答不上来。 ...
2026-09-24在时序数据分析中，大部分业务数据并非持续平稳变化，而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象， ...
2026-09-23在统计学与数据分析中，研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能，认 ...
2026-09-23 很多数据分析师每天都在写 SQL，但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询，但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22
