京公网安备 11010802034615号
经营许可证编号:京B2-20210330
基本描述数据汇总的图形显示
除了在大部分统计或图形数据表示软件包中使用的条形图、饼图和线图之外,还有一些常用的图用于显示数据汇总和分布,包括直方图、分位数图、q-q图、散布图和局部回归(loess)曲线。对于数据的直观观察,这些图是非常有帮助的。
画直方图(或频率直方图)是一种概括给定属性分布的图形方法。属性A的直方图将A的数据分布划分成不相交的子集或桶。通常,每个桶的宽度是一致的。每个桶用一个矩形表示,其高度等于桶中的值计数或相对频率。如果A是分类的,如车型或商品类型,则对A的每个已知值画一个矩形,而结果图更多地称作条形图。如果A是数值的,更多地使用术语直方图。对于数值属性,构造直方图的划分规则在2.5.4节讨论。例如,在等宽的直方图中,每个桶代表数值属性A的等宽值域。
表2-1 AllElectronics的一个分店销售的商品单价数据集
图2-4显示表2-1中数据的直方图,其中,桶定义成等宽的,代表增量20美元,而频率是商品的销售数量。直方图至少有一个世纪了,是一种广泛使用的单变量图形方法。然而,对于比较单变量观测组,它可能不如分位数图、q-q图和盒图方法有效。
图2-4 表2-1中数据集的直方图
分位数图(quantile plot)是一种观察单变量数据分布的简单有效方法。首先,它显示给定属性的所有数据(允许用户评估总的情况和不寻常的出现)。其次,它绘出了分位数信息。
这一步使用的机制与2.2.2节讨论的百分位数计算稍微有点不同。设xi (i = 1, ., N)是按递增序排序的数据,使得x1是最小的观测值,而xN是最大的。每个观测值xi与一个百分数fi配对,指出大约100fi%的数据小于或等于xi。我们说“大约”,因为可能没有一个精确的小数值fi,使得数据的fi%小于或等于xi。注意,0.25分位数对应于四分位数Q1,0.50分位数对应于中位数,而0.75分位数对应于Q3。令
这些数由1/2N(稍大于0)到1-1/2N(稍小于1),以相同的步长1/N递增。在分位数图中,xi 对着fi画出。这使得我们可以基于分位数比较不同的分布。例如,给定两个不同时间段销售数据的分位数图,我们一眼就可以比较它们的Q1,中位数,Q3,以及其他fi值。图2-5显示了表2-1单价数据的分位数图。
图2-5 表2-1单价数据的分位数图
分位数-分位数图或q-q图对着另一个对应的分位数,绘制一个单变量分布的分位数。它是一种强有力的可视化工具,使得用户可以观察从一个分布到另一个是否有移位。
假定对于变量单价有两个观测集,取自两个不同的分店。设x1, ., xN是取自第一个分店的数据,y1, ., yM是取自第二个分店的数据,每组数据都按递增序排序。如果M = N(即每个集合中的点数相等),则我们简单地对着xi画yi,其中yi和xi都是各自数据集的第(i-0.5) / N个分位数。如果M < N(即第二个分店的观测值比第一个少),则可能只有M个点在q-q图中。这里,yi是y数据的第(i-0.5) / M个分位数,对着x数据的第(i-0.5) / M个分位数画。在典型情况下,该计算涉及插值。
图2-6显示在给定的时间段,AllElectronics的两个不同分店销售的商品单价数据的分位数分位数图。每个点对应于每个数据集的相同的分位数,并显示分店1与分店2相对的销售商品单价。例如,左下角的最低点对应于分位数0.03。(为帮助比较,我们也画了一条直线,代表对于给定的分位数,两个分店的单价相同的情况。此外,加黑的点分别对应于Q1、中位数和Q3。)我们看到,在分位数0.03,分店1销售的商品单价比分店2稍低。换言之,在分店1销售
的商品3%低于或等于40美元,而在分店2销售的商品3%低于或等于42美元。在最高分位数,我们看到分店2的商品单价稍微低于分店1。一般地,我们注意到分店1的分布相对于分店2有一个移位,分店1销售的商品单价趋向于比分店2低。
散布图(scatter plot)是确定两个数值属性之间看上去是否有联系、模式或趋势的最有效的图形方法之一。为构造散布图,每个值对视为一个代数坐标对,并作为一个点画在平面上。图2-7 显示表2-1中数据集的散布图。散布图是一种观察双变量数据有用的方法,用于观察点的簇和离群点,或考察相关联系的可能性。在图2-8中,我们看到两个不同数据集中两个属性之间的正相关和负相关的例子。图2-9显示了三种情况,每个数据集的两个属性之间都不存在相关联系。
图2-6 两个不同分店的单价数据的分位数-分位数图
图2-7 表2-1中数据的散布图
图2-8 散布图可以用来发现属性之间的a)正相关或b)负相关
图2-9 三种情况,其中每个数据集中两个属性之间都不存在观察到的相关
图2-10 表2-1中数据集的loess曲线
在处理多个属性时,散布图矩阵(scatter-plot matrix)是散布图的一种有用的扩充。给定n个属性,散布图矩阵是散布图的n×n栅格,提供每个属性(或维)与每个其他属性的可视化表示。随着所研究的属性数量增加,散布图的有效性降低。在这种情况下,用必要进行诸如放大(zooming)和摇动(panning)等用户交互操作,帮助有效地解释单个散布图。
loess曲线是另一种重要的图形探查工具,它添加一条光滑曲线到散布图,以便更好地理解依赖模式。loess一词是“局部回归”(local regression)的缩写。图2-10显示表2-1中数据集的loess曲线。
为了拟合loess曲线,需要设置两个参数—光滑参数α,被回归拟合的多项式的次数λ。α可以是正数(典型值在1/4~1之间),而λ可以是1或2。选择α的目的是产生一个拟合,它尽59 ~可能光滑,而不过分破坏数据中潜在的模式。曲线随α增大而变得更光滑。然而,可能出现拟60 合不足,表明可能“丢失”数据模式。如果α太小,跟踪了潜在的模式,但可能过分拟合数据,曲线中的局部“摆动”可能不被数据支持。如果数据的潜在模式具有“温和的”曲率,而没有局部极大和极小,则局部线性拟合通常就足够了(λ = 1)。然而,如果存在局部极大和极小,则二次拟合(λ = 2)一般做得更好,它遵循数据模式并且保持局部光滑性。
总而言之,描述性数据汇总提供了数据总体行为的有价值的洞察。通过帮助识别噪声和离群点,它们对于数据清理特别有用。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 多表进阶与 DDL/DML 连接 · 子查询 · 合并 · 建表与书写规范 ” 三、DQL 多表进阶:连 ...
2026-11-20 前面讲了怎么搭指标体系,但很多团队卡在最后一步:高层定了一个漂亮的目标,往下一层层写进周报,最后却落不到任何人的具体 ...
2026-11-20 很多团队做数据分析的现状是:老板要一个数就拉一个数,周报里堆满了 GMV、DAU、转化率,却没人说得清这些数之间是什么关系 ...
2026-11-20这周你大概又经历过一次:报表自己跑了,SQL 让 AI 写了,连周报初稿都不用自己动手。你一边松口气,一边心里发慌——那我还剩什 ...
2026-11-20 做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12