作者:梁唐
来源:早起Python
今天是我们一起来聊聊pandas中dataframe的合并。
常见的数据合并操作主要有两种,第一种是我们新生成了新的特征,想要把它和旧的特征合并在一起。第二种是我们新获取了一份数据集,想要扩充旧的数据集。这两种合并操作在我们日常的工作当中非常寻常,那么究竟应该怎么操作呢?让我们一个一个来看。
merge
首先我们来看dataframe当中的merge操作,merge操作类似于数据库当中两张表的join,可以通过一个或者多个key将多个dataframe链接起来。
我们首先来创建两个dataframe数据:
df1 = pd.DataFrame({'id': [1, 2, 3, 3, 5, 7, 6], 'age': range(7)}) df2 = pd.DataFrame({'id': [1, 2, 4, 4, 5, 6, 7], 'score': range(7)})
我们可以看到这两个dataframe当中都有id这个字段,如果我们想要将它们根据id关联起来,我们可以用pd.merge函数完成:
这里虽然我们没有指定根据哪一列完成关联,但是pandas会自动寻找两个dataframe的名称相同列来进行关联。一般情况下我们不这么干,还是推荐大家指定列名。指定列名很简单,我们只需要传入on这个参数即可。
如果需要根据多列关联,我们也可以传入一个数组。但假如两个dataframe当中的列名不一致怎么办,比如这两个dataframe当中的一列叫做id,一列叫做number,该怎么完成join呢?
df1 = pd.DataFrame({'id': [1, 2, 3, 3, 5, 7, 6], 'age': range(7)}) df2 = pd.DataFrame({'number': [1, 2, 4, 4, 5, 6, 7], 'score': range(7)})
这个时候就需要用left_on指定左表用来join的列名,用right_on指定右表用来join的列名。
谈到join,不得不提另外一个问题就是join的方式。我们都知道在数据库的表join操作当中我们通常的join方式有4种。分别是innner join,left join,right join和outer join。我们观察一下上面的结果会发现关联之后的数据条数变少了,这是因为默认的方式是inner join,也就是两张表当中都存在的数据才会被保留。如果是left join,那边左边当中所有的数据都会保留,关联不上的列置为None,同理,如果是right join,则右表全部保留,outer join则会全部保留。
join的方式选择通过how这个参数控制,比如如果我们想要左表保留,我们传入how='left'即可。
除此之外,merge操作还有一些其他的参数,由于篇幅限制我们不一一介绍了,大家感兴趣可以去查阅相关文档。
数据合并
另外一个常用的操作叫做数据合并,为了和merge操作区分,我用了中文。虽然同样是合并,但是它的逻辑和merge是不同的。对于merge来说,我们需要关联的key,是通过数据关联上之后再合并的。而合并操作是直接的合并,行对行合并或者是列对列合并,是忽视数据的合并。
这个合并操作我们之前在numpy的介绍当中曾经也提到过,我们这里简单回顾一下。
首先我们先创建一个numpy的数组:
import numpy as np arr = np.random.rand(3, 4)
之后呢,我们可以用concatenate函数把这个数组横着拼或者是竖着拼,默认是竖着拼:
我们也可以通过axis这个参数让它变成横着拼:
对于dataframe同样也有这样的操作,不过换了一个名字叫做concat。如果我们不指定的话会竖着拼接:
竖着拼接的时候会按照列进行对齐,如果列名对不上就会填充NaN。
通过axis参数我们可以让它横向拼接:
以上就是concat的基本用法了,除了基本用法之外,concat还有一些其他的应用,比如说处理index层次索引等等。只是这些用法相对来说比较小众,使用频率不高,就不赘述了。
数据分析咨询请扫描二维码
在当今数字化时代,数据分析岗位扮演着至关重要的角色。从数据的收集到最终的业务支持与决策,数据分析专员肩负着多方面的责任。 ...
2024-12-02在当今数字化时代,数据分析已经成为企业的核心竞争力之一。从数据的收集到分析再到最终的决策支持,数据分析人员在企业中扮演着 ...
2024-12-02数据分析,看似高深莫测,实则贴近日常生活。许多人误以为数据分析需要高超技能如Python编程或算法应用,然而,真正的数据分析并 ...
2024-12-02数据分析在当今职场中扮演着至关重要的角色,但在追求这一技能的过程中,我们常常陷入各种误区。从认知误区到工具依赖,这些障碍 ...
2024-12-02初阶阶段 统计学基础:深入理解概率、假设检验及回归分析,揭示数据背后的价值意义。 Excel高级应用:掌握数据导入、清洗和动态 ...
2024-12-02基础阶段 统计学基础: 掌握概率、假设检验、回归分析等内容,这些是解读数据背后含义的关键。 Excel高级应用: 学习数据导入、 ...
2024-12-02实习机会 数据分析师实习生在当今数据驱动的时代中拥有丰富的机会,但竞争也异常激烈。他们的日常工作包括从各个来源收集数据, ...
2024-12-02在当今数据驱动的时代,数据分析师的实习机会异常丰富且竞争激烈。本文将深入探讨数据分析师实习机会及建议,揭示行业内的关键信 ...
2024-12-02基础知识 统计学: 掌握数据分析的关键是理解统计学基本概念,如平均值、中位数和回归分析。这些概念为分析数据提供了重要框架 ...
2024-12-02基础知识 数据分析领域的入门之路并不是一帆风顺,就像搭建高楼大厦一样,需要坚实的基础。首先,我们来探讨几个关键的基础知识 ...
2024-12-02在当今信息爆炸的时代,数据成为企业决策的关键驱动力。成为一名优秀的数据分析师,并非仅仅掌握数据的本质,更需要具备多方面的 ...
2024-12-02数据收集与整理 数据分析师需要从多个来源收集数据,包括内部数据库、外部市场数据和社交媒体。 清洗和整理数据以确保准确性和 ...
2024-12-02在当今信息爆炸的时代,数据分析扮演着愈发关键的角色。从数据的收集、清洗、分析到最终的报告撰写,数据分析涵盖了广泛而深入的 ...
2024-12-02揭秘数据分析求职之路 在当今竞争激烈的就业市场中,数据分析专业的就业形势备受关注。究竟数据分析领域的求职难度如何?让我们 ...
2024-12-02数据分析就业挑战与应对策略 在当今社会,数据分析专业的就业并非一帆风顺。竞争激烈,技能要求高,许多人发现找工作并不容易。 ...
2024-12-02在追求成为一名出色的数据分析师的道路上,技术和软技能同样重要。技术技能涵盖了诸多方面,其中包括: 统计学知识 探索庞大数据 ...
2024-12-02从技术到软技能:数据分析的全貌 学习数据分析是一项综合性任务,涉及多方面技能。这些技能主要可以划分为技术技能和软技能两大 ...
2024-12-02作为初学者踏入数据分析领域,掌握一系列关键能力至关重要。这些技能不仅涵盖基础工具的使用,还包括深入的分析方法、对业务的理 ...
2024-12-02欢迎探寻数据分析的奇妙世界!对于初学者而言,融会贯通数据领域的复杂性可能有些令人望而却步。然而,不必惊慌,因为我们将一起 ...
2024-12-02欢迎踏上学习数据分析的旅程!数据已经渗透到我们生活的方方面面,成为决策和创新的关键。无论是提升工作效率、探索数据领域还是 ...
2024-12-02