python易混淆知识系列:pandas字符串方法和字符串内建函数,使用python的一个优势就是字符串处理起来比较容易。
Python的初学者在学习字符串内建函数的时候往往会很困惑:字符串的内建函数是对单个字符串对象处理,如果要对成千上万个字符串对象处理该怎么办?
不少已经使用Python工作很长时间的同学,即使已经学会使用Pandas对象的.apply()方法来处理字符串,依然会时常忘记:其实Pandas已经自带功能强大的向量化字符串操作。
即使知道Pandas字符串方法的同学,使用的时候也经常与字符串内建函数混淆。
而熟练使用Pandas字符串方法的同学往往会觉得,其方法的代码简洁性与运行效率都远高于其他的写法。真相到底如何?Pandas字符串方法和字符串内建函数有什么不同?运算效率真的像传闻那么高吗?
今天我们就好好捋一下这块Python易混淆的知识点。
1. 快速入门向量化字符串操作
初学Python字符串内建函数的同学肯定知道有个叫.lower()的方法可以将字符串中的大写英文字母转化为小写,比如将字符串对象’ABCD’转化为小写:
点击添加图片描述(最多60个字)编辑
如果字符型的Series对象中的字符串要转化为小写呢?比如:
点击添加图片描述(最多60个字)编辑
此时,我们就可以使用Series的str方法中的.lower()来处理:
点击添加图片描述(最多60个字)编辑
同理,如果要将Series对象中的所有的大写字母变成小写,可以使用.str.upper()。
看到这里,相信很多没有使用过Pandas字符串方法的同学会惊奇地发现,这跟字符串对象的内建函数差不多呀?只不过多了一个通过.str()方法调用函数的过程。
确实,大多数Pandas的字符串方法借鉴了Python字符串内建函数的内容,这里给大家梳理一下,两种处理字符串方法基本相同的地方:
· 求字符串长度
§ .str.len()
· 字符检索
§ .str.find()和.str.rfind()
§ .str.index()和.str.rindex()
· 字符转换
§ .str.lower()和.str.upper()
§ .str.title()和.str.capitalize()
§ .str.swapcase()
· 字符类型判断
§ .str.islower()和.str.isupper()
§ .str.isnumeric()、.str.isalnum()、.str.isdecimal()、.str.isalpha()、.str.isdigit()
§ .str.isspace()
§ .str.istitle()
· 字符对齐与填充
§ .str.startswith()和.str.endswith()
§ .str.center()
§ .str.ljust()和.str.rjust()
· 字符分隔
§ .str.split()和.str.rsplit()
§ .str.partition()和.str.rpartition()
· 字符整理
§ .str.strip()、.str.rstrip()、.str.lstrip()
以上方法都是Pandas字符串方法与Python字符串内建函数中基本一致的部分,无论是方法名还是调用过程,只有少部分有少许区别。
2. 其他字符串方法
除了与字符串内建函数类似的方法以外,Pandas还有一些功能强大的字符串方法。
(1) 向量化字符串的取值和切片操作
很多同学会很疑惑,字符串对象可以进行取值和切片操作,但是Pandas对象中的字符串如何进行相同的操作?比如以上面的Series对象为例:
点击添加图片描述(最多60个字)编辑
如果想把上面Series对象中所有字符串中的前三个字母取出来,可以通过调用.str属性后,返回的对象直接使用和字符串切片一样的方法:
点击添加图片描述(最多60个字)编辑
此外还可以使用.str.slice()方法,其参数与切片方法的类似:
点击添加图片描述(最多60个字)编辑
但是如果想根据字符串索引来取单个字符元素,可以通过.str.get()方法来进行。比如上面的Series对象a中,我们想要取里面所有字符串索引值为1的元素,可以写a.str.get(1):
点击添加图片描述(最多60个字)编辑
(2) 字符串拼接
Python中多个字符串对象拼接非常简单,直接使用加法运算符就可以了,比如:
点击添加图片描述(最多60个字)编辑
这种便捷的方法,Series对象也同样沿用下来,可以将多个字符型Series对象用加法运算符直接相加:
点击添加图片描述(最多60个字)编辑
但是Pandas字符串方法中有更加强大的字符串拼接功能,那就是.str.cat()方法。
实现上面同样的字符串拼接,如果我们使用.str.cat()方法,可以这样写:
点击添加图片描述(最多60个字)编辑
也就是说,第一个Series对象调用.str.cat()方法,该方法第一个参数可以用列表的形式来把其他需要合并的Series对象写进来。
当然,.str.cat()方法功能强大,比如可以选择使用参数sep来自定义分隔符来合并,我们使用“|”来连接上面的三个Series对象:
点击添加图片描述(最多60个字)编辑
(3) 字符替换操作
字符串内建函数有便捷的字符替换方法.replace(),比如我们想字符串’abcd’中的’a’替换成’A’:
点击添加图片描述(最多60个字)编辑
同样地,Pandas字符串方法也有一样的操作:
点击添加图片描述(最多60个字)编辑
当然,如果想通过索引值或者切片来指定替换呢?比如我们想将str_01中的所有字符串中索引值0到2的元素替换成符号‘*’,我们就需要使用.str.slice_replace(),替换对象以参数repl来指定:
点击添加图片描述(最多60个字)编辑
(4) 快速独热编码
独热编码无论在特征工程中还是问卷数据处理中都应用广泛,我们需要转码的字符如下图表示,该怎么办?
点击添加图片描述(最多60个字)编辑
想看到这,熟练使用Pandas的apply()方法的同学会开始绞尽脑汁写自定义函数来完成这么复杂的编码规则。其实,我们可以直接使用Pandas字符串方法.str.get_dummies()来完成独热编码,如下:
点击添加图片描述(最多60个字)编辑
如果非常不幸,我们的字符串中的分隔符”|”都不存在,该怎么办?
点击添加图片描述(最多60个字)编辑
此时我们可以使用搭配使用.str.join()方法,将“|”插入到上面Series对象中每个字符串对象的每个元素之间:
点击添加图片描述(最多60个字)编辑
上面生成的对象最后再次调用.str.get_dummies()方法即可:
点击添加图片描述(最多60个字)编辑
3. 代码量与运算效率PK
从上面我们可以看到,Pandas的字符串方法实现了很多我们意想不到的操作的同时,大大简化了代码书写的复杂程度。
接下来,我们对比一下,在文本数据量较大的时候,使用Pandas字符串方法和使用字符串内建函数,在代码量上和代码运算效率上作一番比较。
我们以最为常用的几个使用场景来举例子,分别是字符切片、替换、拼接、去除前后特殊字符。
下面用到的内存分析魔法函数,需要先在pip安装扩展memory_profiler:
pip install memory_profiler
然后还需要在notebook中导入这个扩展:
%load_ext memory_profiler
(1) 字符串切片方法对比
我们先建立一个长度为一千万的字符型Series对象:
点击添加图片描述(最多60个字)编辑
我们尝试使用两种方法,对Series对象中的所有字符对象取前两个元素:
点击添加图片描述(最多60个字)编辑
上面我们会发现第一种方法使用列表推导式配合字符串切片方法,会比第二种使用Pandas字符串方法占用内存要大且运算时间稍慢。
同时,Pandas字符串方法的代码简洁很多。
(5) 字符串替换方法对比
同理按照以上的方法,我们对比一下两种字符串方法的在字符串替换上的运算效率:
点击添加图片描述(最多60个字)编辑
上图可以看到,无论是代码简洁性、可阅读性,还是运算效率方面,Pandas的字符串方法都要好很多。
(6) 字符串拼接方法对比
多个字符型Series对象拼接在一起,同时使用分隔符“|”拼接,我们对比一下两种写法:
点击添加图片描述(最多60个字)编辑
可以看到在拼接方法上,虽然代码的简洁性与拓展性,Pandas的字符串方法要好很多,但是其运算效率要比第一种方法要低很多。
这主要是因为第一种方法使用了广播机制,加快了运算效率。
(7) 去除前后特殊字符
去除字符串前后的特殊字符,比如空格,是字符串处理的常见操作,我们看看使用Pandas的.str.strip()方法是否在各方面要好很多。
先建一个例子:
点击添加图片描述(最多60个字)编辑
第一种方法我们依然使用列表推导式与字符串内建函数:
点击添加图片描述(最多60个字)编辑
第二种方法:
点击添加图片描述(最多60个字)编辑
第二种方法我们会看到,虽然运算时间稍微比第一种方法高了一点,但是代码简洁性和可阅读性要比第一种方法好很多,而且运算内存消耗要低很多。
4. 小结
从上面这么多的例子我们会发现,Pandas的字符串方法无论是在代码可阅读性还是运算效率方面,在实现各种字符串处理场景时,基本上都要比其他方法要好很多。而在实现特定字符串处理场景,比如独热编码时,Pandas特有的字符串方法就更加便捷。
作为实用主义者,我们在处理文本数据的时候,可以优先使用Pandas字符串方法。遇到尤为棘手的处理需求时,结合字符串内建函数与Pandas的apply(),你就可以建立一个功能强大无比的字符串处理程序来清洗自己数据了。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14