cainiaofei

2022-09-29   阅读量: 471

如何处理大量的Excel和TXT文件?

如何处理大量的Excel和TXT文件?
添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
0.0000 0 1 关注作者 收藏

评论(1)

85691082
2022-09-29

01 OS 库介绍
OS(Operation System)指操作系统。在 Python 中,OS 库主要提供了与操作系统即电脑系统之间进行交互的一些功能。很多自动化操作都会依赖该库的功能。
02 OS 库基本操作
1 获取当前工作路径
我们在《对比Excel,轻松学习Python报表自动化》一书的第2章介绍了如何安装Anaconda,以及如何利用Jupyter Notebook写代码。
可是你们知道写在 Jupyter Notebook 中的代码存储在电脑的哪里吗?是不是很多读者不知道?想要知道也很简单,只需要在 Jupyter Notebook 中输入如下代码,然后运行。


2 获取一个文件夹下的所有文件名
我们经常会将电脑本地的文件导入 Python 中来处理,在导入之前需要知道文件的存储路径及文件名。如果只有一两个文件,那直接手动输入文件名和文件路径即可,但有时需要导入的文件有很多。手动输入效率就会比较低,需要借助代码来提高效率。
图1 所示文件夹中有 4 个 Excel 文件。


图 1
我们可以使用 os.listdir(path)来获取 path 路径下所有的文件名。具体实现代码如下。


运行上面代码会得到如下结果。


3 对文件进行重命名
对文件进行重命名是比较高频的需求,我们可以利用 os.rename(‘old_name’,’new_name’) 来对文件进行重命名。old_name 就是旧文件名,new_name 就是新文件名。
我们先在 test 文件夹下新建一个名为 test_old 的文件,然后利用如下代码,就可以把 test_old 文件名改成 test_new。


运行上面代码以后,再到 test 文件夹下面,就可以看到 test_old 文件已经不存在了,只有test_new。
4 创建一个文件夹
当我们想要在指定路径下创建一个新的文件夹时,可以选择手动新建文件夹,也可以利用 os.mkdir(path)新建,只需要指明具体的路径(path)即可。
当运行下面代码时,就表示在 D:/Data-Science/share/data 路径下新建一个名为test11 的文件夹,效果如图 2 所示。


图2
5 删除一个文件夹
删除文件夹与创建文件夹是相对应的。当然,我们也可以选择手动删除一个文件夹,也可以利用 os.removedirs(path)进行删除,指明要删除的路径(path)。
当运行如下代码时,就表示把刚刚创建的 test11 文件夹删除了。


6 删除一个文件
删除文件是删除一个具体的文件,而删除文件夹是将整个文件夹,包含文件夹中的所有文件进行删除。删除文件利用的是 os.remove(path),指明文件所在的路径(path)。
当我们运行如下代码时,就表示将 test 文件夹中 test_new 文件删除了。


03 批量操作
1 批量读取一个文件夹下的多个文件
有时一个文件夹下会包含多个类似的文件,比如一个部门不同人的绩效文件,我们需要把这些文件批量读取到 Python 中,然后进行处理。
我们在前面学过,如何读取一个文件,可以用 load_work(),也可以用 read_excel(),不管采用哪种方式,都只需要指明要读取文件的路径即可。
那如何批量读取呢?先获取该文件夹下的所有文件名,然后遍历读取每一个文件。
具体实现代码如下所示。


如果要对读取的文件的数据进行操作,那么只需把具体的操作实现代码放置在读取代码之后即可。比如我们要对每一个读取进来的文件进行删除重复值处理,实现代码如下。


2 批量创建文件夹
有时我们需要根据特定的主题来创建特定的文件夹,比如需要根据月份创建 12个文件夹。我们前面介绍过如何创建单个文件夹,如果要批量创建多个文件夹,则只需要遍历执行单个文件夹的语句即可。具体实现代码如下。


运行上面代码以后就会在该文件路径下新建 12 个文件夹,如图3所示。


图 3
3 批量重命名文件
有时我们有好多相同主题的文件,但是这些文件的文件名比较混乱,比如图4所示文件,是各个员工的 3 月绩效情况,但是命名格式都不太一样,我们要将其统一成“名字+3 月绩效”这样的格式。要达到这种效果,可以通过前面学到的对文件进行重命名的操作来实现,前面只介绍了对单一文件的操作,那如何同时对多个文件进行批量操作呢?


图 4
具体实现代码如下。


运行上面代码以后可以看到文件夹下的原文件名已被全部重命名完成,如图5所示。


图 5
04 其他批量操作
1 批量合并多个文件
图6 所示文件夹下面有 1—6 月的分月销售日报,已知这些日报的结构是相同的,只有“日期”和“销量”两列,现在我们想要把这些不同月份的日报合并成一份。


图 6
将分月销售日报合并成一份文件的具体实现代码如下。


图 7
2 将一份文件按照指定列拆分成多个文件
上面介绍了如何批量合并多个文件,我们也有合并多个文件的逆需求,即按照指定列将一个文件拆分成多个文件。
还是上面的数据集,假设我们现在拿到了一份 1—6 月的文件,这份文件除了“日期”和“销量”两列,还多了一列“月份”。现在需要做的是,根据“月份”列将这一份文件拆分成多个文件,每个月份单独存储为一个文件。
具体实现代码如下。


运行上面代码,就可以在目标路径下看到拆分后的多个文件,如图8所示。

0.0000 0 0 回复

推荐帖子


    暂无数据

推荐课程