热线电话:13121318867

登录
首页大数据时代数十万数据Excel数据不好处理怎么办?
数十万数据Excel数据不好处理怎么办?
2020-07-16
收藏

文章转载自:微信公众号 Python的乐趣

作者:一粒米饭

比如像电商行业,每月有上百万条订单发货数据需要与仓库的数据进行核对计算,涉及到数据计算,筛选,匹配等步骤,用excel表超级卡,并且经常卡死。

这时如果你会Python,十几行代码就可以搞定。

这里需要两个Python库,一个是os库,一个是pandas库。

os库

os是Python内置库,不需要额外安装,只要用import导入就可以用了。os模块封装了常见的文件和目录操作,利用它可以轻松的对系统上的目录和文件进行各种操作,比如获取当前目录、列举当前文件夹中的所有文件和文件夹、判断文件或目录是否存在、删除文件等,具体见下图。

pandas

pandas是第三方库,需要手动安装才能使用。pandas是专门用来做数据分析的强大类库,可以方便地从csv、Excel和其他文本文件以及数据库中读取数据,然后对数据进行加和、求平均值、求方差、计算最大值最小值等数据分析,支持生成Excel等格式文件或进行可视化操作,函数如下:

其中读Excel需要依赖xlrd库,写Excel依赖openpyxl,pandas、xlrd和openpyxl安装命令如下:

$ pip install xlrd openpyxl pandas

下面开始进行数据处理...

这里假设数据是按日期命名的Excel文件并且放在excel_data文件夹中,每个Excel文件包含用户ID、商品ID、商品属性列表、购买数量这几列信息。

文件夹中的所有文件如下,在linux下用ls命令列举excel_data下所有文件:

$ ls excel_data

结果:

20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx
20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx
20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx
20120705.xlsx 20131021.xlsx 20160101.xlsx 20170419.xlsx
...

实现的思路是利用os库获取所有的Excel文件,然后用pandas依次读取所有文件并合并到一起进行数据,计算出每个商品的总量以及销量前十的商品。

1.列举所有Excel文件

import os
files = os.listdir("excel_data")

2.用pandas读取所有数据并合并到一起

import pandas as pd
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)

3.统计每个商品的数量

sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum()
sum_of_product

结果

购买数量
商品ID	
1662	1
201826	17
203319	67
203320	494
203322	332
...	...

122680025	21
122680026	8
122690023	16
122692024	48
122696024	5

获取销量前十的商品

sum_of_product.sort_values('购买数量', ascending=False).head(10)

结果:

商品ID	      购买数量
50018831	56632
50007016	8291
50011993	6351
50013636	6340
50003700	6325
211122	5823
50010558	5248
50016006	4948
50006602	4692
50002524	4123

完整代码如下:

import os
import pandas as pd

# 获取所有Excel文件并读取数据
files = os.listdir("excel_data")
df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files]
data = pd.concat(df_list)

# 统计每个商品的数量,并输出到Excel文件中
sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum()
sum_of_product.to_excel("各个商品数量统计.xlsx")

# 统计销量前十的商品
sum_of_product.sort_values('购买数量', ascending=False).head(10)

结果:

商品ID	购买数量
50018831	56632
50007016	8291
50011993	6351
50013636	6340
50003700	6325
211122	5823
50010558	5248
50016006	4948
50006602	4692
50002524	4123

教程就到这里,不足之处欢迎交流指正

数据分析咨询请扫描二维码

最新资讯
更多
客服在线
立即咨询