文章转载自:微信公众号 Python的乐趣
作者:一粒米饭
比如像电商行业,每月有上百万条订单发货数据需要与仓库的数据进行核对计算,涉及到数据计算,筛选,匹配等步骤,用excel表超级卡,并且经常卡死。
这时如果你会Python,十几行代码就可以搞定。
这里需要两个Python库,一个是os库,一个是pandas库。
os是Python内置库,不需要额外安装,只要用import导入就可以用了。os模块封装了常见的文件和目录操作,利用它可以轻松的对系统上的目录和文件进行各种操作,比如获取当前目录、列举当前文件夹中的所有文件和文件夹、判断文件或目录是否存在、删除文件等,具体见下图。
pandas是第三方库,需要手动安装才能使用。pandas是专门用来做数据分析的强大类库,可以方便地从csv、Excel和其他文本文件以及数据库中读取数据,然后对数据进行加和、求平均值、求方差、计算最大值最小值等数据分析,支持生成Excel等格式文件或进行可视化操作,函数如下:
其中读Excel需要依赖xlrd库,写Excel依赖openpyxl,pandas、xlrd和openpyxl安装命令如下:
$ pip install xlrd openpyxl pandas
下面开始进行数据处理...
这里假设数据是按日期命名的Excel文件并且放在excel_data文件夹中,每个Excel文件包含用户ID、商品ID、商品属性列表、购买数量这几列信息。
文件夹中的所有文件如下,在linux下用ls命令列举excel_data下所有文件:
$ ls excel_data
结果:
20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx 20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx 20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx 20120705.xlsx 20131021.xlsx 20160101.xlsx 20170419.xlsx ...
实现的思路是利用os库获取所有的Excel文件,然后用pandas依次读取所有文件并合并到一起进行数据,计算出每个商品的总量以及销量前十的商品。
1.列举所有Excel文件
import os files = os.listdir("excel_data")
2.用pandas读取所有数据并合并到一起
import pandas as pd df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files] data = pd.concat(df_list)
3.统计每个商品的数量
sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum() sum_of_product
结果
购买数量 商品ID 1662 1 201826 17 203319 67 203320 494 203322 332 ... ... 122680025 21 122680026 8 122690023 16 122692024 48 122696024 5
获取销量前十的商品
sum_of_product.sort_values('购买数量', ascending=False).head(10)
结果:
商品ID 购买数量 50018831 56632 50007016 8291 50011993 6351 50013636 6340 50003700 6325 211122 5823 50010558 5248 50016006 4948 50006602 4692 50002524 4123
完整代码如下:
import os import pandas as pd # 获取所有Excel文件并读取数据 files = os.listdir("excel_data") df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files] data = pd.concat(df_list) # 统计每个商品的数量,并输出到Excel文件中 sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum() sum_of_product.to_excel("各个商品数量统计.xlsx") # 统计销量前十的商品 sum_of_product.sort_values('购买数量', ascending=False).head(10)
结果:
商品ID 购买数量 50018831 56632 50007016 8291 50011993 6351 50013636 6340 50003700 6325 211122 5823 50010558 5248 50016006 4948 50006602 4692 50002524 4123
教程就到这里,不足之处欢迎交流指正
数据分析咨询请扫描二维码
CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2022-03-18CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01