
文章转载自:微信公众号 Python的乐趣
作者:一粒米饭
比如像电商行业,每月有上百万条订单发货数据需要与仓库的数据进行核对计算,涉及到数据计算,筛选,匹配等步骤,用excel表超级卡,并且经常卡死。
这时如果你会Python,十几行代码就可以搞定。
这里需要两个Python库,一个是os库,一个是pandas库。
os是Python内置库,不需要额外安装,只要用import导入就可以用了。os模块封装了常见的文件和目录操作,利用它可以轻松的对系统上的目录和文件进行各种操作,比如获取当前目录、列举当前文件夹中的所有文件和文件夹、判断文件或目录是否存在、删除文件等,具体见下图。
pandas是第三方库,需要手动安装才能使用。pandas是专门用来做数据分析的强大类库,可以方便地从csv、Excel和其他文本文件以及数据库中读取数据,然后对数据进行加和、求平均值、求方差、计算最大值最小值等数据分析,支持生成Excel等格式文件或进行可视化操作,函数如下:
其中读Excel需要依赖xlrd库,写Excel依赖openpyxl,pandas、xlrd和openpyxl安装命令如下:
$ pip install xlrd openpyxl pandas
下面开始进行数据处理...
这里假设数据是按日期命名的Excel文件并且放在excel_data文件夹中,每个Excel文件包含用户ID、商品ID、商品属性列表、购买数量这几列信息。
文件夹中的所有文件如下,在linux下用ls命令列举excel_data下所有文件:
$ ls excel_data
结果:
20120702.xlsx 20131018.xlsx 20150203.xlsx 20170416.xlsx 20120703.xlsx 20131019.xlsx 20150204.xlsx 20170417.xlsx 20120704.xlsx 20131020.xlsx 20150205.xlsx 20170418.xlsx 20120705.xlsx 20131021.xlsx 20160101.xlsx 20170419.xlsx ...
实现的思路是利用os库获取所有的Excel文件,然后用pandas依次读取所有文件并合并到一起进行数据,计算出每个商品的总量以及销量前十的商品。
1.列举所有Excel文件
import os files = os.listdir("excel_data")
2.用pandas读取所有数据并合并到一起
import pandas as pd df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files] data = pd.concat(df_list)
3.统计每个商品的数量
sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum() sum_of_product
结果
购买数量 商品ID 1662 1 201826 17 203319 67 203320 494 203322 332 ... ... 122680025 21 122680026 8 122690023 16 122692024 48 122696024 5
获取销量前十的商品
sum_of_product.sort_values('购买数量', ascending=False).head(10)
结果:
商品ID 购买数量 50018831 56632 50007016 8291 50011993 6351 50013636 6340 50003700 6325 211122 5823 50010558 5248 50016006 4948 50006602 4692 50002524 4123
完整代码如下:
import os import pandas as pd # 获取所有Excel文件并读取数据 files = os.listdir("excel_data") df_list = [pd.read_excel(os.path.join("excel_data", f)) for f in files] data = pd.concat(df_list) # 统计每个商品的数量,并输出到Excel文件中 sum_of_product = data[["商品ID", "购买数量"]].groupby(["商品ID"]).sum() sum_of_product.to_excel("各个商品数量统计.xlsx") # 统计销量前十的商品 sum_of_product.sort_values('购买数量', ascending=False).head(10)
结果:
商品ID 购买数量 50018831 56632 50007016 8291 50011993 6351 50013636 6340 50003700 6325 211122 5823 50010558 5248 50016006 4948 50006602 4692 50002524 4123
教程就到这里,不足之处欢迎交流指正
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
基于 SPSS 的 ROC 曲线平滑调整方法与实践指南 摘要 受试者工作特征曲线(ROC 曲线)是评估诊断模型或预测指标效能的核心工具, ...
2025-08-25神经网络隐藏层神经元个数的确定方法与实践 摘要 在神经网络模型设计中,隐藏层神经元个数的确定是影响模型性能、训练效率与泛 ...
2025-08-25CDA 数据分析师与数据思维:驱动企业管理升级的核心力量 在数字化浪潮席卷全球的当下,数据已成为企业继人力、物力、财力之后的 ...
2025-08-25CDA数据分析师与数据指标:基础概念与协同逻辑 一、CDA 数据分析师:数据驱动时代的核心角色 1.1 定义与行业价值 CDA(Certified ...
2025-08-22Power Query 移动加权平均计算 Power Query 移动加权平均设置全解析:从原理到实战 一、移动加权平均法的核心逻辑 移动加权平均 ...
2025-08-22描述性统计:CDA数据分析师的基础核心与实践应用 一、描述性统计的定位:CDA 认证的 “入门基石” 在 CDA(Certified Data Analy ...
2025-08-22基于 Python response.text 的科技新闻数据清洗去噪实践 在通过 Python requests 库的 response.text 获取 API 数据后,原始数据 ...
2025-08-21基于 Python response.text 的科技新闻综述 在 Python 网络爬虫与 API 调用场景中,response.text 是 requests 库发起请求后获取 ...
2025-08-21数据治理新浪潮:CDA 数据分析师的战略价值与驱动逻辑 一、数据治理的多维驱动引擎 在数字经济与人工智能深度融合的时代,数据治 ...
2025-08-21Power BI 热力地图制作指南:从数据准备到实战分析 在数据可视化领域,热力地图凭借 “直观呈现数据密度与分布趋势” 的核心优势 ...
2025-08-20PyTorch 矩阵运算加速库:从原理到实践的全面解析 在深度学习领域,矩阵运算堪称 “计算基石”。无论是卷积神经网络(CNN)中的 ...
2025-08-20数据建模:CDA 数据分析师的核心驱动力 在数字经济浪潮中,数据已成为企业决策的核心资产。CDA(Certified Data Analyst)数据分 ...
2025-08-20KS 曲线不光滑:模型评估的隐形陷阱,从原因到破局的全指南 在分类模型(如风控违约预测、电商用户流失预警、医疗疾病诊断)的评 ...
2025-08-20偏态分布:揭开数据背后的非对称真相,赋能精准决策 在数据分析的世界里,“正态分布” 常被视为 “理想模型”—— 数据围绕均值 ...
2025-08-19CDA 数据分析师:数字化时代的价值创造者与决策智囊 在数据洪流席卷全球的今天,“数据驱动” 已从企业战略口号落地为核心 ...
2025-08-19CDA 数据分析师:善用 Power BI 索引列,提升数据处理与分析效率 在 Power BI 数据分析流程中,“数据准备” 是决定后续分析质量 ...
2025-08-18CDA 数据分析师:巧用 SQL 多个聚合函数,解锁数据多维洞察 在企业数据分析场景中,单一维度的统计(如 “总销售额”“用户总数 ...
2025-08-18CDA 数据分析师:驾驭表格结构数据的核心角色与实践应用 在企业日常数据存储与分析场景中,表格结构数据(如 Excel 表格、数据库 ...
2025-08-18PowerBI 累计曲线制作指南:从 DAX 度量到可视化落地 在业务数据分析中,“累计趋势” 是衡量业务进展的核心视角 —— 无论是 “ ...
2025-08-15Python 函数 return 多个数据:用法、实例与实战技巧 在 Python 编程中,函数是代码复用与逻辑封装的核心载体。多数场景下,我们 ...
2025-08-15