来源：早起Python
作者：刘早起
前两天，有一位读者在知识星球提出了一个关于 pandas 数据清洗的问题。
他的数据大致如下
现在希望分别做如下清洗
“A列中非字符行B列中非日期行C列中数值形式行(包括科学计数法的数值）D列中非整数行删掉C列中大小在10%-90%范围之外的行”
其实本质上都是「数据筛选」的问题，先来模拟下数据
如上图所示，基本上都是根据数据类型进行数据筛选，下面逐个解决。
让我们从第 4 题开始，取出 D 列全部非整数行，其实在 pandas 中可以使用.is_integer() 判断一个元素是否为整数。
这样我们就能结合 apply 函数找到全部整数行
再使用 ~ 取其补集即可得到答案
df[~df[['D']].apply(lambda x: x[0].is_integer(), axis=1)]
第 3 题要求取出 C 列所有数值形式的行。
在 pandas 同样有直接判断的函数 .isdigit() 判断是否为数值。
所以同上可以结合 apply 函数轻松搞定～
df[df['C'].str.isdigit().isnull()].dropna()
至于第 2 题，pandas 中虽有直接判断时间格式函数，但由于存在其他类型数据，该列为object，并不能直接判断。
所以只要我们将该列转换为时间格式（见习题 8-12）就会将不支持转换的格式修改为缺失值
这样在转换后删除确实值即可
至于第 1 题，我们可以借助 Python 中 isinstance 函数判断一个变量是否为字符串格式
再同样借助 apply 函数即可找到全部字符串的行，然后使用 ～ 取其补集即可
直接计算该列的指定范围，并多条件筛选即可。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在数字经济飞速发展的今天，数据已成为核心生产要素，渗透到企业运营、民生服务、科技研发等各个领域。从个人手机里的浏览记录、 ...
2026-02-10在数据分析、实验研究中，我们经常会遇到小样本配对数据的差异检验场景——比如同一组受试者用药前后的指标对比、配对分组的两组 ...
2026-02-10在结构化数据分析领域，透视分析（Pivot Analysis）是CDA（Certified Data Analyst）数据分析师最常用、最高效的核心实操方法之 ...
2026-02-10在SQL数据库实操中，字段类型的合理设置是保证数据运算、统计准确性的基础。日常开发或数据分析时，我们常会遇到这样的问题：数 ...
2026-02-09在日常办公数据分析中，Excel数据透视表是最常用的高效工具之一——它能快速对海量数据进行分类汇总、分组统计，将杂乱无章的数 ...
2026-02-09表结构数据作为结构化数据的核心载体，其“获取-加工-使用”全流程，是CDA（Certified Data Analyst）数据分析师开展专业工作的 ...
2026-02-09在互联网产品运营、用户增长的实战场景中，很多从业者都会陷入一个误区：盲目投入资源做推广、拉新，却忽视了“拉新后的用户激活 ...
2026-02-06在机器学习建模过程中，特征选择是决定模型性能的关键环节——面对动辄几十、上百个特征的数据（如用户画像的几十项维度、企业经 ...
2026-02-06在CDA（Certified Data Analyst）数据分析师的日常实操中，表格结构数据是贯穿全流程的核心载体，而对表格数据类型的精准识别、 ...
2026-02-06在日常办公数据分析中，我们经常会面对杂乱无章的批量数据——比如员工月度绩效、产品销售数据、客户消费金额、月度运营指标等。 ...
2026-02-05在分类模型（如风控反欺诈、医疗疾病诊断、客户流失预警）的实操落地中，ROC曲线是评估模型区分能力的核心工具，而阈值则是连接 ...
2026-02-05对CDA（Certified Data Analyst）数据分析师而言，数据分析的价值不仅在于挖掘数据背后的规律与洞察，更在于通过专业的报告呈现 ...
2026-02-05在数据分析实战中，我们经常会遇到“多指标冗余”的问题——比如分析企业经营状况时，需同时关注营收、利润、负债率、周转率等十 ...
2026-02-04在数据分析场景中，基准比是衡量指标表现、评估业务成效、对比个体/群体差异的核心工具，广泛应用于绩效评估、业务监控、竞品对 ...
2026-02-04业务数据分析是企业日常运营的核心支撑，其核心价值在于将零散的业务数据转化为可落地的业务洞察，破解运营痛点、优化业务流程、 ...
2026-02-04在信贷业务中，违约率是衡量信贷资产质量、把控信用风险、制定风控策略的核心指标，其统计分布特征直接决定了风险定价的合理性、 ...
2026-02-03在数字化业务迭代中，AB测试已成为验证产品优化、策略调整、运营活动效果的核心工具。但多数业务场景中，单纯的“AB组差异对比” ...
2026-02-03企业战略决策的科学性，决定了其长远发展的格局与竞争力。战略分析方法作为一套系统化、专业化的思维工具，为企业研判行业趋势、 ...
2026-02-03在统计调查与数据分析中，抽样方法分为简单随机抽样与复杂抽样两大类。简单随机抽样因样本均匀、计算简便，是基础的抽样方式，但 ...
2026-02-02在数据驱动企业发展的今天，“数据分析”已成为企业经营决策的核心支撑，但实践中，战略数据分析与业务数据分析两个概念常被混淆 ...
2026-02-02
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
