python数据清洗的基本思路是什么？

dreamhappy2012

2019-01-18 阅读量: 844

python数据清洗的基本思路是什么？

在做数据分析的时候，少不了数据清洗这个步骤。

很多时候我们会自己爬取数据，但是爬取了数据库的数据之后，数据不能直接拿来使用，我们怎么进行数据清洗和进行去重上传的

数据清洗:

数据清洗概念就是去重,检查数据一致性，处理无效值和缺失值等)删除重复信息、纠正存在的错误.

可以利用pandas模块(最常用的清洗模块)和正则或者numpy模块(机器学习),简单的去换行和去除空格可以直接调用方法====>replace,去掉换行符(\n),strip(),去掉头尾空行

数据去重:

（1）在scrapy中已经能做到url链接去重

（2）布隆过滤器(BloomFilter,原理和哈希基本一样)

（3）存数据库的时候先查询(如果不存)在再插入

（4）在数据中增加一个唯一索引字段，这个字段是某个字段做哈希，这样可以达到减少内存，比如我爬二手车，车牌是一个唯一值，我把车牌做哈希变成一个唯一索引，这样重复数据就不能插入了

布隆过滤器:网页URL的去重，垃圾邮件的判别，集合重复元素的判别，查询加速（比如基于key-value的存储系统）等

数据上传:

只要清洗去从完毕以后,就可以直接上传到数据库中，方便其他人使用

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子