pandas怎么读取一个很大的文件？

热线电话：13121318867

PGC123

2018-10-24 阅读量: 895

pandas怎么读取一个很大的文件？

如果一个文件很大很大，pandas如何读取这个文件的数据？

处理很大的文件时，或找出大文件中的参数集以便于后续处理时，可以读取文件一小部分或者逐块对文件迭代读取。

如果只想读取几行（避免读取整个文件），通过nrows进行指定即可，语法如下：

import pandas as pd

pd.read_csv('some_file.csv',nrows=num) #num 是你要读取多少行，some_file.csv你要读取的文件

要逐块读取文件需要指定块 chunksize的大小，单位为行。

chunkers = pd.read_csv('some_file.csv',chunksize=num)#num每块多少行

返回的chunkers对象可以对其迭代，每次返回的就是一个chunksize行的整块，如

for chunker in chunkers:
  chunker                        #一块一块的读取

这样就可以用pandas处理大数据了

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子