pandas之分块读取数据，题目详情见正文

yuechuchen

2020-04-30 阅读量: 4486

如果待读入的数据量过大，可以分块读取数据，num表如下：

要求分段读取数据，第一次读取第一行记录，第二次读取第二行和第三行记录，第三次读取剩下所有记录，实现效果如下：

参考代码：

list1 = [["第一分公司","第二分公司",]
         ,["销售部","市场部","行政部"]]
index = pd.MultiIndex.from_product(list1, names=['公司', '部门'])
df = pd.DataFrame({"姓名":["Allen","Lucy","Tom","Alice","Tim","Lily"],"工龄":np.random.randint(1,5,6)
                  ,"入职日期":["2017-01-30","#","2019-07-21","2020-04-02","-","2017-05-12"]},index = index)
df.to_csv('num.csv',index=False)
df1 = pd.read_csv('num.csv',iterator=True)
df1.get_chunk(1)

df1.get_chunk(2)

df1.get_chunk(3)

代码效果：