大魔王泛泛

2020-02-20   阅读量: 938

大数据

HDFS上小文件过多带来的影响

扫码加入数据分析学习群

1. 内存占用 每个小文件都会在namenode中存有相应的元数据信息.如果每一个文件的元数据信息占用内存100byte,那么有10万个小文件, 就占用了namenode10G的内存空间

2. 数据查询慢 小文件过多也会影响系统的查询速度

3. 浪费资源 在hadoop上进行数据计算时,每一个小文件都要对应一个task, 而每一个task启动阶段会耗费大量的时间在任务资源申请和释放上

添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
0.0000 0 2 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子