热线电话：13121318867

登录
首页精彩阅读Hadoop文件系统
Hadoop文件系统
2017-06-06
收藏

Hadoop文件系统

Hadoop是用Java写的，本小节要深入探索Hadoop的FileSystem类，与Hadoop的某一文件系统进行交互的API。虽然主要关注的是HDFS的实例，即DistributedFileSystem，但总体来说，还是应该集成FileSystem抽象类，并编写代码，以保持其在不同文件系统中的可移植性。这对测试用户编写的程序非常重要，例如，用户可以使用本地文件系统中的存储数据快速进行测试。

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中的一个文件系统接口，并且该抽象类有几个具体实现，见表5-1。

Hadoop对文件系统提供了许多接口，它一般使用URI方案来选取合适的文件系统实例进行交互。举例来说，在前一小节中遇到的文件系统命令行解释器可以操作所有的Hadoop文件系统命令。要想列出本地文件系统根目录下的文件，可以输入以下命令：

%Hadoop fs-ls file:///

尽管运行的MapReduce程序可以访问任何文件系统（有时也很方便），但在处理大数据集时，仍然需要选择一个具有数据本地优化的分布式文件系统，如HDFS或KFS。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

Hadoop HDFS 大数据

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇回归系列（一）| 怎样正确地理解线性回归
下一篇2020美国总统竞选大戏开锣，川普当选的奇迹会再发生吗？
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询