格式化hdfs 的时候报错java.io.FileNotFoundException: master (No such file or directory)at java.io.FileInputStream.open0(Native Method)at java.io.FileInputStream.open(FileInputStream.java:195)at java.io.
NameNode的启动过程是啥？答：NameNode的启动过程如下：1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。2）客户端对元数据进行增删改的请求3）namenode记录操作日志，更新滚动日志。4）namenode在内存中对数据进行增删改
HDFS读数据流程是啥？答：读数据流程是这样的：1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。4）客户端以packet为单位接收，先在本地缓存，然后
HDFS的写数据流程是啥？答：HDFS写数据的流程如下：1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，dn1收到请求会
在创建文件的时候提示Permission denied错误hduser@master:~$ HADOOP_USER_NAME=hive hdfs dfs -mkdir test_usermkdir: Permission denied: user=hive, access=WRITE, inode="/user/hive":hduser:supergroup:drwxr-xr-x答:这是
如何更改hdfs文件属性？答：更改hdfs文件系统与更改Linux文件系统一样，只是命令前面加 - 符号。 -chgrp 、-chmod、-chown： 修改文件所属权限#更改文件属性hadoop fs -chmod 666 /hello.txt #更改文件属组hadoop fs -chgrp somegrp hdfs_dir#更改文件拥有者hadoop
可以在客户端中指定登录hdfs身份吗？答: 在命令行中并不能指定用户，登录身份只能通过宿主操作系统来给出。对类Unix系统来说， 用户名等于whoami； 组列表等于bash -c groups。 不管怎样，用户身份机制对HDFS本身来说只是外部特性。HDFS并不提供创建用户身份、创建组或处理用户凭证等功能。
向HDFS中的某个文件末尾追加文件方法是啥？答：向HDFS文件文件尾追加内容可以使用如下的命令：hdfs dfs -appendToFile localfile hdfsfilelocalfile:本地文件hdfsfile:hdfs上的文件
如何将本地文件剪切到HDFS文件系统中？答：剪切本地文件到HDFS可以使用如下命令：hadoop fs -moveFromLocal localfile HDFS_dir其中 localfile:本地文件HDFS_dir:HDFS文件系统中的目录
HDFS中的块是什么作用？答：HDFS中的文件在物理上是分块存储（block），HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。
HDFS中的块如何设置？答：块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M 。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块
hdfs的框架结构有哪些？都是干啥的？答：HDFS集群包括，NameNode和DataNode以及Secondary Namenode。1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。2）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。3）Secondary NameNode用来监控HDFS状
hdfs 的适用场景是 什么？答：HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。
答：HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
shuffle中的Collect过程怎么理解？答：Collect过程是这样的：每个 Map 任务不断地以对的形式把数据输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存空间， 在内存中放置尽可能多的数据。 这个数据结构其实就是个字节数组， 叫 Kvbuffer， 名如其义， 但是这里面不光放置了数据， 还放置了一些索引数据， 给放置索引数据的区域起了一个 Kvme
mapreduce 的shuffle有个 spill，这个过程是怎样的？答： Spill 过程包括输出、 排序、 溢写、 合并等步骤， 如图所示：
Shuffle过程是啥样？答：从 Map 输出到 Reduce 输入的整个过程可以广义地称为 Shuffle。 Shuffle 横跨 Map 端和 Reduce 端， 在 Map 端包括 Spill 过程， 在 Reduce 端包括 copy 和 sort 过程， 如图所示：
为什么 MapReduce 计算模型需要 Shuffle 过程？ 答：我们都知道 MapReduce 计算模型一般包括两个重要的阶段： Map 是映射， 负责数据的过滤分发； Reduce 是规约， 负责数据的计算归并。 Reduce 的数据来源于 Map， Map 的输出即是 Reduce 的输入， Reduce 需要通过 Shuffle 来获取数据。
mapreduce 的 shuffle是啥意思？答：Shuffle 的本义是洗牌、 混洗， 把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。 MapReduce 中的 Shuffle 更像是洗牌的逆过程， 把一组无规则的数据尽量转换成一组具有一定规则的数据。
mapreduce 适合做哪些工作？目前来说mapreduce的应用场景有哪些？是不是一点用也没了？答：用mapreduce计算框架开发代码难度较高，因此适用于业务变化不是特别大的场景，一套代码可以使用很久。还有一点，mapreduce相较于目前基于内存的计算框架如spark、flink来说他的运算速度比较慢，因此那些对实时性要求不高的场景也可以用。因为对内存要求不高，硬件成本相对来说会低
上一页123…4>
关注
换一批
