大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

简述一下什么是ZAB协议？

ZAB 协议是为分布式协调服务 Zookeeper 专门设计的一种支持崩溃恢复的原子广播协议

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下ZooKeeper的文件系统

Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper 为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种特性使得 Zookeeper 不能用于存放大量的数据，每个节点的存放数据上限为1M。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

ZooKeeper对于分布式应用程序的作用？

分布式应用程序可以基于 Zookeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下什么是ZooKeeper？

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下Flink的组件有哪些？

Client: 连接Job Manager,提交Job到Job ManagerJob Manager : 调度Task Manager处理Job，及时保存检查点Task Manger: 处理Job Manager分配的job。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下什么是流数据？

流数据指的就是不断增长的数据，本质上是无限大小的，简单理解，数据像流水一样进来，无法预测下次进来的数据，其特点是处理时会被一点一点的处理，而不是一次处理整个数据。

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

简述一下什么是Flink？

Apache Flink 是一个分布式处理引擎，在有界或无界数据流上进行有状态的计算flink可以在所有通用的集群环境上运行，并且可以以内存级的速度进行大批量的计算

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

RPC 的调用分为几种方式？

1. 同步调用：客户方等待调用执行完成并返回结果。户方等待调用执行完成并返回结果。2. 异步调用：客户方调用后不用等待执行结果返回，但依然可以通过回调通知等方式获取返回结果，若客户方不关心调用返回结果，则变成单向异步调用，单向调用不用返回结果。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

RPC的主要功能是什么？

RPC 的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下什么是RPC?

RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

HDFS中fsimage和edit的区别？

fsimage是保存最新的元数据的信息，当fsimage数据到一定的大小时就会去生成一个新的文件来保存元数据的信息，这个新的文件就是edit，edit会回滚最新的数据。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Storm的特点是什么？

编程简单：开发人员只需要关注应用逻辑，而且跟Hadoop类似，Storm提供的编程原语也很简单高性能，低延迟：可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景。分布式：可以轻松应对数据量大，单机搞不定的场景可扩展：随着业务发展，数据量和计算量越来越大，系统可水平扩展容错：单个节点挂了不影响应用消息不丢失：保证消息处理

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

storm怎么实现单词计数的？

单词计数topology由一个spout和三个bolt组成。spout 动态的接受数据源信息。语句分割bolt:将每个句子分割成单词单词技术bolt:把语句分割的bolt的输出作为输入，统计每个单词的数量

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Spark中的AppClient是什么？

AppClient是Application和Master交互的接口它的包含一个类型为org.apache.spark.deploy.client.AppClient.ClientActor的成员变量actor它负责了所有的与Master的交互

0.0000

0

8

0

关注作者

收藏

大魔王泛泛

Spark中的SparkContext的作用？

SparkContext是用户应用和Spark集群的交换的主要接口，用户应用一般首先要创建它如果你使用SparkShell，你不必自己显式去创建它，系统会自动创建一个名字为sc的SparkContext的实例SparkContext会设置一些配置信息，比如executor使用到的memory的大小，core数量等

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark中driver的作用？

driver首先会向集群管理者（standalone、yarn，mesos）申请spark应用所需的资源，也就是executor，然后driver进程会将我们编写的spark应用代码拆分成多个stage，每个stage执行一部分代码片段，并为每个stage创建一批tasks，然后将这些tasks分配到各个executor中执行

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark集群中的节点是指什么？

spark集群的节点是指集群中的每一台机器

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark中的并行度是怎样计算的？

并行度 = Executor数目 * 每个Executor核数

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark中的Executor是什么？

Executor由若干core组成，每个Executor的每个core一次只能执行一个Task，这里的core是虚拟的core而不是机器的物理CPU核，可以理解为就是Executor的一个工作线程而Executor可以理解为一个进程

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Spark中的task是由谁去执行的？

每个task会被分配到集群上的一个节点的一个Executor去执行。

0.0000

0

6

0

关注作者

收藏

<1…242526…75>

CDA考试动态

CDA报考指南