大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

python的append作用

append() 方法用于在列表末尾添加新的对象。

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

python 中的range

range也是左闭右开吗

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Python中：的用法

在一行代码中的最后使用：代表下一行缩进

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

input前面是有数值判断的时候加float吗

是的，因为input函数输出的是字符串，如果要和数值型变量进行比较或者聚合运算，需要提前转换数据类型

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Python中or和and的区别

or 或者前边和后边的条件，哪个满足都可以有一个为true结果即为trueand 并且前边和后边的条件必须都满足，才可以，必须都为true结果才为true

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Python中print函数中中逗号和加号的区别

加号：两边只能是相同数据类型，在Python中主要是运算符的存在逗号 , ：逗号更多的代表用空格的连接

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

Python中 is和==分别针对什么情况的

is 比较的是两个实例对象是不是完全相同，它们是不是同一个对象，占用的内存地址是否相同== 是比较两个对象的内容是否相等，即两个对象的“值“”是否相等，不管两者在内存中的引用地址是否一样。

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

Flink在使用Window时出现数据倾斜

1. 重新设计key 2. 在窗口计算前做预聚合

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下 Flink中的内存管理

Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法每条记录都会以序列化的形式存储在一个或多个MemorySegment中

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

简述一下Flink的容错机制

Flink基于分布式快照与可部分重发的数据源实现了容错用户可自定义对整个Job进行快照的时间间隔，当任务失败时，Flink会将整个Job恢复到最近一次快照，并从数据源重发快照之后的数据

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Flink中的数据传输模式是怎么样的？

在一个运行的application中，它的tasks在持续交换数据TaskManager负责做数据传输TaskManager的网络组件首先从缓冲buffer中收集records，然后再发送。也就是说，records并不是一个接一个的发送，而是先放入缓冲，然后再以batch的形式发送。这个技术可以高效使用网络资源，并达到高吞吐。类似于网络或磁盘 I/O 协议中使用的缓冲技术。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Flink是如何做到批处理与流处理统一的？

批处理是流处理的一种非常特殊的情况在流处理中，我们为数据定义滑动窗口或滚动窗口，并且在每次窗口滑动或滚动时生成结果批处理则不同，我们定义一个全局窗口，所有的记录都属于同一个窗口

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

什么是负载均衡？

负载均衡，是一种计算机技术，用来在多个计算机（计算机集群）、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

ZooKeeper是如何进行统一配置管理的

应用程序分布式的部署在不同的机器上，将程序的配置信息放在zk的znode下，当有配置发生改变时，也就是znode发生变化时，可以通过改变zk中某个目录节点的内容，利用watcher通知给各个客户端，从而更改配置，将所有的配置文件都放在一个父节点下面，创建一个持久化节点，程序中只需要读取各自的配置文件信息即可，同时监听配置节点内容的修改，一旦内容修改就重启服务等系列的操作，实现了统一配置文件的处理

6.6528

1

3

0

关注作者

收藏

大魔王泛泛

简述一下什么是数据埋点？

所谓埋点是数据领域的专业术语，也是互联网应用里的一个俗称。它的学名应该叫做事件追踪，主要是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程

6.6528

1

3

0

关注作者

收藏

大魔王泛泛

我们在哪些场景中会出现数据倾斜？

Hive算数据的时候reduce阶段卡在99.99%SparkStreaming做实时算法时候，一直会有executor出现OOM的错误，但是其余的executor内存使用率却很低

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

ZAB 和 Paxos 算法的区别？

（1）两者都存在一个类似于 Leader 进程的角色，由其负责协调多个 Follower 进程的运行（2）Leader 进程都会等待超过半数的 Follower 做出正确的反馈后，才会将一个提案进行提交（3）ZAB 协议中，每个 Proposal 中都包含一个 epoch 值来代表当前的 Leader周期，Paxos 中名字为 Ballot（4）ZAB 用来构建高可用的分布式数据主备系统（Z

6.6528

1

0

0

关注作者

收藏

大魔王泛泛

ZooKeeper节点宕机如何处理？

Zookeeper 本身也是集群，推荐配置不少于 3 个服务器Zookeeper 自身也要保证当一个节点宕机时，其他节点会继续提供服务如果是一个 Follower 宕机，还有 2 台服务器提供访问，因为 Zookeeper 上的数据是有多个副本的，数据并不会丢失；如果是一个 Leader 宕机，Zookeeper 会选举出新的 LeaderZK 集群的机制是只要超过半数的节点正常，集群就能正

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

分布式集群中为什么会有 Master？

在分布式环境中，有些业务逻辑只需要集群中的某一台机器进行执行，其他的机器可以共享这个结果，这样可以大大减少重复计算，提高性能，于是就需要进行leader 选举。

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Zookeeper 是如何保证事务的顺序一致性的

zookeeper 采用了全局递增的事务 Id 来标识，所有的 proposal 都在被提出的时候加上了 zxid，zxid 实际上是一个 64 位的数字，高 32 位是 epoch 用来标识 leader 周期，如果有新的 leader 产生出来，epoch会自增，低 32 位用来递增计数。当新产生 proposal 的时候，会依据数据库的两阶段过程，首先会向其他的 server 发出事务执行请

0.0000

0

2

0

关注作者

收藏

<1…232425…75>

CDA考试动态

CDA报考指南