大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

结构化数据、半结构化数据和非结构化数据的区别？

结构化数据：是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理非结构化数据：是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据, 包括所有格式的办公文档、文本、图片、HTML、各类报表、图像和音频/视频信息等半结构化数据：是结构化数据的一种形式，虽不符合关系

50.0000

1

3

0

关注作者

收藏

PGC123

如何显示系统隐藏文件？

如何显示系统的隐藏文件？答：操作系统一般会把比较重要的文件设置为隐藏文件，这样的目的是防止对计算机不了解的小伙伴手误修改或删除相关内容，导致系统错误。那我们如何查看隐藏的文件呢？y对于不同的操作系统而言，有着不同的开启方式，下面分别讲解一下。windows7系统首先打开一个文件夹，按照下图提示依次点击组织->文件夹和搜索选项在弹出的对话框中选择查看->高级设置里

3.3552

1

0

0

关注作者

收藏

大魔王泛泛

什么是ETL？

ETL用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

什么是窗口函数？

窗口函数，也称为分析函数，窗口函数与分组聚合函数类似，但是每一行数据都生成一个结果

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

yarn包括哪些组件？

Client：负责提交应用程序ResourceManager：全局的资源管理器ApplicationMaster：在yarn上运行的应用程序实例对象NodeManager：负责各个节点的资源管理和使用Container：是一个容器相当于yarn对资源的抽象, 封装各个节点上的内存,cpu,磁盘,网络等资源

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

hadoop中的yarn是什么?

Yarn是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

hive和hbase的数据存放在哪里？

默认情况下 hive 和 hbase 的存储层都是 HDFS, 但hbase 在一些特殊的情况下也可以直接使用本地的文件系统

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

hbase适合做实时查询吗？

hbase 适合用来进行大数据的实时查询，如 Facebook 用 hbase 进行消息和实时的分析。

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

hive适合做实时查询吗？

hive不适合实时的查询（hive 的设计目的，也不是支持实时的查询)，因为它需要很长时间才可以返回结果

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

hive的应用场景什么?

hive 适合用来对一段时间内的数据进行分析查询，如计算趋势或者网站的日志

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

hive和hbase的区别

hive和hbas不同的数据仓库，hive是一种类SQL的引擎，并且运行MapReduce任务，hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

RDD中关于transformation与action

transformation会生成新的RDD，而后者只是将RDD上某项操作的结果返回给程序，而不会生成新的RDD;无论执行了多少次transformation操作，RDD都不会真正执行运算(记录lineage)，只有当action操作被执行时，运算才会触发

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

什么是SparkCore？

将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

spark为什么会比Mapreduce快？

1.内存迭代2.RDD设计3.算子的设计

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

spark中窄依赖的函数有哪些

map, filter, union, join, mapPartitions, mapValues

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

spark在什么场景比不上MapReduce?

Spark 在内存中处理数据，需要很大的内存容量。如果 Spark 与其它资源需求型服务一同运行在YARN 上，又或者数据块太大以至于不能完全读入内存，此时 Spark 的性能就会有很大的降低，此时Spark可能比不上MapReduce。当对数据的操作只是简单的ETL的时候，Spark比不上MapReduce

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

spark中数据的位置是被谁管理的？

每个数据分片都对应具体物理位置，数据的位置是被blockManager，无论数据是在磁盘，内存还是tacyan，都是由blockManager管理

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

spark中driver是什么？

一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责向集群申请资源，生成Stage并调度Task到Executor上

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

为什么要进行序列化?

序列化可以减少数据的体积，减少存储空间，高效存储和传输数据

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

map和flatmap的区别？

map：对rdd每个元素转换，文件中每一行的数据返回一个数组对象flatmap:对rdd每个元素转换，然后再扁平化将所有对象合并成一个对象

0.0000

0

2

0

关注作者

收藏

<1…293031…75>

CDA考试动态

CDA报考指南