大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

数据仓库分为哪几层？

ODS层（临时存储层）：这一层做的工作是贴源，而这些数据和源系统的数据是同构，一般对这些数据分为全量更新和增量更新，通常在贴源的过程中会做一些简单的清洗，DW层（数据仓库层）：将一些数据关联的日期进行拆分，使得其更具体的分类，一般拆分成年、月、日，而ODS层到DW层的ETL脚本会根据业务需求对数据进行清洗、设计，如果没有业务需求，则根据源系统的数据结构和未来的规划去做处理，对这层的数据要求是一

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

数据仓库和数据库的区别

数据库的操作：一般称为联机事务处理OLTP（On-Line Transaction Processing），是针对具体的业务在数据库中的联机操作，具有数据量较少的特点，通常对少量的数据记录进行查询、修改。数据仓库的操作：一般称为联机分析处理OLAP（On-Line Analytical Processing），是针对某些主题的历史数据进行分析，支持管理决策。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下什么是数据仓库?

数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、且随时间变化的数据集合，用于支持管理决策数据仓库为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Hadoop中MapReduce的核心原理

MapRedce的核心原理：先拆分，后合并

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

大数据中计算的模型

离线计算、批处理：MapReduce、Spark Core、FlinkDataSet实时计算、流式计算：Storm、Spark Streaming、Flink DataStream

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下sqoop的作用？

sqoop是连接关系型数据库和Hadoop的桥梁，主要有两个方面导入(95%)和导出(5%)：将关系型数据库的数据导入到Hadoop相关的系统中，如hive和hbase将数据从Haoop系统中抽取并导入到关系型数据库中

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下sqoop的原理？

sqoop将导入或导出命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要对inputformat和outinput进行定制

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下Sqoop和其名字的由来？

Sqoop于2012年3月孵化出来，是一种在Hadoop和关系型数据库之间传输大量数据的工具，现已成为Apache顶级项目Sqoop名字的由来：SQL--Hadoop => Sq oop =Sqoop

0.0000

0

2

0

关注作者

收藏

liting李

神经网络是用于大数据的，要迭代那么多次是不是很浪费时间？

神经网络是用于大数据的，迭代很多次对计算机而言还能承受，其实计算机比较害怕的是大型数据以庞大内存的方式存储，这就变得比较麻烦。一旦涉及大型内存处理，目前的计算机不可能很大，这个要求很高，刚好迭代能解决内存问题，所以这不是问题，即使用于大数据，速度也是可以保证的。

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

简述一下什么是内存溢出和内存泄漏？

内存溢出 out of memory，是指程序在申请内存时，没有足够的内存空间供其使用，出现out of memory内存泄露 memory leak，是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄露危害可以忽略，但内存泄露堆积后果很严重，无论多少内存,迟早会被占光，最终导致out of memory

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

为什么Presto查询速度会比Hive快？

presto是常驻任务，接受请求立即执行，全内存并行计算，hive需要用yarn做资源调度，接受查询需要先申请资源，启动进程，并且中间结果会经过磁盘。

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Presto相比Hive有哪些优势？

Presto查询可以将多个数据源的数据进行合并分析Presto是一个低延迟高并发的内存计算引擎，相比Hive，它的执行效率要高很多

0.0000

0

6

0

关注作者

收藏

大魔王泛泛

简述Persto是什么？

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

简述Kudu包括哪些组件？

Kudu的主要组件包括TServer和TMaster（1） TServer：负责管理Tablet，tablet是负责一张表中某块内容的读写，接收其他TServer中leader tablet传来的同步信息。（2） TMaster：集群中的管理节点，用于管理tablet的基本信息，表的信息，并监听TServer的状态。多个TMaster之间通过Raft 协议实现数据同步和高可用。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

HBase的组件包括哪些？

HBase的主要组件包括Master，zookeeper，RegionServer，HDFS。（1）Master：用来管理与监控所有的HRegionServer，也是管理HBase元数据的模块。（2）zookeeper：作为分布式协调服务，用于保存meta表的位置，master的位置，存储RS当前的工作状态。（3）RegionServer：负责维护Master分配的region，regio

0.0000

0

7

0

关注作者

收藏

大魔王泛泛

Kudu和HBase的区别？

Kudu的设计有参考HBase的结构，也能够实现HBase擅长的快速的随机读写、更新功能。二者的结构差别不大，主要差别在于：Kudu不依赖Zookeeper，Kudu持久化数据不依赖HDFS而HBase依赖于Zookeeper和HDFS

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述什么是kudu？

kudu是一款介于hdfs和hbase之间的高速分布式列式存储数据库，兼具了hbase的实时性、hdfs的高吞吐，以及传统数据库的sql支持

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

怎样区分窄依赖和宽依赖？

RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作窄依赖跟宽依赖的区别是是否发生 shuffle(洗牌) 操作，宽依赖会发生 shuffle 操作窄依赖是子 RDD的各个分片(partition)不依赖于其他分片,能够独立计算得到结果宽依赖指子 RDD 的各个分片会依赖于父RDD 的多个分

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

简述什么是Kettle？

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

spark中checkpoint的作用

spark中的checkpoint机制主要有两种作用，一是对RDD做checkpoint，可以将该RDD触发计算并将其数据保存到hdfs目录中去，可以斩断其RDD的依赖链，这对于频繁增量更新的RDD或具有很长lineage的RDD具有明显的效果。另一种用途是用于Spark Streaming用于保存DStreamGraph及其配置，以便Driver崩溃后的恢复

0.0000

0

2

0

关注作者

收藏

<1…272829…75>

CDA考试动态

CDA报考指南