大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

简单的描述一下hbase 与 hive 的区别

简单的描述一下hbase 与 hive 的区别是什么?答：Hbase(Hadoop database) Hbase是基于Hadoop的数据库，他的特点是基于列式存储，非常适合稀疏矩阵数据的存储，而且hbase对小数据量的随机查询也很擅长，实时性很高。Hive 是一种运行在大数据平台上的数据仓库工具，他可以将SQL语句转换为mpareduce或者spark的作业，非常适合批量数据的查询计算工

0.0000

0

3

0

关注作者

收藏

PGC123

python 中map函数传入多个序列参数会怎样？

根据python 中map函数文档介绍，map可以传入多个序列参数，如果传入了要怎么处理？答：map 函数如果被传入多个序列参数的时候，map第一个参数传入的函数会获得多个参数，如下所示data = [1,2,3,4,5,6]map(lambda x,y,z:(x,y,z),data,data,data)#传入3个序列参数，则lambda匿名函数u一次可获得三个参数[(1, 1, 1)

0.0000

0

5

0

关注作者

收藏

PGC123

python 中map函数报错

python 中map函数报错：报错信息如下答：这是参数传错导致的，map函数的第二个参数需要是可迭代的，map函数的文档做了如下介绍Docstring:map(function, sequence[, sequence, ...]) -> listReturn a list of the results of applying the function to the item

0.0000

0

2

0

关注作者

收藏

PGC123

Cenos7如何设置时间同步？

Centos7是安装在虚拟机中的，每次启动之后发现时间跟实际的有偏差，如何对时间做同步呢？答：可以使用ntp 服务来实现时间同步的功能。首先安装ntp sudo yum install ntp将ntp 设置为开机自启动sudo ystemctl enable ntpd修改启动参数sudo vi /etc/sysconfig/ntpd启动NTP服务sudo service n

0.0000

0

1

0

关注作者

收藏

PGC123

spark 如何解决task过多的情况？

task过多，原因是分区的问题。我们应该从分区入手，是输入的小文件太多，还是本来就会有大数据量。在分区过多时，限定分区个数看看性能是否提高，也可以在filter等操作后对分区进行一定缩减。大量使用shuffle操作使task增加(这个应该不是本问题原因，但是我们应该考虑这也是让task增加的原因)，这样会完成多个stage串行会降低效率。当我们真的无法避免这么多task时候，我们应该用最佳的参

42.8571

1

2

0

关注作者

收藏

PGC123

spark 分区数是怎么设定？

spark 分区数是怎么设定？答：如果在spark-default.conf中没有显示设置的话。会按照不同模式给不同的默认分区数。(spark.default.parallelism)对于local[N]模式，因为开辟了N个线程，所以有N个core，也就默认分区为N。如果单用local那么只会开起一个分区。如果是伪分布模式，local-cluster[x,y,z] 那么默认分区是x＊y，x

0.0000

0

1

0

关注作者

收藏

PGC123

Stage卡住问题

spark运行正常，某一个Stage卡住，停止不前异常分析异常说明spark提交任务后，前N个Stage运行顺利，到达某一个Stage后，卡住，通过spark界面可以看到，executor运行正常，卡住的Stage的task已经分配至executor，但duration time一直增加，task却不结束，同时log中也无异常报出。解决方案：1、分析没有异常说明程序本身没有问题，框架运行也

0.0000

0

3

0

关注作者

收藏

PGC123

spark中的job与mapreduce中job的区别？

spark中的job与mapreduce中job的区别？答：熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task.而在Spark中，也有Job概念，但是这里的Job和Mapreduce中的Job不一样，它不

42.8571

1

0

0

关注作者

收藏

PGC123

spark 中的driver的作用是什么？

spark 中的driver的作用是什么？答：Spark中的driver感觉其实和yarn中Application Master的功能相类似。主要完成任务的调度以及和executor和cluster manager进行协调。有client和cluster联众模式。client模式：driver在任务提交的机器上运行，cluster模式：会随机选择机器中的一台机器启动driver。我们

0.0000

0

2

0

关注作者

收藏

PGC123

spark 中的Application是啥？

spark 中的Application代表哪块？答：application（应用）其实就是用spark-submit提交的程序。比方说spark examples中的计算pi的SparkPi。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD；通过RDD的transformation和action进行计算；将结果输出到

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答： Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler

0.0000

0

1

0

关注作者

收藏

PGC123

如何将python对象序列化？

如何将python对象序列化？答：可以使用python提供的pickle包来实现对象的序列化。首先，我们尝试把一个对象序列化并写入文件：In [1]: import pickleIn [2]: ls = [1,2,3,4,5,6,7]In [3]: pickle.dumps(ls)Out[3]: b'\x80\x03]q\x00(K\x01K\x02K\x03K\x04K\x

0.0000

0

4

0

关注作者

收藏

PGC123

什么是python的序列化？

什么是python的序列化？答：在程序运行的过程中，所有的变量都是在内存中，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。下次运行程序代码还是最初的样子。我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。序列化之后，就可以把

0.0000

0

2

0

关注作者

收藏

PGC123

宽依赖窄依赖的关系

宽依赖窄依赖的关系答：相比于宽依赖，窄依赖对优化很有利，主要基于以下两点：宽依赖往往对应着Shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。当RDD分区丢失时（某个节点故障），Spark会对数据进行重算对于窄依赖，由于父RD

42.8571

1

1

0

关注作者

收藏

PGC123

什么是宽依赖？

什么是宽依赖？答：是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区（O(n),与数据规模有关）

0.0000

0

3

0

关注作者

收藏

PGC123

什么是窄依赖？

什么是窄依赖？答：在spark中指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区（O(1)，与数据规模无关）

6.8407

1

0

0

关注作者

收藏

PGC123

如何修改python列表的元素值？

如何修改python列表的元素值？答：修改列表的元素值可以通过索引的方式实现例如列表如下：ls = [1,2,3,4,5,6,7,8]想将其中的8改为9可以这样：ls[-1] = 9 # -1 代表选择最后一位

0.0000

1

6

0

关注作者

收藏

PGC123

python中partition()的用法？

python中partition()的用法？答：partition 是python字符串的内置方法，通过给定字符将字符串分成一个三元组。语法partition()方法语法： str.partition(str)参数str : 指定的分隔符。返回值返回一个3元的元组，第一个为分隔符左边的子串，第二个为分隔符本身，第三个为分隔符右边的子串。

0.0000

0

0

0

关注作者

收藏

PGC123

如何实现装饰器函数？

如何实现装饰器函数？答：现在的python版本都支持使用@函数名来调用装饰器函数#装饰器函数def logging(level): def wrapper(func): def inner_wrapper(*args, **kwargs): print "[{level}]: enter function {func}()".format

0.0000

0

6

0

关注作者

收藏

PGC123

python中的装饰器是什么？

python中的装饰器是什么？答：python中的装饰器装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能。装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。

34.4116

2

0

0

关注作者

收藏

<1…565758…75>

CDA考试动态

CDA报考指南