Spark-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

pyspark创建RDD的方法有哪些？

pyspark创建RDD的方法有哪些？答：pyspark创建RDD有两种方法:一、parallelize(...) 集合（元素list 或array）二、使用外部数据源创建使用外部文件创建 data_in_file = sc.textFile('in_data.csv',2)

0.0000

0

3

0

关注作者

收藏

PGC123

DataFrame转Dataset

DataFrame如何转Dataset？答：方法如下在给出每一列的类型后，使用as方法，转成Dataset，这在数据类型是DataFrame又需要针对各个字段处理时极为方便import spark.implicits._case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型val testDS =

0.0000

0

1

0

关注作者

收藏

PGC123

Dataset转DataFrame

Dataset转DataFrame？答：这个比较简单，因为只是把case class封装成Row，这里也用到了隐式转换。import spark.implicits._val testDF = testDS.toDF

0.0000

0

3

0

关注作者

收藏

PGC123

RDD转Dataset？

RDD如何转Dataset？答：定义每一行的类型（case class）时，需要给出字段名和类型，后面只要往case class里面添加值即可import spark.implicits._case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型val testDS = rdd.map {line=>

0.0000

0

1

0

关注作者

收藏

PGC123

RDD如何转成DataFrame?

spark2 中如何将RDD如何转成DataFrame?答：可以使用隐式转换来实现，代码如下所示：import spark.implicits._val testDF = rdd.map{ line=>(line._1,line._2) }.toDF("col1","col2")

0.0000

0

2

0

关注作者

收藏

PGC123

spark中Dataframe 如何转 RDD？

spark中Dataframe 如何转 RDD？答：这个转换很简单#dataframe 转 rddval rdd1=testDF.rdd#dataset 转 rddval rdd2=testDS.rdd

0.0000

0

4

0

关注作者

收藏

PGC123

初始化pyspark失败，连接不到master

初始化pyspark失败，连接不到master,报错信息如下：答：连接spark主节点失败，通过日志可以发现spark集群需要启动的，可以排查一下是不是spark集群没有启动？

0.0000

0

1

0

关注作者

收藏

PGC123

在运行pyspark的时候初始化sc失败

在运行pyspark的时候初始化sc失败，报错如下所示：19/01/30 15:42:55 ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 466092032 must be at least 471859200. Please incre

0.0000

0

5

0

关注作者

收藏

PGC123

如何使用Scala初始化spark1.6

如何使用Scala初始化spark1.6？一直使用spark-shell sc都是初始化好的，那怎么用代码一点一点初始化sc呢？答：sc是spark程序的入口，只有初始化sc一个spark程序才能运行，经典的初始化代码如下：import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}ob

0.0000

0

4

0

关注作者

收藏

PGC123

pyspark中调用jieba，显示没有那个包

pyspark中调用jieba，显示没有那个包。local模式运行没问题，但是使用standalone模式运行的时候显示import jieba 错误，这是啥原因？答：由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点

0.0000

0

4

0

关注作者

收藏

PGC123

import jieba报错

已经通过 sudo python setup.py install 来离线安装jieba 为啥 import jieba报错？答：我猜测你应该是在Linux系统中又安装了一个python环境.并且将新安装的python添加到了当前用户（非root用户）的环境变量中。安装的时候使用了sudo命令，因此你是调用的系统中原来的python环境安装的，但是使用的时候却是调用的当前用户的python

0.0000

0

1

0

关注作者

收藏

PGC123

spark的启动流程是啥？

spark的启动流程是啥？主要是指启动顺序答：启动spark使用start-all.sh命令，start-all.sh执行了两个脚本分别是【start-master.sh】和【start-salves.sh】【start-all.sh】->【start-master.sh】和【start-salves.sh】 ->【spark-daemon.sh】(org.apache.spark.d

0.0000

0

3

0

关注作者

收藏

PGC123

spark中driver的作用？

spark中driver的作用是什么？答：driver:I.串联各个算子操作:DAG:有向无环图II.拆分各个stage阶段III.部分功能相当于yarn中的applicationmasterdagscheduler:是driver中的一个组件，执行II操作：拆分各个stage阶段taskscheduler:是driver中的一个组件，执行III操作：部分功能相当于ap

0.0000

0

0

0

关注作者

收藏

PGC123

spark 四大特性是什么？

spark 四大特性是什么？答：a.快速性b.简单易用性 c.通用性d.处处运行

0.0000

0

1

0

关注作者

收藏

PGC123

Spark中RDD的transformation操作是啥策略

Spark中RDD的transformation操作采用了（）策略？答;spark RDD有两种操作： transformation 与action。其中transformation并不直接计算而是采取延迟策略，只记录rdd的转换依赖，当有action操作时才真正计算处理数据。

2.9470

1

0

0

关注作者

收藏

PGC123

spark是基于什么技术的大数据框架

有道题是这样：spark是基于什么技术的大数据框架？答：spark与hadoop2中的mapreduce计算框架的一个不同之处是spark基于内存来存运算过程的中间结果，这是spark框架运算速度快于mapreduce2的一个原因。

0.0000

0

3

0

关注作者

收藏

PGC123

如何构建图模型

以HDFS上master:9000/ graphdata.txt中的数据创建图，其中sc为SparkContext的实例，graphdata.txt文本格式：121256 132156 GraphX中能够实现上述功能的核心代码为答：val graphhdfs = GraphLoader.edgeListFile(sc,"hdfs://master:9000/graphdata.txt")

0.0000

0

2

0

关注作者

收藏

byd711122

分布式集群搭建完成后，启动spark报错，请教！

分布式集群搭建完成后，Hadoop正常启动，启动spark报错如下：hduser@master:~$ /home/hduser/spark/sbin/start-all.shstarting org.apache.spark.deploy.master.Master, logging to /home/hduser/spark/sbin/../logs/spark-hduser-org.apa

0.0000

0

6

0

关注作者

收藏

PGC123

pyspark如何创建RDD

PySpark 如何创建RDD呢？PySpark中有两种方法可以创建RDD：1、使用parallelize(...) 通过传入python集合创建，如：list或array。第二个参数可以是分区数。2、也可以引用文件（本地或者外部文件如HDFS等）data_from_file = sc.textFile(path,p_num) ,其中path是文件路径，p_num是分区数。

0.0000

0

5

0

关注作者

收藏

PGC123

RDD分区是什么？

RDD 内部的数据集合在逻辑上和物理上被划分成多个小子集合，这样的每一个子集合我们将其称为分区，分区的个数会决定并行计算的粒度，而每一个分区数值的计算都是在一个单独的任务中进行，因此并行任务的个数，也是由 RDD分区的个数决定的。

0.0000

0

2

0

关注作者

收藏

<1…345>

CDA考试动态

CDA报考指南