Spark-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

Spark中RDD和DataFrame的差异

Spark目前使用的主要数据结构是RDD和DataFrame。RDD是一个原创的概念，而DataFrame是后来引入的。RDD相对灵活。你可以在RDD结构上运行许多类型的转换与计算。然而，因为它太灵活了，所以很难对其执行进行优化。另一方面，DataFrame有一定的固定结构，能利用它来优化DataFrame数据集上的执行。但是，它不具备RDD的优点，主要是没有RDD的灵活性。RDD与DataFra

0.0000

0

4

0

关注作者

收藏

PGC123

PySpark与python的关系

Spark 集群中有驱动器（主节点）与工作节点两类计算机，当使用RDD执行PySpark程序时，在PySpark驱动器中 SparkContext 通过Py4j启动一个JVM，所有RDD最初转换都映射为Java中的PythonRDD对象。一旦这些任务被推送到spark任务节点PythonRDD对象就使用管道启动Python的子进程，发送代码到python中进行处理。

0.0000

0

3

0

关注作者

收藏

诗人都在海底

别跟风了！你的公司根本不需要数据科学家

数据科学家不是魔法师，当所需的数据不可得或者质量很差的时候，数据科学家能做的很有限，这已经超过了技术的范畴。企业管理者如果能从全局出发部署数据战略，才能真正解决当下数据科学家的痛点，这样数据科学家才能发挥作用解决公司的痛点。大约在四年前，数据科学家成为了每个公司的必须雇的人。技术人员争先恐后地甩掉在大学用的统计课本，花大量的时间重新学习Python Pandas和R，然后恶补最时髦的

0.0000

0

2

0

关注作者

收藏

291294878

spark streaming 读取kafka数据的两种方式

这两种方式分别是：Receiver-base使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写

0.0000

0

3

0

关注作者

收藏

291294878

spark集群运算的模式？

Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。standalone(集群模式)：典型的Mater/slave模式，不过也能

0.0000

0

6

0

关注作者

收藏

291294878

spark的七个参数分别是什么？

• num-executors：该作业总共需要多少executor进程执行建议：每个作业运行一般设置5-~100个左右较合适 • executor-memory：设置每个executor进程的内存， num-executors* executor-memory代表作业申请的总内存量（尽量不要超过最大总内存的1/3~1/2）建议：设置4G~8G较合适

0.0000

0

2

0

关注作者

收藏

291294878

如何理解spark核心-RDD？

Spark核心—RDD( Resilient Distributed Dataset 弹性分布式数据集模型)1.四个特征 – RDD使用户能够显式将计算结果保存在内存中，控制数据的划分 – 记录数据的变换和描述，而不是数据本身，以保证容错 – 懒操作，延迟计算，action的时候才操作 – 瞬时性，用时才产生，用完就释放2.四种构建方法 – 从共享文件

0.0000

0

6

0

关注作者

收藏

291294878

Spark RDD、DataFrame和DataSet的区别

RDD优点:1. 编译时类型安全，编译时就能检查出类型错误2. 面向对象的编程风格，直接通过类名点的方式来操作数据缺点:1. 序列化和反序列化的性能开销，无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.2. GC的性能开销，频繁的创建和销毁对象, 势必会增加GC DataFrameDataFrame引入了schema和off-heap• sche

0.0000

0

1

0

关注作者

收藏

291294878

Executor/Reciever的容错问题解决。

spark streaming可以通过多种方式作为数据sources（包括kafka），输入的数据通过executor中的receivers接收，复制后存储于spark中（为了faultolerance，默认复制到两个spark executors），如果数据复制完成，receivers可以知道，并通知kafka中更新offsets到zookeeper中。这样当receivers在接收数据过程中c

0.0000

0

1

0

关注作者

收藏

PGC123

python写的脚本语言可以直接在hadoop上运行吗

python写的脚本语言可以直接在hadoop上运行吗？我的意思是Python 写的脚本语言不经任何处理是否可以在Hadoop 上运行，还是说，需要将脚本进行mapreduce转化后才能运行，如果是转化，怎么转化，很难吗？首先由于python是应用于单机环境的，因此python脚本如果没有按照Hadoop的模式来编写、部署是不能直接在hadoop上运行的。 MapReduce是hadoo

17.3650

2

4

0

关注作者

收藏

<1…345

CDA考试动态

CDA报考指南