2020-04-20
阅读量:
2783
SparkContext和SparkSession有什么区别
SparkContext、SparkSession是对Spark计算集群的一个连接，当我们通过shell启动Spark时，会默认创建，如SparkContext会默认创建一个命名为sc的实例
SparkContext是使用spark功能的入口点，主要用于创建和操作RDD
SparkSession是Spark2.x后引入的概念，在2.x之前，对于不同的功能，需要使用不同的Context
如：创建和操作RDD时，使用SparkContext
使用Streaming时，使用StreamingContext
使用SQL时，使用sqlContext
使用Hive时，使用HiveContext
在2.x中，为了统一上述的Context，引入SparkSession，SparkSession内部封装了sparkContext，所以计算实际上是由sparkContext完成的
21.5040
3
1
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论