sparkSQL是什么，如何理解？-CDA数据分析师官网

sparkSQL是什么，如何理解？

2020-08-11

一、spark SQL简介

spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。

要想了解spark SQL来源，必须要知道Shark。

Shark也就是Hive on Spark，Shark在HiveQL方面重用了Hive里HiveQL的解析、逻辑执行计划、翻译执行计划优化等逻辑，通过Hive中HiveQL解析，把HiveQL翻译成Spark上的RDD操作。Shark的设计导致了两个问题：

(1)执行计划优化完全依赖于Hive，对于添加新的优化策略很是不便;

(2)Spark是线程级并行，而MapReduce是进程级并行。Spark在兼容Hive的实现上存在线程安全问题，因而使得Shark必须使用另外一套独立维护的打了补丁的Hive源码分支;

Spark团队在汲取了shark的优点基础上，重新设计了spark SQL，使spark SQL在数据兼容、性能优化、组件扩展等方面有很大的提升

二、spark SQL特点

1.数据兼容：支持从Hive表、外部数据库(JDBC)、RDD、Parquet 文件、以及JSON 文件中获取数据;

2.组件扩展：SQL 语法解析器、分析器、优化器都能够重新定义;

3.性能优化：内存列存储、动态字节码生成等优化技术，内存缓存数据;

4.多语言支持：Scala、Java、Python;

三、 DataFrame

1.DataFrame让Spark具备了处理大规模结构化数据的能力，比起原有的RDD转化方式，更加简单易用，而且计算能力也有显著提高。

RDD是分布式的Java对象的集合，但是，RDD对于对象内部结构并不可知。

DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息。

Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。

2.创建DataFrame

import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder().getOrCreate()
//是支持RDDs转换为DataFrames及后续sql操作
import spark.implictis._
val df = spark.read.json("file://usr/local/spark/examples/src/main/resources/people.json")
df.show()
//打印模式信息
df.printSchema()
df.select(df("name"), df("age")+1).show()
//分组聚合
df.groupBy("age").count().show()

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

spark SQL Hive sparkSQL RDD DataFrame

数据分析咨询请扫描二维码

上一篇你需要掌握这3种窗口函数

下一篇手把手教你用echarts实现柱形图的闪烁效果

sparkSQL是什么，如何理解？

CDA考试动态

CDA报考指南

热门栏目

最新资讯

如何选择适合的数据分析书籍

数据分析必学的工具与软件

数据分析的职业发展前景

数据分析技能对职业发展的影响

数据分析能力提升的案例分析

数据分析培训的最佳学习时间

数据分析入门必备技能

数据分析师的日常工作内容

数据分析师就业机会与挑战

数据分析师需要学习的机器学习课程

数据分析师要学习哪些数据可视化技术 ...

数据分析相关的数学知识

数据分析学习计划和时间管理

数据分析学习需要掌握的工具

数据分析专业课程与证书

提升数据分析能力的求职技巧

学习数据分析从哪些基础知识开始

DCMM认证对企业的优势

如何开始学习数据分析

如何选择数据分析师的学习课程