大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

在scala中什么是颗粒化操作

将原来接收两个参数的一个函数转换成2个这就是颗粒化操作def sum(a: Int, b: Int) = a bprintln(sum(2,3))def sum1(a: Int)(b: Int) = a bprintln(sum1(2)(3))

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

在scala中如何定义一个匿名函数

scala> val m = (x: Int) => x 1scala> m(9)res0: Int = 10

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

scala中模式匹配有哪些类型

1. 基本数据类型模式匹配2. Array 模式匹配3. List 模式匹配4. case class 模式匹配5. Some

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

scala中模式匹配是什么？

在java中switch关键字对一个值进行判断根据条件进行不同的处理在scala中模式匹配也是参照这种模式得来的不过它要比java中的switch要强大的多

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

scala中的Trait关键字

train 相当于定义了一个接口接口子类中必须重写train cart {def cat(x: String): Unit = {}def dot(age: Int): Unit = {}}

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

scala中的 case class 的作用

1. 实例化的时候可以不用new创建实例2. 自动创建伴生对象并实现apply方法，这样创建对象时不用写new，因为只要写上类名就会自动调用它的构造方法3.默认实现了hashCode、copy和equals方法4. case class构造函数的参数是public级别的，我们可以直接访问；5. 模式匹配用

0.0000

0

6

0

关注作者

收藏

大魔王泛泛

scala中object类实例化的对象是单例对象

object ApplyApp{def main(args: Array[String]): Unit = {for(i

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

scala中的主构造器和附属构造器

首先需要了解的一点是，在scala中，主构造器并不是以this方法定义，而是与类定义交织在一起的主构造器的参数直接放在类名之后，若不写则自动定义为空参：class Person(val name:String, val age:Int) { // 主构造器def this(name:String, age:Int){// 附属构造器//附属构造器的第一行代码必须要调用主构造器或者

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

scala中class和object的区别

scala 中没有 static 关键字，所以对于一个class来说，所有的方法和成员变量在实例被 new 出来之前都是无法访问的而scala 的object 中所有成员变量和方法默认都是 static 的所以可以直接访问main方法

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

scala中lazy关键字的作用

Scala中使用关键字lazy来定义惰性变量，实现延迟加载(懒加载)注意：用lazy修飾的变量只能是不可变变量，并且只有在调用惰性变量时，才会去实例化这个变量

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

scala中val和var的区别

val修饰的变量不可改变var修饰的变量可以改变

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

为什么Hive的元数据不存储在Hdfs中？

Hive的元数据需要不断的更新因此Hive的元数据一般存储在Mysql中 HDFS系统虽然也可以进行更新操作但更多的还是读操作

27.2727

1

2

0

关注作者

收藏

大魔王泛泛

为什么要开启hive的metastore服务？

metastore可以去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务就行了

27.2727

1

2

0

关注作者

收藏

大魔王泛泛

如何开启hive元数据服务

service hive-metastore start

27.2727

1

1

0

关注作者

收藏

大魔王泛泛

reduceBykey与groupByKey的区别

reduceByKey：reduceByKey会在发送结果至reduce之前会对每个mapper在本地进行merge 这样做会使数据量会大幅度减小，从而减小传输，保证reduce端能够更快的进行结果计算groupByKey： groupByKey会对每一个RDD中的value值进行操作形成一个序列，此操作发生在reduce端，从而会将所有的数据通过网络进行传输，造成不必要的浪费所以建议在进

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Hive和Mysql的区别

1. hive是数据仓库其本身不存储和计算数据可以理解为一个客户端工具, mysql是关系型数据库可以存储数据2. hive的容量大,依赖hdfs3. hive的运算大数据量强,依赖mapreduce4. hive初衷不支持delete和update,否则要修改配置文件,指定参数5. mysql支持联机事务处理和软件系统交互,hive查询慢

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

Hive中的桶表

桶表就是将数据按照指定的字段进行分成多个桶中去，说白了就是将数据按照字段进行划分，可以将数据按照字段划分到多个文件当中去

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Hive中的外部表

外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉。

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Hive中的内部表

Hive 创建内部表时，会将数据移动到数据仓库指向的路径. 在删除表的时候，内部表的元数据和数据会被一起删除。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Hive中的元数据库

存储 Hive 中的数据的描述信息。Hive 将元数据存储在数据库中，如 mysql、（默认）derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

0.0000

0

2

0

关注作者

收藏

<1…313233…75>

CDA考试动态

CDA报考指南