大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

Hive与关系型数据库有什么关系？

Hive与关系型数据库有什么关系？Hive是不是关系型数据库？答：首先hive和常见的数据库最大的不同点是hive本身并不存储数据，而是直接使用hdfs上面的数据。这句话怎么理解呢？像MySQL Oracle这些数据库的数据是通过自己的方式编码存储的，不通过这些数据库管理系统我们是无法查看数据内容的。但是hive就不一样了，它的数据就存储在hdfs上面，我们完全可以自行下载查看或者处理。

0.0000

0

0

0

关注作者

收藏

PGC123

Hive与HDFS之间有什么样的关系？

Hive与HDFS之间有什么样的关系？这块我还是不太理解答：Hive是逻辑上的数据仓库，Hive本身并不存储数据，数据都是存放到HDFS上面的。Hive之所以能以表的形式操作HDFS上面的数据是因为hive的元数据库存储着HDFS数据与Hive表之间的映射。

0.0000

0

2

0

关注作者

收藏

PGC123

如何判断字典中是否有某个关键字？

如何判断字典中是否有某个关键字？答：python字典中判断是否存在某个关键字可以使用 key_in_dict() get() setdefault() 这几个内置方法

0.0000

0

5

0

关注作者

收藏

PGC123

如何将dataframe类型的数据转换为字典类型？

老师有个数据长这样：我想把它变成字典类型的如下所示的样子：答：可以使用如下代码来实现d = dict()for _, row in df.iterrows(): code, data, count = row d.setdefault(code, {}).update({str(data): count})print(d) 其中 iterrow

0.0000

0

6

0

关注作者

收藏

PGC123

Scala与python在性能上有什么样的差异？

由于Scala是基于JVM的数据分析和处理，Scala比Python快10倍。当编写Python代码用且调用Spark库时，性能是平庸的，但如果程序涉及到比Python编码还要多的处理时，则要比Scala等效代码慢得多。Python解释器PyPy内置一个JIT（及时）编译器，它很快，但它不提供各种Python C扩展支持。在这样的情况下，对库的C扩展CPython解释器优于PyPy解释器。

0.0000

0

1

0

关注作者

收藏

PGC123

Scala函数调用不加括号？

Scala函数调用不加括号？答：还有如果代码中定义方法的时候没有加括号，则使用的时候必须不能加括号，否则编译不能通过

0.0000

0

1

0

关注作者

收藏

PGC123

如何访问Scala类内部属性？

如何访问Scala类内部属性？答：在Scala里面会默认生成一组getter与setter分别是age() 与 age_=() 我们可以定义一个Person类class Person{ var age = 0}调用val xiaoming = new Personprintln(xiaoming.age)xiaoming.age_=(20)println(xiaoming

0.0000

0

1

0

关注作者

收藏

PGC123

Scala的交互式环境什么原理？

Scala解释器是什么原理？Scala是一种编译型的语言为啥会有类似python的交互式环境呢？答：python是动态语言，并不需要编译直接通过python解释器一行一行的解释执行。Scala的交互式开发环境看上去与python的很像，但实际上两者原理是不同的。Scala的解释器本质上并不是解释器，应该叫REPL即读取-求值-打印-循环。我们输入的代码被迅速的编译成字节码然后这段字节码

0.0000

0

3

0

关注作者

收藏

PGC123

Scala为啥没有或者 --运算符呢？

Scala为啥没有或者 --运算符呢？答：与Java或者C 相比，Scala有个显著特征，并没有提供和--操作费，我们需要使用 =1或者 -=1。 Scala里面不区分基本类型与引用类型，所有变量都是引用。因此Int 类型是不可变的，实现操作符的难度非常，然而用处却不是很大，完全可以用 =1或者 -=1代替，因此Scala中没有实现与 --操作符。

0.0000

0

4

0

关注作者

收藏

PGC123

为什么写小写字母变大写upper的输出没有变化？

最近在学习python，在写upper（）语句时，编辑器没有反应？？？是这个语句有问题还是安装时，没有将包安装全！答：最终检查发现函数调用出的问题，函数调用要用英文字符圆括号而不是中文的圆括号。

0.0000

0

0

0

关注作者

收藏

PGC123

xshell 无法连接到虚拟机怎么办？

xshell 无法连接到虚拟机怎么办？我使用xshell连接到vmware的虚拟机上时总是连接失败。这是为什么呢？答：首先需要确认虚拟机是否已经开启，并且ssh服务器是不是已经开启了。然后查看虚拟机的IP地址与本地windows的IP地址是否在同一个网段内。必须是同一个网段才能连接。通过以上两部检查，基本就可以解决该问题了。

0.0000

0

3

0

关注作者

收藏

PGC123

如何配置SecondaryNameNode？

hdfs 的SecondaryNameNode在哪里配置的？如果想在其他节点启动该如何启动？答：SecondaryNameNode是在hdfs-site.xml中配置的dfs.namenode.secondary.http-address参数值 dfs.namenode.secondary.http-address

200.0000

1

3

0

关注作者

收藏

PGC123

调用包的时候报警告

在编写代码的时候idea 报警告Warning:(2, 24) imported `Counter' is permanently hidden by definition of class Counter in package CLASS__import com.cda.CLASS__.Counter 答：根据警告信息可以发现，你代码中调用的类与你当前文件属于同一个命名空间下，

0.0000

0

5

0

关注作者

收藏

PGC123

getter 与 setter方法的作用？

为啥类里面会设置getter 与 setter方法？如果将属性设置为public不是更好吗？答：如果一个getter/setter 方法没有定义其它限制条件的时候，功能跟设置public属性相同。但是如果想加一些限制规则的时候，getter/setter方法更灵活。比如一个person类中的age属性，一旦设置好之后每次变更只能变大而不能变小，这符合实际规律。这时必须配置setter

0.0000

0

5

0

关注作者

收藏

PGC123

jupyter notebook 指定使用浏览器

在不更改操作系统默认浏览器的情况下jupyter notebook 如何指定使用某个浏览器？答：可以在jupyter notebook 的配置文件jupyter_notebook_config.py中进行修改。修改方法：在文件的任意位置添加如下代码即可 import webbrowserwebbrowser.register("chrome", None, webbrowser

0.0000

0

5

0

关注作者

收藏

PGC123

xshell 中如何上传下载文件？

我们连接远程服务器的时候需要做文件传输本地文件上传到服务器或者从服务器下载文件到本地，有什么好用的工具吗？答：我们常用的shell模拟器有xshell ,这款软件可以让我们连接远程主机并操作他，传输文件的功能则相对弱一些。其实我们可以通过lrzsz来强化他的功能。首先需要在虚拟机上安装lrzszsudo apt-get install lrzsz 安装完成之后我们就可以用他上传下载文

0.0000

0

3

0

关注作者

收藏

PGC123

在使用jupyter notebook时页面显示不正常

在使用jupyter notebook时页面显示不正常，这是什么问题呢？代码跟老师的一致。答：由于jupyter notebook是一种基于web页面的开发工具，交互界面的渲染是由浏览器完成的。但是每个浏览器渲染的效果是不同的，根据使用经验来说，jupyter notebook 的最佳配合是google的chrome浏览器。建议更换浏览器获得最佳体验。

0.0000

0

1

0

关注作者

收藏

PGC123

hadoop运行中namenode消失问题

在正常启动hadoop后，过段时间namenode进程消失是怎么回事？答：此类问题可以查看hadoop 文件目录下的logs文件夹，下面记录着hadoop运行相关的日志文件。如果出现问题，首先应该去日志中查找线索。namenode进程消失常见的原因是hosts文件没有修改正确，导致IP地址关联错误，最终namenode退出。

0.0000

0

1

0

关注作者

收藏

PGC123

MySQL链接警告

在hive连接MySQL时有ssl警告，警告内容如下：WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must

0.0000

0

2

0

关注作者

收藏

PGC123

无法使用浏览器访问hdfs 50070

无法使用浏览器访问hdfs 50070是什么原因？使用的操作系统是centos7答：很有可能是防火墙没有关闭导致的，centos7关闭防火墙的命令为关闭防火墙： systemctl stop firewalld.service　　　　　　禁用防火墙（永久）：systemctl disable firewalld.service　　　　　　查看防火墙状态：fire

0.0000

0

2

0

关注作者

收藏

<1…394041…75>

CDA考试动态

CDA报考指南