大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

Linux文件软链接与硬链接的区别

Linux文件软链接与硬链接的区别答：软链接与硬链接主要有以下几点差别： 1)软链接可以跨文件系统硬链接不可以 2）关于 inode节点的问题。硬连接不管有多少个，都指向的是同一个inode节点，会把结点连接数增加，只要结点的连接数不是 0，文件就一直存在，不管你删除的是源文件还是连接的文件。只要有一个存在，文件就存在（其实也不分什么源文件连接文件的

0.0000

0

2

0

关注作者

收藏

PGC123

什么是硬链接？

什么是硬链接？答：硬链接表示两个文件名不同的东东其实都指向了相同的内容。想要理解这个概念还需要理解inode原理，简单来说所有存到磁盘中的文件都有一个inode来描述文件的信息，这样一个写在各个扇区的文件才能被找到被使用。多个文件名指向同一个inode就是硬链接。

0.0000

0

1

0

关注作者

收藏

PGC123

linux 系统中如何更改软链接？

由于更改了Linux系统的python环境，linux 系统中如何更改软链接使其指向正确的python解释器？答：Linux软链接的更改可以使用如下语法：#首先删除软链接rm -rf dtsfile# 创建新的软链接ln -s srcfile dstfile #srcfile 是要链接的文件 dtsfile是创建的软链接

0.0000

0

2

0

关注作者

收藏

PGC123

网址中的%是啥意思？

网址中的%是啥意思？答：网址中的%其实是一种编码格式，说明url中含有正文。这里由%和数字字母组成的有规律性的“乱码”它们并不真是乱码，它们是一种特殊的编码，计算机它是不认得中文汉字的，要让计算机认识这些编码必须要转换成一些字母和数字等组成的代码。事实上，我们在浏览器地址栏中看到的由%号和字母数字组成的乱码它们有一些规律，即都是三个字符一组，排在最前面的肯定是百分号%。它们

0.0000

0

3

0

关注作者

收藏

PGC123

python 如何获取命令行参数？

python 如何获取命令行参数？答：一般使用 sys 与 getopt这两个模块来获取命令行参数，用法如下：import sysimport getoptoptions, args = getopt.getopt(sys.argv[1:], shortopts, longopts=[])参数args：一般是sys.argv[1:]。过滤掉sys.argv[0]，它是执行脚本的名字，不

0.0000

0

2

0

关注作者

收藏

PGC123

source .bashrc 的作用是什么？

source .bashrc 的作用是什么？答：source命令可以在当前bash环境下读取并执行配置文件。source用法：source FileNamefilename 一般是一些系统配置文件，里面定义了一些环境变量该命令也可以用命令“.”来替代。source .bash_rc 可以写成 . .bash_rc

0.0000

0

4

0

关注作者

收藏

PGC123

Mac 下如何查看文件的属性？

Mac 下如何查看文件的属性？ll命令好像不好用答; linux有ll命令，但是MAC下这些指令是没有的，这其实就是别名，用ls -alF也能做到添加方法：vim ~/.bashrc输入如下内容alias ll='ls -alF'alias la='ls -A'alias l='ls -CF保存完成之后source ~/.bashrc可以使用ll等命令了

0.0000

0

3

0

关注作者

收藏

PGC123

Linux执行一个程序的方法有哪些？

Linux执行一个程序的方法有哪些？答：Linux执行一个程序的前提是执行这段程序的用户有这行这个程序文件的权限然后可以直接在命令行里输入该程序文件的路径回车即可执行。这里的路径可以是绝对路径也可以是相对路径。如果代码所在目录添加到环境变量后可以直接输入该文件名来执行。

6.0509

1

3

0

关注作者

收藏

PGC123

sqoop向mysql导入数据的时候报错

sqoop向mysql导入数据的时候报错：error ="无法分配内存" （error=12）答：这是系统内存不足导致的Java虚拟机无法分配内存，可以使用top命令查看一下操作系统内存剩余情况，如果允许给虚拟机多分配一些内存。

0.0000

0

3

0

关注作者

收藏

PGC123

如何使用Scala初始化spark1.6

如何使用Scala初始化spark1.6？一直使用spark-shell sc都是初始化好的，那怎么用代码一点一点初始化sc呢？答：sc是spark程序的入口，只有初始化sc一个spark程序才能运行，经典的初始化代码如下：import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}ob

0.0000

0

4

0

关注作者

收藏

PGC123

求助 pycharm第三方库安装失败，大神来救

请问用pycharm装第三方库出现这个问题是什么原因？我之前用控制台装的pip后来又装的pycharm是不是这个原因？？答：这个问题的原因是你项目所选择的python环境并非操作系统已经安装好的那个，而是pycharm创建的一个虚拟环境，因此需要在file>>setting>> project interpreter中配置系统的python，这时该python环境的包列表也会显示出来

42.6634

1

1

0

关注作者

收藏

PGC123

如何定时启动Linux下的任务？

如何定时启动Linux下的任务？比如说像运行一个ETL作业。答：在Linux下进行任务管理的工具有很多，比如crontab。cron()是一个Linux下的后台进程，用来定期的执行一些任务。想要让cron执行你指定的任务，首先就要编辑crontab文件。crontab是一个文本文件，用来存放你要运行的命令。你可以以下命令crontab -e来打开你的用户所属的crontab文件。第一次用

6.0509

1

3

0

关注作者

收藏

PGC123

终端跟shell什么关系？

终端跟shell什么关系？答：shell是一个接收键盘输入的命令然后传给操作系统执行的程序。终端是一种在图形界面下与shell交互的桌面程序，作用就是让用户访问shell。

0.0000

0

5

0

关注作者

收藏

PGC123

object of type'map'has no len

执行如下代码的时候报错ls = [1,2,3,4,5] a = map(lambda x: x**2,ls)len(a)---------------------------------------------------------------------------TypeError Traceback (most r

0.0000

0

3

0

关注作者

收藏

PGC123

pyspark中调用jieba，显示没有那个包

pyspark中调用jieba，显示没有那个包。local模式运行没问题，但是使用standalone模式运行的时候显示import jieba 错误，这是啥原因？答：由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点

0.0000

0

4

0

关注作者

收藏

PGC123

import jieba报错

已经通过 sudo python setup.py install 来离线安装jieba 为啥 import jieba报错？答：我猜测你应该是在Linux系统中又安装了一个python环境.并且将新安装的python添加到了当前用户（非root用户）的环境变量中。安装的时候使用了sudo命令，因此你是调用的系统中原来的python环境安装的，但是使用的时候却是调用的当前用户的python

0.0000

0

1

0

关注作者

收藏

PGC123

spark的启动流程是啥？

spark的启动流程是啥？主要是指启动顺序答：启动spark使用start-all.sh命令，start-all.sh执行了两个脚本分别是【start-master.sh】和【start-salves.sh】【start-all.sh】->【start-master.sh】和【start-salves.sh】 ->【spark-daemon.sh】(org.apache.spark.d

0.0000

0

3

0

关注作者

收藏

PGC123

spark中driver的作用？

spark中driver的作用是什么？答：driver:I.串联各个算子操作:DAG:有向无环图II.拆分各个stage阶段III.部分功能相当于yarn中的applicationmasterdagscheduler:是driver中的一个组件，执行II操作：拆分各个stage阶段taskscheduler:是driver中的一个组件，执行III操作：部分功能相当于ap

0.0000

0

0

0

关注作者

收藏

PGC123

spark 四大特性是什么？

spark 四大特性是什么？答：a.快速性b.简单易用性 c.通用性d.处处运行

0.0000

0

1

0

关注作者

收藏

PGC123

hive --service metastore 干啥的？

hive --service metastore 命令是干啥的？答：理解这个命令之前需要知道hive元数据库的配置方式。hive metastore有两类配置方法：本地模式与远程模式。本地模式：可以使用自带derby，也可以使用MySQL等关系型数据库。他们都与hive部署在同一个节点上使用derby与MySQL作为元数据库的区别是： der

6.0509

1

3

0

关注作者

收藏

<1…656667…75>

CDA考试动态

CDA报考指南