数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

PGC123

使用spark SQL的时候报错

问题: 使用spark sql的时候报错:javax.jdo.JDOFatalInternalException: Error creating transactional connection factory 原因:可能是没有添加jdbc的驱动解决办法: Spark 中如果没有配置连接驱动，在spark/c

0.0000

0

3

0

关注作者

收藏

PGC123

Hadoop警告问题

问题: Hadoop警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因:Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。解决办法:

0.0000

0

4

0

关注作者

收藏

wo56565

通过字典创建一个DataFrame

import pandas as pdimport numpy as npdict_a = {'name': ['xu', 'wang'], 'gender': ['male', 'female']}data = pd.DataFrame(dict_a)print(np.shape(data)) # (2,2)print(data) # data = # name gender

23.7978

1

1

0

关注作者

收藏

PGC123

启动Hadoop报错

问题: 启动hadoop时候报错：localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution” 原因: hadoop的环境没有配置好，或者没有使配置生效。解决办法: 如果没有配置Hadoop的环境变量，就填加配置。例如:

43.9833

1

1

0

关注作者

收藏

PGC123

namenode.NameNode

问题:org.apache.hadoop.hdfs.server.namenode.NameNode。原因:没有指定路径解决办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”，在此路径下执行 vim etc/hadoop/hadoop-env.sh 在文件最后面添加 export HADOO

0.0000

0

1

0

关注作者

收藏

PGC123

hdfs command is deprecated。

问题2：Use of this script to execute hdfs command is deprecated。原因:hadoop版本问题，命令过时。解决办法: 将hadoop命令改成hdfs。

23.7978

1

2

0

关注作者

收藏

W11YA

R里如何按照条件删除行

按“ID”列，若某一值出现次数小于3，则该值对应的行全部删除（如ID=2，出现1次，不满足条件，该行删除；ID=1出现3次，满足条件，所有行保留）应该用什么函数？怎么编呢？数据如下：F1 Poi X1 X30 IDS2 1 35 190 1S5 4

0.0000

0

7

0

关注作者

收藏

W11YA

回归的一般方法

(1) 收集数据：采用任意方法收集数据。(2) 准备数据：回归需要数值型数据，标称型数据将被转成二值型数据。(3) 分析数据：绘出数据的可视化二维图将有助于对数据做出理解和分析，在采用缩减法求得新回归系数之后，可以将新拟合线绘在图上作为对比。(4) 训练算法：找到回归系数。(5) 测试算法：使用R2或者预测值和数据的拟合度，来分析模型的效果。(6) 使用算法：使用回归，可以在

0.0000

0

2

0

关注作者

收藏

W11YA

树回归的一般方法

(1) 收集数据：采用任意方法收集数据。(2) 准备数据：需要数值型的数据，标称型数据应该映射成二值型数据。(3) 分析数据：绘出数据的二维可视化显示结果，以字典方式生成树。(4) 训练算法：大部分时间都花费在叶节点树模型的构建上。(5) 测试算法：使用测试数据上的R2值来分析模型的效果。(6) 使用算法：使用训练出的树做预测，预测结果还可以用来做很多事情

0.0000

0

1

0

关注作者

收藏

W11YA

如果两件事同时发生概率应当如何计算呢，例如天气=下雪且星期几=2？不难想到，这个概率应该等于两件事情都为真的次数除以所有事件发生的总次数。简单来计算一下：只有一个样本点满足天气=下雪且星期几=2，所以这个概率应当是1/7。这种联合事件的概率一般用逗号隔开的变量来表示： P(天气=雪天，星期几=2)。一般地，对事件X和Y来说，对应的联合概率应该记为P(X, Y )。读者可能还看到过一些形如

23.7978

1

1

0

关注作者

收藏

W11YA

函数 solve()矩阵求逆

矩阵求逆可用函数 solve()，应用 solve(a, b)运算结果是解线性方程组 ax = b，若 b 缺省，则系统默认为单位矩阵，因此可用其进行矩阵求逆，例如：> a=matrix(rnorm(16),4,4)> a[,1] [,2] [,3] [,4][1,] 1.6986019 0.5239738 0.2332094 0.3174184[2,] -0.2010667 1.09

0.0000

0

3

0

关注作者

收藏

zxq997

在Python中有多少种运算符？解释一下算数运算符

在Python中，我们有7种运算符：算术运算符、关系运算符、赋值运算符、逻辑运算符、位运算符、成员运算符、身份运算符。我们有7个算术运算符，能让我们对数值进行算术运算：1.加号（），将两个值相加>>> 7 8152.减号（-），将第一个值减去第二个值>>> 7-8-13.乘号（*），将两个值相乘>>> 7*8564.除号（/），用第二个值除以第一个值>>> 7

0.0000

0

2

0

关注作者

收藏

zxq997

设计一个函数，统计字符串中英文字母和数字各自出现的次数

def count_letter_number(string): letter_count = 0 digit_count = 0 for ch in string: if 'a'

0.0000

0

2

0

关注作者

收藏

zxq997

设计一个函数，计算字符串中所有数字序列的和

import redef sum_num_seq(string): """ :param string: 给定一个字符串 :return: 返回里面数字序列的和 """ nums = re.compile(r'\d ') mylist = nums.findall(string) my_sum = 0 for num in m

0.0000

0

2

0

关注作者

收藏

zxq997

过拟合的常用处理方式

1.增加训练数据数过拟合是由于模型学习到了数据的一些噪声特征导致，增加训练数据的量能够减少噪声的影响，让模型更多地学习数据的一般特征。利用现有数据进行扩充或许也是一个好办法。例如在图像识别中，如果没有足够的图片训练，可以把已有的图片进行旋转，拉伸，镜像，对称等，这样就可以把数据量扩大好几倍而不需要额外补充数据。一般有以下方法：从数据源头采集更多数据复制原有数据并加上随机噪声重采样根据当

0.0000

0

0

0

关注作者

收藏

zxq997

行列式与矩阵区别？

行列式与矩阵是两个东西，他们区别是：1. 矩阵是一个表格，行数和列数可以不一样；而行列式是一个数，且行数必须等于列数。只有方阵才可以定义它的行列式，而对于长方阵不能定义它的行列式。2. 两个矩阵相等是指对应元素都相等；两个行列式相等不要求对应元素都相等，甚至阶数也可以不一样，只要运算代数和的结果一样就行了。3.两矩阵相加是将各对应元素相加；两行列式相加，是将运算结果相加，在特殊情况下(

0.0000

0

1

0

关注作者

收藏

zxq997

什么是回归

回归的定义：当存在显着的线性相关时，可以使用线来估计自变量的某些值的因变量的值。回归方程的适用范围：当存在显着的线性相关性时。也就是说，当你在相关假设检验中拒绝rho = 0的零假设时。在估计中使用的自变量的值接近原始值。也就是说，当x为200时，你不应该使用在10和20之间使用x得到的回归方程来估计y。回归方程不应与不同的人群一起使用。也就是说，如果x是男性的身高，而y是男性的体重，

0.0000

0

2

0

关注作者

收藏

zxq997

对似然比检验和Wald测试的理解

似然比检验似然比检验提供了用于比较一个模型（例如，完整模型）下的数据的可能性与另一个更受限制的模型（例如，截距模型）下的数据的可能性的手段。a其中' p ' 是逻辑模型预测概率。下一步是计算这两个对数似然之间的差异。 a两个可能性之间的差异乘以因子2，以便使用标准显着性水平（Chi2检验）评估统计显着性。测试的自由度将等于模型下估计的参数数量的差异（例如，完整和截距）。 Wald

0.0000

0

7

0

关注作者

收藏

zxq997

怎么实现矩阵里的转置

import pandas as pdimport numpy as npimport matplotlib.pyplot as plts=pd.Series([1,3,5,np.nan,6,8])dates=pd.date_range('20130101',periods=6)df=pd.DataFrame(np.random.rand(6,4),index=dates,columns

0.0000

0

3

0

关注作者

收藏

詹惠儿

如何在python中添加列

如何在python中添加列：为了在Pandas DataFrame中添加列，我们可以将新列表声明为列并添加到现有Dataframe中。# Import pandas package import pandas as pd # Define a dictionary containing Students data data = {'Name': ['Jai', 'Princi', '

42.0390

1

3

0

关注作者

收藏

<1…345346347…531>

CDA考试动态

CDA报考指南