数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

fwrite函数的使用方法

问题描述：MATLAB中fwrite函数的使用方法？解决方法：N=xlsread（‘c:\user\desktop\123.xlsx’）；fid=fopen（‘file1.dat’,‘w＋t’）；count=fwrite（fid,N,’double’）；status=fseek（fid,-100,’eof’）；D=fread（fid）

0.0000

0

5

0

关注作者

收藏

PGC123

Worker节点中的work目录占用许多磁盘空间

问题：Worker节点中的work目录占用许多磁盘空间目录地址：/home/utoken/software/spark-1.3.0-bin-hadoop2.4/work这些是Driver上传到worker的文件，需要定时做手工清理，否则会占用许多磁盘空间

22.5489

1

1

0

关注作者

收藏

PGC123

多Master如何配置

问题：多Master如何配置因为涉及到多个Master，所以对于应用程序的提交就有了一点变化，因为应用程序需要知道当前的Master的IP地址和端口。这种HA方案处理这种情况很简单，只需要在SparkContext指向一个Master列表就可以了，如spark://host1:port1,host2:port2,host3:port3，应用程序会轮询列表。

0.0000

0

1

0

关注作者

收藏

PGC123

Operation category READ

问题：Operation category READ is not supported in state standby org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state stan

0.0000

0

4

0

关注作者

收藏

wo56565

如何以就地操作方式打乱一个列表的元素？

为了达到这个目的，我们从random模块中导入shuffle()函数。>>> from random import shuffle>>> shuffle(mylist)>>> mylist运行结果：[3, 4, 8, 0, 5, 7, 6, 2, 1]

100.0000

1

2

0

关注作者

收藏

wo56565

什么是Flask？

Flask是Python编写的一款轻量级Web应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2。Flask使用 BSD 授权。其中两个环境依赖是Werkzeug和jinja2，这意味着它不需要依赖外部库。正因如此，我们将其称为轻量级框架。Flask会话使用签名cookie让用户查看和修改会话内容。它会记录从一个请求到另一个请求的信息。不过，要想修改会话，用户

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何理解方差分析

方差分析ANOVA代表方差分析。执行以确定不同组的分类数据之间的关系。在ANOVA下我们有两个测量结果：- F-testscore：显示组的变量意味着变化--p 值：它显示结果的重要性这可以使用python模块scipy方法名称f_oneway（）执行语法：import scipy.stats as stst.f_oneway(sample1, sample2, ..)这些样

41.1766

1

5

0

关注作者

收藏

zxq997

有哪些组织使用Python

使用Python的组织：1）谷歌（谷歌蜘蛛和搜索引擎的组件）2）雅虎（地图）3）YouTube4）Mozilla5）Dropbox6）微软7）思科8）Spotify9）Quora

0.0000

0

5

0

关注作者

收藏

zxq997

Python的主要功能是什么？

1）python是一种解释型语言，因此在使用python时不需要进行编译2）声明变量和类似变量时，不需要重复声明变量的类型；3）Python非常适合面向对象的编程，因为它允许类的定义以及组合和继承；4）函数是第一类对象，这意味着它们可以分配给变量，从其他函数返回并传递给函数，类也是第一类对象；5）用于许多领域，包括Web应用程序，自动化，科学建模，大数据应用程序等等。

0.0000

0

3

0

关注作者

收藏

zxq997

我们如何用Python编写函数？

我们可以通过以下方式创建Python函数。1）用def定义函数并链接功能名称；2）传递参数并使用括号将它们括起来，使用冒号来表示结尾；3）添加所需的Python语句以供执行。

0.0000

0

2

0

关注作者

收藏

zxq997

如何在Python中实现多线程

python主要是通过thread和threading这两个模块来实现多线程支持。python的thread模块是比较底层的模块，python的threading模块是对thread做了一些封装，可以更加方便的被使用。但是python（cpython）由于GIL的存在无法使用threading充分利用CPU资源，如果想充分发挥多核CPU的计算能力需要使用multiprocessing模块(Wi

22.5489

1

2

0

关注作者

收藏

dreamhappy2012

k-均值聚类原理？

问、k-均值聚类原理？答：1）第一步，指定聚类数 k 值，确定聚类数的最重要的依据为组（类）内成员的商业意义；2）第二步，确定 k 个初始类中心类中心是类特征的典型代表，一般来说初始类中心可以根据经验和随机两种方式确定。 3）第三步，根据距离最近原则聚类依次计算每个样本点到 k 个中心的距离，根据最近原则，将样本点分别分配到 k 个类中；4）第四步，重新确定 k 个类中心计算

0.0000

0

3

0

关注作者

收藏

詹惠儿

回归模型的应用行业

应用：1.趋势线：趋势线代表一些定量数据随时间的变化（如GDP，油价等）。这些趋势通常遵循线性关系。因此，可以应用线性回归来预测未来值。然而，在其他潜在变化可能影响数据的情况下，该方法缺乏科学有效性。2.经济学：线性回归是经济学中主要的经验工具。例如，它用于预测消费支出，固定投资支出，库存投资，国家出口购买，进口支出，持有流动资产的需求，劳动力需求和劳动力供应。3.财务：资本价格资产模型使用

46.9143

2

1

0

关注作者

收藏

詹惠儿

线性回归模型有哪些基本假设

下面给出了线性回归模型对应用它的数据集的基本假设：线性关系：响应和特征变量之间的关系应该是线性的。可以使用散点图来测试线性假设。如下所示，第一个图表示线性相关变量，其中第二个和第三个图中的变量很可能是非线性的。因此，第一个数字将使用线性回归给出更好的预测。a很少或没有多重共线性：假设数据中很少或没有多重共线性。当特征（或独立变量）彼此不相互独立时，就会发生多重共线性。很少或没有自相关

67.7811

2

0

0

关注作者

收藏

詹惠儿

多元回归在python上的实现

下面给出了使用Scikit-learn在波士顿房屋定价数据集上实现多元线性回归技术。import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, linear_model, metrics # load the boston dataset boston = datasets.load

23.7978

1

0

0

关注作者

收藏

詹惠儿

线性回归的变量理解

为了一般性，我们定义：x作为特征向量，即x = [x_1，x_2，...，x_n]，y作为响应向量，即y = [y_1，y_2，...，y_n]对于n次观察（在上面的例子中，n = 10）。上述数据集的散点图如下： -a现在，任务是在上面的散点图中找到最适合的线，以便我们可以预测任何新特征值的响应。（即数据集中不存在x的值）

43.9833

1

2

0

关注作者

收藏

wo56565

异常处理--过滤所有包含NaN的行

from numpy import nan as NaNimport pandas as pd data = pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])print (data) # data =# 1 2 3# NaN NaN 2# NaN NaN NaN# 8 8 NaNdata =

0.0000

0

1

0

关注作者

收藏

wo56565

获取DataFrame的行名

import pandas as pddata = pd.DataFrame()print(data)# data = # ID name# 0 0xu# 1 1wang# 2 2liprint(data._stat_axis.values.tolist())# [0, 1, 2]

0.0000

0

3

0

关注作者

收藏

wo56565

获取DataFrame的列名

import pandas as pddata = pd.DataFrame()print(data)# data = # ID name# 0 0xu# 1 1wang# 2 2liprint(data.columns.values.tolist())# ['ID', 'name']

0.0000

0

1

0

关注作者

收藏

wo56565

重新调整index的值

import pandas as pddata = pd.DataFrame()data['ID'] = range(0,3) # data = # ID# 0 0# 1 1# 2 2data.index = range(1,len(data) 1) # data = # ID# 1 0# 2 1# 3 2

0.0000

0

2

0

关注作者

收藏

<1…344345346…531>

CDA考试动态

CDA报考指南