数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

用python爬虫抓站的一些技巧小结

1.最基本的抓站import urllib2content = urllib2.urlopen('http://XXXX').read()-2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。import urllib2proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.

0.0000

0

2

0

关注作者

收藏

詹惠儿

Pandas提示错误：'Str'对象没有属性

问题描述：Pandas无法将数据框转换为csv文件，返回错误信息：AttributeError: 'str' object has no attribute 'to_csv'尝试用trends.to_string(index=False).to_csv('test.csv'))等其他一些例子，依然还是提示同样错误。def main(url): google = GoogleAn

13.4463

1

1

0

关注作者

收藏

詹惠儿

如何用python在单位矩阵中填充少量0

问题描述：要用很少的0填充单位矩阵。我有X,Y坐标[(0, 0), (0, 1), (0, 2), (1, 2), (1, 3), (2, 3)]，坐标应为0，其他坐标应为1。这是一个最短的路径问题。算法将输出最短路径作为坐标，在python中怎么实现？[(0, 0), (0, 1), (0, 2), (1, 2), (1, 3), (2, 3)]样本输入矩阵 [4][4]1 1 1

13.4463

1

3

0

关注作者

收藏

詹惠儿

python如何处理多维数据？

由于我们拥有的数据基于不同类型动物的特征，我们可以使用一些众所周知的聚类技术将动物分类到不同的组（聚类）或亚组，即KMeans聚类，DBscan，分层聚类和KNN（K-最近的邻居）聚类。为简单起见，在这种情况下，KMeans聚类应该是更好的选择。使用K均值群集技术群集的数据可以使用来实现KMeans的模块cluster class的sklearn库如下：# from sklearn.clust

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

R语言怎么做数据清洗4--去除两侧空格

R语言去除两侧空格的方法：在数据清洗的过程中，我们会遇到很多空格，手动删除空格是不现实的，那么怎么用R 语言删除呢？去除字符间的空格比大小写转换要复杂一些，第一、我们将需要去除空格的列单独拿出来。#提取贷款状态列loan_status=as.vector(loan$loan_status)第二、使用trim函数去除该列中的空格，trim函数在raster包中，因此需要先安装raste

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

R语言怎么做数据清洗2--查找空值？

R语言对重复值的清洗：查找空值使用is.na函数查看数据表中的空值，和重复值一样，空值在结果中显示为TURE，非空值显示为FALSE。下面是对loan数据表检查空值的代码和结果。#查找数据表中的空值head(is.na(loan),n = 10)a除了对数据表查看空值以外，还可以对表中特定的列检查空值，在is.na函数中输入表和列的名称，就会看到该列中空值的情况，TRUE为空值，

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

R语言怎么做数据清洗1？

R语言对重复值的清洗：重复值清洗会使用duplicated函数使用duplicated函数查看数据表中的用户ID列是否存在重复值，duplicated函数返回该字段每一行的检查结果，重复的标记为TURE，不重复的值标记为FALSE。在下面的结果中可以看到数据表的用户ID列最后四个值为重复值。首先：查看列是否有重复#查看特定列是否有重复duplicated(loan$member_id)

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

python数据清洗的基本思路是什么？

在做数据分析的时候，少不了数据清洗这个步骤。很多时候我们会自己爬取数据，但是爬取了数据库的数据之后，数据不能直接拿来使用，我们怎么进行数据清洗和进行去重上传的数据清洗:数据清洗概念就是去重,检查数据一致性，处理无效值和缺失值等)删除重复信息、纠正存在的错误.可以利用pandas模块(最常用的清洗模块)和正则或者numpy模块(机器学习),简单的去换行和去除空格可以直接调用方法==

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

HTTP返回的成功状态码有哪些？

2xx成功响应类别：成功状态码（Success）原因短语：请求已正常处理完毕常见的2xx状态码有：200、204、206以下分别介绍这三个代码：200ok表示请求被服务器正常处理最常见的就是这个了随着这个状态码返回的信息跟你的请求方法有关比如GET请求，请求的资源会作为响应实体返回而HEAD请求，信息只存在于响应报文首部，因为它不会返回报文

150.0000

1

2

0

关注作者

收藏

dreamhappy2012

贝叶斯算法怎么推导？

贝叶斯算法是机器学习中主要的十大算法之一，什么是贝叶斯？贝叶斯观点认为，概率是一个人对于一个事件发生的信心，即认为一个事件有多大的可能性会发生。如果认为一定会发生，概率就是1；认为一定不会发生，概率就是0；有可能发生，概率就介于0-1之间。这种概率会随着观测数据的变化而变化。一开始我们没有数据，只能根据原有经验猜测一个大概的概率，称为先验概率。随着观测数据的积累，我们会逐渐修正我们的先验概

150.0000

1

0

0

关注作者

收藏

啊啊啊啊啊吖

求助！数据清洗排出某些值

我有一个以下数据框。（数据框中的实际列超过30）ID col1 col2 col3 col4 1 a## b## HO HO 2 c## d23 c## HO 3 a## k## z## s# 4 c## b12 a12 c12 5 b## HO

150.0000

1

4

0

关注作者

收藏

啊啊啊啊啊吖

读取os.popen（）输出啥都不返回！

我正在开发一个python脚本来收集有关Linux系统的几条信息，现在我试图收集一个使用的监听UDP e TCP端口的列表，这os.popen()是该函数的样子：def ports(self): # Gets a few lines of information about open TCP ports tcpOpenPorts = os.popen("netstat -tul

132.3500

1

3

0

关注作者

收藏

啊啊啊啊啊吖

怎么通过pandas从JSON加载文本值

我有这个文件，我正在尝试阅读：{"data": {"1547700225.3": Infinity, "1547700227.55": Infinity, "1547700229.8099997": Infinity, "1547700231.9899995": Infinity, "1547700140.05": Infinity}}我无法控制文件的格式（即我必须使用我所拥有的）并且我有一

132.3500

1

3

0

关注作者

收藏

啊啊啊啊啊吖

救急，我不能在CMD中下载numpy

当我尝试下载numpy时，它不起作用。一个教程告诉我移动目录c:\但它没有任何区别。这是错误：C:\>pip install numpyCollecting numpy Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'S

132.3500

1

2

0

关注作者

收藏

啊啊啊啊啊吖

按字典中的数值排序？

目前，我正在尝试更多地了解如何利用理解。但是，我现在遇到了这个问题。我有的字典：d = {'Second': {('Carrie', 3), ('Diane', 3), ('Bob', 3)}, 'Third': {('Alan', 2), ('Diane', 5)}, 'Fourth': {('Carrie', 2), ('Alan', 5)}, '

132.3500

1

8

0

关注作者

收藏

啊啊啊啊啊吖

我想在这些字符串之间得到数字

strings = ["point_right: account ISLAMIC: 860328 9221 asdsad", "account 723123123", "account823123213", "account 823.123.213", "account 823-123-213", "account:123213

109.0909

1

0

0

关注作者

收藏

詹惠儿

如何使用递归生成子数组

给定一个数组，使用递归生成给定数组的所有可能的子数组。例子：方法：我们使用两个指针start和end来维护数组的起点和终点，并按照下面给出的步骤操作：如果我们到达数组的末尾就停止如果start大于end，则递增结束索引从索引开始到结束打印子数组并增加起始索引以下是上述方法的实现。// C code to print all possible subarrays /

109.0909

1

3

0

关注作者

收藏

PGC123

R中如何显示分屏数据

1、在R中，当一次输出数据很多时，是否可以使用一个命令让它一批一批的分屏输出，类似于Dos下的Dir命令。2、如何更改我的文件默认输出目录？我在文件——改变当前目录菜单下可以改一次，但是关闭R程序并重启后，输出地址还会恢复到之前的状态。是不是默认地址没办法改变呢？答：1、一般R一个数据都是全部在屏幕上输出的，如果想少看些，那就输出一部分就可以了。2、如果想在哪个路径下运行除了你说的一次修改

2.9470

1

2

0

关注作者

收藏

PGC123

spark是基于什么技术的大数据框架

有道题是这样：spark是基于什么技术的大数据框架？答：spark与hadoop2中的mapreduce计算框架的一个不同之处是spark基于内存来存运算过程的中间结果，这是spark框架运算速度快于mapreduce2的一个原因。

0.0000

0

3

0

关注作者

收藏

PGC123

如何构建图模型

以HDFS上master:9000/ graphdata.txt中的数据创建图，其中sc为SparkContext的实例，graphdata.txt文本格式：121256 132156 GraphX中能够实现上述功能的核心代码为答：val graphhdfs = GraphLoader.edgeListFile(sc,"hdfs://master:9000/graphdata.txt")

0.0000

0

2

0

关注作者

收藏

<1…455456457…531>

CDA考试动态

CDA报考指南