数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

爬虫怎么贴加headers

在请求头中, User-Agent 项会记录用户的使用系统和浏览器版本,如果使用python请求, 则网站能够得知用户在使用爬虫程序访问, 可能会禁止你继续访问.所以我们编写爬虫的时候, 通常会手动添加Headers, 改成正常浏览器的User-Agent 内容, 伪装成一个普通的用户headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;

0.0000

1

3

0

关注作者

收藏

zxq997

1. Accept: 请求报头域, 用于指定客户端可以接受哪些类型的信息2. Accept-Language : 指定客户端可接受的语言类型3. Accept-Encoding: 指定客户端可接受的语言编码4. Host: 域名5. Cookies : 网站为了知道你是哪个用户, 即使你的电脑换了IP也能认识你, 网站把这部分内容储存在用户的本地, 用于维持当前会话.当我们登陆知乎以后,

0.0000

0

1

0

关注作者

收藏

zxq997

常见的请求方法有两种: GET 和 POST1 GET直接打开一个连接:例如 http://www.baidu.com 这就是一个GET请求.如果有参数, 可以包含到URL里面去, 例如 http://www.baidu.com/s?wd=参数, 也就是说GET请求也可以包含参数2 POSTPOST请求大多数在表单提交时发起, 例如我们在登陆一个网站的时候, 需要输入用户名和密码

0.0000

0

2

0

关注作者

收藏

zxq997

HTTP基础知识

URL: 网址链接超文本: hypertext, 构成网页的HTML代码HTTP: 超文本传输协议HTTPS: 通过SSL加密的超文本传输协议当我们输入一个URL, 浏览器向网站服务器发送一个请求, 网站服务器接收这个请求后进行处理和解析, 然后返回相应的响应, 传回给浏览器.浏览器对返回的响应, 进行解析, 然后将网页呈现出来.在Chrome浏览器, 右击打开检查, 这是浏览器自

0.0000

0

3

0

关注作者

收藏

zxq997

数据离散化的优点和方法

对数值属性作离散化，有下列数个优点：1、可使数据精简，降低数据的复杂度，让数据更容易被解释；2、可支持许多无法处理数值型属性的分类算法。例如，贝氏分类（Bayesian Classification）算法、以关联规则（Association Rules）为基础的分类算法等；3、可提高分类器的稳定性，进而提升分类模型的准确度；4、可找出条件属性在目标属性上的趋势（Trend），有助于未来的解

0.0000

0

2

0

关注作者

收藏

zxq997

类别型数据缺失处理方法

类别型数据缺失处理方法有：（1）直接忽略法。例如：当数据有缺失值时，则将整笔数据删除。直接忽略法是处理数据缺失最简单的方法，一般的，当缺失数据占整个字段所有数据的比例过大时（>50%），便可直接删除。直接忽略法适用于搜集的数据量很多，而缺失数据只占一小部分的情况。这种方法也有其缺点，即当数据缺失比例很可观时，会造成大量数据流失数据的目标字段的值是空值的时候，使得数据分析结果不准确。（2）人工填

0.0000

1

1

0

关注作者

收藏

zxq997

缺失值的原因

缺失值是指为空的属性值，数据缺失原因可能有：1.数据建立时未输入，例如工作人员故意或是不小心造成数据没有被输入；2.设备故障，例如收款机故障，导致顾客消费明细无法输入；3.因数据内容不一致而被删除，例如A数据表和B数据表都有某会员的信息，但是信息不同，这时两个表里的本应该向同的信息不能匹配，为了避免错误的数据影响分析的准确性，可能会将该项数据以空值取代，因此产生数据的缺失。

0.0000

0

1

0

关注作者

收藏

zxq997

数值型数据的处理和离群值处理方法

数值型数据的处理方法，也是先观察其分布，即找离群值。离群值的侦测有如下三种方法：方法一：离群值为过大或过小的值，对数据排序即可发现。方法二：即平均值法，在平均值±3×标准偏差之内的值可视为正常值。方法三：四分位法，IQR = Q3 – Q1，Q3代表第75%的值，Q1代表第25%的值。正常值的范围为Q1 – 1.5×IQR ~ Q3 + 1.5×IQR。四分位法的优点在于适用于小数据，故较常

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

SELECT语句的语法

SELECT〈目标列组〉FROM〈数据源〉[WHERE〈元组选择条件〉][GROUP BY〈分列组〉[HAVING 〈组选择条件〉]] [ORDER BY〈排序列1〉〈排序要求1〉 [，…n]]；-- 对大气质量表进行有选择的查询select city_name, avg(pm25), avg(pm10) from Monthly_Indicatorwhere pm25 > 50

0.0000

0

2

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之线条颜色与风格

我们绘图时对图形的第一次调整通常是调整其颜色与风格，plt.plot()函数可以通过相应的参数设置颜色与风格。要修改颜色可以使用color参数，它支持各种颜色的字符串。你也可以使用linestyle调整线条的风格。%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as

0.0000

0

2

0

关注作者

收藏

wangjuju123

在循环中使用 continue

要返回到循环开头，并根据条件测试结果决定是否继续执行循环，可使用continue语句，它不像break语句那样不再执行余下的代码并退出整个循环。例如，来看一个从1数到10，但只打印其中偶数的循环： counting.py current_number = 0 while current_number < 10: current_number += 1 if curr

0.0000

0

1

0

关注作者

收藏

wangjuju123

使用int()来获取数值输入

使用函数input()时，Python将用户输入解读为字符串。请看下面让用户输入其年龄的解释器会话： >>> age = input("How old are you? ") How old are you? 21 >>> age '21' 用户输入的是数字21，但我们请求Python提供变量age的值时，它返回的是'21'——用户输入的数值的字符串表示。我们怎么知道Pytho

0.0000

0

2

0

关注作者

收藏

wangjuju123

从SQL导出或导入文件是出现1290错误怎么办？

这是因为sql导出文件应该导入到根目录下，可以用show variables like '%secure%';命令显示文件目录，然后讲文件目录更改为自己的根目录即可。

0.0000

1

4

0

关注作者

收藏

dreamhappy2012

数据库相关定义

数据库（Database，DB）数据库是将大量数据保存起来，通过计算机加工而成的可以进行高效访问的数据集合。数据库管理系统（DBMS，Database Management System）：用来管理数据库的计算机系统称为数据库管理系统（DBMS，Database Management System）。关系数据库（Relational Database，RDB）关系数据

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

梯度下降的python实现

假设我们（以某种方式）为参数 theta_0 设定了某个初始值，那么可以如下使用梯度下降法：def minimize_batch(target_fn, gradient_fn, theta_0, tolerance=0.000001):"""use gradient descent to find theta that minimizes target function"""step_si

0.0000

1

5

0

关注作者

收藏

啊啊啊啊啊吖

如果 f 是单变量函数，那么它在 x 点的导数衡量了当 x 发生变化时， f(x) 变化了多少。导数通过差商的极限来定义：def difference_quotient(f, x, h):return (f(x h) - f(x)) / h其中 h 趋近于 0。导数就是在点 (x, f (x)) 的切线的斜率，而差商就是通过点 (x, f (x)) 和点 (x h, f (x h)

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

梯度下降的思想

假设我们拥有某个函数 f，这个函数输入一个实数向量，输出一个实数。一个简单的例子如下：def sum_of_squares(v):"""computes the sum of squared elements in v"""return sum(v_i ** 2 for v_i in v)我们常常需要最大化（或最小化）这个函数。这意味着我们需要找出能计算出最大（或最小）可能值的输入

0.0000

0

5

0

关注作者

收藏

啊啊啊啊啊吖

关于安装arulesviz的问题

请问如何安装arulesViz包的问题，试了很多次都不能安装arulesViz这个包，想做关联规则的可视化图。我安装的时候出现的是下面的结果：> install.packages("arulesViz")also installing the dependency ‘igraph’ 有二进制版本的，但源代码版本是后来的: binary source needs_c

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

R做回归分析怎么保存结果

> summary(lm.re)Call:lm(formula = height ~ age)Residuals: Min 1Q Median 3Q Max-0.27238 -0.24248 -0.02762 0.16014 0.47238Coefficients: Estimate Std. Error t v

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

【问题求助】grprep包做grouplasso回归

在用grpreg()包实现group lasso回归的时候，如何确定选择lamda时使用了哪种准则，或者我想使用不同准则（比如比较BIC和Cp准则哪个更接近真实模型）时，应该调整哪个参数？因为我觉得用法说明里面哪个参数不能选择信息准则……求知道的大神帮忙，多谢！下附grpreg()用法介绍：grpreg(X, y, group=1:ncol(X), penalty=c("grLasso

0.0000

0

2

0

关注作者

收藏

<1…480481482…531>

CDA考试动态

CDA报考指南