Python -数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

马锦涛

爬虫中Headers的作用是什么？

1、在请求头中, User-Agent 项会记录用户的系统和浏览器版本。如果使用python-requests库请求, 则网站能够得知用户在使用爬虫程序访问，可能会禁用你继续访问。我们编写爬虫的时候, 通常会自动添加Headers, 改成正常浏览器的UserAgent 内容, 伪装成一个普通的用户。

59.9825

1

0

0

关注作者

收藏

马锦涛

爬虫虫如何找到User-Agent

1、鼠标右键点击检查2、 chrome浏览器中，在网页中右键-检查查看在加载过程中的Network数据中对应的网址，就可以找到User-Agent

0.0000

0

0

0

关注作者

收藏

LXM21

python安装所需的包

#安装所需的包+清华镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple　要下的包名

52.1909

4

0

0

关注作者

收藏

马锦涛

如何区分动态网址和静态网址呢？

网址中含有问号？就是动态网址，没有就是静态网址而且一般动态网址我们无法直接获取他的网页内容，但是静态网址可以直接获取

59.9825

1

0

0

关注作者

收藏

马锦涛

常见的网页状态码

1、响应状态码表示服务器的响应状态, 是否正常, 能够找到网页等等.最常见的‣ 200 代表正常, ‣ 301/302 重定向‣ 404 代表没找到⻚⾯,‣ 403 Forbidden：请求资源的访问被服务器拒绝, 例如IP被封了‣ 500 服务器错误(例如服务器宕机了)

0.0000

0

0

0

关注作者

收藏

马锦涛

HTTP响应分为哪几部分

1、服务端返回给客户端, 分为三部分: ‣ 响应状态码(Response Status Code) ,‣ 响应头(Respongse Headers),‣ 和响应体(Respongse body )

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解JavaScript

JavaScript ，简称 JS ，是一种脚本语言。 HTML 和 css 配合使用，提供给用户的只是一种静态信息，缺乏交互性。我们在JS可能会看到一些交互和动画效果，如下载进度条、提示框、轮播图等，这通常就是JavaScript 的功劳

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解CSS

CSS的全称叫做Cascading Style 。Sheets，即层叠样式表。 “层叠”是指当在 HTML 中引入了数个样式文件，并且样式发生冲突时，浏览器能依据层叠顺序处理。 “样式”指网页中文字、颜色、元素间距、排列等格式。css是前端排版样式标准，有了它的帮助，网才会变得更为美观。

0.0000

0

0

0

关注作者

收藏

马锦涛

网页的三个构成

1、网页的组成分为三个部分HTML，CSS，JavaScript2、HTML相当于人的⻣骼, 决定了网页的大体框架结构;CSS相当于人的皮肤, 决定了网页看起来的风格样式;JavaScript 相当于人的肌肉, 使网页能够响应你的操作, 做出各种活动

0.0000

0

0

0

关注作者

收藏

马锦涛

网页访问的原理是什么？

每个我们能够访问的网站实际上都是被部署在一个带有网络连接的服务器中。每个在线到服务器都会有一个IP地址，⽽我们将网站的域名绑定到这个IP地址上⾯，这样当我们访问这个域名的时候，实际上就和这个服务器建立起了连接。计算机带着请求头和消息体向服务器发起一次 Request 请求, 响应的服务器会返回本计算机响应的HTML文件作为Response.

0.0000

0

0

0

关注作者

收藏

liting李

如何获取字符串格式的当前时间、数小时/数天之前/之后的时间

可以使用datetime.now()获取当前时间，再用timedelta()调整为需要的时间。timedelta()的可选参数有：microseconds，milliseconds，seconds，minutes，hours，days，weeks。from datetime import *# 当前时间print(datetime.now().strftime('%Y-%m-%d %X'))# 输

83.1879

1

0

0

关注作者

收藏

马锦涛

爬虫的分类

根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种。通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要的是将互联网上的下载到本地通用网络爬虫从互联网中搜集，采集信息，这些信息为搜索引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。聚焦爬虫聚焦爬虫，是向特定主题需求的一种网络爬虫程序，它与通用搜索引

0.0000

0

0

0

关注作者

收藏

马锦涛

爬虫的作用

使用网络爬虫对数据信息进行自动采集，⽐如应用于搜索引擎中对站点进行爬取收录，应用于数据分析与挖掘中对数据进行采集，应用于金融分析中对金融数据进行采集，除此之外，还可以将网络爬虫应用于舆情监测与分析、目标客户数据的收集等各个领域

0.0000

0

0

0

关注作者

收藏

读童话的狼

python利用xlsxwriter同时向excel中插入数据和图片

写入Excel中后有显示第一列客户款号总库存这些，开始写在第12行第一列开始写入，一行写入5个，然后再隔12行，再写入下边的数据，图片需要对应客户款号在Excel写入图片，类似下面的格式客户款号总库存零售数量前一周0N0384002015.06.0-1.01N03840020510.05.00.02N03840023721.029.09.03N038400301

50.6346

1

0

0

关注作者

收藏

马锦涛

爬虫数据的获取方式

1. 企业生产的用户数据: 互联网公司有海量用户, 所以他们积累数据有天然优势。2. 数据管理咨询公司: 通常这样的公司有很庞大的数据采集团队, ⼀一般会通过市场调研, 和各行各业的公司进行合作, 专家对话。3. 政府/第三⽅机构提供的公开数据: 地⽅政府, 通过各地政府统计上报的数据进⾏整合; 机构都是权威的第三网站。4. 第三⽅数据平台购买: 通过各个数据交易平台购买各⾏各业的数据, 根据

0.0000

0

0

0

关注作者

收藏

马锦涛

python + selenium + chrome 如何操作滚动条

将页面滚动条滑到底部self.driver.execute_script(“window.scrollTo(0,document.body.scrollHeight);”)向下滑动滚动条，跳转到目标元素处self.driver.execute_script(“arguments[0].scrollIntoView();”, el)向上滑动滚动条，跳转到目标元素处self.driver.execut

0.0000

0

0

0

关注作者

收藏

读童话的狼

梯度下降法里面预测的时候，这里为什么大于0.5是1，小于的话是0呢

simgmoid输出的可以理解为预测为1的概率，0.5是自己设置的，概率大于0.5就是一，低于就是0

50.6346

1

0

0

关注作者

收藏

马锦涛

使用for循环同时便利两个列表

我们知道直接上代码。如果想要同时遍历两个列表，直接打印是会报错的。具体解决办法是使用python的zip()函数：def myxx(): list1 = [1,2,3,4,5] list2 = ['a','b','c','d','e'] for l1,l2 in zip(list1,list2): print(l1,l2)

59.9825

1

0

0

关注作者

收藏

读童话的狼

conda 安装python-graphviz报错

安装好msi文件并配置好环境之后，直接在anaconda Prompt 执行pip install graphviz在jupyter notebook中运行import graphvizgraphviz.__version__ #注意双下划线没有报错，即是安装成功

50.6346

1

0

0

关注作者

收藏

马锦涛

selenium获取元素信息的常用方法

获取元素的文本内容上一章，我们已经知道，通过WebElement对象的 text 属性，可以获取元素展示在界面上的文本内容。比如element = wd.find_element_by_id('animal')print(element.text)获取元素属性通过WebElement对象的 get_attribute 方法来获取元素的属性值，比如要获取元素属性class的值，就可以使用 ele

0.0000

0

0

0

关注作者

收藏

<1…212223…61>

CDA考试动态

CDA报考指南