Python爬虫-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

wo56565

scrapy和scrapy-redis有什么区别?

1) scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。2) 为什么选择redis数据库，因为redis支持主从同步，而且数据都是缓存在内存中的，

0.0000

0

0

0

关注作者

收藏

PGC123

urlopen()和get()区别

问题描述Python爬虫中用urllib的urlopen()和requests.get()方法去请求或获取一个网页的内容时，requests.get(url)和urlopen()有什么区别呢？答：两者的区别在于：urlopen打开URL网址，url参数可以是一个字符串url或者是一个Request对象，返回的是http.client.HTTPResponse对象.它包括read()、re

8.5799

2

0

0

关注作者

收藏

PGC123

python爬虫用到哪些工具？

Python自带：urllib，urllib2第三方：requests框架：Scrapyurllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。urllib2.：urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers），urllib.urlopen只接收一个url

28.1580

5

5

0

关注作者

收藏

PGC123

什么是session?

Session:在计算机中，尤其是在网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web 服务器将自动创建一个 Session 对象。当会话过期或被放弃后，服务器

24.6329

4

4

0

关注作者

收藏

PGC123

什么是cookie？

cookie是由服务器端产生并保存在浏览器端的key-value对，有了这个东东，服务器可以很方便的确认访问者的信息。为了区分不同的客户端，服务器会在浏览器中发送一个对应的sessionid保存到cookies中，下次浏览器请求服务器的时候会将sessionid一并发送给服务器。所以session机制依赖于cookie机制。

15.5511

2

5

0

关注作者

收藏

PGC123

什么是网络爬虫？

网络爬虫听起来高大上，其实从原理上来说还是比较容易理解的。爬虫是通过代码模拟浏览器上网的过程来访问网站服务器获取数据并解析整理数据的代码。网络爬虫一般应用于竞价商品分析、广告投放分析等场景。

15.5511

2

2

0

关注作者

收藏

PGC123

爬虫时要访问的url中含有中文，如何来编码？

爬虫时url中文不编码报错答：如果URL中存在中文，而你却不对它做任何处理，他不会达到你所想的那样，因此我们需要将中文部分进行处理，要用到urllib.request模块中的quote将中文转化成URL所需的编码，url中的中文要单独处理，不能中英文全部合在一起处理（因为一部分的特殊字符也会被处理掉）from urllib.request import quote# 编码url1

7.7774

2

4

0

关注作者

收藏

PGC123

正则表达式中的非打印字符总结

非打印字符是正则表达式的组成部分。下表列出了表示非打印字符的转义序列：a

0.0000

0

1

0

关注作者

收藏

PGC123

lxml beautifulsoup等解析库对比

爬虫常用的几种解析方法有什么区别呢？下表列出了主要的解析器a当然除了以上几种方法还可以使用正则表达式re

0.0000

0

0

0

关注作者

收藏

PGC123

requests 模拟登录如何写？

requests 模拟登录如何写？答：提交密码账号一般是使用 post 方式提交的参考代码如下：import requestsurl="https://www.douban.com/accounts/login" #action属性params={ "source":"index_nav", #input标签下的name "form

0.0000

0

4

0

关注作者

收藏

朝阳Tim

【推荐】傻瓜式爬虫软件——八爪鱼

八爪鱼的出现，对于爬虫爱好者来说喜忧参半。喜的往往是初学者，通过点击式操作即可实现数据的采集，降低了掌握爬虫技术的门槛；忧的是懂一些爬虫技术的人，辛苦学来的代码可能还不如做好的模板使用的效率更高。当然八爪鱼也有局限，例如模板更新慢，可爬取的字段与方式较为有限，以及收费等，爬虫的高级用户可以无视这个软件。这里仅简单介绍一下这个软件的功能，给爬虫入门者多一个工具参考。爬虫的原理，是“可见即可

66.6535

1

1

0

关注作者

收藏

詹惠儿

使用Div Tag创建Web布局（2）

GeeksforGeeks GCET is an entrance test for the extensive classroom programme by GeeksforGeeks to build and enhance Data Structures and Algorithm concepts, mentored by Sandeep Jain

0.0000

1

0

0

关注作者

收藏

詹惠儿

如何使用Div Tag创建Web布局（1）

Div标签是div标签内的容器标签，我们可以放置多个HTML元素并可以组合在一起并可以为它们应用CSS。div标签可用于创建网页布局，下面的示例显示创建网页布局我们也可以使用表格标签创建网页布局但是表格标签修改布局非常复杂Div标签非常灵活，可以创建网页布局并且易于修改。在下面的示例中，将使用div标签显示HTML元素的分组，并创建逐块的Web布局。

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何用CSS替代div标签

我们知道div标签用于将HTML元素组合在一起，并在其上应用CSS和Web布局。让我们看看下面的示例，不使用div标签。我们需要为每个标签应用CSS（在示例中使用H1 H2和两个段落p标签） gfg p{ color: white; background-color:

0.0000

0

3

0

关注作者

收藏

詹惠儿

div标签如何对内容划分

div标签称为Division标签。Div标签在HTML中用于在网页中对内容进行划分，如（文本，图像，页眉，页脚，导航栏等）。Div标签包含open（）标签，必须关闭标签。Div是Web开发中最有用的标记，因为它有助于我们分离网页中的数据，并且我们可以为网页中的特定数据或功能创建特定部分。Div标签是Block level标签它是一个通用的容器标签它用于HTML的各种

0.0000

0

2

0

关注作者

收藏

詹惠儿

header标签适用于什么浏览器

支持的浏览器：支持标签的浏览器如下：Apple Safari 5.1 谷歌Chrome 6 Firefox 4 Opera 11.1 Internet Explorer 9 Header Tag

0.0000

0

5

0

关注作者

收藏

詹惠儿

标签的作用是什么

HTML中的标记用于定义文档或节的标题。标题标记包含与相关内容的标题和标题相关的信息。元素通常包含节的标题（h1-h6元素或元素），但这不是必需的。元素还可用于包装部分的目录，搜索表单或任何相关徽标。标记是HTML5中的新标记，它需要一个起始标记和一个结束标记。一个文档中可以有多个元素。

0.0000

0

4

0

关注作者

收藏

詹惠儿

CSS选择器主要有哪几类

CSS选择器是什么：CSS主要用于根据元素名称，id，类，属性等“查找”（或选择）HTML元素。1.通用选择器：通用选择器非常简单地匹配任何元素类型的名称，而不是选择特定类型的元素* { color: #000000; } 此规则将文档中每个元素的内容呈现为黑色。2. 元素选择器：元素选择器根据元素名称选择元素。您可以选择页面上的所有p元素（在这种情况下，所有p元素将居中对齐，

0.0000

0

0

0

关注作者

收藏

詹惠儿

很多学生在爬虫时首先会问CSS是什么，下面就来讲一下CSS在爬虫技术的角色是什么？CSS，是一个设计简单的语言旨在简化制作网页像样的过程。CSS允许您将样式应用于网页。更重要的是，CSS使您可以独立于组成每个网页的HTML执行此操作。CSS易于学习和理解，但它提供了对HTML文档表示的强大控制。CSS节省时间：您可以编写一次CSS并在多个HTML页面中重复使用相同的工作表。轻松维护：要进

0.0000

0

0

0

关注作者

收藏

詹惠儿

如何删除内联块元素之间的空格？

要删除内联块元素之间的空格，请使用margin-right属性。此属性用于删除其右侧元素之间的空间。此属性生成负值以保持靠近其相邻元素。句法：元素{ 余量右：值; }例：Syntax:element { margin-right:value; }Example: n

0.0000

0

3

0

关注作者

收藏

<1…345…8>

CDA考试动态

CDA报考指南