数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

LXM21

excel求各省份2017全年销售金额(全部产品)Top1的医院

求各省份2017全年销售金额(全部产品)Top1的医院解决：用了最复杂的方式，匹配SKU生产日期小于销售日期中和销售日期相差天数最少的那个生产日期插入数据透视表，右键筛选前10个，将10设置成1，筛选前1个即可

59.5169

3

3

0

关注作者

收藏

詹惠儿

机器学习预处理时教育程度是定量变量，为什么需要做哑变量处理呢

问：机器学习预处理时教育程度是定量变量，为什么需要做哑变量处理呢答：因为教育程度是有序型变量，有序型变量最好也进行哑变量处理，例如这里教育程度原本指的是‘博士’,'硕士'，'学士'，用有序数字表示为3,2,1，也就默认了三个类别是等间距且间距是1，无法准确表达数据的差异性。

55.2054

1

0

0

关注作者

收藏

LXM21

excel输入文字计算公式

在三个单元格中分别输入“高”“中”“低”，高的值是3，中的值是2，低的值是1。在然后第四个单元格中计算出3x2x1=6这样子上述三个单元格每个都可以输入高中低。求问怎么在Excel中实现这种输入汉字计算数字的功能？目前能想到的办法

59.2781

2

0

0

关注作者

收藏

LXM21

mysql别名需要加引号的情况

1.别名中间有空格需要加引号调薪‘调薪’2.别名是纯数字‘123’

59.2781

2

0

0

关注作者

收藏

马锦涛

如何在爬虫处理异步加载数据？

对于异步加载数据来说，目前处理的方法主要有两种1、通过对异步加载数据的相关js包进行解析，得到相关数据2、利用模拟浏览器的方式进行解析，一般第二种的方法比第一种更加简单

0.0000

0

0

0

关注作者

收藏

马锦涛

scrapy中pipeline如何使用？

1、在Scrapy中，Item Pipeline是可选组件，默认关闭，要想激活它，只需在配置文件settings.py中启用被注释掉的代码即可。2、# Configure item pipelines# See https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = { 'qidian_hot.pip

0.0000

0

0

0

关注作者

收藏

马锦涛

使用ItemLoader填充数据？

目前为止我们爬取的数据的字段较少，但是当项目很大，提取的字段数以百计时，数据的提取规则也会越来越多，再加上还要对提取到的数据做转换处理，代码就会变得庞大，维护起来十分困难。为了解决这个问题，Scrapy提供了项目加载器（ItemLoader）这样一个填充容器。通过填充容器，可以配置Item中各个字段的提取规则，并通过函数分析原始数据，最后对Item字段赋值，使用起来非常便捷。2、Item和Item

0.0000

0

0

0

关注作者

收藏

马锦涛

什么是scrapy的item方法？

1、 Item对象是一个简单的容器，用于收集抓取到的数据，其提供了类似于字典（dictionary-like）的API，并具有用于声明可用字段的简单语法。2、优点：类QidianHotItem继承于Scrapy的Item类。name、author、type和form为小说的各个字段名。scrapy.Field()生成一个Field对象，赋给各自的字段。Field对象用于指定每个字段的元数据，

0.0000

0

0

0

关注作者

收藏

马锦涛

return和yield返回的结果有什么区别？

1、rutnrn返回的结果后，程序就停止运行了2、yield返回结果后，程序会继续运行

75.4669

1

0

0

关注作者

收藏

马锦涛

如何创建一个scrapy 项目

1、在命令行中输出scrapy crawl 爬虫名2、这个命令会自动在当前目录创建一个项目它是由多个文件夹组成，每个文件夹对应一个scrapy的组件，我们可以在各个组件完成各自代码的编写

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的Scrapy中间件？

1、中间件分为两种，分别为爬虫中间件和下载器中间件，其中最重要的是下载器中间，他可以获取引擎传来信息，并且对于数据进行处理，比如设置响应时间。2、同时他也可以获取下载器的信息，进行处理

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的Scrapy引擎(Scrapy Engine)？

1、Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上，引擎相当于计算机的CPU,它控制着整个流程。2、引擎负责将整个scrapy串联起来，相当于军队里面的作战指挥室，

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的实体管道(Item Pipeline):？

1、实体管道，用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息2、管道实际上是一个对于数据进行处理的程序，例如对于数据缺失值进行填充，将图片链接直接变成图片

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的爬虫（Spider）？

1、爬虫，是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法)，用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。2、需要注意的是我们在编写完之后会先把请求发送给引擎，然后传递给下载器下载相关数据

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的下载器(Downloader)？

1、下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。2、下载器的主要作用是对于爬虫的请求进行响应，把用户需要数据从服务器下载下来，然后传到爬虫或者管道做进一步处理

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的调度器(Scheduler)？

1、调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。2、用户可能向服务器发送的请求不是一个，而是多个，多个请求如何排序，优先执行哪个请求，这些都是有Scheduler决定。

0.0000

0

0

0

关注作者

收藏

马锦涛

Scrapy基本构成？

(1)、调度器(Scheduler):调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。(2)、下载器(Downloader):下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建

0.0000

0

1

0

关注作者

收藏

马锦涛

什么是Scrapy？

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.Scrapy吸引人的地方在于它

0.0000

0

0

0

关注作者

收藏

马锦涛

出现 you should consider upgrading "pip" 如何解决

1、2、出现这个问题原因是“pip”python 安装库版本太落后了，我们只需要升级这个库就可以了，使用 pip install -U pip 就可以了，如果运行这个命令没用的话，可以在pip官方下载最新版本安装到相对应位置

0.0000

0

0

0

关注作者

收藏

马锦涛

excel表给每一行表了序号，有没有函数可以返回2-11的数字，表随意改动，但可以自动搜索2-11对应的数字？

建个五到九的一个新的数列，用vlookup函数，使用查找前一列的方法，查找序号对应的值，就可以了

0.0000

0

0

0

关注作者

收藏

<1…798081…530>

CDA考试动态

CDA报考指南