数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

马锦涛

如何理解scrapy里的实体管道(Item Pipeline):？

1、实体管道，用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息2、管道实际上是一个对于数据进行处理的程序，例如对于数据缺失值进行填充，将图片链接直接变成图片

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的爬虫（Spider）？

1、爬虫，是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法)，用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。2、需要注意的是我们在编写完之后会先把请求发送给引擎，然后传递给下载器下载相关数据

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的下载器(Downloader)？

1、下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。2、下载器的主要作用是对于爬虫的请求进行响应，把用户需要数据从服务器下载下来，然后传到爬虫或者管道做进一步处理

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的调度器(Scheduler)？

1、调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。2、用户可能向服务器发送的请求不是一个，而是多个，多个请求如何排序，优先执行哪个请求，这些都是有Scheduler决定。

0.0000

0

0

0

关注作者

收藏

马锦涛

Scrapy基本构成？

(1)、调度器(Scheduler):调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。(2)、下载器(Downloader):下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建

0.0000

0

1

0

关注作者

收藏

马锦涛

什么是Scrapy？

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.Scrapy吸引人的地方在于它

0.0000

0

0

0

关注作者

收藏

马锦涛

出现 you should consider upgrading "pip" 如何解决

1、2、出现这个问题原因是“pip”python 安装库版本太落后了，我们只需要升级这个库就可以了，使用 pip install -U pip 就可以了，如果运行这个命令没用的话，可以在pip官方下载最新版本安装到相对应位置

0.0000

0

0

0

关注作者

收藏

马锦涛

excel表给每一行表了序号，有没有函数可以返回2-11的数字，表随意改动，但可以自动搜索2-11对应的数字？

建个五到九的一个新的数列，用vlookup函数，使用查找前一列的方法，查找序号对应的值，就可以了

0.0000

0

0

0

关注作者

收藏

马锦涛

mysql如何卸载？

1、先要在系统里面卸载mysql的程序2、然后再注册表清除mysql的相关文件、、3、删除C盘的相关文件（这个很重要，不要忘了）

75.4669

1

0

0

关注作者

收藏

马锦涛

下面的mysql代码是什么意思？

1、2、在一个复杂的mysql查询中，可能无法理解全部的意思，这个时候我们可以采用拆分的办法，先将主体部分进行验证，然后进行比对，就可以发现自己不理解部分的含义

0.0000

0

0

0

关注作者

收藏

ermutuxia

用python画雷达图的时候出现错误提示

for i, v in enumerate(center_num): # 设置雷达图的角度，用于平分切开一个圆面 angles = np.linspace(0, 2 * np.pi, N, endpoint=False) # 为了使雷达图一圈封闭起来，需要下面的步骤 center = np.concatenate((v[:], [v[0]])) angles = np

0.0000

1

2

0

关注作者

收藏

ermutuxia

[MySQL][ODBC 8.0(w) Driver][mysqld-8.0.19]Lost connection to MySQL server during query 错误代码：9F80FB23

学生问：想把mysql数据库里面的一万条数据通过查询语句，放入到tableau中去画图，在tableau中运行查询语句时出现如下错误：有哪位大佬能帮忙看下这个问题怎么解决吗？tableau连接mysql[MySQL][ODBC 8.0(w) Driver][mysqld-8.0.19]Lost connection to MySQL server during query错误代码：9F80FB2

0.0000

0

0

0

关注作者

收藏

心盛待花开

桌面新建excel表格后，打开时，提示“Excel无法打开文件xxx.xlsx，因为文件格式或文件扩展名无效。请确定文件未损坏，并且文件扩展名与文件的格式匹配”

问题描述：1、桌面新建excel表格后，打开时，提示“Excel无法打开文件xxx.xlsx，因为文件格式或文件扩展名无效。请确定文件未损坏，并且文件扩展名与文件的格式匹配”2、点击确认后，通过文件->新建->空白工作簿->另存为->xxx.xlsx，可正常打开3、能打开之前保存的excel文件出现原因：安装极速PDF阅读器其他办公套件，后卸载，发现右键不能新建word/excel/ppt ，后采

55.2054

1

1

0

关注作者

收藏

WXQIfMw

【求助】windows安装pygal失败

命令提示符里输入pip install pygal，提示如下，请帮忙看看，谢谢！C:\Users\86153>pip install pygalWARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.WARNING: Retry

70.5882

1

1

0

关注作者

收藏

心盛待花开

无法启动spss，用管理员权限启动SPSS的时候报错：SPSS应用程序无法启动，因为应用程序的并行配置不正确。请参阅应用程序事件日志，或使用命令行sxstrace.exe工具

问题详述：SPSS应用程序无法启动，因为应用程序的并行配置不正确。请参阅应用程序事件日志，或使用命令行sxstrace.exe工具问题如图方法一：①Windows键+R键，打开运行（输入services.msc）- 确定，进入：服务（本地）。②找到：Windows Modules Installer服务，查看是否被禁用。③如果Windows Modules Installer服务被禁用，我们必须把

70.5882

1

0

0

关注作者

收藏

读童话的狼

openpyxl这个包是干嘛的呢

第三方库openpyxl（可读写excel表），专门处理Excel2007及以上版本产生的xlsx文件。注意：如果文字编码是“gb2312” 读取后就会显示乱码，请先转成Unicode

70.5882

1

0

0

关注作者

收藏

永洪科技

疫情下跨境电商逆势增长,大数据告诉你如何抓住跨境网购新趋势

1疫情再催生红利期，跨境电商持续增长疫情导致国内外“宅经济”的盛行，跨境电商对欧美及东南亚市场的渗透力不降反升，更是促进了对国外市场的占有率，无论进口出口，跨境电商都呈现大幅增长模式。据eMarketer预测，2023年全球网络零售额将达到6.5万亿美元，庞大的海外电商消费市场为中国品牌出海提供了最佳机遇。据统计，2019年中国跨境电商市场规模已超10万亿元，同比增长16.7%。2020年中国海淘

70.5882

1

0

0

关注作者

收藏

心盛待花开

Mysql数据导入导出时提示secure-file-priv option问题的解决方案报错1290

Mysql数据库进行数据从文件导入或者导出到文件时，提示 ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement ，原因及解决方案如下：一些版本的Mysql对此做了限制，默认不允许，可以进入到Mysql后台通过如下指令

70.5882

1

0

0

关注作者

收藏

ermutuxia

用python库将一亿条数据从数据框导入到mysql中出现错误提示

错误提示如下:File "D:\ProgramData\Anaconda3\lib\site-packages\pymysql\connections.py", line 738, in _read_bytesraise err.OperationalError(OperationalError: (2013, 'Lost connection to MySQL server during que

0.0000

0

0

0

关注作者

收藏

liting李

如何查询M函数功能

方法一：使用帮助 1、在查询页面点击右上角的帮助按钮；2、找到并进入“了解 Power Query 公式”页面；3、在弹出的页面中找到并进入“Power Query 公式类别 ”,然后在弹出的网页中查找相应的函数（页面是英文版）；或直接访问页面Power Query M function reference（建议收藏此链接）方法二：用PowerQuery获取全部函数 1、新建空白查询、在编辑栏

150.0000

1

0

0

关注作者

收藏

<1…808182…531>

CDA考试动态

CDA报考指南