数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

wangjuju123

爬虫反爬虫套路现状

那么一旦有发现对方数据造假怎么办？早期的时候，大家都是要抽查数据，通过数据来检测对方是否有造假，这个需要人工核对，成本非常高。可是那已经是洪荒时代的事情了。如果你们公司还在通过这种方式来检测，说明你们的技术还比较落伍。之前我们的竞争对手是这么干的：他们会抓取我们两次，一次是他们解密出来 key 之后，用正经方式来抓取，这次的结果定为 A。一次是不带 key，直接来抓，这次的结果定为 B。根

0.0000

0

4

0

关注作者

收藏

wangjuju123

爬虫反爬虫技术现状

为 Python 平反首先是爬虫，爬虫教程你到处都可以搜的到，大部分是 Python 写的。我曾经在一篇文章提到过：用 Python 写的爬虫是最薄弱的，因为天生并不适合破解反爬虫逻辑，因为反爬虫都是用 JavaScript 来处理。然而慢慢的，我发现这个理解有点问题（当然我如果说我当时是出于工作需要而有意黑 Python，你们信吗。。。）。Python 的确不适合写反爬虫逻辑，但是 Py

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫反爬虫运行现状

电子商务行业的爬虫与反爬虫更有趣一些，最初的爬虫需求来源于比价。这是某些电商网站的核心业务，大家买商品的时候，是一个价格敏感型用户的话，很可能用过网上的比价功能(真心很好用啊)。毫无悬念，他们会使用爬虫技术来爬取所有相关电商的价格。他们的爬虫还是比较温柔的，对大家的服务器不会造成太大的压力。然而，这并不意味着大家喜欢被他爬取，毕竟这对其他电商是不利的，于是需要通过技术手段来做反爬虫。按照技

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫与反爬虫的历史

爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫

0.0000

0

3

0

关注作者

收藏

wangjuju123

为什么你的Python爬虫经常被封？

如果你一直被网站封杀却找不到原因，那么这篇文章获取能帮助到你。今天小编重点给大家讲一下，网络爬虫被封的常见原因。　　一、检查JavaScript　　如果出现页面空白、缺少信息情况，很有可能是因为网站创建页面的JavaScript出现问题。　　二、检查cookie　　如果出现登录不了、无法保持登录状态情况，请检查你的cookie.　　三、IP地址被封　　如果出现页面无法打开、403禁止访

0.0000

0

4

0

关注作者

收藏

PGC123

pandas assign函数用法

assign()函数是用来向dataframe中添加新列用的,返回值为一个新的dataframe，用法如下：>>> df = pd.DataFrame({'A': range(1, 11), 'B': np.random.randn(10)})Where the value is a callable, evaluated on `df`:>>> df.assign(ln_A = la

0.0000

0

2

0

关注作者

收藏

wangjuju123

使用 Beautiful Soup 解析 html 文件

#!/usr/bin/python# -*- coding: UTF-8 -*-import refrom bs4import BeautifulSouphtml_doc = """ The Dormouse's story The Dormouse's st

0.0000

0

2

0

关注作者

收藏

wangjuju123

第三方库 Beautiful Soup 的安装

Beautiful Soup: Python 的第三方插件用来提取 xml 和 HTML 中的数据，官网地址 https://www.crummy.com/software/BeautifulSoup/1、安装 Beautiful Soup打开 cmd（命令提示符），进入到 Python（Python2.7版本）安装目录中的 scripts 下，输入 dir 查看是否有 pip.exe, 如

0.0000

0

3

0

关注作者

收藏

wangjuju123

urllib2 实现下载网页的三种方式

#!/usr/bin/python# -*- coding: UTF-8 -*-importcookielibimporturllib2url = "http://www.baidu.com"response1 = urllib2.urlopen(url)print"第一种方法" #获取状态码，200表示成功printresponse1.getcode() #获取网页内容的长

0.0000

0

2

0

关注作者

收藏

wangjuju123

Python爬虫介绍

一、什么是爬虫爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓

0.0000

0

4

0

关注作者

收藏

PGC123

notebook中如何画图？

IPython Notebook 是一款基于浏览器的交互式数据分析工具，可以将描述性文字、代码、图形、 HTML 元素以及更多的媒体形式组合起来，集成到单个可执行的 Notebook 文档中。用 IPython Notebook 进行交互式画图与使用 IPython shell 类似，也需要使用 %matplotlib 命令。你可以将图形直接嵌在 IPython Notebook

44.6950

1

2

0

关注作者

收藏

PGC123

在ipython shell中如何画图?

matplotlib 在ipython shell中如何画图？在 IPython shell 中交互式地使用 Matplotlib 画图非常方便, 在 IPython 启动 Matplotlib 模式就可以使用它。为了启用这个模式，你需要在启动 ipython 后使用 %matplotlib 魔法命令：In [1]: %matplotlibUsing matplotlib backe

0.0000

0

1

0

关注作者

收藏

PGC123

matplotlib 在脚本中如何画图？

如果你在一个脚本文件中使用 Matplotlib，那么显示图形的时候必须使用 plt.show()。 plt.show() 会启动一个事件循环（eventloop），并找到所有当前可用的图形对象，然后打开一个或多个交互式窗口显示图形。例如，你现在有一个名为drow.py 的文件，代码如下所示：# -------drow.py ------import matplotlib.py

0.0000

0

0

0

关注作者

收藏

PGC123

matplotlib 在怎能不弹窗口？

画图直接弹出窗口来了，这个怎么让图在notebook下面显示呢？在notebook中画图不需要使用show()函数，只需在文件开始的地方运行一次魔术命令：%matplotlib inline即可。

0.0000

0

1

0

关注作者

收藏

PGC123

使用assign 函数时报错

使用assign 函数时报错，错误如下：根据报错信息提示，变量“user_info_backup”还没有定义，没有定义的变量直接使用是会报错的，检查一下前面的代码，看看是不是拉下初始化变量的代码了。

0.0000

0

2

0

关注作者

收藏

PGC123

在使用pandas cut函数时报错

在使用pandas cut函数时报错，如下根据错误提示信息这行代码中应该有错误字符，对于初学者最常见的错误是标点中含有中文字符了，仔细检查一下即可。

0.0000

0

1

0

关注作者

收藏

PGC123

mysql left join 右表数据不唯一的情况解决方法

如果B表符合条件的记录数大于1条，就会出现1:n的情况，这样left join后的结果，记录数会多于A表的记录数。例如：A与B表的结构如下，A记录会员信息，B记录会员每日的登入记录。A表的id与B表的uid是对应关系。A 表idusername1fdipzone2terryB 表iduidlogindate112015-01-01222015-01-013

0.0000

0

6

0

关注作者

收藏

PGC123

python常见报错信息解读

在运行或编写一个程序时常会遇到错误异常，这时python会给你一个错误提示类名，告诉出现了什么样的问题，解决程序上的问题是非常有帮助的。python常见错误类型：AttributeError：属性错误，特性引用和赋值失败时会引发属性错误NameError：试图访问的变量名不存在SyntaxError：语法错误，代码形式错误Exception：所有异常的基类，因为所有python异常类都是

0.0000

0

2

0

关注作者

收藏

PGC123

DataFrame()参数解析

dataframe的参数都是什么含义呢？DataFrame()函数定义：pd.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)参数解析data:数据为numpy的ndarray数组或者字典或者dataframeindex:data的索引值columns:data的列名称dtype:读入后

0.0000

0

2

0

关注作者

收藏

PGC123

pandas 读取excel

pandas 如何读取excel文件？pandas 读取excel文件使用 read_excel()函数read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None,names=None, parse_cols=None, parse_dates=False,date_parser=Non

0.0000

0

1

0

关注作者

收藏

<1…301302303…340>

CDA考试动态

CDA报考指南