数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

809669515

非参数监督学习方法——决策树（DT）

决策树（DT）是用于分类和回归的非参数监督学习方法。目标是创建一个模型，通过学习从数据特征推断出的简单决策规则来预测目标变量的值。例如，在下面的示例中，决策树从数据中学习以使用一组if-then-else决策规则来近似正弦曲线。树越深，决策规则越复杂，模型越适合。决策树的一些优点是：易于理解和解释。树木可以看到。需要很少的数据准备。其他技术通常需要数据规范化，需要创建虚拟变量并删除

0.0000

0

4

0

关注作者

收藏

PGC123

pandas 读写MySQL数据

一、写入MySQL数据库import numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engine#连接数据库的参数db_info = { 'user': 'root', 'password': 'emtf', 'h

44.6950

1

3

0

关注作者

收藏

PGC123

No module named 'MySQLdb'

python 链接mysql时报错，提示No module named 'MySQLdb'，怎么解决？这是缺少MySQL与python连接驱动导致的，在windows系统上需要安装python 软件包mysqlclient。安装命令：conda install mysqlclient安装完成后就可以正常使用了。

0.0000

0

2

0

关注作者

收藏

wangjuju123

爬虫反爬虫的未来

与竞争对手和解之后，我们去拜访对方，大家坐在了一起。之前网上自称妹子的，一个个都是五大三粗的汉子，这让我们相当绝望。在场唯一的一个妹子还是我们自己带过去的（就是上面提到的实习生），感觉套路了这么久，最终还是被对方套路了。好在，吃的喝的都很好，大家玩的还是比较 high 的。后续就是和平年代啦，大家不打仗了，反爬虫的逻辑扔在那做个防御，然后就开放白名单允许对方爬取了。群里经常叫的就是：xxx

0.0000

0

4

0

关注作者

收藏

wangjuju123

爬虫反爬虫套路现状

那么一旦有发现对方数据造假怎么办？早期的时候，大家都是要抽查数据，通过数据来检测对方是否有造假，这个需要人工核对，成本非常高。可是那已经是洪荒时代的事情了。如果你们公司还在通过这种方式来检测，说明你们的技术还比较落伍。之前我们的竞争对手是这么干的：他们会抓取我们两次，一次是他们解密出来 key 之后，用正经方式来抓取，这次的结果定为 A。一次是不带 key，直接来抓，这次的结果定为 B。根

0.0000

0

4

0

关注作者

收藏

wangjuju123

爬虫反爬虫技术现状

为 Python 平反首先是爬虫，爬虫教程你到处都可以搜的到，大部分是 Python 写的。我曾经在一篇文章提到过：用 Python 写的爬虫是最薄弱的，因为天生并不适合破解反爬虫逻辑，因为反爬虫都是用 JavaScript 来处理。然而慢慢的，我发现这个理解有点问题（当然我如果说我当时是出于工作需要而有意黑 Python，你们信吗。。。）。Python 的确不适合写反爬虫逻辑，但是 Py

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫反爬虫运行现状

电子商务行业的爬虫与反爬虫更有趣一些，最初的爬虫需求来源于比价。这是某些电商网站的核心业务，大家买商品的时候，是一个价格敏感型用户的话，很可能用过网上的比价功能(真心很好用啊)。毫无悬念，他们会使用爬虫技术来爬取所有相关电商的价格。他们的爬虫还是比较温柔的，对大家的服务器不会造成太大的压力。然而，这并不意味着大家喜欢被他爬取，毕竟这对其他电商是不利的，于是需要通过技术手段来做反爬虫。按照技

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫与反爬虫的历史

爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫

0.0000

0

3

0

关注作者

收藏

wangjuju123

为什么你的Python爬虫经常被封？

如果你一直被网站封杀却找不到原因，那么这篇文章获取能帮助到你。今天小编重点给大家讲一下，网络爬虫被封的常见原因。　　一、检查JavaScript　　如果出现页面空白、缺少信息情况，很有可能是因为网站创建页面的JavaScript出现问题。　　二、检查cookie　　如果出现登录不了、无法保持登录状态情况，请检查你的cookie.　　三、IP地址被封　　如果出现页面无法打开、403禁止访

0.0000

0

4

0

关注作者

收藏

PGC123

pandas assign函数用法

assign()函数是用来向dataframe中添加新列用的,返回值为一个新的dataframe，用法如下：>>> df = pd.DataFrame({'A': range(1, 11), 'B': np.random.randn(10)})Where the value is a callable, evaluated on `df`:>>> df.assign(ln_A = la

0.0000

0

2

0

关注作者

收藏

wangjuju123

使用 Beautiful Soup 解析 html 文件

#!/usr/bin/python# -*- coding: UTF-8 -*-import refrom bs4import BeautifulSouphtml_doc = """ The Dormouse's story The Dormouse's st

0.0000

0

2

0

关注作者

收藏

wangjuju123

第三方库 Beautiful Soup 的安装

Beautiful Soup: Python 的第三方插件用来提取 xml 和 HTML 中的数据，官网地址 https://www.crummy.com/software/BeautifulSoup/1、安装 Beautiful Soup打开 cmd（命令提示符），进入到 Python（Python2.7版本）安装目录中的 scripts 下，输入 dir 查看是否有 pip.exe, 如

0.0000

0

3

0

关注作者

收藏

wangjuju123

urllib2 实现下载网页的三种方式

#!/usr/bin/python# -*- coding: UTF-8 -*-importcookielibimporturllib2url = "http://www.baidu.com"response1 = urllib2.urlopen(url)print"第一种方法" #获取状态码，200表示成功printresponse1.getcode() #获取网页内容的长

0.0000

0

2

0

关注作者

收藏

wangjuju123

Python爬虫介绍

一、什么是爬虫爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓

0.0000

0

4

0

关注作者

收藏

PGC123

notebook中如何画图？

IPython Notebook 是一款基于浏览器的交互式数据分析工具，可以将描述性文字、代码、图形、 HTML 元素以及更多的媒体形式组合起来，集成到单个可执行的 Notebook 文档中。用 IPython Notebook 进行交互式画图与使用 IPython shell 类似，也需要使用 %matplotlib 命令。你可以将图形直接嵌在 IPython Notebook

44.6950

1

2

0

关注作者

收藏

PGC123

在ipython shell中如何画图?

matplotlib 在ipython shell中如何画图？在 IPython shell 中交互式地使用 Matplotlib 画图非常方便, 在 IPython 启动 Matplotlib 模式就可以使用它。为了启用这个模式，你需要在启动 ipython 后使用 %matplotlib 魔法命令：In [1]: %matplotlibUsing matplotlib backe

0.0000

0

1

0

关注作者

收藏

PGC123

matplotlib 在脚本中如何画图？

如果你在一个脚本文件中使用 Matplotlib，那么显示图形的时候必须使用 plt.show()。 plt.show() 会启动一个事件循环（eventloop），并找到所有当前可用的图形对象，然后打开一个或多个交互式窗口显示图形。例如，你现在有一个名为drow.py 的文件，代码如下所示：# -------drow.py ------import matplotlib.py

0.0000

0

0

0

关注作者

收藏

PGC123

matplotlib 在怎能不弹窗口？

画图直接弹出窗口来了，这个怎么让图在notebook下面显示呢？在notebook中画图不需要使用show()函数，只需在文件开始的地方运行一次魔术命令：%matplotlib inline即可。

0.0000

0

1

0

关注作者

收藏

PGC123

使用assign 函数时报错

使用assign 函数时报错，错误如下：根据报错信息提示，变量“user_info_backup”还没有定义，没有定义的变量直接使用是会报错的，检查一下前面的代码，看看是不是拉下初始化变量的代码了。

0.0000

0

2

0

关注作者

收藏

PGC123

在使用pandas cut函数时报错

在使用pandas cut函数时报错，如下根据错误提示信息这行代码中应该有错误字符，对于初学者最常见的错误是标点中含有中文字符了，仔细检查一下即可。

0.0000

0

1

0

关注作者

收藏

<1…301302303…340>

CDA考试动态

CDA报考指南