数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

詹惠儿

什么是URL前沿？

节点的URL前沿由其爬网过程（或另一个爬网过程的主机拆分器）提供URL。它维护边界中的URL，并在爬虫程序线程寻找URL时以某种顺序对它们进行反刍。两个重要的考虑因素决定了边界返回URL的顺序。首先，频繁更改的高质量页面应优先进行频繁爬行。因此，页面的优先级应该是其变化率和质量的函数（使用一些合理的质量估计）。这种组合是必要的，因为大量的垃圾邮件页面在每次获取时都会完全改变。第二个考虑因素是礼貌

0.0000

0

0

0

关注作者

收藏

詹惠儿

DNS解析是什么？

每个Web服务器（实际上连接到Internet的任何主机）都具有唯一性IP地址以文本形式，将其转换成一个IP地址（在这种情况下，207.142.131.248）是公知的作为一个过程DNS解析或DNS查找;这里DNS代表域名服务。在DNS解析期间，希望执行此转换的程序（在我们的示例中，是Web爬网程序的一个组件）与a联系返回已转换IP地址的DNS服务器。（实际上，整个翻译可能不会发生在单

0.0000

0

2

0

关注作者

收藏

詹惠儿

分发爬虫是什么？

爬虫中的线程可以在不同的进程下运行，每个进程都在分布式爬网系统的不同节点上运行。这种分配对于扩展至关重要;它也可以在地理上分布的爬虫系统中使用，其中每个节点爬行主机“靠近”它。在爬网程序节点之间对正在爬网的主机进行分区可以通过散列函数或一些更具体定制的策略来完成。例如，我们可能会在欧洲找到一个抓取节点，专注于欧洲域，尽管由于多种原因这是不可靠的 - 数据包通过互联网的路径并不总是反映地理邻近性，并

0.0000

0

4

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之线形图

在所有图形中最简单的便是线形图的可视化了，绘制线形图前需要导入以下命令：%matplotlib inline #在绘图时，将图片内嵌在交互窗口，而不是弹出一个图片窗口import matplotlib as mplimport matplotlib.pyplot as plt #pyplot是常用的接口import numpy as npplt.st

0.0000

0

5

0

关注作者

收藏

詹惠儿

设置Cron自动

在BeautifulSoup中可以设置一个cron任务，以定期自动运行抓取脚本。以普通用户身份登录您的计算机： 2. 确保完整craigslist.py脚本位于主目录中：

0.0000

0

4

0

关注作者

收藏

zxq997

数据中存在着错误或异常(偏离期望值)的数据，称为【噪音数据】。这些数据对数据的分析造成了干扰。处理噪音的方法：1 分箱法：将待处理的数据按照一定的规则放入箱子中，考察每一个箱子中的数据，根据各个箱子的情况采取方法进行数据处理。-分箱方法：· 等深分箱法：按记录行数分箱，每箱具有相同的记录数· 等宽分箱法：每个箱的区间范围是一个常量，根据区间范围分箱· 用户自定义区间· 最小熵：使

0.0000

0

2

0

关注作者

收藏

zxq997

数据中存在相同的数据，称为【重复数据】。| 去重：数据集中的重复值包括以下两种情况：·数据值完全相同的多条数据记录。·数据主体相同但匹配到的唯一属性值不同。当数据集中的重复值是第一种情况时，直接去重即可，如果是第二种情况，需要根据属性的性质来决定是否去除

0.0000

0

2

0

关注作者

收藏

zxq997

处理异常值的方法

1 不处理：若算法对异常值不敏感，则可以不处理；算法对异常值敏感，如kmeans，knn之类的一些基于距离计算的一些算法，则最好不要用这种方法。2 平均值替代：利用平均值来代替异常值，损失信息小，简单高效。3 视为缺失值：将异常值视为缺失值来处理，采用处理缺失值的方法来处理异常值。

0.0000

0

3

0

关注作者

收藏

zxq997

缺失值的补全办法

粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断被称为【缺失值】。它指的是现有数据集中某个或某些属性的值是不完全的。处理缺失值的方法有：1 直接删除：适用于样本较大的情况，样本较小时，可能会影响最终的分析结果。2 估算：数据均匀，均值法填充；数据分布倾斜，中位数填充；根据数据的分布情况，可以采用均值、中位数、或者众数进行数据填充3 插补法：·随机插补法：从总体中随机抽取某几

0.0000

0

1

0

关注作者

收藏

詹惠儿

BeautifulSoup将数据写入Excel电子表格

该make_excel函数获取数据库中的数据并将其写入Excel电子表格。 1.添加电子表格变量：该标题变量是冠军在电子表格中列的列表。该行变量跟踪当前电子表格行。2.使用xlswriter打开工作簿，并添加一个工作表来接收数据。 3. 准备工作表：前两项在set_column方法中始终相同。这是因为它正在设置从第一个指示列到下一个列的一部分列的属性。最后一个值是以字

0.0000

0

1

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之设置图形标签

下面简单介绍matplotlib设置图形标签的方法：图形标题、坐标轴标题、图例。其中plt.title()为设置图形标题，plt.xlabel()与plt.ylabel()分别为设置x轴标题与y轴标题，plt.legend()为创建图例，在函数plt.plot()中设置参数 label为想要的图例即可。下为代码与图：%matplotlib inlineimport matplotlib as

0.0000

0

4

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之坐标轴上下限

虽然matplotlib会自动为图形选择最合适的坐标轴上下限，但有时自定义坐标轴上下限会更好。调整坐标轴上下限最基础的方法时plt.xlim()和plt.ylim()，比如以下对比%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npplt.style.use(

0.0000

0

2

0

关注作者

收藏

zxq997

在Python中实现一个真正的switch-case语句

下面是使用字典模仿一个 switch-case 构造的代码示例：def xswitch(x): return xswitch._system_dict.get(x, None) xswitch._system_dict = {'files': 10, 'folders': 5, 'devices': 2}print(xswitch('default'))print(xswitch(

0.0000

0

3

0

关注作者

收藏

zxq997

不使用任何循环，构造一个列表

import itertoolstest = [[-1, -2], [30, 40], [25, 35]]print(list(itertools.chain.from_iterable(test)))#-> [-1, -2, 30, 40, 25, 35]如果输入列表中有嵌入的列表或元组作为元素，那么就使用下面这种方法，不过也有个局限，它使用了 for 循环：def unifyl

0.0000

0

1

0

关注作者

收藏

zxq997

用一行代码搜索字符串的前后缀

print("http://www.google.com".startswith(("http://", "https://")))print("http://www.google.co.uk".endswith((".com", ".co.uk")))#1-> True#2-> True

0.0000

0

2

0

关注作者

收藏

zxq997

从两个相关序列中创建一个字典

t1 = (1, 2, 3)t2 = (10, 20, 30)print(dict (zip(t1,t2)))#-> {1: 10, 2: 20, 3: 30}

0.0000

0

3

0

关注作者

收藏

zxq997

使用拉姆达来模仿输出方法

import syslprint=lambda *args:sys.stdout.write(" ".join(map(str,args)))lprint("python", "tips",1000,1001)#-> python tips 1000 1001

0.0000

0

3

0

关注作者

收藏

zxq997

使用_slots_减少内存消耗

不知道你是否注意过你的 Python 程序会占用很多资源，特别是内存？这里分享给你一个技巧，使用类变量来减少程序的内存消耗。import sysclass FileSystem(object): def __init__(self, files, folders, devices): self.files = files self.folders = fo

0.0000

0

2

0

关注作者

收藏

zxq997

检查一个对象的内存使用

在 Python 2.7 中，一个 32-bit 的整数值会占用 24 字节，而在 Python 3.5 中会占用 28 字节。我们可以调用方法来验证内存使用。在 Python 2.7 中：import sysx=1print(sys.getsizeof(x))#-> 24在 Python 3.5 中：import sysx=1print(sys.ge

0.0000

0

0

0

关注作者

收藏

zxq997

重置递归限制

Python 将递归限制到 1000，我们可以重置这个值：import sysx=1001print(sys.getrecursionlimit())sys.setrecursionlimit(x)print(sys.getrecursionlimit())#1-> 1000#2-> 1001

0.0000

0

1

0

关注作者

收藏

<1…261262263…340>

CDA考试动态

CDA报考指南