Python编程-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

zxq997

对程序员来说，地理环境可能是一个具有挑战性的领域。但是，有了 geopy 模块，这一切就都变得简单了。 geopy 模块是通过抽象出一系列不同的地理编码服务的 API 来工作。它可以让你获得某一地点的完整街道地址、维度、精度甚至海拔高度。还有一个有用的距离类。它可以使用你喜欢的测量单位来计算两个位置之间的距离。

0.0000

0

3

0

关注作者

收藏

zxq997

from __future__ import

Python 如此广受欢迎还有一个原因是它总是开发新版本。要知道，新版本意味着有新功能。但你不必害怕所用的版本过时了。这个__future__模块可以让你在现有版本上导入 Python 未来版本的功能。这一特征就好像时间旅行机一样，让未来的东西穿越到现在来使用。

0.0000

0

3

0

关注作者

收藏

zxq997

collections 模块

Python 有一些很好的默认数据类型，但有时它们的行为并不完全像你所期望的那样。幸运的是，Python 标准库提供了 collections 模块，这个方便的附加组件提供了更多的数据类型。参阅：https://docs.python.org/3/library/collections.html

0.0000

0

3

0

关注作者

收藏

zxq997

你想在控制台（console）上绘制图形吗？$ pip install bashplotlib这样你在控制台中就可以绘制图形了。

0.0000

0

2

0

关注作者

收藏

阿抽哥哥

matplotlib基本误差线

衡量数据误差是科学测量中无比重要的事儿，而在数据可视化异常处理中将数据的误差用图形描绘出来能提供更多的有效信息。%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npplt.style.use('seaborn-whitegrid') # 导入各种包x

0.0000

0

2

0

关注作者

收藏

詹惠儿

python规范化的术语

将我们的文档（以及我们的查询）分解为标记后，最简单的情况是查询中的标记是否与文档的标记列表中的标记匹配。但是，在很多情况下，两个字符序列不完全相同，但您希望匹配发生。例如，如果您搜索美国，您可能希望也匹配包含USA的文档。令牌标准化是规范化令牌的过程，以便尽管令牌的字符序列存在表面差异，但仍会发生匹配。标准化的最标准方法是隐式创建等价类，通常以集合的一个成员命名。例如，如果令牌反歧视和反

0.0000

0

2

0

关注作者

收藏

詹惠儿

去停用词是什么？

有时，一些非常常见的单词在帮助选择符合用户需求的文档时似乎没什么价值，它们完全被排除在词汇表之外。这些话被称为停止说话。确定停止列表的一般策略是对术语进行排序收集频率（每个术语在文档集合中出现的总次数），然后采用最频繁的术语，通常手动过滤其相对于被索引的文档的域的语义内容，作为停止列表，然后在索引期间丢弃其成员。停止列表的示例如图2.5所示。使用停止列表可以显着减少系统必须存储的过帐数量;并且很多

0.0000

0

2

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之画散点图

常用的图形除了线形图，还有散点图，这种图形不由线段连接，而是由独立的点、圆圈或其他形状构成。其中可以用plt.plot与plt.scatter两种方法画散点图。下列为plt.plot绘图%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npplt.style.

0.0000

0

2

0

关注作者

收藏

詹惠儿

爬虫怎么连接服务器？

假设Web有40亿个页面，每个页面都有10个指向其他页面的链接。在最简单的形式中，我们需要32位或4个字节来指定每个链接的每个末端（源和目标），总共需要 a（250）内存字节。可以利用Web图的一些基本属性在10％的内存要求下使用。乍一看，我们似乎有一个数据压缩问题 - 适用于各种标准解决方案。但是，我们的目标不是简单地压缩Web图形以适应内存;我们必须以有效支持连接查询的方式这样做

0.0000

0

2

0

关注作者

收藏

詹惠儿

什么是分发索引？

我们现在考虑在支持查询的大型计算机集群中分发索引。两个明显的替代索引实现表明自己：按术语划分，也称为全局索引组织，和按文档划分，也称为本地索引组织。在前者中，索引术语字典被划分为子集，每个子集驻留在节点处。除了节点上的条款，我们还会保留这些条款的发布。查询被路由到与其查询项对应的节点。原则上，这允许更大的并发性，因为具有不同查询项的查询流将命中不同的机器组。实际上，按词汇术语对分区索引进

0.0000

0

2

0

关注作者

收藏

詹惠儿

什么是URL前沿？

节点的URL前沿由其爬网过程（或另一个爬网过程的主机拆分器）提供URL。它维护边界中的URL，并在爬虫程序线程寻找URL时以某种顺序对它们进行反刍。两个重要的考虑因素决定了边界返回URL的顺序。首先，频繁更改的高质量页面应优先进行频繁爬行。因此，页面的优先级应该是其变化率和质量的函数（使用一些合理的质量估计）。这种组合是必要的，因为大量的垃圾邮件页面在每次获取时都会完全改变。第二个考虑因素是礼貌

0.0000

0

0

0

关注作者

收藏

詹惠儿

DNS解析是什么？

每个Web服务器（实际上连接到Internet的任何主机）都具有唯一性IP地址以文本形式，将其转换成一个IP地址（在这种情况下，207.142.131.248）是公知的作为一个过程DNS解析或DNS查找;这里DNS代表域名服务。在DNS解析期间，希望执行此转换的程序（在我们的示例中，是Web爬网程序的一个组件）与a联系返回已转换IP地址的DNS服务器。（实际上，整个翻译可能不会发生在单

0.0000

0

2

0

关注作者

收藏

詹惠儿

分发爬虫是什么？

爬虫中的线程可以在不同的进程下运行，每个进程都在分布式爬网系统的不同节点上运行。这种分配对于扩展至关重要;它也可以在地理上分布的爬虫系统中使用，其中每个节点爬行主机“靠近”它。在爬网程序节点之间对正在爬网的主机进行分区可以通过散列函数或一些更具体定制的策略来完成。例如，我们可能会在欧洲找到一个抓取节点，专注于欧洲域，尽管由于多种原因这是不可靠的 - 数据包通过互联网的路径并不总是反映地理邻近性，并

0.0000

0

4

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之线形图

在所有图形中最简单的便是线形图的可视化了，绘制线形图前需要导入以下命令：%matplotlib inline #在绘图时，将图片内嵌在交互窗口，而不是弹出一个图片窗口import matplotlib as mplimport matplotlib.pyplot as plt #pyplot是常用的接口import numpy as npplt.st

0.0000

0

5

0

关注作者

收藏

詹惠儿

设置Cron自动

在BeautifulSoup中可以设置一个cron任务，以定期自动运行抓取脚本。以普通用户身份登录您的计算机： 2. 确保完整craigslist.py脚本位于主目录中：

0.0000

0

4

0

关注作者

收藏

詹惠儿

BeautifulSoup将数据写入Excel电子表格

该make_excel函数获取数据库中的数据并将其写入Excel电子表格。 1.添加电子表格变量：该标题变量是冠军在电子表格中列的列表。该行变量跟踪当前电子表格行。2.使用xlswriter打开工作簿，并添加一个工作表来接收数据。 3. 准备工作表：前两项在set_column方法中始终相同。这是因为它正在设置从第一个指示列到下一个列的一部分列的属性。最后一个值是以字

0.0000

0

1

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之设置图形标签

下面简单介绍matplotlib设置图形标签的方法：图形标题、坐标轴标题、图例。其中plt.title()为设置图形标题，plt.xlabel()与plt.ylabel()分别为设置x轴标题与y轴标题，plt.legend()为创建图例，在函数plt.plot()中设置参数 label为想要的图例即可。下为代码与图：%matplotlib inlineimport matplotlib as

0.0000

0

4

0

关注作者

收藏

阿抽哥哥

matplotlib绘图之坐标轴上下限

虽然matplotlib会自动为图形选择最合适的坐标轴上下限，但有时自定义坐标轴上下限会更好。调整坐标轴上下限最基础的方法时plt.xlim()和plt.ylim()，比如以下对比%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npplt.style.use(

0.0000

0

2

0

关注作者

收藏

zxq997

一行代码计算任何数字的阶乘

# Python 2.X result = (lambda k: reduce(int.__mul__, range(1,k 1),1))(3)print(result)#-> 6# Python 3.X import functoolsresult = (lambda k: functools.reduce(int.__mul__, range(1,k 1),1))(3)prin

0.0000

0

4

0

关注作者

收藏

zxq997

使用*运算符解压缩函数参数

*运算符提供了一种很艺术的方式来解压缩参数列表，参看如下示例：def test(x, y, z): print(x, y, z)testDict = {'x': 1, 'y': 2, 'z': 3} testList = [10, 20, 30]test(*testDict)test(**testDict)test(*testList)#1-> x y z#2-> 1 2

0.0000

0

1

0

关注作者

收藏

<1…132133134…159>

CDA考试动态

CDA报考指南