在进行大量运算时， 有时候指定一个用于存放运算结果的数组是非 常有用的。 不同于创建临时数组， 你可以用这个特性将计算结果直 接写入到你期望的存储位置。 所有的通用函数都可以通过 out 参数 来指定计算结果的存放位置： In[24]: x = np.arange(5) y = np.empty(5) np.multiply(x, 10, out=y) print(y) [ 0. 10. 20.
啊啊啊啊啊吖
2018-11-14
在Python里任何通用函数都可以用 outer 方法获得两个不同输入数组 所有元素对的函数运算结果。 这意味着你可以用一行代码实现一个 乘法表： In[30]: x = np.arange(1, 6) np.multiply.outer(x, x) Out[30]: array([[ 1, 2, 3, 4, 5], [ 2, 4, 6, 8, 10], [ 3, 6, 9, 12, 15],
啊啊啊啊啊吖
2018-11-14
二元通用函数有些非常有趣的聚合功能， 这些聚合可以直接在对象 上计算。 例如， 如果我们希望用一个特定的运算 reduce 一个数 组， 那么可以用任何通用函数的 reduce 方法。 一个 reduce 方法 会对给定的元素和操作重复执行， 直至得到单个的结果。 例如， 对 add 通用函数调用 reduce 方法会返回数组中所有元素的 和： In[26]: x = np.arange(1, 6
啊啊啊啊啊吖
2018-11-14
NumPy 中另一个常用的运算通用函数是指数运算： In[18]: x = [1, 2, 3] print("x =", x) print("e^x =", np.exp(x)) print("2^x =", np.exp2(x)) print("3^x =", np.power(3, x)) x = [1, 2, 3] e^x = [ 2.71828183 7.3890561 20.085536
啊啊啊啊啊吖
2018-11-14
NumPy 提供了大量好用的通用函数， 其中对于数据科学家最有用 的就是三角函数。 首先定义一个角度数组： In[15]: theta = np.linspace(0, np.pi, 3) 现在可以对这些值进行一些三角函数计算： In[16]: print("theta = ", theta) print("sin(theta) = ", np.sin(theta)) print("cos(the
啊啊啊啊啊吖
2018-11-14
NumPy 通用函数的使用方式非常自然， 因为它用到了 Python 原生 的算术运算符， 标准的加、 减、 乘、 除都可以使用： In[7]: x = np.arange(4) print("x =", x) print("x + 5 =", x + 5) print("x - 5 =", x - 5) print("x * 2 =", x * 2) print("x / 2 =", x / 2
啊啊啊啊啊吖
2018-11-14
NumPy 为很多类型的操作提供了非常方便的、 静态类型的、 可编译程 序的接口， 也被称作向量操作。 你可以通过简单地对数组执行操作来实 现， 这里对数组的操作将会被用于数组中的每一个元素。 这种向量方法 被用于将循环推送至 NumPy 之下的编译层， 这样会取得更快的执行效 率。 In[3]: print(compute_reciprocals(values)) print(1.0 / val
啊啊啊啊啊吖
2018-11-14
切片符号用冒号（:） 表示。 NumPy 切片语法和 Python 列 表的标准切片语法相同。 为了获取数组 x 的一个切片， 可以用以下方 式： x[start:stop:step] 如果以上 3 个参数都未指定， 那么它们会被分别设置默认值 start=0、 stop= 维度的大小（size of dimension） 和 step=1。 一维子数组 In[16]: x = np.arang
啊啊啊啊啊吖
2018-11-13
和 Python 列表一样， 在一维数组中， 可以通过中括号指 定索引获取第 i 个值（从 0 开始计数） ： In[5]: x1 Out[5]: array([5, 0, 3, 3, 7, 9]) In[6]: x1[0] Out[6]: 5 In[7]: x1[4] Out[7]: 7 为了获取数组的末尾索引， 可以用负值索引： In[8]: x1[-1] Out[8]: 9 In[9]: x
啊啊啊啊啊吖
2018-11-13
定义三个随机的数组： 一个一维数组、 一个二维数组和一个三维数组。 In[1]: import numpy as np np.random.seed(0) # 设置随机数种子 x1 = np.random.randint(10, size=6) # 一维数组 x2 = np.random.randint(10, size=(3, 4)) # 二维数组 x3 = np.random.ra
啊啊啊啊啊吖
2018-11-13
数组的属性 确定数组的大小、 形状、 存储大小、 数据类型。 数组的索引 获取和设置数组各个元素的值。 数组的切分 在大的数组中获取或设置更小的子数组。 数组的变形 改变给定数组的形状。 数组的拼接和分裂 将多个数组合并为一个， 以及将一个数组分裂成多个
啊啊啊啊啊吖
2018-11-13
bool_ 布尔值（真、 True 或假、 False） ， 用一个字节存储 int_ 默认整型（类似于 C 语言中的 long， 通常情况下是 int64 或 int32） intc 同 C 语言的 int 相同（通常是 int32 或 int64） intp 用作索引的整型（和 C 语言的 ssize_t 相同， 通常情况下是 int32 或 int64） int8 字节（byte，
啊啊啊啊啊吖
2018-11-13
面对大型数组的时候， 用 NumPy 内置的方法从头创建数组是一种更高 效的方法。 In[12]: # 创建一个长度为10的数组， 数组的值都是0 np.zeros(10, dtype=int) Out[12]: array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0]) In[13]: # 创建一个3×5的浮点型数组， 数组的值都是1 np.ones((3, 5), dtype=
啊啊啊啊啊吖
2018-11-13
可以用 np.array 从 Python 列表创建数组： In[8]: # 整型数组: np.array([1, 4, 2, 5, 3]) Out[8]: array([1, 4, 2, 5, 3]) 不同于 Python 列表， NumPy 要求数组必须包含同一类型的数 据。 如果类型不匹配， NumPy 将会向上转换（如果可行） 。 这里整型 被转换为浮点型： 不同于 Python 列表，
啊啊啊啊啊吖
2018-11-13
Python 提供了几种将数据存储在有效的、 固定类型的数据缓存中的选 项。 内置的数组（array） 模块（在 Python 3.3 之后可用） 可以用于创 建统一类型的密集数组： In[6]: import array L = list(range(10)) A = array.array('i', L) A Out[6]: array('i', [0, 1, 2, 3, 4, 5, 6, 7
啊啊啊啊啊吖
2018-11-13
这里 PyObject_HEAD 是结构体中包含引用计数、 类型编码和其他之前 提到的内容的部分。 两者的差异在于， C 语言整型本质上是对应某个内存位置的标签， 里面 存储的字节会编码成整型。 而 Python 的整型其实是一个指针， 指向包 含这个 Python 对象所有信息的某个内存位置， 其中包括可以转换成整 型的字节。 由于 Python 的整型结构体里面还包含了大量额外的信息， 所以
啊啊啊啊啊吖
2018-11-13
要实现高效的数据驱动科学和计算， 需要理解数据是如何被存储和操作 的。 本节将介绍在 Python 语言中数据数组是如何被处理的， 并对比 NumPy 所做的改进。 理解这个不同之处是理解本书其他内容的基础。 Python 的用户往往被其易用性所吸引， 其中一个易用之处就在于动态输 入。 静态类型的语言（如 C 或 Java） 往往需要每一个变量都明确地声 明， 而动态类型的语言（例如 Pytho
啊啊啊啊啊吖
2018-11-13
通过 Headers 反爬虫： 从用户请求的 Headers 反爬虫是最常见的反爬虫策略。很多网站都会对 Headers 的 User-Agent 进行检测，还有一部分网站会对 Referer 进行检测（一些资源网站的防盗链就是检测 Referer）。如果 遇到了这类反爬虫机制，可以直接在爬虫中添加 Headers，将浏览器的 User-Agent 复制到爬虫的 Headers 中；或者将 Ref
啊啊啊啊啊吖
2018-11-12
IO 密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有 IO 操作会进行 IO 等 待，造成不必要的时间浪费，而开启多线程能在线程 A 等待时，自动切换到线程 B，可以不浪费 CPU 的资源，从而能提升程序执行效率)。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑 自身机器的硬件情况，来设置多进程或多线程。
啊啊啊啊啊吖
2018-11-12
Python 自带：urllib、urllib2 第三方：requests 框架： Scrapy urllib 和 urllib2 模块都做与请求 URL 相关的操作，但他们提供不同的功能。 urllib2：urllib2.urlopen 可以接受一个 Request 对象或者 url，（在接受 Request 对象时候，并以 此可以来设置一个 URL 的 headers），urllib.urlo
啊啊啊啊啊吖
2018-11-12
