数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

zxq997

打印出导入的模块的文件路径

如果你想知道代码中导入的模块的绝对路径，用下面这条技巧就行了：import threading import socketprint(threading)print(socket)#1- #2-

0.0000

0

2

0

关注作者

收藏

zxq997

将一个列表的元素保存到新变量中

我们可以用一个列表来初始化多个变量，在解析列表时，变量的数量不应超过列表中的元素数量，否则会报错。testList = [1,2,3]x, y, z = testListprint(x, y, z)#-> 1 2 3

0.0000

0

2

0

关注作者

收藏

zxq997

使用多行字符串

这个方法就是使用源自 C 语言的反斜杠：multiStr = "select * from multi_row \where row_id < 5"print(multiStr)# select * from multi_row where row_id < 5另一个技巧就是用三引号：multiStr = """select * from multi_row where row

0.0000

0

3

0

关注作者

收藏

zxq997

使用三元操作符进行条件赋值

三元操作符是 if-else 语句（也就是条件操作符）的快捷操作：[on_true] if [expression] else [on_false]下面举两个例子例子，展示一下可以用这种技巧让你的代码更紧凑更简洁。下面的语句意思是“如果 y 为 9，就向 x 赋值 10，否则向 x 赋值 20”。如果需要，我们可以扩展这个操作符链接：x = 10 if (y == 9) else 20

0.0000

0

1

0

关注作者

收藏

zxq997

链接比较操作符

比较运算符的聚合是另一种有时用起来很顺手的技巧。n = 10result = 1 < n < 20print(result)# Trueresult = 1 > n

0.0000

0

2

0

关注作者

收藏

zxq997

直接交换2个数字的位置

Python 提供了一种直观的方式在一行代码中赋值和交换（变量值）。如下所示：x, y = 10, 20print(x, y) x, y = y, xprint(x, y) #1 (10, 20)#2 (20, 10)在上面代码中，赋值的右侧形成了一个新元组，而左侧则立刻将该（未被引用的）元组解包到名称和。待赋值完成后，新元组就变成了未被引用状态，并且被标为可被垃

0.0000

0

4

0

关注作者

收藏

zxq997

会话和Cookie

5.5 会话和Cookie会话在服务器端, 用来保存用户的会话信息Cookie在客户端, 也用来保存用户的状态信息当浏览器访问下一个页面的时候, 会把Cookie一起发给服务器, 服务器就可以通过会话判断用户的登陆状态等, 然后返回对应的响应内容.会话和Cookie相互配合, 二者共同协作, 达到登陆会话控制的效果.5.5.1 Cookie查看方法Application ----

0.0000

0

2

0

关注作者

收藏

zxq997

网页的组成

网页的组成大体上分为三大部分HTMLCSSJavaScript有一个通常的比喻: HTML相当于人的骨骼, 决定了网页的大体框架结构; CSS相当于人的皮肤, 决定了网页看起来的风格样式; JavaScript 相当于人的肌肉, 使网页能够响应你的操作, 做出各种活动5.1 HTMLHTML, 是网页的基础架构, 它用各种标签来表示内容例如div表示布局标签, img=''

0.0000

0

2

0

关注作者

收藏

zxq997

响应状态码

响应状态码表示服务器的响应状态, 是否正常, 能够找到网页等等.最常见的200代表正常, 301/302网页重定向404代表没找到页面, 403 Forbidden：请求资源的访问被服务器拒绝, 例如IP被封了500服务器错误(例如服务器宕机了)

0.0000

1

4

0

关注作者

收藏

zxq997

爬虫怎么贴加headers

在请求头中, User-Agent 项会记录用户的使用系统和浏览器版本,如果使用python请求, 则网站能够得知用户在使用爬虫程序访问, 可能会禁止你继续访问.所以我们编写爬虫的时候, 通常会手动添加Headers, 改成正常浏览器的User-Agent 内容, 伪装成一个普通的用户headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;

0.0000

1

3

0

关注作者

收藏

zxq997

1. Accept: 请求报头域, 用于指定客户端可以接受哪些类型的信息2. Accept-Language : 指定客户端可接受的语言类型3. Accept-Encoding: 指定客户端可接受的语言编码4. Host: 域名5. Cookies : 网站为了知道你是哪个用户, 即使你的电脑换了IP也能认识你, 网站把这部分内容储存在用户的本地, 用于维持当前会话.当我们登陆知乎以后,

0.0000

0

1

0

关注作者

收藏

zxq997

Request 库中实现方法

使用request库实现简单的爬虫：import requestsr = requests.get('http://tool.chinaz.com/tools/urlencode.aspx')r.apparent_encoding #预测编码print(r.text)打印的结果：

0.0000

0

3

0

关注作者

收藏

zxq997

常见的请求方法有两种: GET 和 POST1 GET直接打开一个连接:例如 http://www.baidu.com 这就是一个GET请求.如果有参数, 可以包含到URL里面去, 例如 http://www.baidu.com/s?wd=参数, 也就是说GET请求也可以包含参数2 POSTPOST请求大多数在表单提交时发起, 例如我们在登陆一个网站的时候, 需要输入用户名和密码

0.0000

0

2

0

关注作者

收藏

zxq997

HTTP基础知识

URL: 网址链接超文本: hypertext, 构成网页的HTML代码HTTP: 超文本传输协议HTTPS: 通过SSL加密的超文本传输协议当我们输入一个URL, 浏览器向网站服务器发送一个请求, 网站服务器接收这个请求后进行处理和解析, 然后返回相应的响应, 传回给浏览器.浏览器对返回的响应, 进行解析, 然后将网页呈现出来.在Chrome浏览器, 右击打开检查, 这是浏览器自

0.0000

0

3

0

关注作者

收藏

zxq997

数据离散化的优点和方法

对数值属性作离散化，有下列数个优点：1、可使数据精简，降低数据的复杂度，让数据更容易被解释；2、可支持许多无法处理数值型属性的分类算法。例如，贝氏分类（Bayesian Classification）算法、以关联规则（Association Rules）为基础的分类算法等；3、可提高分类器的稳定性，进而提升分类模型的准确度；4、可找出条件属性在目标属性上的趋势（Trend），有助于未来的解

0.0000

0

2

0

关注作者

收藏

zxq997

数据离散化

数值型数据转变为类别型数据的过程是数据离散化(Data Discretization)。数据离散化主要指将连续型变量进行分箱，使用分箱后的数据代替原始数据。离散化可以通过人工指定分箱值进行离散化，或采用等分离散、等宽离散化，通过与目标变量的比较进行离散可以提升模型效果，也是常采用的方法。因为，数值型属性常常是模型不稳定的来源之一，常常我们会发现分类模型在训练数据集的预测准确度很高，但在测试数据集中

0.0000

0

1

0

关注作者

收藏

zxq997

数据泛化(Data Generalization)：数据的一般化就是将原来的数据简化处理，使得数据变得精简的过程。利用数据的概念阶层(Concept Hierarchy)将数据向上提升为较抽像的层次，例如对多分类水平的“教育程度”变量，将其根据普及程度重新划分为“初等教育”与“高等教育”两个分类水平的变量。我们可以看下面一个例子：表中为会员的信息，会员的教育程度分为了大学、高中、国中。我

0.0000

0

1

0

关注作者

收藏

zxq997

类别型数据缺失处理方法

类别型数据缺失处理方法有：（1）直接忽略法。例如：当数据有缺失值时，则将整笔数据删除。直接忽略法是处理数据缺失最简单的方法，一般的，当缺失数据占整个字段所有数据的比例过大时（>50%），便可直接删除。直接忽略法适用于搜集的数据量很多，而缺失数据只占一小部分的情况。这种方法也有其缺点，即当数据缺失比例很可观时，会造成大量数据流失数据的目标字段的值是空值的时候，使得数据分析结果不准确。（2）人工填

0.0000

1

1

0

关注作者

收藏

zxq997

缺失值的原因

缺失值是指为空的属性值，数据缺失原因可能有：1.数据建立时未输入，例如工作人员故意或是不小心造成数据没有被输入；2.设备故障，例如收款机故障，导致顾客消费明细无法输入；3.因数据内容不一致而被删除，例如A数据表和B数据表都有某会员的信息，但是信息不同，这时两个表里的本应该向同的信息不能匹配，为了避免错误的数据影响分析的准确性，可能会将该项数据以空值取代，因此产生数据的缺失。

0.0000

0

1

0

关注作者

收藏

zxq997

数值型数据的处理和离群值处理方法

数值型数据的处理方法，也是先观察其分布，即找离群值。离群值的侦测有如下三种方法：方法一：离群值为过大或过小的值，对数据排序即可发现。方法二：即平均值法，在平均值±3×标准偏差之内的值可视为正常值。方法三：四分位法，IQR = Q3 – Q1，Q3代表第75%的值，Q1代表第25%的值。正常值的范围为Q1 – 1.5×IQR ~ Q3 + 1.5×IQR。四分位法的优点在于适用于小数据，故较常

0.0000

0

1

0

关注作者

收藏

<1…263264265…340>

CDA考试动态

CDA报考指南