数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

R读取Excel文件

安装xlsx软件包可以在R控制台中使用以下命令来安装xlsx软件包。它可能会要求安装一些这个包所依赖的附加包。按照相同的命令与所需的包名来安装附加的包。install.packages("xlsx")验证并加载“xlsx”软件包使用以下命令来验证和加载xlsx包。参考以下代码 -# Verify the package is installed.any(grepl("xlsx",in

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

R语言使用技巧--与矩阵、数据框相关的处理函数

使用用 rowSums() 函数可以加载行资料，而 colSums() 函数可以加载列资料。> set.seed(123) > ice_cream colnames(ice_cream) rownames(ice_

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

R语言使用技巧--set.seed()函数

使用 set.seed() 函数，在同一個随机种子的设定之下，会出相同的随机输出，举例來說我们希望利用 rnorm() 函数生出 5 个符合正态分布的随机数，在沒有设定随机种子的情形之下，每次调用函数都会生成不同的 5 个随机数。> rnorm(5) [1] 1.2805549 -1.7272706 1.6901844 0.5038124 2.5283366> rnorm(5) [1] 0.5

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

关联规则算法是个啥

关联规则挖掘是数据挖掘中成果颇丰而且比较活跃的研究分支。采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样的，我们还可以根据关联规则在商品销售方面做各种促销活动。除此以外，关联规

0.0000

0

4

0

关注作者

收藏

291294878

Office中被阻止的Silverlight控件解决

出于安全考虑新生成的 Microsoft Office 阻止激活的 Silverlight控件上。大多数用户都不会受到影响，但某些用户这可能导致下列问题之一：1.单击嵌入的 Flash 影片在 PowerPoint 幻灯片放映时，没有任何反应尽管这之前使用过。2.在 Excel 中的 power View 不起作用再（因为它使用 Silverlight）。您可能会看到错误消息，指出"激活失败

44.6950

1

0

0

关注作者

收藏

809669515

多元线性回归

多元线性回归（MLR）是一种用于模拟因变量（目标）与一个或多个自变量（预测变量）之间的线性关系的方法。 MLR基于普通最小二乘法（OLS），该模型拟合使得观察值和预测值的差的平方和最小化。 MLR模型基于若干假设（例如，误差通常以零均值和恒定方差分布）。如果满足假设，则回归估计器在其无偏，有效且一致的意义上是最优的。无偏意味着估计量的期望值等于参数的真值。有效意味着估计量的方差小于任

0.0000

0

4

0

关注作者

收藏

809669515

人工神经网络

人工中性网络（ANN）是基于生物神经网络（例如大脑）的系统。大脑有大约1000亿个神经元，通过电化学信号进行通信。神经元通过称为突触的连接点连接。每个神经元接收数千个与其他神经元的连接，不断接收输入信号到达细胞体。如果得到的信号总和超过某个阈值，则通过轴突发送响应。人工神经网络尝试重建生物神经网络的计算镜像，尽管它不具有可比性，因为神经元的数量和复杂性以及生物神经网络中使用的数量和复杂性是人工中

232.9437

1

1

0

关注作者

收藏

809669515

逻辑回归预测结果的概率只能有两个值（即二分法）。预测基于使用一个或多个预测变量（数值和分类）。线性回归不适合预测二元变量的值，原因有两个：线性回归将预测超出可接受范围的值（例如，预测0到1范围之外的概率）由于二分法实验对于每个实验只能具有两个可能值中的一个，因此残差将不会正常地分布在预测线附近。另一方面，逻辑回归产生逻辑曲线，其限制在0和1之间的值。逻辑回归类似于线性回归，但曲线是使用目

0.0000

0

3

0

关注作者

收藏

PGC123

pandas 读写MySQL数据

一、写入MySQL数据库import numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engine#连接数据库的参数db_info = { 'user': 'root', 'password': 'emtf', 'h

44.6950

1

3

0

关注作者

收藏

wangjuju123

爬虫反爬虫的未来

与竞争对手和解之后，我们去拜访对方，大家坐在了一起。之前网上自称妹子的，一个个都是五大三粗的汉子，这让我们相当绝望。在场唯一的一个妹子还是我们自己带过去的（就是上面提到的实习生），感觉套路了这么久，最终还是被对方套路了。好在，吃的喝的都很好，大家玩的还是比较 high 的。后续就是和平年代啦，大家不打仗了，反爬虫的逻辑扔在那做个防御，然后就开放白名单允许对方爬取了。群里经常叫的就是：xxx

0.0000

0

4

0

关注作者

收藏

wangjuju123

爬虫反爬虫套路现状

那么一旦有发现对方数据造假怎么办？早期的时候，大家都是要抽查数据，通过数据来检测对方是否有造假，这个需要人工核对，成本非常高。可是那已经是洪荒时代的事情了。如果你们公司还在通过这种方式来检测，说明你们的技术还比较落伍。之前我们的竞争对手是这么干的：他们会抓取我们两次，一次是他们解密出来 key 之后，用正经方式来抓取，这次的结果定为 A。一次是不带 key，直接来抓，这次的结果定为 B。根

0.0000

0

4

0

关注作者

收藏

wangjuju123

爬虫反爬虫技术现状

为 Python 平反首先是爬虫，爬虫教程你到处都可以搜的到，大部分是 Python 写的。我曾经在一篇文章提到过：用 Python 写的爬虫是最薄弱的，因为天生并不适合破解反爬虫逻辑，因为反爬虫都是用 JavaScript 来处理。然而慢慢的，我发现这个理解有点问题（当然我如果说我当时是出于工作需要而有意黑 Python，你们信吗。。。）。Python 的确不适合写反爬虫逻辑，但是 Py

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫反爬虫运行现状

电子商务行业的爬虫与反爬虫更有趣一些，最初的爬虫需求来源于比价。这是某些电商网站的核心业务，大家买商品的时候，是一个价格敏感型用户的话，很可能用过网上的比价功能(真心很好用啊)。毫无悬念，他们会使用爬虫技术来爬取所有相关电商的价格。他们的爬虫还是比较温柔的，对大家的服务器不会造成太大的压力。然而，这并不意味着大家喜欢被他爬取，毕竟这对其他电商是不利的，于是需要通过技术手段来做反爬虫。按照技

0.0000

0

1

0

关注作者

收藏

wangjuju123

爬虫与反爬虫的历史

爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫

0.0000

0

3

0

关注作者

收藏

PGC123

pandas assign函数用法

assign()函数是用来向dataframe中添加新列用的,返回值为一个新的dataframe，用法如下：>>> df = pd.DataFrame({'A': range(1, 11), 'B': np.random.randn(10)})Where the value is a callable, evaluated on `df`:>>> df.assign(ln_A = la

0.0000

0

2

0

关注作者

收藏

wangjuju123

使用 Beautiful Soup 解析 html 文件

#!/usr/bin/python# -*- coding: UTF-8 -*-import refrom bs4import BeautifulSouphtml_doc = """ The Dormouse's story The Dormouse's st

0.0000

0

2

0

关注作者

收藏

wangjuju123

第三方库 Beautiful Soup 的安装

Beautiful Soup: Python 的第三方插件用来提取 xml 和 HTML 中的数据，官网地址 https://www.crummy.com/software/BeautifulSoup/1、安装 Beautiful Soup打开 cmd（命令提示符），进入到 Python（Python2.7版本）安装目录中的 scripts 下，输入 dir 查看是否有 pip.exe, 如

0.0000

0

3

0

关注作者

收藏

wangjuju123

urllib2 实现下载网页的三种方式

#!/usr/bin/python# -*- coding: UTF-8 -*-importcookielibimporturllib2url = "http://www.baidu.com"response1 = urllib2.urlopen(url)print"第一种方法" #获取状态码，200表示成功printresponse1.getcode() #获取网页内容的长

0.0000

0

2

0

关注作者

收藏

wangjuju123

Python爬虫介绍

一、什么是爬虫爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。二、Python爬虫架构Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓

0.0000

0

4

0

关注作者

收藏

PGC123

在ipython shell中如何画图?

matplotlib 在ipython shell中如何画图？在 IPython shell 中交互式地使用 Matplotlib 画图非常方便, 在 IPython 启动 Matplotlib 模式就可以使用它。为了启用这个模式，你需要在启动 ipython 后使用 %matplotlib 魔法命令：In [1]: %matplotlibUsing matplotlib backe

0.0000

0

1

0

关注作者

收藏

<1…503504505…530>

CDA考试动态

CDA报考指南