数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

什么是爬虫

问、什么是爬虫答：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。什么？没看懂？没关系，我来给你解释一下打开一个网页，里面有网页内容吧，想象一下，有个工具，可以把网页上的内容获取下来，存到你想要的地方，这个工具就是我们今天的主角：爬虫

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

怎么在anaconda里面实现python2和3的切换？

问、怎么在anaconda里面实现python2和3的切换？答：1、先检查一下，你的Anaconda是否安装成功了。方法是在cmd里面输入conda.exe，并点击回车键。如果不能运行，说明Anaconda安装失败，需要卸载重安。2、如果conda安装成功了，就可以在cmd里面使用conda为Anaconda安装python2：conda create -n py2 python=23

19.6521

1

3

0

关注作者

收藏

dreamhappy2012

Anaconda中更改Python版本

问、Anaconda中更改Python版本答：本人在Windows上安装了最新版本的Anaconda，里面是Python3.7版本，但是最近又要安装TensorFlow，目前TensorFlow只支持Python3.6版本以前的，所以等在Anaconda里安装一个Python3.6。具体过程如下1、1. 改变anaconda默认python版本：首先创建一个名为python36的环境，指定

58.9442

1

4

0

关注作者

收藏

dreamhappy2012

python爬虫声明浏览器对象

问、python爬虫声明浏览器对象答：#声明浏览器对象import osos.chdir(r'C:\TaobaoProduct-master')from selenium import webdriverbrowser=webdriver.Chrome()#会打开浏览器

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

利用python爬虫下载单个图片？

问、利用python爬虫下载单个图片？答：from hashlib import md5import osos.chdir('C:\\Users\\chen')url='http://p3-tt.byteimg.com/large/pgc-image/fe1f67006cc14f88bcb2f616bb3419fb'#保存图片title=html['data'][1]['title'

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

如何在Anaconda中把python环境更新更高版本？

问、如何在Anaconda中把python环境更新更高版本？答：把Anaconda中的python从3.5.5更新到3.6版本，不想卸载重新安装。办法如下：开始->Anaconda Promot在Anaconda Promot中，输入： conda update conda conda update anaconda conda update python

78.5963

2

2

0

关注作者

收藏

PGC123

使用graphframes的时候创建图报错

使用graphframes的时候创建图报错答：这是加载graphframe的时候加载失败导致的，可以使用如下代码在spark应用中加载，注意graphframes包要放到python的sys.path路径中当然还可以直接将graphframe的jar包放到SPARK_HOME下的jars目录下

58.9442

1

4

0

关注作者

收藏

dreamhappy2012

什么是Ajax？

问、什么是Ajax？答： ✓ Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是一门编程语言，而是利用 JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

Office阻止激活silverlight控件

问题描述：昨天我电脑都装了，其他都可以用，就是这个Power View不能用，是什么原因呀？问题原因：出于安全考虑新生成的 Microsoft Office阻止激活的Silverlight控件上。除了直接安装注册表小程序的方法以外，还可以手动修改注册表具体解决方法如下：1、退出Microsoft Office 应用程序2、启动注册表编辑器中通过点击开始，键入regedit ，输入。

0.0000

0

3

0

关注作者

收藏

PGC123

hive中的分组聚合优化如何做？

hive中的分组聚合优化如何做？答：分组两个聚集函数不能有不同的DISTINCT列，以下表达式是错误的： INSERT OVERWRITE TABLE pv_gender_agg SELECT pv_users.gender, count(DISTINCT pv_users.userid), count(DISTINCT pv_users.ip)

58.9442

1

3

0

关注作者

收藏

詹惠儿

python如何求解方程和反转矩阵

求解方程和反转矩阵numpy.linalg.solve（）：求解线性矩阵方程或线性标量方程组。计算明确的，即满秩，线性矩阵方程ax = b的“精确”解x。# Python Program illustrating# numpy.linalg.solve() method import numpy as np # Creating an array using array# fu

0.0000

0

1

0

关注作者

收藏

詹惠儿

python字符串操作函数及功能汇总

python字符串操作函数及功能描述：

58.9442

1

2

0

关注作者

收藏

詹惠儿

如何计算两个矩阵的乘积

numpy.dot（vector_a，vector_b，out = None）：返回向量a和b的点积。它可以处理2D数组，但将它们视为矩阵并执行矩阵乘法。对于N维，它是a的最后一个轴和b的倒数第二个的和积：dot(a, b)[i,j,k,m] = sum(a[i,j,:] * b[k,:,m]) 代码＃：# Python Program illustrating# numpy.dot(

0.0000

0

1

0

关注作者

收藏

詹惠儿

矩阵的特征值函数是什么

矩阵特征值函数numpy.linalg.eigh（a，UPLO ='L'）：此函数用于返回复Hermitian（共轭对称）或实对称矩阵的特征值和特征向量。返回两个对象，一个包含该对象的一维数组a的特征值，以及相应特征向量的2-D方阵或矩阵（取决于输入类型）（在列中）。# Python program explaining# eigh() function from numpy impo

19.6521

1

2

0

关注作者

收藏

PGC123

如何设置hive计算过程的reduce数目？

如何设置hive计算过程的reduce数目？答：reduce数目设置方式如下：参数1：hive.exec.reducers.bytes.per.reducer=1G：每个reduce任务处理的数据量参数2：hive.exec.reducers.max=999(0.95*TaskTracker数)：每个任务最大的reduce数目 reducer数=min(参数2,总输

33.9199

1

0

0

关注作者

收藏

PGC123

hive如何通过控制map数量提高效率？

hive如何通过控制map数量提高效率？答：可以通过增加或减少map数量提高分析速度。增加、减少map数量的方式如下：减少map数目：　　set mapred.max.split.size 　　set mapred.min.split.size 　　set mapred.min.split.size.per.node 　　set mapred.min.split.

0.0000

0

0

0

关注作者

收藏

PGC123

本地模式（小任务）的时候hive的优化点有哪些？

本地模式（小任务）的时候hive的优化点有哪些？答：本地模式（小任务）可以从以下几个参数入手job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)job的reduce数必须为0或者1 hi

0.0000

0

2

0

关注作者

收藏

PGC123

hive 的通用优化有哪些？

hive 的通用优化有哪些？答：通用设置hive.optimize.cp=true：列裁剪 hive.optimize.prunner：分区裁剪 hive.limit.optimize.enable=true：优化LIMIT n语句 hive.limit.row.max.size=1000000： hive.limit.optimize.limit.file=

0.0000

0

3

0

关注作者

收藏

PGC123

hive分区和分桶的区别

hive分区和分桶的区别答：1、分区1）是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。2）那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字

33.9199

1

2

0

关注作者

收藏

PGC123

hive 内部表和外部表区别

hive 内部表和外部表区别答： 1、创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。 2、删除表时：在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

0.0000

0

2

0

关注作者

收藏

<1…836837838…1217>

CDA考试动态

CDA报考指南