数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

Hive数据仓库于数据库的异同

(1）由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处（2）数据存储位置。 hdfs raw local fs（3）数据格式。分隔符（4）数据更新。hive读多写少。Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。INSERT INTO … VALU

9.7428

1

4

0

关注作者

收藏

291294878

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：

9.7428

1

2

0

关注作者

收藏

291294878

hive和HBASE区别有哪些？

1、hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2、hive是面向行存储的数据库。 3、Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 4、HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表。5、hbase不是关系型数据库，而是一

0.0000

0

5

0

关注作者

收藏

啊啊啊啊啊吖

用R绘制地图的一些包

这个是忙了好些天整理提取出来的中国地区底图文件，是R软件绘图必备的资料！供大家参考！# rm(list=ls())# setwd('d:/zlh/zlh cs/Rmap/')# library('geoR')# library('maps')# library('GISTools')# library("akima")# library("tseries")# library('s

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

如何提取时间序列中的数据

如题，怎么从时间序列中提取出同年不同月的数据啊呢？要是想合并的话不如一开始就用matrixsales

0.0000

0

0

0

关注作者

收藏

291294878

常用激化函数

1）sigmoid：将输出实值压缩到0-1之间。缺点：（输入非常大或非常小的时候）容易梯度消失；sigmoid函数是非0均值的，下一层的神经元将从上一层神经元得到的非0 均值的信号作为输入，再结合w计算梯度，始终都是正的。（可根据batch调节）2）Tanh：是0均值的。3）Relu（修正线性单元）：好处：收敛快，求梯度简单。具有稀疏特性。（相比于sigmoid：sigmoid反向传播

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

直方图让如何显著性标记

# loading needed librarieslibrary(ggstatsplot)library(psych)library(dplyr) # looking at the structure of the data using glimpsedplyr::glimpse(x = psych::sat.act)#> Observations: 700#> Variable

0.0000

0

4

0

关注作者

收藏

291294878

KD树是怎样进行搜索的？

1、首先从根节点开始递归往下找到包含x的叶子节点，每一层都是找对应的xi2、将这个叶子节点认为是当前的“近似最近点”3、递归向上回退，如果以x圆心，以“近似最近点”为半径的球与根节点的另一半子区域边界相交，则说明另一半子区域中存在与x更近的点，则进入另一个子区域中查找该点并且更新”近似最近点“4、重复3的步骤，直到另一子区域与球体不相交或者退回根节点5、最后更新的”近似最近点“与x

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

用R绘制地图（1）

本文主要包含三种绘制地图的方法：绘制基础地图、基于空间数据格式（shapefile）绘制地图以及如何调用百度地图和谷歌地图的数据来绘制地图。基础地图方法从map()包里获取地图数据，用geom_polygon()（可以用颜色填充）或者geom_path()（不能填充）绘制。1. #install.packages("ggplot2")2. # 中国地图绘制等

0.0000

0

2

0

关注作者

收藏

291294878

如何构建KD树？

KD树是一个二叉树，表示对K维空间的一个划分，可以进行快速检索（那KNN计算的时候不需要对全样本进行距离的计算了）在k维的空间上循环找子区域的中位数进行划分的过程。假设现在有K维空间的数据集：1、首先构造根节点，以坐标的中位数b为切分点，将根结点对应的矩形局域划分为两个区域，区域1中,区域2中2、构造叶子节点，分别以上面两个区域中的中位数作为切分点，再次将他们两两划分，作为深度1的

9.7428

1

2

0

关注作者

收藏

啊啊啊啊啊吖

R里循环语句笔记分享（4）

R语言中的循环函数（Grouping Function） R语言中有几个常用的函数，可以按组对数据进行处理，apply, lapply, sapply, tapply, mapply,等。这几个函数功能有些类似，下面介绍下这几个函数的用法。Apply这是对一个Matrix或者Array进行某个维度的运算。其格式是：Apply(数据,维度Index,运算函数,函数的参数)对于Matrix来说

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

R里的循环语句笔记分享（3）

R今天在做一个项目的时候发现R剔除重复值比较困难，百度之后找到了解决办法：如果有下列的数据> a 公司比例1 a 0.42 a 0.33 a 0.24 b 0.55 b 0.4如果想仅保留每个公司的第一条数据，可使用如下方法> duplicated(a$公司)[1] FALSE TRUE TRUE FALSE TRUE> b

0.0000

0

8

0

关注作者

收藏

啊啊啊啊啊吖

R里的循环笔记分享（1）

比如两个变量i，j i=1:4 j=1:30公式y=j 10i计算出的y是矩阵这个循环该怎么写呢？解：i

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

R里的apply、sapply、tapply函数的区别

1、apply函数对一个Matrix或者Array进行某个维度的运算。其格式是： apply(数据,维度Index,运算函数,函数的参数) 对于Matrix来说，其维度值为2，第二个参数维度Index中，1表示按行运算，2表示按列运算。例子： > m m [,1] [,2] [,3][1,] 1 3 5[2,] 2

0.0000

0

4

0

关注作者

收藏

阿抽哥哥

jupyter notebook打开后浏览器界面没有东西？

答：jupyter notebook的响应浏览器中是不支持2345之类的浏览器的，只要把默认浏览器修改为jupyter notebook能够响应的浏览器即可，推荐使用并修改响应浏览器为chrome浏览器。

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

【新手向】怎么在已有的图形上添加直线

可以使用abline()函数。示例代码如下。 >x y plot(x,y)>abline(v=3,lwd=4,col="blue")#添加一条垂直直线x=3，线宽为4，颜色蓝色 >abline(h=3,lwd=4,col="blue")#添加一条水平直线y=3，线宽为

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

数值型与字符型相互变换

我有两组月度数据，一边里面的year month是字符型Length 12., Format12,informat12.。另一个是数值型length 8 Format Best12.,informat Best32.这两个要怎么转换成一个类型然后用merge呢？data a1; input a b @@; cards; 23 45 34 34 54 34 ; run; data _

0.0000

0

5

0

关注作者

收藏

809669515

过拟合的常用处理方式

1.增加训练数据数过拟合是由于模型学习到了数据的一些噪声特征导致，增加训练数据的量能够减少噪声的影响，让模型更多地学习数据的一般特征。利用现有数据进行扩充或许也是一个好办法。例如在图像识别中，如果没有足够的图片训练，可以把已有的图片进行旋转，拉伸，镜像，对称等，这样就可以把数据量扩大好几倍而不需要额外补充数据。一般有以下方法：从数据源头采集更多数据复制原有数据并加上随机噪声重采样根据当

0.0000

0

1

0

关注作者

收藏

PGC123

MySQL代码出现红色，说语法错误，错哪了？

第13/14行出现红色x是什么情况?，出了什么问题？哪里错了？每一句sql语句结尾要用‘;’分隔，句子内的可以用逗号，图中的sql语句在括号处才结束，因此括号处的分号是对的。所以13行出现分号是有问题的，这句代码在此处还没有结束，应该用逗号。

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

学习笔记贴，数据集分组并在各组内排名

为简明起见，我以sashelp.class 为例，介绍如何对对数据集按性别分成男、女两组，并按身高（height）从矮到高排列。sashelp.class 原表如下：Obs Name Sex Age Height Weight 1 Joyce F 11 51.3 50.5 2 Louise

0.0000

0

2

0

关注作者

收藏

<1…388389390…404>

CDA考试动态

CDA报考指南