数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

291294878

python是如何进行内存管理的？

一、垃圾回收：python不像C ，Java等语言一样，他们可以不用事先声明变量类型而直接对变量进行赋值。对Python语言来讲，对象的类型和内存都是在运行时确定的。这也是为什么我们称Python语言为动态类型的原因（这里我们把动态类型可以简单的归结为对变量内存地址的分配是在运行时自动判断变量类型并对变量进行赋值）。二、引用计数：Python采用了类似Windows内核对象一样的方式来对内

9.7428

1

0

0

关注作者

收藏

zxq997

KNN算法基本步骤

k-近邻算法步骤：1，计算已知类别数据集中的点与当前点之间的距离；2，按照距离递增次序排序；3，选取与当前点距离最小的k个点；4，确定前k个点所在类别的出现频率；5，返回前k个点所出现频率最高的类别作为当前点的预测分类

11.4127

1

1

0

关注作者

收藏

kejiayuan0806

数据挖掘模型中的IV

1、IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

R里的shiny包学习--Reactivity

Reactivity的示例程序与Hello Text很相似，但是用到了反应式编程里更多细节的概念，要运行该例子，请键入：> library(shiny) > runExample("03_reactivity") 前面几个例子给你了个初步印象——Shiny应用程序的代码长成什么样子。前面解释了反应式编程的一点概念，不过略过了大部分细节。在本节，我们会更进一步讲解这些细节。如果你想更深入学习这

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

R里的shiny包学习--shiny text

Shiny Text这个应用程序展示的是直接打印R对象，以及用HTML表格展示数据框。要运行例子程序，只需键入：> library(shiny) > runExample("02_text") 前面那个例子里用一个滑动条来输入数值，并且输出图形。而这个例子更进了一步：有两个输入，以及两种类型的文本输出。如果你改变观测个数，将会发现Shiny应用程序的一大特性：输入和输出是结合在一起的，并且

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

R里的shiny包学习--shiny入门

Shiny是RStudio公司开发的新包，有了它，可以用R语言轻松开发交互式web应用。只用几行代码就可以构建有用的web应用程序—不需要用JavaScript。Shiny应用程序会自动刷新计算结果，这与电子表格实时计算的效果类似。当用户修改输入时，输出值自动更新，而不需要在浏览器中手动刷新。Shiny用户界面可以用纯R语言构建，如果想更灵活，可以直接用HTML、CSS和JavaScrip

169.9183

1

0

0

关注作者

收藏

啊啊啊啊啊吖

关于Fisher's exact计算的问题

这两天在看一篇论文，文中用到了Fisher's exact p值的计算。作者给的原始数据是（14，8606，21，10197659），计算出的p值是2.12E-34。由于我学R没有多长时间，便试着在R 2.15.2中再次验算，居然算出结果是2.2E-16。我觉得这两个结果之间差距太大了，于是请教了一个师兄，nice的帮我解答了一下，分享给大家参考。> fisher.test(matrix(c(1

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

面板分位数回归模型基于R

R软件程序脚本：rq.fit.panel

0.0000

0

0

0

关注作者

收藏

kejiayuan0806

自由度如何理解

自由度：取值不受限制的变量的个数。如何理解这句简单的话呢？给定一组数据，我们来计算不同的统计量，看看自由度的变化。这些数据分别为 1 2 4 6 8. 5个数。先来求平均值，这几个数据都可以任意变化成其它数据，而我们仍然可以对它们求平均值，它们的平均值也跟着变化。这时自由度为5，也就是说有几个数据自由度就是几。1）当我们来计算方差时，我们要先计算平均值，下一步再计算方差，计算完平均值后，我们

176.9019

2

2

0

关注作者

收藏

291294878

Hive数据仓库于数据库的异同

(1）由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处（2）数据存储位置。 hdfs raw local fs（3）数据格式。分隔符（4）数据更新。hive读多写少。Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。INSERT INTO … VALU

9.7428

1

4

0

关注作者

收藏

291294878

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：

9.7428

1

2

0

关注作者

收藏

291294878

hive和HBASE区别有哪些？

1、hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2、hive是面向行存储的数据库。 3、Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 4、HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表。5、hbase不是关系型数据库，而是一

0.0000

0

5

0

关注作者

收藏

啊啊啊啊啊吖

用R绘制地图的一些包

这个是忙了好些天整理提取出来的中国地区底图文件，是R软件绘图必备的资料！供大家参考！# rm(list=ls())# setwd('d:/zlh/zlh cs/Rmap/')# library('geoR')# library('maps')# library('GISTools')# library("akima")# library("tseries")# library('s

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

如何提取时间序列中的数据

如题，怎么从时间序列中提取出同年不同月的数据啊呢？要是想合并的话不如一开始就用matrixsales

0.0000

0

0

0

关注作者

收藏

291294878

常用激化函数

1）sigmoid：将输出实值压缩到0-1之间。缺点：（输入非常大或非常小的时候）容易梯度消失；sigmoid函数是非0均值的，下一层的神经元将从上一层神经元得到的非0 均值的信号作为输入，再结合w计算梯度，始终都是正的。（可根据batch调节）2）Tanh：是0均值的。3）Relu（修正线性单元）：好处：收敛快，求梯度简单。具有稀疏特性。（相比于sigmoid：sigmoid反向传播

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

直方图让如何显著性标记

# loading needed librarieslibrary(ggstatsplot)library(psych)library(dplyr) # looking at the structure of the data using glimpsedplyr::glimpse(x = psych::sat.act)#> Observations: 700#> Variable

0.0000

0

4

0

关注作者

收藏

291294878

KD树是怎样进行搜索的？

1、首先从根节点开始递归往下找到包含x的叶子节点，每一层都是找对应的xi2、将这个叶子节点认为是当前的“近似最近点”3、递归向上回退，如果以x圆心，以“近似最近点”为半径的球与根节点的另一半子区域边界相交，则说明另一半子区域中存在与x更近的点，则进入另一个子区域中查找该点并且更新”近似最近点“4、重复3的步骤，直到另一子区域与球体不相交或者退回根节点5、最后更新的”近似最近点“与x

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

用R绘制地图（2）

ESRI公司的Shapefile文件是描述空间数据的几何和属性特征的矢量数据结构的一种格式。一个Shapefile文件最少包括三个文件：主文件(.shp):存储地理要素的几何图形的文件；索引文件(.shx):存储图形要素与属性信息索引的文件; dBASE表文件(*.dbf):存储要素信息属性的dBase表文件。除此之外还有可选的文件包括：空间参考文件(.prj), 几何体的空间索引文件(

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

用R绘制地图（1）

本文主要包含三种绘制地图的方法：绘制基础地图、基于空间数据格式（shapefile）绘制地图以及如何调用百度地图和谷歌地图的数据来绘制地图。基础地图方法从map()包里获取地图数据，用geom_polygon()（可以用颜色填充）或者geom_path()（不能填充）绘制。1. #install.packages("ggplot2")2. # 中国地图绘制等

0.0000

0

2

0

关注作者

收藏

291294878

如何构建KD树？

KD树是一个二叉树，表示对K维空间的一个划分，可以进行快速检索（那KNN计算的时候不需要对全样本进行距离的计算了）在k维的空间上循环找子区域的中位数进行划分的过程。假设现在有K维空间的数据集：1、首先构造根节点，以坐标的中位数b为切分点，将根结点对应的矩形局域划分为两个区域，区域1中,区域2中2、构造叶子节点，分别以上面两个区域中的中位数作为切分点，再次将他们两两划分，作为深度1的

9.7428

1

2

0

关注作者

收藏

<1…511512513…531>

CDA考试动态

CDA报考指南