数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

把RDD保存在HDFS上为什么会分为两个文件

因为RDD是一种弹性分布式数据集，它是分区的，而它的分区数是由核数决定的，而我们配置的核数是2，所以是2个分区，也就是2个文件

24.6407

2

7

0

关注作者

收藏

Kevin66832

python中如何将照片手绘化？

from PIL import Image,ImageFilter,ImageOpsimg = Image.open( 'D:\\01.jpg')def dodge(a, b, alpha): return min(int(a*255/ (256- -b*alpha)), 255)def draw(img, blur=25, alpha=1.0): img1 = i

24.8851

3

1

0

关注作者

收藏

赵娜0418

标准化常量的目的是什么？

目的：通过对数据进行标准化处理，得到均值为0，标准差为1的服从标准正态分布的数据。（相对一维数据来说，也就是相对矩阵的每一列，数据的每一个维度）向量形式，它们的每个元素分布表示矩阵每一列的均值和方差）可以看出矩阵中心化是标准化的一步，将中心化的矩阵除以标准差得到标准化矩阵。下面解释一下为什么需要使用这些数据预处理步骤：在一些实际问题中，我们得到的样本数据都是多个维度的，即一个样本是用多个

1.7202

6

0

0

关注作者

收藏

赵娜0418

Python机器学习中PCA指的是什么意思？

PCA 算法首先还是简单回顾下 PCA 的算法流程。我们把样本数据 xx 归一化后，计算其协方差矩阵 CxCx，然后计算 CxCx 的特征向量，构造出一个特征向量矩阵 AA，最后把 xx 通过该矩阵映射到一个新的空间，得到的向量 yy 就是能体现 xx 主要成分的向量了。PCA 在做什么那么，这种空间映射有什么意义呢？问题要回到协方差矩阵 CxCx 上。我们知道，协方差矩阵是一个对称矩阵，

1.7179

6

1

0

关注作者

收藏

赵娜0418

机器学习中怎样防止过拟合和欠拟合？

1.利用学习曲线判断2.误差 = 偏差(精确率) 方差(稳定性)3.下图中虚线为训练集，实线为测试集

1.7179

6

2

0

关注作者

收藏

赵娜0418

Python机器学习决策时算法中熵是什么？

决策树是用于分类的统计模型。熵的概念熵是来衡量随机变量的不确定性的。Shannon entropy来定量化了这种不确定性。有以下公式H(x)=∑iP(xi)I(xi)=−∑iP(xi)logbP(xi)H(x)=∑iP(xi)I(xi)=−∑iP(xi)logbP(xi)接下来通过例子来说明。比如投硬币，正面和反面的概率都是1/2，在这种情况下，一个比特就可以来传递每一次的结果。投

1.6383

6

2

0

关注作者

收藏

赵娜0418

归一化和标准化有何不同？

答：简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。归一化：这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒

1.6383

6

5

0

关注作者

收藏

陈革007

Python 统计学习:决策树

一,决策树-解决分类问题的一般方法1、模型构建（归纳）通过对训练集合的归纳，建立分类模型。 2、预测应用（推论）根据建立的分类模型，对测试集合进行测试二, 决策树的本质•决策树是一种典型的分类方法•首先对数据进行处理，利用归纳算法生成可读的规则和决策树，•然后使用决策对新数据进行分析。•本质上决策树是通过一系列规则对数据进行分类的过程。三,决策树的优点•1、推理过程容

24.8380

6

2

0

关注作者

收藏

颜夕小妞

pandas 时间序列相关图谱

链接：https://pan.baidu.com/s/1Du4TCmhQV8yBMcGNA7iO2g 提取码：c7co

24.9748

4

1

0

关注作者

收藏

M151****2366

PowerBI 应用时间智能（生成日期表）

Power BI Desktop是一款由微软发布的自助式商业智能工具，功能强大、易于使用。其中还可以通过微软云连多个数据源并且使用数据源来创建可视化表盘。但是几乎所有的BI都需要展示如何随时间改变KPI。因此我将会介绍一个帮助我们使用事件元素来分析数据的关键功能。在PowerBI Desktop 中叫做“Time intelligence”。应用这种时域分析法能是商业智能中基本的数据表现形式。毕

24.9371

4

1

0

关注作者

收藏

shauna570392

MySQL workbench怎么关掉补全提示呢？

经常出现提醒，会误触，想关掉解答：点击edit的preferences 2、把该设置的勾选取消掉就不会有补全提示了

24.8633

2

2

0

关注作者

收藏

zhongxn

牛客网数据库61题打卡练习（1-10题）

为更好的展示代码，选择在csdn码字，指路我的csdn博文连接https://blog.csdn.net/weixin_43288829/article/details/106591231欢迎各位一起交流学习。注：牛客网的在线编程是基于SQLite的，所以有些地方的语法会与其他的数据库有些许不同之处。

0.2790

2

4

0

关注作者

收藏

liting李

怎么查看并修改jupyter notebook的本地路径

今天用jupyter notebook的时候想要看一下本地的存储位置，上网查了一下后，操作如下：打开cmd（win r键），输入jupyter notebook --generate-config即可查看一个文件的路径（如下图）打开这个文件（.py文件），找到这个（我的在261行，大概就在附近吧，这里用pycharm打开的），或者可以搜索这个（文件中ctrl f即可）“c.Notebo

24.8851

3

1

0

关注作者

收藏

1309_1565582599

左/右反连接

table t1 table t2 要求：出现在t1却不在t2的key （1）首先将t1,t2左连接查看表结构select * from t1left join t2on t1.key1=t2.key2; （2）左反连接就是在左连接的基础上添加一个条件：右表中key为空的条件（即左表存在y而右表不存在）select * from t1left join

15.1272

5

2

0

关注作者

收藏

liting李

正则化是用来做什么的？

正则化：是用来防止模型过拟合的过程，常用的有L1正则化和L2正则化两种选项，分别通过在损失函数后加上参数向量的L1范式和L2范式的倍数来实现。这个增加的范式，被称为“正则项”，也被称为"惩罚项"。

0.0000

0

2

0

关注作者

收藏

赵娜0418

Python机器学习中ID3、C4.5和CART的区别

1、ID3：解决分类问题，以信息增益最大选择特征，要求特征离散2、C4.5：解决分类问题，以信息增益率最大选择特征，特征可离散可连续3、CART：二叉树1）分类问题：以基尼系数最小选择特征，特征可离散可连续2）回归问题：以方差最小选择特征，特征可离散可连续

61.6208

5

5

0

关注作者

收藏

hujiahao

大厂SQL面试常考知识点

一、最基础（选数据）1.怎么把数据从表里选出来？-- 从table_1中选择a这一列select a from table_12.表连接-- table_1中有id,age；table_2中有id,sex。想取出id,age,sex 三列信息select table_1.id,age,sexfrom table_1 left join table_2on table_1.

51.2274

5

3

0

关注作者

收藏

1309_1565582599

开窗函数-->序号函数

row_number() 显示分区中不重复不间断的序号 dense_rank() 显示分区中重复不间断的序号 rank() 显示分区中重复间断的序号eg1.查询所有员工的工资排名select *, row_number() over(order by sal desc) 排名 from emp; #row_number 为静态函数，不需要指定滑动窗口，指定了也不生效 eg2.

51.0876

3

3

0

关注作者

收藏

ged_2357

查询结果为一张表，放在select语句中，必须设置别名；数值作为别名时，必须加引号表子查询放在select或join后当做表使用时，必须设置别名；同时在引用该表的字段时，必须使用其列别名把一个计算出来的结果作为字段使用时，无论用的是聚合函数还是加减乘除，作为字段使用时，必须设置别名；全连接、左连接、右连接全连接=左连接 union 右连接左反连接=左连接 where 右边字段=null

60.7709

3

4

0

关注作者

收藏

赵娜0418

MySQL报1066：Not unique table/alias的错误

Not unique table/alias错误编号：1066问题分析：SQL 语句中出现了非唯一的表或别名。解决方法：1、请检查出现问题位置的 SQL 语句中是否使用了相同的表名，或是定义了相同的表别名。2、检查 SELECT 语句中要查询的字段名是不是定义重复，或者没有定义。查错：调试程序的时候发现，果真是调用MySQL的mysql_real_query()方法执行查询

61.6208

5

5

0

关注作者

收藏

<1…233234235…531>

CDA考试动态

CDA报考指南