数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

代价函数必须是非负吗？

代价函数又叫损失函数或成本函数，用来评价模型好不好。它是将一个或多个变量的事件阈值映射到直观地表示与该事件。一个优化问题试图最小化损失函数。1. 代价函数等价于损失函数，这俩个名词是猫咪和咪猫的关系。在机器学习里，代价函数/损失函数越小，就代表了模型对训练数据拟合的越好。即最优化经验风险。2. 目标函数，通常是在代价函数最优化经验风险的基础上加入优化结构风险策略（如l2正则化）的函数表

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

机器学习的学习方式有哪些？

机器学习的学习方式有以下3大类：A.有监督学习，有标签（label）1.回归：预测是连续型。算法：线性回归2.分类：预测是离散型。算法：逻辑回归，神经网络,决策树，随机森林，支持向量机，贝叶斯B.无监督学习，无标签3.聚类即算法：聚类，推荐系统（关联规则，协同过滤）C: 半监督学习半监督学习是监督学习和无监督学习相结合的一种学

0.0000

0

2

0

关注作者

收藏

zxq997

对于过采样的算法的使用方法？

对于数据不均衡分布，过采样使用的smote的算法。imblearn里面提供了smote库。定义：样本不平衡会带来样本点的空间分布并不能符合真实分布，因此使用smote扩充样本集合时，并不能改变原有样本的分布的外围轮廓特征，这就意味着对分类问题中分类边界的影响比较小。简单伪代码使用：from collections import Counterfrom sklearn.datasets

0.0000

0

2

0

关注作者

收藏

PGC123

shuffle中的Collect过程怎么理解？

shuffle中的Collect过程怎么理解？答：Collect过程是这样的：每个 Map 任务不断地以对的形式把数据输出到在内存中构造的一个环形数据结构中。使用环形数据结构是为了更有效地使用内存空间，在内存中放置尽可能多的数据。这个数据结构其实就是个字节数组，叫 Kvbuffer，名如其义，但是这里面不光放置了数据，还放置了一些索引数据，给放置索引数据的区域起了一个 Kvme

0.0000

0

4

0

关注作者

收藏

zxq997

样本标签分布不均匀怎么办？

在样本抽样的过程中，有时候会因为样本标签的分布不均匀影响模型的判断。假使有1000个样本，分为2类（0,1）。样本为0的标签为：950个，样本为1的标签为：50个。这样的样本会因为样本标签为1 的数量过少而过度依赖导致过拟合。所以采取的办法有2种：过采样和欠采样。过采样：样本为1的只有50个，将在样本为1 的数据邻近找去剩余的900个样本点补全。使得样本（0,1）的数量由（950,50

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

根据ID和列表返回值的计数

我有三个数据帧。df1使用基于汇总信息df2和df3如下：对于每个IDin df2，我想计算它有多少次Value来自df3并返回Result列中的计数df1。DF1ID Result1 22 23 24 16 28 010 1DF2ID Value1 A1 A1 F2 B2 C3 D3 D4

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

每次while循环开始时迭代下一行

我有一个csv文件，其中包含从流API中删除的链接。我在while循环中有一个脚本（称为'selenium.py'），其中selenium webdriver截取每个url的屏幕截图，然后将其保存在文件中。每分钟都会向csv文件添加更多行。我的代码是：df = pd.read_csv('screenshot.csv', header = 0, usecols= ['url','guid']

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

pandas：沿轴= 1的DataFrames的低级串联

问题：一个有2个DataFrame一个人知道两者有相同的（MultiIndex）指数（以防它有帮助）两个索引都被排序两个DataFrame都有不相交的列如何通过将内存块一起打包来非常有效地连接2个DataFrame，即相当于pd.concat([df1, df2], axis=1, sort=False)但强迫某种方式完全忽略两个DataFrames的索引值，使其速度非常快？我希

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

如何重新排序数据帧的顺序以匹配第二个数据帧的顺序？

如果我有两个数据帧作为示例：DF1： x y0 1.1. 2.11 3.1 5.1DF2：x y0 0.0 2.21 1.1 2.12 3.0. 6.63 3.1 5.14 0.2 8.8并且我希望df2匹配匹配值的常见顺序，但保持订单后不匹配的值，我将如何使用pandas？或者别的什么的。期望的输出：new_df： x

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

如何过滤Pandas Dataframe的值

我有一个数据集，我需要在超过一个值但不在之后过滤。以下是数据帧的示例： Dip MD0 70 50001 80 60002 90 70003 80 8000我希望在第一次Dip超过85之前过滤掉所有内容，因此结果数组应如下所示： Dip MD0 90 70001 80

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

如何在MultiIndex中格式化图例

我正在使用MultiIndex Column进行绘图。当我试图在图表中绘制这样的数据时（如下例所示），我会在图例中收到“（Semester1，Maths）”，“（Semester1，Science）”等等。import pandas as pdimport numpy as npheader = pd.MultiIndex.from_product([['Semester1','Sem

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

使用groupby后，从pandas图中删除“None”文本

我有以下数据：d_data = {"Name":["Jean","Luis", "Ana", "Ana", "Jean", "Luis","Ana", "Ana", "Luis","Ana","Luis" ], "Money":[100, 2220, 333, 3342, 4423, 43, 5454, 4455, 4

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

按日期时间列对DF的所有元素进行分组

想象一下有3列的Dataframe：indexA: datetimeB: value 1 or 2特定日期可能会有更多行。我想创建一个新的数据框，总结每天的价值。所以：indexA: datetime (1 day)B: amount of rows which contained value 1 in first dataframeC: amount of rows which

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

如何使用.loc将数据帧行附加到for循环中的另一个？

假设我有以下数据帧：df_t1 = pd.DataFrame([["AAA", 1 ,2],["BBB", 0, 3],["CCC", 1, 2],["DDD", 0, 0],["EEE", 0, 3]], columns=list('ABC')) A B C0 AAA 1 21 BBB 0 32 CCC 1 23 DDD 0 04

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

根据条件删除多行

下面是pandas dataframe我的一个子集，我试图根据某些条件删除多行。 code1 code2 grp1 grp2 dist_km0 M001 M002 AAA AAA 1121 M001 M003 AAA IHH 2752 M002 M005 AAA XXY 1503 M002 M004 AAA AAA

0.0000

0

2

0

关注作者

收藏

zxq997

好用的zip函数

这个函数返回一个含元组的列表，代码如下：l1 = ('You gotta', 'the')l2 = ('love', 'built-in')out = []if len(l1) == len(l2): for i in range(len(l1)): out.append((l1[i], l2[i]))# out = [('You gotta', 'love')

46.1538

1

2

0

关注作者

收藏

zxq997

列表如何去重？

代码如下：lst = [1,2,3,4,5,1,2,3,3]lst=set(lst) #将列表转化成元祖lst = [x for x in lst] #再转化成列表lst结果如下：

0.0000

0

5

0

关注作者

收藏

zxq997

字典如何合并2个字典？

具体如下：dic = {'name':"Alice","age":18}dic2 = {"sex":"男"}dic.update(dic2)dic

0.0000

0

1

0

关注作者

收藏

lluotuo

安装Python以匹配OS X 10.5中的目录布局

OS X 10.5上的默认Python安装是2.5.1，带有FAT 32位（Intel和PPC）客户端。我想设置apache和mysql来运行django。在过去，我运行Apache和MySQL以匹配32位模式的安装（甚至从Apache中删除64位的东西以使其工作）。我想将Python升级到64位。我完全可以通过一个警告从源代码编译它。如何匹配默认安装的布局方式？特别是，/Library/Pyt

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

距离度量——汉明距离定义与公式

定义：两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。例如: The Hamming distance between "1011101" and "1001001" is 2. The Hamming distance between "2143896" and "2233796" is 3. The Hamming d

0.0000

0

4

0

关注作者

收藏

<1…448449450…531>

CDA考试动态

CDA报考指南