数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

詹惠儿

文本挖掘主要涉及哪些步骤？

假设您有一个包含产品描述的数据集。并且，要求您从给定描述中提取特征。你会如何开始理解它？原始文本数据（描述）将通过几个清理阶段进行过滤，以转换为表格格式进行分析。我们来看看一些步骤：语料库创建 - 它涉及创建包含文档和术语（或标记）的矩阵。文档可以被理解为每行具有产品描述并且每列具有术语。术语是指说明中的每个单词。通常，语料库中的文档数等于给定数据中的行数。文本清理 - 它涉及以

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

学习笔记-集合

集合（set），它表示为一组不同的元素：s = set()s.add(1) # s现在是1s.add(2) # s现在是{1,2}s.add(2) # s还是{1,2}x = len(s) # 等于2y = 2 in s # 等于Truez = 3 in s # 等于False我们使用集合的原因主要有两个。第一个是集合上有一种非常快速的操作： in。如果我们有大量的项目，希望对它

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

学习笔记-字典

Python 中的一种基本数据结构是字典，它将值与键联系起来，让我们可以通过键快速找到对应值：empty_dict = {} # Python风格empty_dict2 = dict() # 更少的Python风格grades = { "Joel" : 80, "Tim" : 95 } # 字典你也可以通过方括号查找键的值：joels_grade = grades["Joel"] #

0.0000

0

3

0

关注作者

收藏

詹惠儿

文本挖掘中使用的特征工程技术是什么？

你知道你正在阅读的这一行的每个单词都可以转换成一个函数吗？是的，你听错了。文本数据提供了广泛的可能性来生成新函数。但有时候，我们最终会产生很多功能，在某种程度上处理它们会变成一项痛苦的任务。因此，我们应该仔细分析提取的特征。别担心！下面解释的方法也有助于减少结果数据集的维度。以下是使用的常用功能工程方法列表： 1. n-gram ：在文档语料库中，1

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

学习笔记-元组

元组是列表的亲表哥。你对列表做的很多操作都可以对元组做，但不包括修改。元组通过圆括号（或者什么都不加）而不是方括号来给出具体的描述：my_list = [1, 2]my_tuple = (1, 2)other_tuple = 3, 4my_list[1] = 3 # my_list现在是[1, 3]try:my_tuple[1] = 3except TypeError:print

0.0000

0

3

0

关注作者

收藏

詹惠儿

关于正则表达式的练习示例（一）

1.从一串字符中提取数字#extract digits - all 4 works string

0.0000

0

0

0

关注作者

收藏

zxq997

数据库中的关键字

使用关键字可以帮助我们完成复杂灵活的数据查询需求，在查询中常用到的关键字包括AND、OR、IN、BETWEEN、LIKE、IS NULL、 DISTINCT等AND关键字：用来联合多个条件进行查询，条件与条件间是“和”的意思条件表达式1 AND 条件表达式2 【…AND 条件表达式n】例：在student表中查询数学成绩大于50分并且英语成绩小于80分的学员记录SELECT *

299.9278

1

4

0

关注作者

收藏

詹惠儿

常见的字符串操作函数列表

在R中，字符串是用引号（“”）括起来的任何值。是的，您甚至可以将数字作为字符串。 R通知类character下的字符串。让我们来看看！text

0.0000

0

1

0

关注作者

收藏

PGC123

np.c_是啥意思？

在网上看代码的时候看到np.c_[......],这个是什么用法呢？np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。例如：a = np.random.randint(1,high=20,size=(4,5))a## array([[ 8, 16, 3, 13, 4], [16, 1

0.0000

0

4

0

关注作者

收藏

wangjuju123

要遍历字典的所有关键字，可像遍历序列那样使用普通的for语句。 d = {'x': 1, 'y': 2, 'z': 3} for key in d: print(key, 'corresponds to', d[key]) 也可使用keys等字典方法来获取所有的键。如果只对值感兴趣，可使用d.values。你可能还记得，d.items以元组的方式返回键值对。for循环的优点之一是

0.0000

0

1

0

关注作者

收藏

wangjuju123

while语句非常灵活，可用于在条件为真时反复执行代码块。这在通常情况下很好，但有时候你可能想根据需要进行定制。一种这样的需求是为序列（或其他可迭代对象）中每个元素执行代码块。注意基本上，可迭代对象是可使用for循环进行遍历的对象。第9章将详细介绍可迭代对象和迭代器。就目前而言，只需将可迭代对象视为序列即可。为此，可使用for语句： words = ['this', 'is', '

0.0000

0

2

0

关注作者

收藏

wangjuju123

这正是布尔值的用武之地

用作布尔表达式（如用作if语句中的条件）时，下面的值都将被解释器视为假： False None 0 "" () [] {} 换而言之，标准值False和None、各种类型（包括浮点数、复数等）的数值0、空序列（如空字符串、空元组和空列表）以及空映射（如空字典）都被视为假，而其他各种值都被视为真①，包括特殊值True②。明白了吗？这意味着任何Python值都可解释为真值

0.0000

0

1

0

关注作者

收藏

阿抽哥哥

sklearn最近邻算法leaf_size的影响

构造时间leaf_size越大，树的构建时间越快查询时间不同的 leaf_size 大小会改变查询成本的优次，当 leaf_size 接近 1 时，遍历节点所涉及的开销大大减慢了查询时间。当 leaf_size 接近训练集的大小，查询本质上变成了暴力搜索（brute force）。在这之间的一个很好的妥协是 leaf_size = 30，这是该参数的默认值。内存随着 leaf_siz

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

Python里面怎么做标准化呀

所有中心倾向的度量都是同一单位。极差的单位也与此相同。但是，方差的单位是原数据单位的平方（即“平方朋友”）。然而，用方差很难给出直观的比较，所以我们更常使用标准差（standard deviation）：def standard_deviation(x):return math.sqrt(variance(x))standard_deviation(num_friends) # 9

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

中位数的一个泛化概念是分位数（quantile），它表示少于数据中特定百分比的一个值。（中位数表示少于 50% 的数据的一个值。 )def quantile(x, p):"""returns the pth-percentile value in x"""p_index = int(p * len(x))return sorted(x)[p_index]quantile(num_fr

0.0000

0

2

0

关注作者

收藏

阿抽哥哥

最近邻算法的选择

对于给定数据集，K近邻的最优算法选择（algorithm）取决于多个因素：样本数量N 和维度D：brute force 查询时间以O[DN]增长。ball tree 查询时间大约以O[Dlog(N)]增长。k-d tree 的查询时间变化是很难精确描述的，对于较小的D(小于20)的成本大约是O[Dlog(N)]，并且 k-d tree 更加有效。对于较大的D成本的增加接近O[DN]，由于

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

Python实现描述性统计-均值

常用的方法是使用均值（mean 或average），即用数据和除以数据个数：# 如果没有从__future__导入division，那就是不对的def mean(x):return sum(x) / len(x)mean(num_friends) # 7.333333如果你有两个数据点，均值就意味着两点的中间点。随着数据集中点数的增加，均值点会移动，但它始终取决于每个点的取值。我

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

怎么用Python画散点图

散点图是显示成对数据集的可视化关系的好选择。比如显示了你的用户们已有的朋友数和他们每天花在网站上的分钟数之间的关系：friends = [ 70, 65, 72, 63, 71, 64, 60, 64, 67]minutes = [175, 170, 205, 120, 220, 130, 105, 145, 190]labels = ['a', 'b', 'c', 'd', 'e', '

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

过拟合和欠拟合

在机器学习中，一种常见的困境是过拟合（overfitting）——指一个在训练数据上表现良好，但对任何新数据的泛化能力却很差的模型。这可能牵扯到对数据中噪声的学习，也可能涉及学习识别特别的输入，而不是对可以得到期望的输出进行准确预测的任何因素。另一种有害的情况是欠拟合（underfitting），它产生的模型甚至在训练数据上都没有好的表现，尽管通常这暗示你模型不够好而要继续寻找改进的模型

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何评估Logistic回归模型的拟合度和准确度？

在线性回归中，我们检查调整后的R²，F统计量，MAE和RMSE，以评估模型拟合度和准确度。但是，Logistic回归采用了所有不同的指标集。在这里，我们处理概率和分类值，以下是用于Logistic回归的评估指标：1. Akaike信息标准（AIC）您可以将AIC视为多元回归中调整后的r square的对应物。这是模型拟合的重要指标。它遵循以下规则：越小越好。 AIC惩罚模型中越来越多

0.0000

0

4

0

关注作者

收藏

<1…369370371…404>

CDA考试动态

CDA报考指南