数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

SVC和NuSVC为多元分类实现了 “one-against-one” 的方法 (Knerr et al., 1990) 如果n_class是类别的数量, 那么n_class*(n_class-1)/2分类器被重构, 而且每一个从两个类别中训练数据. 为了给其他分类器提供一致的交互,decision_function_shape选项允许聚合 “one-against-one” 分类器的结果成(n_

0.0000

0

3

0

关注作者

收藏

詹惠儿

怎么理解理论上的概率估计？

为了更好地理解这两个模型及其所做的假设，让我们回过头来看看我们如何在第11章第12章中推导出他们的分类规则。我们通过将文档分配给类来决定文档的类成员资格概率（参见概率），我们计算如下：利用这一点，以这种方式添加是一种简单的平滑形式。对于具有分类结果的试验（例如注意术语的存在或不存在），从数据估计事件概率的一种方法是简单地计算事件发生的次数除以试验总数。这被称为事件的相对频率。估

0.0000

0

2

0

关注作者

收藏

詹惠儿

怎么提高文本分类器的性能？

1. 增加文档区域。在文本分类问题中，通过差异加权来自不同文档区域的贡献，您可以经常获得有效提升效率。通常，增加标题词是特别有效的。根据经验，在文本分类问题中将标题词的权重加倍通常是有效的。您还可以从文本中没有明确定义区域的文本中增加单词来获取价值，但是文档结构或内容中的证据表明它们很重要。建议您也可以通过增加（新闻专线）文档的第一句话来获得价值（在临时检索环境中）。2. 文档区域的单独功能

0.0000

0

3

0

关注作者

收藏

詹惠儿

类别分类法有哪些？

如果文本分类问题由少量分离良好的类别组成，则许多分类算法可能运行良好。但是许多真正的分类问题包括大量通常非常相似的类别。读者可能会想到诸如网络目录（Yahoo!目录或开放目录项目），图书馆分类方案（Dewey Decimal或国会图书馆）或法律或医学应用中使用的分类方案等示例。例如，雅虎！目录由深层次结构中的200,000多个类别组成。对大量密切相关的类别进行准确分类本身就很困难。

0.0000

0

1

0

关注作者

收藏

詹惠儿

文本分类的半监督疑惑

在这里，理论上有趣的答案是尝试应用半监督训练方法。这包括bootstrapping等方法 EM算法。在这些方法中，系统获得一些带标签的文档，以及可以尝试学习的大量未标记文档。Naive Bayes的一大优势是它可以直接扩展为半监督学习算法，但对于SVM，还有半监督学习工作，其标题是转导SVM。通常，实际的答案是找出如何尽可能快地获得更多标记数据的方法。实现这一

0.0000

0

2

0

关注作者

收藏

詹惠儿

文本分类选择哪种分类器？

当遇到构建文本分类器的需要时，首先要问的问题是当前有多少训练数据可用？没有？很少？非常多？或者是巨额，每天都在增长？通常，在实际应用中部署机器学习分类器的最大实际挑战之一是创建或获取足够的训练数据。对于许多问题和算法，需要来自每个类的数百或数千个示例来生成高性能分类器，并且许多现实世界上下文涉及大量类别。我们最初会假设需要尽快分类; 如果有很多时间可用于实现，那么大部分时间可能用于组装数据资源。

0.0000

0

3

0

关注作者

收藏

byd711122

分布式集群搭建完成后，启动spark报错，请教！

分布式集群搭建完成后，Hadoop正常启动，启动spark报错如下：hduser@master:~$ /home/hduser/spark/sbin/start-all.shstarting org.apache.spark.deploy.master.Master, logging to /home/hduser/spark/sbin/../logs/spark-hduser-org.apa

0.0000

0

6

0

关注作者

收藏

zxq997

通过 Python 标准库的 uuid 模块，可以快速简单地生成通用唯一 ID(或“uuid”)。 uuid 模块会创建一个随机的 128 位数字，几乎可以肯定是唯一的。实际上，可以生成超过 2¹²² 个可能 UUID，这一数字超过了5,000,000,000,000,000,000,000,000,000,000,000,000（数字 5 后面有 36 个数字 0）。在给定的集合中

0.0000

0

5

0

关注作者

收藏

zxq997

你有没有遇到过这样的困境：遇到编码的问题忘记了以前见过的解决方案，或者需要检查 StackOverflow，但又不想离开终端。要摆脱这一困境，你需要这个有用的命令行工具——howdoi。有了 howdoi，无论你问它什么问题，它都会尽力回答。但有一点要注意的是：howdoi 是从 StackOverflow 的热门答案中抓取代码，它提供的信息可能不是最有用的。译注： S

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

SQL使用视图的优点有哪些

视图是为了查询方便，也就是多个表的总结，但是不能对视图增删改。在做数据库开发中使用视图的优点有：1.视图的好处就是在你做复杂的查询逻辑时可以简化你的思考过程。2.用视图可以隐藏一定的信息，用过滤后查询出来的数据集组成视图可以访问表中的子集，可以访问表中行的子集。3.可以重命名列名。在表中有些列名定义没有代表意义，如列“abc”，为了让用户看到列名就可以知该列是什么数据，可以

0.0000

0

1

0

关注作者

收藏

阿抽哥哥

matplotlib基本误差线

衡量数据误差是科学测量中无比重要的事儿，而在数据可视化异常处理中将数据的误差用图形描绘出来能提供更多的有效信息。%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npplt.style.use('seaborn-whitegrid') # 导入各种包x

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

基于树的特征选择

基于树的 estimators 可以用来计算特征的重要性，然后可以消除不相关的特征（当与 sklearn.feature_selection.SelectFromModel 等元转换器一同使用时）:>>>>>> from sklearn.ensemble import ExtraTreesClassifier >>> from sklearn.datasets import load_iris

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

用贝叶斯回归来解决回归问题

>>> from sklearn import linear_model>>> X = [[0., 0.], [1., 1.], [2., 2.], [3., 3.]]>>> Y = [0., 1., 2., 3.]>>> reg = linear_model.BayesianRidge()>>> reg.fit(X, Y)BayesianRidge(alpha_1=1e-06, alp

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

最小角回归

最小角回归（LARS）是对高维数据的回归算法，由 Bradley Efron, Trevor Hastie, Iain Johnstone 和 Robert Tibshirani 开发完成。 LARS 和逐步回归很像。在每一步，它寻找与响应最有关联的预测。当有很多预测有相同的关联时，它没有继续利用相同的预测，而是在这些预测中找出应该等角的方向。LARS的优点:当 p >> n，该算法

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

关于bootstrap的思考

假设我们有一个含有 n 个数据点的样本，并且这些点是按照某种（我们不知道的）概率分布生成的：data = get_sample(num_points=n)如果样品中所有的数据都非常接近 100，则实际的中位数很可能也非常接近 100。如果样本中一半左右的数据接近 0，而另一半则接近 200，那么我们就很难确信中位数到底接近多少。如果我们能够不断获得新的样本，那么就可以计算出每个新

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

def multiple_r_squared(x, y, beta):sum_of_squared_errors = sum(error(x_i, y_i, beta) ** 2for x_i, y_i in zip(x, y))return 1.0 - sum_of_squared_errors / total_sum_of_squares(y)但是不要忘了，只要向回归模型中添加新的变量

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

对于随机梯度下降来说，我们只需要单次预测对应的平方误差：def error(x_i, y_i, beta):return y_i - predict(x_i, beta)def squared_error(x_i, y_i, beta):return error(x_i, y_i, beta) ** 2如果你熟悉微积分，可以通过下面的方式进行计算：def squared_error_

0.0000

0

2

0

关注作者

收藏

詹惠儿

去停用词是什么？

有时，一些非常常见的单词在帮助选择符合用户需求的文档时似乎没什么价值，它们完全被排除在词汇表之外。这些话被称为停止说话。确定停止列表的一般策略是对术语进行排序收集频率（每个术语在文档集合中出现的总次数），然后采用最频繁的术语，通常手动过滤其相对于被索引的文档的域的语义内容，作为停止列表，然后在索引期间丢弃其成员。停止列表的示例如图2.5所示。使用停止列表可以显着减少系统必须存储的过帐数量;并且很多

0.0000

0

2

0

关注作者

收藏

詹惠儿

python怎么符号化？

给定一个字符序列和一个定义的文档单元，标记化是将其切成碎片的任务，称为令牌，也许同时丢掉某些字符，如标点符号。以下是标记化的示例：这些令牌通常被宽泛地称为术语或单词，但有时制作类型/令牌很重要区别。一个代币是一些特定文档中的字符序列的实例，它们被组合在一起作为用于处理的有用语义单元。一个type是包含相同字符序列的所有标记的类。一个term是包含在IR系统字典中的（可能是规范化的）类型

0.0000

0

2

0

关注作者

收藏

詹惠儿

爬虫怎么连接服务器？

假设Web有40亿个页面，每个页面都有10个指向其他页面的链接。在最简单的形式中，我们需要32位或4个字节来指定每个链接的每个末端（源和目标），总共需要 a（250）内存字节。可以利用Web图的一些基本属性在10％的内存要求下使用。乍一看，我们似乎有一个数据压缩问题 - 适用于各种标准解决方案。但是，我们的目标不是简单地压缩Web图形以适应内存;我们必须以有效支持连接查询的方式这样做

0.0000

0

2

0

关注作者

收藏

<1…477478479…530>

CDA考试动态

CDA报考指南