nlp序列标注任务如何处理类别极度不平衡问题？

2023-04-07

自然语言处理（NLP）中的序列标注任务涉及将一系列文本标记为特定类别。 在这种情况下，如果数据集中存在类别不平衡，则可能会影响模型的性能。 对于一个极度不平衡的数据集，即使使用优秀的机器学习算法，也可能会 ...

阅读论文如何帮助你成为一名更有效的数据科学家

2022-03-14

作者尤金·颜，亚马逊应用科学家 “与其手动检查我们的数据，为什么不试试领英的做法呢？它帮助他们实现了95%的准确率和80%的召回率。“ 然后我的队友分享了如何使用k-最近邻来识别不一致的标签（在职位 ...

从软件到机器学习工程师的旅程

2022-03-14

我已经在iZettle工作了大约四年了。我在这家公司的旅程并不是以机器学习工程师的身份开始的，而是随着我在公司的成长而过渡到机器学习工程师。 我的正规教育是计算机科学/软件工程，事实上我已经做了大 ...

如何评估机器学习模型的商业价值

2021-09-22

作者：amitvkulkarni CDA数据分析师编译 概述 对于任何评估来说，最难的是保持简单易操作，在数据科学中也是如此。在任何数据科学项目中，细化数据、微调模型、部署它们的迭代过程都是一个持续的过程 ...

智能“三反”模型开发

2021-09-06

道——三类行为者的成本——收益分析 这次我们聊聊“违规识别”模型，在有的行里也被称为“三反”模型。这类模型的一个共同特点是获得明确标签（Y）的成本很高、主要特征提取自交易（有动帐）和行为（无动帐） ...

CDA LEVEL II 数据分析认证考试模拟题库（三十七）

2021-06-18

不过，在出题前，要公布上一期LEVEL II中31-35题的答案，大家一起来看！ 42.A 44.D A.小于变量个数 C.大于变量个数 47、关于ROC曲线下列说法错误的是（ ）。 B.ROC曲线下方的面积为AUC值 D ...

CDA LEVEL 1 考试，知识点《机器学习基本概念》

2024-08-13

机器学习研究如何让计算机不需要明确的程序也能具备学习能力。(—— Arthur Samuel,1959) 二、模型构建流程 既然我们机器学习是借助数学模型理解数学，那么最重要的原材料就是数据了。获取数据 ...

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据

2018-07-22

中国大数据算法大赛京东赛区冠军出炉 看京东如何玩转大数据 7月19日，中国大数据算法大赛京东赛区——京东JDATA算法大赛决赛在京东总部举行，经过激烈角逐，Trident团队夺得大赛冠军，独得50万大奖。本次大赛是 ...

机器学习模型评价指标及R实现

2018-06-02

机器学习模型评价指标及R实现 1.ROC曲线 考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（ ...

机器学习中的非均衡分类问题

2018-04-09

机器学习中的非均衡分类问题 非均衡分类问题是指在分类器训练时，正例数目和反例数目不相等（相差很大），或者错分正反例导致的代价不同（可从代价矩阵观测）时存在的问题。 而大多数情况下，不同类别的分类 ...

R语言文本挖掘之中文分词包—Rwordseg包(原理、功能、详解)

2017-04-20

R语言文本挖掘之中文分词包—Rwordseg包(原理、功能、详解) 与前面的RsowballC分词不同的地方在于这是一个中文的分词包，简单易懂，分词是一个非常重要的步骤，可以通过一些字典，进行特定分词。大致分析步骤如 ...

机器学习中的Accuracy，Precision，Recall和F1-Score

2017-03-18

机器学习中的Accuracy，Precision，Recall和F1-Score 在模式识别和信息检索领域，二分类的问题（binary classification）是常会遇到的一类问题。例如，银行的信用卡中心每天都会收到很多的信用卡申请，银行必 ...

对大数据的八大观点分析

2016-10-16

对大数据的八大观点分析 越来越多程序员也涌入大数据行业，但是仔细问一些从业人员什么是大数据?鲜有人知道?就算知道的，最常引用Victor的4V理论，大量(Volume)，快速(Velocity)，种类多(Variety)，价值(Value) ...

数据挖掘与数据分析梳理

2016-10-11

数据挖掘与数据分析梳理 一、数据挖掘和数据分析概述 数据挖掘和数据分析都是从数据中提取一些有价值的信息，二者有很多联系，但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处： ...

2017校招数据分析岗位笔试/面试知识点

2016-09-30

2017校招数据分析岗位笔试/面试知识点 2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是 ...

《大数据的“道”“术”“释”》----读书摘录+思考

2016-09-28

《大数据的“道”“术”“释”》----读书摘录+思考 这本书是看到我老师的朋友圈推荐才买的，看了一下目录，比较喜欢。就认真的读了下去，这不是一本讲什么是大数据的书，而是一本为什么要用到大数据分析的书。 ...

以数据挖掘技术预测用户流失情况的方法

2016-09-23

以数据挖掘技术预测用户流失情况的方法 所有网络服务及在线游戏的硬伤是什么？也就是游戏开始头几分钟或几小时内出现的大量用户流失情况。已经有不少人通过多种方式探索这个问题的解决之道，其中多由界面的易用 ...

中国大数据的发展以及商业价值

2016-09-16

中国大数据的发展以及商业价值 首先小编给你分享一个小故事介绍大数据入门是怎么一回事：以前有个国王很高兴想奖赏他的宠臣，然后说让他来提任何奖励，这个大臣给国王看下面这个棋盘，是个8＊8的方格，如果我 ...

数据挖掘系列分类算法评价

2016-08-15

数据挖掘系列分类算法评价 一、引言 分类算法有很多，不同分类算法又用很多不同的变种。不同的分类算法有不同的特定，在不同的数据集上表现的效果也不同，我们需要根据特定的任务进行算法的选择，如何选择 ...

R语言与分类算法的绩效评估

2016-05-18

R语言与分类算法的绩效评估 关于分类算法我们之前也讨论过了KNN、决策树、naivebayes、SVM、ANN、logistic回归。关于这么多的分类算法，我们自然需要考虑谁的表现更加的优秀。 既然要对分类算法进行评价，那 ...