不平衡学习算法的评估指标

2018-04-05

不平衡学习算法的评估指标 先来看下类不平衡的定义：对于二元分类问题，存在类别分布不平衡的问题，即某一类别的样本数量远远多于另一类（分别称为多数类和少数类）。具有这样特征的二元分类数据集被称为不平衡 ...

在机器学习分类中如何处理训练集中不平衡问题

2018-04-01

在机器学习分类中如何处理训练集中不平衡问题 很多机器学习任务中，训练集中可能会存在某个或某些类别下的样本数远大于另一些类别下的样本数目。即类别不平衡，为了使得学习达到更好的效果，因此需要解决该类别 ...

数据分析师—技术面试

2018-03-29

数据分析师—技术面试 三月份开始找实习，到现在已经有半年的时间了，在这半年的时间中，该经历的基本上都已经经历，春招实习时候，拿到了7个offer，校招时候，成功的拿下一份心仪的工作，结束了我的秋招旅程。 ...

非平衡数据集的机器学习常用处理方法

2018-03-26

非平衡数据集的机器学习常用处理方法 定义：不平衡数据集：在分类等问题中，正负样本，或者各个类别的样本数目不一致。 例子：在人脸检测中，比如训练库有10万张人脸图像，其中9万没有包含人脸，1万包含人 ...

机器学习中非平衡数据集的常用处理方法

2018-03-25

机器学习中非平衡数据集的常用处理方法 不平衡数据集： 在分类等问题中，正负样本，或者各个类别的样本数目不一致。 ：在人脸检测中，比如训练库有10万张人脸图像，其中9万没有包含人脸，1万包含人脸， ...

迈出数据分析与机器学习的第一步

2018-03-25

迈出数据分析与机器学习的第一步 数据分析太火爆，怎奈机器学习太难懂！随着人工智能的浪潮卷卷袭来，机器学习已经越来越火爆啦。数据分析与机器学习岗位可谓供不应求，但是入门的门槛也是蛮高的，究竟了机器学 ...

常用的机器学习&数据挖掘知识点

2018-03-07

常用的机器学习&数据挖掘知识点 Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最 ...

数据工作的科普总结

2017-11-28

数据工作的科普总结 首先说，这是一篇关于数据工作的科普文字，是我从事数据工作三年的一个小总结，因为不时会有人咨询我一些小问题，于是我大致整理了一下，主要是说了数据工作到底都包含了什么，其中关于数据 ...

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

R文本分类之RTextTools

2017-05-09

R文本分类之RTextTools 古有曹植七步成诗，而RTextTools是一款让你可以在十步之内实现九种主流的机器学习分类器模型的文本分类开发包。 它集成了(或者说支持)如下算法相关的包： 支持向量机（Support Vec ...

微博商业数据挖掘方法

2017-05-04

微博商业数据挖掘方法 本文主要介绍微博商业数据挖掘的体系及方法，但并不注重模型和算法这些细节，而是阐述数据如何贴近、支持和引导业务，如何建立合理的评价体系，以及如何围绕这两点建设数据挖掘架构。 ...

大数据舆情情感分析，如何提取情感并使用什么样的工具？

2017-03-28

各类 paper 是有一定的借鉴意义的，不过这主要是学术界在单个问题上的细化，要真正从研究领域落地到大数据的处理还有很多工作要做。 一、工程上的处理流程 工程上的处理流程具体包括 ...

如何快速搭建一篇数据化运营的大纲？

2017-03-23

于是我希望，在七周成为数据分析师的系列后，把数据化运营作为第二个系列来完成。每次写文章，对自己也是一种总结和提升。 下面是一份「简略」的大纲，更恰当地说是草稿。当不久的将来开始正式写 ...

机器学习算法常用指标总结

2017-03-11

机器学习算法常用指标总结 考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）, ...

浅谈机器学习在市场营销中的应用

2017-03-06

目前，在线展示广告越来越流行。在线展示广告的目的是获取更多的潜在客户，吸引客户购买商品。在线展示广告的一个基本要求就是通过广告获取用户所需费用要小于用户购买商品所耗费用，进而使得通过广告吸引来 ...

R语言不平衡数据分类指南

2017-02-27

R语言不平衡数据分类指南 目前我们发展出了不少机器学习算法来对数据建模，基于数据进行一些预测已经不再是难事。不论我们建立的是回归或是分类模型，只要我们选择了合适的算法，总能得到比较精确的结果。然而 ...

python数据挖掘之决策树DTC数据分析及鸢尾数据集分析

2020-04-20

Python数据挖掘之决策树DTC数据分析及鸢尾数据集分析  今天主要讲述的内容是关于决策树的知识，主要包括以下内容：1.分类及决策树算法介绍2.鸢尾花卉数据集介绍3.决策树实现鸢尾数据集分析。希望这篇文章 ...

数据挖掘分类技术_数据挖掘分类

2016-12-13

数据挖掘分类技术_数据挖掘分类 1、过分拟合问题： 造成原因有：（1）噪声造成的过分拟合（因为它拟合了误标记的训练记录，导致了对检验集中记录的误分类）；（2）根据少量训练记录做出分类决策的模型也容易 ...

大数据架构师必读的NoSQL建模技术

2016-10-09

从数据建模的角度对NoSQL家族系统做了比较简单的比较，并简要介绍几种常见建模技术。 丨1.前言 为了适应大数据应用场景的要求，Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命 ...

2017校招数据分析岗笔试/面试知识点

2016-09-26

2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。 尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是应该也抱着好的期望去找自己满意的呢？ 最 ...