大数据可以预测 可靠性尚不确定

2018-02-03

大数据可以预测 可靠性尚不确定 人类生活需要预测，但可靠性却实在不敢让人恭维，鲜有正确。这有人为因素，也有技术原因。     比如“非样本错误”。假设有一位司机，驾龄30年，出行2万次，只 ...

浅谈利用逻辑回归来解决文本分类时的模型调优

2018-01-18

浅谈利用逻辑回归来解决文本分类时的模型调优 想和数据挖掘沾点边，所以最近在复习一些算法，因为又学了点R，深感这是个统计分析挖掘的利器，所以想用R实现一些挖掘算法。 朴素贝叶斯法大概是最简单的一种挖 ...

python中如何使用朴素贝叶斯算法

2018-01-06

python中如何使用朴素贝叶斯算法 这里再重复一下标题为什么是\"使用\"而不是\"实现\"： 首先，专业人士提供的算法比我们自己写的算法无论是效率还是正确率上都要高。 其次，对于数学不好的人来说，为了实现算法 ...

R语言多元分析系列

2017-07-21

R语言多元分析系列 R语言多元分析系列之一：主成分分析 主成分分析（principal components analysis， PCA）是一种分析、简化数据集的技术。它把原始数据变换到一个新的坐标系统中，使得任何数据投影的第一 ...

R语言判别分析

2017-07-19

R语言判别分析 本文中分三个方法介绍判别分析，Bayes判别，距离判别，Fisher判别。前两种判别方法都要考虑两个、或多个总体协方差（这里是算方差，方差是协方差的一种）相等或不等的情况，由var.equal=的逻辑参 ...

用十张图解释机器学习的基本概念

2017-03-20

用十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总 ...

R语言实现朴素贝叶斯中文文本分类

2017-01-13

R语言实现朴素贝叶斯中文文本分类 一、朴素贝叶斯及其原理。     贝叶斯公式P(A|B) = P(B|A)*P(A)/P(B)   其中：P(A|B)  是B的后验概率，是我们计算出来的。 P(B)是先验概率，是 ...

十张图解释机器学习的基本概念

2016-10-05

十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总是 ...

2017校招数据分析岗位笔试/面试知识点

2016-09-30

2017校招数据分析岗位笔试/面试知识点 2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是 ...

数据挖掘分类方法小结

2016-07-31

数据挖掘分类方法小结 数据仓库，数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式，它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的 ...

如何用贝叶斯算法甄选优质PD和程序员？

2016-05-07

如何用贝叶斯算法甄选优质PD和程序员？ 今天中午和同事聚餐的时候讨论一个有趣的话题：我们经常用朴素贝叶斯来过滤垃圾邮件，可以用朴素贝叶斯算法来挑选靠谱的小伙伴、过滤掉不靠谱的求职者吗？ 正方观点招 ...

大数据工具比较-R语言和Spark谁更强

2016-02-20

大数据工具比较-R语言和Spark谁更强 现如今的大数据工具真是多，在数据分析师工作中，使用哪些工具更加合适呢，r语言和Spark机器学习那个中有市场率更高些，那个在运算中更快更强些呢？ Spark的机器学习库 ...

朴素贝叶斯算法的优缺点是什么？如何实现？

2020-07-24

在文本分类，垃圾邮件过滤的场景中，我们经常会用到的是朴素贝叶斯算法，今天小编就具体给大家介绍一下朴素贝叶斯算法 一、朴素贝叶斯算法简介 1.朴素贝叶斯算法概念 朴素贝叶斯法是基于贝叶斯定理与特征 ...

最大后验估计MAP是什么？它是怎么推导出来的？

2020-07-08

最大后验估计(maximum a posteriori probability estimate), 简称为MAP。在贝叶斯统计学中，最大后验估计是通过利用经验数据获得对未观测量的点态估计。 与极大似然估计类似，不同的是，在似然函数后面多乘了一 ...

朴素贝叶斯（Naive Bayes）和校正曲线（Calibration Curve）

2020-06-10

算法回顾 图片来源：https://medium.com/machine-learning-101/chapter-1-supervised-learning-and-naive-bayes-classification-part-1-theory-8b9e361897d5 贝叶斯分类算法属于有监督机器学习（Su ...

最大后验估计(MAP)的简单介绍？

2020-05-20

最大后验估计（maximum a posteriori probability estimate, 简称MAP），是贝叶斯学派的法宝之一。 与统计学派不同，贝叶斯学派认为在做估计之前，人们对要估计的实物先有一个经验性的判断，然后根据数据调整对这 ...

极具感染力的贝叶斯定理，写给数据科学专业人的你

2020-03-27

作者 | KHYATI MAHENDRU 概述 贝叶斯定理是统计学中最强大的概念之一，而贝叶斯定理也是数据科学专业人员必须知道的定理 熟悉贝叶斯定理，其工作原理及其多种多样的应 ...

统计学5个基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法

2020-05-18

本文讲述了数据分析师应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法。 利用统计学，我们可以更深入、更细致地观察数据是如何进行精确组织的，并且基于这种组织结构， ...

22道机器学习常见面试题目汇总！(附详细答案)

2019-12-03

作者 | 数据分析1480 来源 | lsxxx2011 (1) 无监督和有监督算法的区别？ 有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。 ...

机器学习与深度学习核心知识点总结(一)

2019-12-02

作者 | 小小挖掘机 来源 | SIGAI 数学 1.列举常用的最优化方法 梯度下降法 牛顿法， 拟牛顿法 坐标下降法 梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等。 ...