大数据舆情情感分析，如何提取情感并使用什么样的工具？

2017-03-28

各类 paper 是有一定的借鉴意义的，不过这主要是学术界在单个问题上的细化，要真正从研究领域落地到大数据的处理还有很多工作要做。 一、工程上的处理流程 工程上的处理流程具体包括 ...

简单易学的机器学习算法—岭回归(Ridge Regression)

2017-03-24

简单易学的机器学习算法—岭回归(Ridge Regression) 一、一般线性回归遇到的问题     在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在： 预测精度：这里要处理好这样 ...

从曲线拟合问题窥视机器学习中的相关概念

2017-03-20

从曲线拟合问题窥视机器学习中的相关概念 一直徘徊在机器学习的边缘未敢轻易造次并畏惧其基本原理思想，从每一本厚厚的参考资料中都可以看出机器学习是一门跨越概率论、决策论、信息论以及最优化的学科的综合学 ...

数据挖掘十大算法之决策树详解（2）

2017-03-17

数据挖掘十大算法之决策树详解（2） ID3算法 ID3和C4.5都是由澳大利亚计算机科学家Ross Quinlan开发的决策树构建算法，其中C4.5是在ID3上发展而来的。 ID3算法的核心是在决策树各个结点上应用信息增益准 ...

数据挖掘十大算法之CART详解

2017-03-16

数据挖掘十大算法之CART详解 CART生成 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将 ...

干货 | 基础机器学习算法

2017-03-10

本篇内容主要是面向机器学习初学者,介绍常见的机器学习算法，当然,欢迎同行交流。 哲学要回答的基本问题是从哪里来、我是谁、到哪里去，寻找答案的过程或许可以借鉴机器学习的套路：组织数据->挖掘知识->预测未来。 ...

R语言不平衡数据分类指南

2017-02-27

R语言不平衡数据分类指南 目前我们发展出了不少机器学习算法来对数据建模，基于数据进行一些预测已经不再是难事。不论我们建立的是回归或是分类模型，只要我们选择了合适的算法，总能得到比较精确的结果。然而 ...

数据分析中常见的七种回归分析以及R语言实现（四）---多项式回归

2017-01-23

数据分析中常见的七种回归分析以及R语言实现（四）---多项式回归 在我们平时做回归的时候，大部分都是假定自变量和因变量是线性，但有时候自变量和因变量可能是非线性的，这时候我们就可能需要多项式回归了，多 ...

揭秘丨备战CDA数据分析竞赛！

2017-01-16

 Kaggle是一个数据分析建模的应用竞赛平台，有点类似KDD-CUP（国际知识发现和数据挖掘竞赛），企业或者研究者可以将问题背景、数据、期望指标等发布到Kaggle上，以竞赛的形式向广大的数据科学家征集解决方案 ...

用Python进行梯度提升算法的参数调整

2017-01-02

用Python进行梯度提升算法的参数调整 提升算法(Boosting)在处理偏差-方差权衡的问题上表现优越，和装袋算法(Bagging)仅仅注重控制方差不同，提升算法在控制偏差和方差的问题上往往更加有效。在这里，我们提供一 ...

决策树(专家药物模型)操作案例

2016-12-25

决策树(专家药物模型)操作案例 依据常用案例专家药物模型使用SmartMining桌面版，以决策树算法为背景，说明大数据如何构建专家诊病模型，以及如何通过可视化探索数据，实现决策树同样的计算结果!案例侧重于大数 ...

为什么数据挖掘很难成功

2016-11-25

为什么数据挖掘很难成功 大数据时代，数据挖掘变得越加重要，曾经做了很多，成功有之，失败的却更多，举一些例子，探究其失败原因，也许于大家都有启示吧。 数据缺失总是存在。 为什么数据挖掘的数据准 ...

R语言多项式回归

2016-10-17

R语言多项式回归 含有x和y这两个变量的线性回归是所有回归分析中最常见的一种；而且，在描述它们关系的时候，也是最有效、最容易假设的一种模型。然而，有些时候，它的实际情况下某些潜在的关系是非常复杂的， ...

数据挖掘工程师的面试问题与答题思路

2016-10-16

数据挖掘工程师的面试问题与答题思路 机器学习、大数据相关岗位根据业务的不同，岗位职责大概分为： 1、平台搭建类 数据计算平台搭建，基础算法实现，当然，要求支持大样本量、高维度数据，所以可能 ...

你应该知道的7种类型的回归技术！

2016-10-11

你应该知道的7种类型的回归技术！ 回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回 ...

多元线性回归实战笔记

2016-10-01

多元线性回归实战笔记 R语言中的线性回归函数比较简单，就是lm()，比较复杂的是对线性模型的诊断和调整。这里结合Statistical Learning和杜克大学的Data Analysis and Statistical Inference的章节以及《R语言 ...

数据分析不得不知的七种回归分析技术

2016-09-30

数据分析不得不知的七种回归分析技术 回归分析技术是一种非常重要的数据分析方法，有着广泛的应用，能够解决目标变量为连续的预测分析问题。 什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的 ...

2017校招数据分析岗笔试/面试知识点

2016-09-26

2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。 尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是应该也抱着好的期望去找自己满意的呢？ 最 ...

用R语言实现对不平衡数据的四种处理方法

2016-09-07

用R语言实现对不平衡数据的四种处理方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。那么，这种结果是为何发生的呢?到底是什 ...

如果会用数据挖掘，对业务和用户的理解会更上层楼

2016-08-07

如果会用数据挖掘，对业务和用户的理解会更上层楼 数据挖掘的特点；数据挖掘可以做哪些事情、有什么应用价值；要发挥数据的价值，你们应该怎么与数据挖掘岗协作，你们不可替代的价值在哪里。文章有点长，良心 ...