机器学习入门报告之 解决问题一般工作流程

2018-03-20

机器学习入门报告之 解决问题一般工作流程 对于给定的数据集和问题，用机器学习的方法解决问题的工作一般分为4个步骤： 一．     数据预处理 首先，必须确保数据的格式符合要求 ...

如何实现降维处理(R语言)

2017-12-07

如何实现降维处理(R语言) 现实世界中数据一般都是复杂和高维的，比如描述一个人，有姓名、年龄、性别、受教育程度、收入、地址、电话等等几十种属性，如此多的属性对于数据分析是一个严重的挑战，除了极大增加 ...

深度学习已成功应用于这三大领域

2017-11-20

深度学习已成功应用于这三大领域 在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实 ...

学会数据分析背后的挖掘思维，分析就完成了一半

2017-08-09

学会数据分析背后的挖掘思维，分析就完成了一半 在数据分析中,模型是非常有用和有效的工具和数据分析应用的场景,在建立模型的过程中,数据挖掘很多时候能够起到非常显著的作用。伴随着计算机科学的发展,模型也越 ...

R语言与函数估计学习笔记（样条方法）

2017-07-20

R语言与函数估计学习笔记（样条方法） 样条估计 如果函数在不同地方有不同的非线性度，或者有多个极值点，那么用多项式特别是低阶多项式来完成拟合是非常不合适的。一种解决办法是我们之前提到的近邻多项式 ...

如何解决机器学习中数据不平衡问题

2017-07-09

如何解决机器学习中数据不平衡问题 这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽 ...

R语言中样本平衡的几种方法

2017-06-07

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

R语言-选择“最佳”的回归模型

2017-06-03

R语言-选择“最佳”的回归模型 尝试获取一个回归方程时，实际上你就面对着从众多可能的模型中做选择的问题。是不是所有的变量都要包括？抑或去掉那个对预测贡献不显著的变量？还是需要添加多项式项和/或交互项 ...

sas信用评分之不用检查异常值的最优分组

2017-05-29

sas信用评分之不用检查异常值的最优分组 今天的更新比以往晚了一天，假期综合症第一天，我到现在已经喝了第三杯咖啡，实现上周的预告，这种更新一个不用检查异常值的数值变量最优分组。其实这代码我本来不想拿 ...

机器学习需要哪些数学基础

2017-05-20

机器学习需要哪些数学基础 过去的几个月中，有几人联系我，诉说他们对尝试进入数据科学的世界，以及用机器学习的技术去探索统计规律并构建无可挑剔的数据驱动型产品的热忱。然而，我发现一些人实际上缺乏必要的 ...

简单易学的机器学习算法—线性回归(1)

2017-03-24

简单易学的机器学习算法—线性回归(1) 一、线性回归的概念     对连续型数据做出预测属于回归问题。举个简单的例子：例如我们在知道房屋面积(HouseArea)和卧室的数量(Bedrooms)的情况下要求房屋 ...

用十张图解释机器学习的基本概念

2017-03-20

用十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总 ...

机器学习中的kNN算法及Matlab实例

2017-03-18

机器学习中的kNN算法及Matlab实例 K最近邻(k-Nearest  Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即 ...

机器学习-Cross Validation交叉验证Python实现

2017-03-16

机器学习-Cross Validation交叉验证Python实现 1.原理 1.1 概念 交叉验证(cross-validation)主要用于模型训练或建模应用中，如分类预测、pcr、pls回归建模等。在给定的样本空间中，拿出大部分样本作为训练集来 ...

机器学习：决策树（Decision Tree）

2017-03-11

机器学习：决策树（Decision Tree） 决策树（decision tree）是一种基本的分类与回归方法。在分类问题中，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。在学习时，利 ...

非常值得收藏的 IBM SPSS Modeler 算法简介

2017-03-08

非常值得收藏的 IBM SPSS Modeler 算法简介 IBM SPSS Modeler 以图形化的界面、简单的拖拽方式来快速构建数据挖掘分析模型著称，它提供了完整的统计挖掘功能，包括来自于统计学、机器学习、人工智能等方面 ...

用Python进行机器学习小案例

2016-11-24

用Python进行机器学习小案例 本文是用Python编程语言来进行机器学习小实验的第一篇。主要内容如下： 读入数据并清洗数据 探索理解输入数据的特点 分析如何为学习算法呈现数据 选择正确的模型和学 ...

如何使用线性回归分析来预测发电厂的发电量

2016-10-17

如何使用线性回归分析来预测发电厂的发电量 在这篇文章中，我将会教大家如何通过拟合一个线性回归模型来预测联合循环发电厂（CCPP）的发电量。这个数据集则来自于UCI Machine Learning Repository。这个数据集 ...

机器学习、大数据等岗位面试时遇到的各种问题总结

2016-10-12

机器学习、大数据等岗位面试时遇到的各种问题总结 自己的专业方向是机器学习、数据挖掘，就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器 ...

2017校招数据分析岗位笔试/面试知识点

2016-09-30

2017校招数据分析岗位笔试/面试知识点 2017校招正在火热的进行，后面会不断更新涉及到的相关知识点。尽管听说今年几个大互联网公司招的人超少，但好像哪一年都说是就业困难，能够进去当然最好，不能进去是不是 ...