数据预处理--数据降维

2018-03-01

数据预处理--数据降维 数据规约产生更小但保持数据完整性的新数据集。在规约后的数据集上进行数据分析和挖掘将更有效率。 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映 ...

数据预处理之数据归一化

2018-02-28

数据预处理之数据归一化 一、简单缩放 分为：最大值缩放和均值缩放 在简单缩放中，我们的目的是通过对数据的每一个维度的值进行重新调节（这些维度可能是相互独立的），使得最终的数据向量落在[0,1]或[ ...

商业活动中数据重要性分析

2018-02-28

商业活动中数据重要性分析 如果你不是从事媒体业务，这听上去可能不是很有意思，但是还是请你读下去。希尔对记者们所说的对企业家们来说同样重要。数据是相当有用的。你可以洞悉市场，分析趋势，或更好的把握自 ...

数据挖掘中的分类技术

2018-02-27

数据挖掘中的分类技术 KNN（K最近邻算法） 算法核心：如果一个样本在特征空间中K个最相似的样本中的大多数属于一个类别，则该样本也属于这个类别，并具有这个类别的特征 在确定分类时只依靠最邻近的一个 ...

R描述性统计分析

2018-02-27

R描述性统计分析 概念 数据摘要，有损地提取数据特征的过程，包含基本统计，分布／累计统计，数据特征（相关性，周期性等），数据挖掘 数据有很多变量和观测值，可以用一些简单表格，图形和少数汇总数字 ...

简单易学的机器学习算法——K-Means++算法

2018-02-26

简单易学的机器学习算法——K-Means++算法 一、K-Means算法存在的问题 由于K-Means算法的简单且易于实现，因此K-Means算法得到了很多的应用，但是从K-Means算法的过程中发现，K-Means算法中的聚类中心的个数 ...

使用R并行方式对数值型数据离散化

2018-02-26

使用R并行方式对数值型数据离散化 数据的特征按照其取值可以分为连续型和离散型。离散数值属性在数据挖掘的过程中具有重要的作用。比如在信用卡评分模型中，当自变量很多时，并非所有字段对于目标字段来说都是 ...

Python统计学一数据的概括性度量

2018-02-26

Python统计学一数据的概括性度量 一、数据的概括性度量 1、统计学概括： 统计学是应用数学的一个分支，主要通过利用概率论建立数学模型，收集所观察系统的数据，进行量化的分析、总结，并进而进行推断和 ...

使用Python进行描述性统计

2018-02-26

使用Python进行描述性统计 1 描述性统计是什么？ 描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段，我们可借助描述性统计来描绘或总结数据的基本情况，一来可以梳 ...

机器学习中防止过拟合方法

2018-02-25

机器学习中防止过拟合方法 过拟合 在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模 ...

数据预处理的一些知识

2018-02-24

数据预处理的一些知识 做研究时只要与数据分析相关就避免不了数据预处理。我们常见的预处理包括：标准化（规范化），归一化，零均值（化），白化，正则化……这些预处理的目的是什么呢？网上查的总是零零散 ...

大数据时代 | 数据分析方法及理论详解

2018-02-23

大数据时代 | 数据分析方法及理论详解 1 数据分析前，我们需要思考 像一场战役的总指挥影响着整个战役的胜败一样，数据分析师的思想对于整体分析思路，甚至分析结果都有着关键性的作用。 2 分析问题和解 ...

R中五种常用的统计分析方法

2018-02-23

R中五种常用的统计分析方法 1、分组分析aggregation 根据分组字段，将分析对象划分为不同的部分，以进行对比分析各组之间差异性的一种分析方法。 常用统计指标： 计数 length 求和 sum  平均 ...

统计数据类型与对应的相关性分析方法

2018-02-23

统计数据类型与对应的相关性分析方法 在统计学中，统计数据主要可分为四种类型，分别是定类数据，定序数据，定距数据，定比变量。 1.定类数据（Nominal）：名义级数据，数据的最低级，表示个体在 ...

数据挖掘之用户价值分析

2018-02-22

数据挖掘之用户价值分析 这里要介绍的是基于每个用户行为的综合性的分析和评定，主要包括用户的忠诚度和用户的价值。“以用户为中心”的理论要求网站不断优化改善用户的体验，进而提升用户的满意度，当用户的预 ...

数据探索和数据准备的步骤

2018-02-22

数据探索和数据准备的步骤 如我们所知，数据分析工作的70%的时间都用作于数据清洗，数据探索和数据准备当中，这可以说是数据分析的核心所在。数据清洗主要是工具层面上的，这里先不讨论。我们这里讨论数据探索 ...

逻辑斯谛回归&最大熵模型

2018-02-21

逻辑斯谛回归&最大熵模型 逻辑斯谛回归和最大熵模型，从原理上看二者并不十分相关，不知是不是因为篇幅都相对较小，所以将这两部分内容放到一起。本文还是从原理、应用场景以及优缺点来做简要介绍。 ...

大数据时代的军事管理变革

2018-02-21

大数据时代的军事管理变革 大数据是信息技术又一次颠覆性变革。随着大数据技术在军事领域获得应用，数据数量、数据分析和处理能力、数据主导决策，将是获得战场优势的关键。在数据领域，以少胜多、以弱胜强、以 ...

你需要知道的四类数据环境

2018-02-20

你需要知道的四类数据环境 詹姆斯·马丁提出“数据环境”概念，就是为了进行数据的有序化管理工作。他在《信息工程》和《总体数据规划方法论》中将计算机的数据环境分为4种类型，要求我们清楚地了解它们之间的 ...

数据分析架构及方法

2018-02-18

数据分析架构及方法 一、以往的数据分析在今天的各类型企业中，数据分析岗位已经基本得到普及和认可，这个岗位的核心任务往往是支撑运营和营销，将企业内部的数据，客户的数据进行分析和总结，形成以往工作情况 ...