数据科学家与数据工程师

2017-06-06

数据科学家与数据工程师 数据科学家和数据工程师的主要区别，可以用ETL和DAD的区别来解释。 ETL(提取/变换/载入)是数据工程师，还有数据架构师或数据库管理员(DBA)的职责。 DAD(发现/获取/提炼)是数据科 ...

2017年最流行的15个数据科学Python库

2017-06-02

Python 近几年在数据科学行业获得了人们的极大青睐，各种资源也层出不穷。数据科学解决方案公司 ActiveWizards 近日根据他们自己的应用开发经验，总结了数据科学家和工程师将在 2017 年最常使用的 Python 库。 核心 ...

SAS中的协方差分析

2017-05-29

SAS中的协方差分析 所谓的协方差分析，就是在方差分析的基础上加上协变量这一额外因素，而方差分析则只考虑组变量这一因素。协变量可以有一个，也可以有多个。 在这篇文章中，我只讲述单变量的协方差分析。 ...

SPSS分析技术：分段拟合；电业局如何通过简单的回归模型来预测居民用电量

2017-05-28

SPSS分析技术：分段拟合；电业局如何通过简单的回归模型来预测居民用电量 今天给大家介绍利用分段回归模型拟合的办法来处理一些特殊的变量关系。某些变量之间的关系非常有趣，不是恒久的线性或非线性关系，可能 ...

SPSS分析技术:最小一乘法;制造企业如何合理安排生产计划

2017-05-28

SPSS分析技术:最小一乘法;制造企业如何合理安排生产计划 最小二乘法的原理是以预测值和实测值之差（残差）的平方和达到最小作为判断模型优劣的评判标准，应用十分广泛。没有放之四海而皆准的真理，最小二乘法同 ...

18本数据科学家必读的R语言和Python相关书籍

2017-05-25

前言 “这就是阅读。即将新软件安装到大脑里的过程。” 就我个人而言，我从视频和在线教程中所学到的始终没有从书本中学到的多。 了解机器学习和数据科学很容易。目前有许多开放课程，你可以马上就开始学习。但是 ...

SPSS详细操作:正态转换的多种方法

2017-05-23

SPSS详细操作:正态转换的多种方法 一、正偏态分布资料 1、轻度正偏态分布 偏度值>0，偏度值为其标准误差的2-3倍，即Z-score=2~3，此时认为资料分布呈现轻度的正偏态分布，可以考虑对变量x取根号开平方的 ...

关于如何解释机器学习的一些方法

2017-05-20

关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...

机器学习的道、法、术、势、器

2017-05-13

机器学习的道、法、术、势、器 “道、法、术、器”出于老子的《道德经》，后人又加了一个“势”，并且也有了不同的排列。很多人习惯用“道、法、术、势、器”的顺序，原因很简单：道以明向、法以立本、术以立策 ...

SAS信用评分之模型拟合以及验证的大坑

2017-05-12

SAS信用评分之模型拟合以及验证的大坑 今天的内容是来讲我这段时间被模型拟合和模型验证坑过的那些事。我也是千辛万苦终于是把模型给建出来了。此处应该有掌声。因为模型老是效果不好这件事，我躲在被窝里哭了 ...

机器学习中的范数规则化之 L0、L1与L2范数

2017-05-11

机器学习中的范数规则化之 L0、L1与L2范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇 ...

如何在R语言中使用Logistic回归模型

2017-05-07

如何在R语言中使用Logistic回归模型 在实际应用中，Logistic模型主要有三大用途： 1）寻找危险因素，找到某些影响因变量的\"坏因素\"，一般可以通过优势比发现危险因素； 2）用于预测，可以预测某种情况 ...

好课推荐丨CDA建模分析师-R语言

2017-05-05

数据科学家被认为是21世纪最性感也是最具发展前景的职业，目前有75%左右的数据科学家使用R语言，有35%左右的数据科学家将R语言作为首选统计分析工具。今天，我们来了解一下R语言的前世今生。 一、R的诞生 ...

数据科学优质课程推荐2：统计入门课程篇

2017-05-04

一年前，我退出了加拿大最好的计算机科学项目之一，利用在线课程资源开始创建属于自己的数据科学硕士课程。通过 edX ,  Coursera ,以及 Udacity 我可以学习我所需要的一切，而且学的更快、效率更高，成本更低 ...

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）

2017-05-04

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost） 面网易数据挖掘工程师岗位，第一次面数据挖掘的岗位，只想着能够去多准备一些，体验面这个岗位的感觉，虽然最好心有不甘告终，不过继续加油。 不过 ...

利用Python练习数据挖掘

2017-05-03

利用Python练习数据挖掘 覆盖使用Python进行数据挖掘查找和描述数据结构模式的实践工具。 第一节 介绍 数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式。它使用广泛，并且是众多应用的技术基础。 ...

数据挖掘中易栽的10个坑

2017-05-03

数据挖掘中易栽的10个坑 1.缺乏数据 对于分类问题或预估问题来说，常常缺乏准确标注的案例。 例如： -欺诈侦测(：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标 ...

SPSS因子分析法-例子解释

2017-05-02

SPSS因子分析法-例子解释 因子分析的基本概念和步骤 一、因子分析的意义 在研究实际问题时往往希望尽可能多地收集相关变量，以期望能对问题有比较全面、完整的把握和认识。例如，对高等学校科研状况的评 ...

R语言中如何使用最小二乘法

2017-04-28

R语言中如何使用最小二乘法  这里只是介绍下R语言中如何使用最小二乘法解决一次函数的线性回归问题。         代码如下： > x<-c(6.19,2.51,7.29,7.01,5.7,2.66,3.98, ...

Spss的基本方法使用步骤

2017-04-23

Spss的基本方法使用步骤 由于一次的调研工作，我们的数据分析采用spss的统计分析工具，然后我是一个新人，全都是一步一步从零开始操作的。在学习的过程中简单记录了一点笔记，既然写了，就觉得应该把它保存下来 ...