电力窃漏电用户识别案例

2021-03-08

一、案例综述 案例编号： 102003 案例名称： 电力、热力、燃气及水生产和供应业——电力窃漏电用户识别 作者姓名（或单位、或来源）： 朱江 案例所属行业 ...

R语言中样本平衡的几种方法

2017-12-06

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

数据科学工作者(Data Scientist) 的日常工作内容包括什么

2017-11-26

数据科学工作者(Data Scientist) 的日常工作内容包括什么 众所周知，数据科学是这几年才火起来的概念，而应运而生的数据科学家(data scientist)明显缺乏清晰的录取标准和工作内容。即使在2017年，数据科学家这 ...

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱

2017-07-24

机器学习模型评价(Evaluating Machine Learning Models)-主要概念与陷阱 本文主要解释一些关于机器学习模型评价的主要概念，与评价中可能会遇到的一些陷阱。如训练集-验证集二划分校验（Hold-out validation） ...

R语言与非参数统计（核密度估计）

2017-07-21

R语言与非参数统计（核密度估计） 核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。 假设我们有n ...

R语言与机器学习中的回归方法学习笔记

2017-07-21

R语言与机器学习中的回归方法学习笔记  机器学习中的一些方法如决策树，随机森林，SVM，神经网络由于对数据没有分布的假定等普通线性回归模型的一些约束，预测效果也比较不错，交叉验证结果也能被接受。下 ...

R语言与函数估计学习笔记（核方法与局部多项式）

2017-07-20

R语言与函数估计学习笔记（核方法与局部多项式） 非参数方法 用于函数估计的非参数方法大致上有三种：核方法、局部多项式方法、样条方法。 非参的函数估计的优点在于稳健，对模型没有什么特定的假设，只是认 ...

SAS信用评分之番外篇异常值的识别

2017-06-26

SAS信用评分之番外篇异常值的识别 今天想分享给大家的是我早期建模的时候一个识别异常值的办法，也许你在“信用风险评分卡研究”看过，但是代码只能识别一个变量，我将这个代码作了改良，但是我在这里必须声明 ...

大数据在信贷行业的营销与模型应用案例

2017-06-25

大数据在信贷行业的营销与模型应用案例 随着移动端增长红利趋于减少，各媒体、搜索引擎的在线流量竞价不断走高。现如今，单纯的在线展示广告获客成本愈发透明，效果增长乏力。随着大数据 ...

机器学习及大数据相关面试的职责和面试问题

2017-06-06

机器学习及大数据相关面试的职责和面试问题 各个企业对这类岗位的命名可能有所不同，比如推荐算法/数据挖掘/自然语言处理/机器学习算法工程师，或简称算法工程师，还有的称为搜索/推荐算法工程师，甚至有的并入 ...

18本数据科学家必读的R语言和Python相关书籍

2017-05-25

前言 “这就是阅读。即将新软件安装到大脑里的过程。” 就我个人而言，我从视频和在线教程中所学到的始终没有从书本中学到的多。 了解机器学习和数据科学很容易。目前有许多开放课程，你可以马上就开始学习。但是 ...

关于如何解释机器学习的一些方法

2017-05-20

关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...

sas信用评分之手动对数值变量分组

2017-05-12

sas信用评分之手动对数值变量分组 上周内容已经有了预告，就是除了我之前发表的最优分段，我自认为比较实际的分段方法这个方法我是借鉴了别人的经验已经根据自己的业务经验做的手工分组，相对于之前的最优分组 ...

机器学习中的范数规则化之 L0、L1与L2范数

2017-05-11

机器学习中的范数规则化之 L0、L1与L2范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇 ...

初级数据科学家求职时的 3 大必备能力

2017-05-08

前言 在 Quora 上有人提问，“在招聘初级数据科学家时你最看重什么？拥有数据科学的硕士学位或参加过科学训练营是否能加分？” 来自 Domino 数据实验室的首席数据科学家 Eduardo Arino de la Rubia 给出了他的回答 ...

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）

2017-05-04

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost） 面网易数据挖掘工程师岗位，第一次面数据挖掘的岗位，只想着能够去多准备一些，体验面这个岗位的感觉，虽然最好心有不甘告终，不过继续加油。 不过 ...

想提高数据分析工作效率？有技巧

2017-04-10

想提高数据分析工作效率？有技巧 我刚和一位老友恢复了联系。她一直对数据科学很感兴趣，但10个月前才涉足这一领域——作为一个数据科学家加入了一个组织。我明显感觉到她已经在新的岗位上学到了很多东西。然而 ...

谷歌微软等科技巨头数据科学岗位面试题（108道）

2017-04-05

来自 Glassdoor 的最新数据可以告诉我们各大科技公司最近在招聘面试时最喜欢向候选人提什么问题。首先有一个令人惋惜的结论：根据统计，几乎所有的公司都有着自己的不同风格。由于 Glassdoor 允许匿名提交内容，很 ...

SAS信用评分之逻辑回归的变量选择

2017-03-29

SAS信用评分之逻辑回归的变量选择 关于woe的转化，这一部在之前的这篇文章：sas批量输出变量woe值中已经写了，woe也只是简单的公式转化而已，所以在这系列中就不细究了哈。这次的文章我想来讲逻辑回归。你会说 ...

大数据舆情情感分析，如何提取情感并使用什么样的工具？

2017-03-28

各类 paper 是有一定的借鉴意义的，不过这主要是学术界在单个问题上的细化，要真正从研究领域落地到大数据的处理还有很多工作要做。 一、工程上的处理流程 工程上的处理流程具体包括 ...