登录
首页精彩阅读R语言xgboost自定义目标函数
R语言xgboost自定义目标函数
2018-01-06
收藏

R语言xgboost自定义目标函数

要自定义xgboost的目标函数，有两种方式
    自定义目标函数(objective)
    自定义评价函数(feval)。
如果是自定义目标函数你需要求解该目标函数的梯度以及二阶梯度。
例子：自定义的objective
logregobj <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  return(list(grad = grad, hess = hess))
}
而另一个则是自定义评价函数，参数：feval 。它的作用并不是用来训练，仅仅是用来评价，比如说，你可以使用logloss作为目标函数来训练，但是使用ks评分来评价，你可以根据这个评价来设计early stopping，或者调参。

例子：自定义的feval
evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- as.numeric(sum(labels != (preds > 0)))/length(labels)
  return(list(metric = "error", value = err))
}
param <- list(max_depth=2, eta=1, nthread = 2, silent=1,objective=logregobj, eval_metric=evalerror)
bst <- xgb.train(param, dtrain, num_round, watchlist)
一般我推荐使用第二种方法，也就是自定义feval的方法，不建议使用自定义 objective，因为首先，有的评分你根本没法求梯度，然后自己写的目标函数难免没有bug，有可能效果不是很好。

R语言

数据分析咨询请扫描二维码

上一篇Excel表格文本格式的数字和数字格式如何批量转换
下一篇主数据管理给企业带来的三大价值
考试指南
报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present, www.cda.cn All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询