XGBoost

创始人

2024-05-26 17:36:22

0次

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

1.XGBoost推导示意图

XGBoost有两个很不错得典型算法，分别是用来进行分裂节点选择和缺失值处理

2.分裂节点算法

Weighted Quantile Sketch

对于特征切点点得选择，xgboost不单单是采用简单得分位数得方法，而是对分位数进行加权(使用二阶梯度h)，称为:weighted quantile sketch.

对特征k构造multi-set得数据集: $D_k=(x_{1k},h_1),(x_{2k},h_2),...,(x_{nk},h_n)$ ,其中 $x_{ik}$ 表示样本i得特征k得取值，而 $h_i$ 则为对应得二阶梯度。

式子中分子是x小于z得所有样本对应得h之和(即小于z得样本加权和，权重为h)，分母为所有样本得加权和。该式子表达了第k个特征小于z得样本比例，和分位数相似，不过这里是按照二阶梯度进行累计。

而候选切分点 $S_k={s_{k1},s_{k2},...,s_{kl}}$ 要求：

即让相邻两个候选分裂点带入 $r_k(z)$ 中，相差不超过某个值 $\varepsilon$ ，由于，最终会切分处 $1/\varepsilon$ ,如下面例子：

选取 $\varepsilon$ =1/3，会得到三个桶，h总和1.8，因此 $s_{k1}=0.6,s_{k2}=1.2$ .

到这里，xgboost得分裂点选择就讲完了，然后再基于分裂前后得损失大小去判断选择最终得分裂点即可。但是还有个问题需要解答，为什么选择h而不是g或者其他?证明如下：

3.对缺失值得处理

xgboost模型得一个优点就是允许特征存在缺失值。对缺失值得处理方式如下：

在特征k上寻找最佳split point时，不会对该列特征missing得样本进行遍历，而只对该列特征值为non-missing得样本上对应得特征值进行遍历，通过这个技巧来减少了为稀疏离散特征寻找split point得时间开销
在逻辑实现上，为了保证完备性，会将该特征值missing得样本分别分配到左叶子节点和有叶子节点，两种情况都计算一遍后，选择分裂后增益最大得那个方向(左分支或右分支)，作为预测时特征值确实样本得默认分支方向。
如果在训练中没有缺失值而在预测中出现缺失，那么会自动将缺失值得划分方向放到右子节点。

xgboost常见面试题：

珍藏版 | 20道XGBoost面试题_无名氏a的博客-CSDN博客_xgboost面试题

【xgboost】常见面试题_数分面试加油的博客-CSDN博客_xgboost 算法面试题目

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：Tina_Linux_系统裁剪_开发指南

下一篇：追梦之旅【数据结构篇】——详解C语言实现链栈

热门资讯

安卓系统相册软件下载,下载与使... 手机里的相册是不是已经满满当当，想要给它们找个新家？别急，今天就来给你安利几款超好用的安卓系统相册软...

安卓9系统优化软件,解锁流畅体... 你有没有发现，自从你的安卓手机升级到了安卓9系统，运行速度好像变得更快了？是不是觉得手机变得更加流畅...

各厂商安卓系统对比,性能、特色... 你有没有发现，现在手机市场上安卓系统的竞争可是相当激烈呢！各大厂商纷纷推出自己的特色系统，让人眼花缭...

车机进入安卓系统,智能驾驶体验... 你有没有发现，最近你的车机系统好像变得不一样了？没错，车机系统正在悄悄地进入安卓的大家庭！这可不是什...

安卓系统自带壁纸高清,自带高清... 亲爱的手机控们，你是否曾为安卓系统自带的那些高清壁纸而驻足欣赏？那些色彩斑斓、风格迥异的画面，是不是...

安卓机换成钟表系统,探索智能穿... 你有没有想过，你的安卓手机其实也可以换上钟表系统呢？是的，你没听错，就是那种优雅、简洁、充满艺术感的...

安卓lcs操作系统,轻量级、安... 你知道吗？在智能手机的世界里，有一个操作系统可是相当出名的，那就是安卓LCS操作系统。它就像一位魔法...

安卓系统微信包月,畅享无限制沟... 你知道吗？在咱们这个手机不离手的年代，微信可是咱们日常生活中不可或缺的好帮手。不过，你知道吗？安卓系...

我想换安卓系统,系统升级换新体... 亲爱的读者，你是否也有过这样的冲动？看着身边的朋友纷纷换上了安卓系统，心里痒痒的，也想尝试一下？没错...

用了苹果换安卓系统,系统更迭背... 你知道吗？最近我可是经历了一场大变身呢！是的，你没听错，我用苹果手机换成了安卓系统。这可不是一个小决...

手机刷机系统安卓,解锁手机潜能... 你有没有想过，你的手机是不是已经有点儿“老态龙钟”了呢？别急，别急，今天就来给你揭秘如何给手机来个焕...

安卓pe10系统,功能与特色深... 你有没有听说最近安卓PE10系统火得一塌糊涂？没错，就是那个让无数手机用户为之疯狂的系统。今天，我就...

安卓系统程序安装目录,安卓系统... 你有没有想过，当你手机里安装了一个又一个应用程序时，它们都藏在哪里呢？没错，就是那个神秘的安卓系统程...

ios系统能定位安卓系统吗,i... 你有没有想过，你的iPhone和安卓手机之间竟然能玩出这么一出“追踪大戏”？没错，我要说的就是那个让...

安卓系统时间放到桌面,桌面概览... 你有没有发现，手机上的时间有时候会偷偷跑得飞快，让你不知不觉就错过了重要的事情？别急，今天就来教你怎...

安卓系统怎么刷win,体验全新... 你有没有想过，把你的安卓手机变成一台Windows电脑呢？听起来是不是有点不可思议？但别急，今天我就...

安卓仿苹果系统设置,打造极致用... 你有没有发现，现在越来越多的安卓手机开始模仿苹果的操作系统了？没错，就是那个简洁又好用的设置界面！今...

emui 安卓系统对应关系,E... 你有没有发现，每次打开你的华为手机，那个界面看起来是不是特别顺眼？那是因为华为的EMUI系统，它就像...

永诺安卓系统相机,功能解析与使... 你有没有发现，手机拍照已经成为我们生活中不可或缺的一部分？而在这其中，永诺安卓系统的相机功能可是相当...

tinder安卓版系统错误,揭... 最近在使用Tinder安卓版的时候，你是不是也遇到了一些让人头疼的系统错误呢？别急，今天就来和你聊聊...

XGBoost

1.XGBoost推导示意图

2.分裂节点算法

Weighted Quantile Sketch

3.对缺失值得处理

相关内容

热门资讯