阅读文章

你知道XGBoost背后的数学原理是什么吗?

文章来源:365bet体育电视直播  文章作者:365bet足球实时动画  发表时间:2019-06-05  浏览次数: 人次

如上图所示,李磊和韩梅梅在a点,目标苹果树在点g。
山区的环境很复杂。我该怎么做以确保我在山谷的底部?
有两种方法。
1
点a的斜率由韩美美计算。如果斜率是正的,它将继续沿这个方向移动,如果它是负的,它将朝相反的方向移动。
倾斜表示前进的方向,但没有说明他们需要向这个方向移动多少。
为此,韩梅梅走了几步,计算了坡度,确认他没有到达错误的位置,最后决定失去大苹果树。
但是,这种方法很危险。控制水平是学习的速度。这是您必须手动控制的值。如果学习速度太快,李磊和韩梅梅可能会跑到两点g。如果学习速度太慢,天黑时你就不会得到苹果。
听力可能走向错误的方向,李磊不高兴,不想走路,也不打算浪费时间回家吃饭。
韩梅梅提出了第二种方法,认为这位朋友太尴尬了。
2
基于第一种方法,每次通过一定数量的步骤时,韩梅梅计算每一步的损失函数的值,并找到局部最小值以避免失去全局最小值。
每次韩梅梅找到当地的最低限度时,他都会发出一个信号,所以李磊从来没有走错方向。
然而,这种方法对女孩来说是不公平的,可怜的韩梅梅需要找出他周围的所有点,并计算所有这些点的功能值。
XGBoost的优势在于您可以同时解决前两种解决方案的不足。
渐变改善
许多梯度增强实现使用方法1来计算目标函数最小值。
在每次迭代中,使用损失函数的斜率训练基本学习者,然后将预测结果乘以常数,并通过将模型添加到前一次迭代的值来更新模型。


上一篇:[大药heart日]

下一篇:没有了