xgboost与随机森林的区别?adaboost随机森林什么关系?

2024-04-16 08:16:25 文章来源 :网络 围观 : 评论
后台-系统设置-扩展变量-手机广告位-内容正文顶部

  xgboost与随机森林的区别?

  二者模型构成不同。

  xgboost是串联集成学习模型,通过多种学习器串联成一个强学习器,主要学习方式是迭代损失函数,让误差趋于最小。

  随机森林是并联集成学习模型,主要是通过多种学习器随机抽取数据训练模型,然后通过少数服从多数的决策规则来出结果。

  adaboost随机森林什么关系?

  随机森林会对变量做子抽样,比如变量是p,随机森林每次会随机抽取log p个变量拟合一棵决策树。显然,随机森林适合p比较大的情况。否则log p可能就是1.+ 2.+这种情况,毫无意义。

  adaboost和GBDT很类似,可以理解成前者就是后者取指数损失的一个特例。适合p比较小的时候用。当然,这两者都只适用于n>>p的情况,此时样本携带了足够多的信息去拟合非线性的关系。也就是说,随机森林也不适合p特别大的情况。

  如果p>>n,以LASSO为首的惩罚回归是首选工具。

  

xgboost与随机森林的区别?adaboost随机森林什么关系?

  

xgboost与随机森林的区别?adaboost随机森林什么关系?

  

xgboost与随机森林的区别?adaboost随机森林什么关系?

来源:文章来源于网络,如有侵权请联系我们删除。
来源:文章来源于网络,如有侵权请联系我们删除。

相关文章

留言与评论(共有 0 条评论)
   
验证码:
推荐文章