XGBoost算法原理介绍
单位:风险管理部建模中心
主讲人:彭相武
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
目录
一
为什么组合?
二
预备知识
三
参数空间到函数空间
四
XGBoost原理
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
一、为什么组合?
【例1】如果某人欲竞选当地领导,假定该地有49%的人不支持他,那么随机
问一个人,都有49%的可能不选他(假定该地选民总数很大,这样每问一个
人就近似地相当于一个伯努利(Bernoulli)试验,相应的概率p=0.49)。如
果从该地随机选择1000人来投票,按照简单多数当选原则,那么他不被选上
的概率是多少,即1000人中有超过半数的人(至少501人)不选他的概率是
多少?
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
一、为什么组合?
【例1】如果某人欲竞选当地领导,假定该地有49%的人不支持他,那么随机
问一个人,都有49%的可能不选他(假定该地选民总数很大,这样每问一个
人就近似地相当于一个伯努利(Bernoulli)试验,相应的概率p=0.49)。如
果从该地随机选择1000人来投票,按照简单多数当选原则,那么他不被选上
的概率是多少,即1000人中有超过半数的人(至少501人)不选他的概率是
多少?
0.2532
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
一、为什么组合?
下图给出了在个体数目为n时(个体是随机选择的,在总体中可近似为放回抽样),个体做某个决策时的概
率p1(横坐标)与个体数目为n的群体按照少数服从多数的投票原则做出该项决策的概率p2(纵坐标)之间关系
的曲线图。
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
一、为什么组合?
下图给出了在个体数目为n时(个体是随机选择的,在总体中可近似为放回抽样),个体做某个决策时的概
率p1(横坐标)与个体数目为n的群体按照少数服从多数的投票原则做出该项决策的概率p2(纵坐标)之间关系
的曲线图。
个体决策概率p1小于50%时,样本量越
大,群体决策概率相对于个体决策概率
p1越小,越接近于0;而个体决策概率
p1大于50%时,则有相反的结论!
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
二、预备知识
泰勒公式
定义:泰勒(Taylor)公式是一个用函数在某点的信息描述其附近取值的的公式。——互动百科
基本形式:
一阶泰勒展开:
二阶泰勒展开:
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21
二、预备知识
泰勒公式
定义:泰勒(Taylor)公式是一个用函数在某点的信息描述其附近取值的的公式。——互动百科
基本形式:
一阶泰勒展开:
二阶泰勒展开:
迭代形式:假设
,将函数在进行泰勒展开如下:
XGBoost算法原理介绍
pengxiangwu@foxmail.com
2017/12/21