logo资料库

XGBOOST算法原理及应用介绍.pdf

第1页 / 共37页
第2页 / 共37页
第3页 / 共37页
第4页 / 共37页
第5页 / 共37页
第6页 / 共37页
第7页 / 共37页
第8页 / 共37页
资料共37页,剩余部分请下载后查看
XGBoost算法原理介绍 单位:风险管理部建模中心 主讲人:彭相武 XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
目录 一 为什么组合? 二 预备知识 三 参数空间到函数空间 四 XGBoost原理 XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
一、为什么组合? 【例1】如果某人欲竞选当地领导,假定该地有49%的人不支持他,那么随机 问一个人,都有49%的可能不选他(假定该地选民总数很大,这样每问一个 人就近似地相当于一个伯努利(Bernoulli)试验,相应的概率p=0.49)。如 果从该地随机选择1000人来投票,按照简单多数当选原则,那么他不被选上 的概率是多少,即1000人中有超过半数的人(至少501人)不选他的概率是 多少? XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
一、为什么组合? 【例1】如果某人欲竞选当地领导,假定该地有49%的人不支持他,那么随机 问一个人,都有49%的可能不选他(假定该地选民总数很大,这样每问一个 人就近似地相当于一个伯努利(Bernoulli)试验,相应的概率p=0.49)。如 果从该地随机选择1000人来投票,按照简单多数当选原则,那么他不被选上 的概率是多少,即1000人中有超过半数的人(至少501人)不选他的概率是 多少? 0.2532 XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
一、为什么组合? 下图给出了在个体数目为n时(个体是随机选择的,在总体中可近似为放回抽样),个体做某个决策时的概 率p1(横坐标)与个体数目为n的群体按照少数服从多数的投票原则做出该项决策的概率p2(纵坐标)之间关系 的曲线图。 XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
一、为什么组合? 下图给出了在个体数目为n时(个体是随机选择的,在总体中可近似为放回抽样),个体做某个决策时的概 率p1(横坐标)与个体数目为n的群体按照少数服从多数的投票原则做出该项决策的概率p2(纵坐标)之间关系 的曲线图。 个体决策概率p1小于50%时,样本量越 大,群体决策概率相对于个体决策概率 p1越小,越接近于0;而个体决策概率 p1大于50%时,则有相反的结论! XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
二、预备知识 泰勒公式 定义:泰勒(Taylor)公式是一个用函数在某点的信息描述其附近取值的的公式。——互动百科 基本形式: 一阶泰勒展开: 二阶泰勒展开: XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
二、预备知识 泰勒公式 定义:泰勒(Taylor)公式是一个用函数在某点的信息描述其附近取值的的公式。——互动百科 基本形式: 一阶泰勒展开: 二阶泰勒展开: 迭代形式:假设 ,将函数在进行泰勒展开如下: XGBoost算法原理介绍 pengxiangwu@foxmail.com 2017/12/21
分享到:
收藏