文本分类竞赛调优分享.pdf

发布时间：2022-06-19 发布人：admin 分类：说明书资料大小：1.05M 资料格式：pdf 举报版权申诉

第1页 / 共24页

第2页 / 共24页

第3页 / 共24页

第4页 / 共24页

第5页 / 共24页

第6页 / 共24页

第7页 / 共24页

第8页 / 共24页

文本分类竞赛调优分享

找规律  已知数字：2 4 8  请说出同样规律的三个数字  规律是？

目录过拟合欠拟合数据的特点预训练模型

过拟合原因： 1.模型的参数太多，而训练样本又太少 2.训练集和测试集特征分布不一致 3.没有学到真正有代表性和区分度的特征表现：在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低

过拟合解决办法： 1.正则化 2.dropout 3.模型集成(时间慢) 4.early stop

dropout ResNet block 概念：我们在前向传播的时候，让某个神经元的激活值以一定的概率p 停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。

Early Stop 设定验证集上多少轮没有提高自动停止

目录过拟合欠拟合数据的特点预训练模型

分享到：

赞收藏

资料库