2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
《神经网络与深度学习-邱锡鹏》习题解答
SunJing…
计算机博士在读
589 人赞同了该文章
邱锡鹏教授最新的这本《神经网络与深度学习》真的写的非常好,让人觉得相见恨晚。
电子版和课件可以从下面这个公众号下载。
豆瓣9.6,收获1w star中文《神经网络与深度学习》书籍PDF与课件,开放下载!
这本书的课后习题也道道经典,十分有分量。但是苦于没有答案,因此我想整理出一份这本书的课
后习题答案。我个人毕竟才疏学浅,难免有不会做的题或者一些错误。因此,我想在这开一个专
贴,大家一起做一下这本书的课后习题,大家互相交流,共同进步。大家可以把题号和答案放到评
论里,我会及时更新到文章中并列出贡献者的名字或者ID。
大家有支持的吗?
*****************************
邱锡鹏老师早在GitHub上开了这本书的习题解答和编程练习。既然邱老师都亲自开习题解答的
GitHub了,大家还是去邱老师的那里上传好啦,毕竟有邱老师亲自把关,我这里就不班门弄斧
喜欢 收藏
赞同 589
39 条评论
分享
https://zhuanlan.zhihu.com/p/112128809
1/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
了。不过由于疫情原因现在在女朋友家,试尽了一切办法都登不上Github,所以暂时先用这个知
乎记录下我自己的题解,等回学校了再传到邱老师的Github上。
首发于
IPIU-智能感知与图像理解
********************************
有人问在女朋友家还能学进去习?还能做进去题?那一天24小时,总不能天天俩人大眼瞪小眼对
着瞅吧?也不能出门也不能玩游戏,做这个题算是唯一的一点小乐趣了,更何况邱老师的这本书写
的这么好,读起来的那种恍然大悟、茅塞顿开、豁然开朗的感觉,比刷抖音玩游戏爽多了。而且如
果学累了的话,让可爱的小女朋友给做个肩颈按摩,瞬间又满血复活了。
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
2/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
3/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
4/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
5/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
6/29
2020/12/12
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
******************************
第2章习题解答
赞同 589
39 条评论
分享
喜欢 收藏
https://zhuanlan.zhihu.com/p/112128809
7/29
2020/12/12
2-1
《神经网络与深度学习-邱锡鹏》习题解答 - 知乎
首发于
IPIU-智能感知与图像理解
分析为什么平方损失函数不适用于分类问题。
从理论上来说,平方损失函数也可以用于分类问题,但不适合。首先,最小化平方损失函数本质上
等同于在误差服从高斯分布的假设下的极大似然估计,然而大部分分类问题的误差并不服从高斯分
布。而且在实际应用中,交叉熵在和Softmax激活函数的配合下,能够使得损失值越大导数越大,
损失值越小导数越小,这就能加快学习速率。然而若使用平方损失函数,则损失越大导数反而越
小,学习速率很慢。
2-2
在线性回归中,如果我们给每个样本
赋予一个权重
,经验风险函数为
,计算其最优参数
,并分析权重的作用
的作用。
首先将
提出来,得到
。进而得到
。进而得到
。令
,得到
。
局部线性回归可以实现对临近点的精确拟合同时忽略那些距离较远的点的贡献,即近点的权值大,
远点的权值小,k为波长参数,控制了权值随距离下降的速度,越大下降的越快。越小越精确并且
太小可能出现过拟合的问题。
但局部线性回归不会得到一条适合于全局的函数模型,在每一次预测新样本时都会重新的确定参
数,从而达到更好的预测效果。当数据规模比较大的时候计算量很大,学习效率很低。
2-3
证明在线性回归中,如果样本数量N小于特征数量D+1,则
的秩最大为N。
由线性代数知识可知矩阵与其转置相乘的秩等于矩阵本身的秩,即
喜欢 收藏
。而矩阵
39 条评论
的秩必定满足条件:
赞同 589
分享
https://zhuanlan.zhihu.com/p/112128809
,也就是说
的秩必须
8/29