机器学习个人笔记完整版中文.pdf

发布时间：2022-06-19 发布人：admin 分类：说明书资料大小：7.67M 资料格式：pdf 举报版权申诉

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第1页.png

第1页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第2页.png

第2页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第3页.png

第3页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第4页.png

第4页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第5页.png

第5页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第6页.png

第6页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第7页.png

第7页 / 共214页

d25dd8f5-e804-410c-815a-a9111987b4bb.pdf-第8页.png

第8页 / 共214页

文本预览

斯坦福大学 2014 机器学习教程个人笔记（V2.4）本笔记是针对斯坦福大学 2014 年机器学习课程视频做的个人笔记摘要黄海广最后修改：2015-03-02 Haiguang2000@qq.com

斯坦福大学 2014 机器学习教程中文笔记课程概述 Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演译。在过去的十年中，机器学习帮助我们自动驾驶汽车，有效的语音识别，有效的网络搜索，并极大地提高了人类基因组的认识。机器学习是当今非常普遍，你可能会使用这一天几十倍而不自知。很多研究者也认为这是最好的人工智能的取得方式。在本课中，您将学习最有效的机器学习技术，并获得实践，让它们为自己的工作。更重要的是，你会不仅得到理论基础的学习，而且获得那些需要快速和强大的应用技术解决问题的实用技术。最后，你会学到一些硅谷利用机器学习和人工智能的最佳实践创新。本课程提供了一个广泛的介绍机器学习、数据挖掘、统计模式识别的课程。主题包括：（一）监督学习（参数/非参数算法，支持向量机，核函数，神经网络）。（二）无监督学习（聚类，降维，推荐系统，深入学习推荐）。（三）在机器学习的最佳实践（偏差/方差理论；在机器学习和人工智能创新过程）。本课程还将使用大量的案例研究，您还将学习如何运用学习算法构建智能机器人（感知，控制），文本的理解（Web 搜索，反垃圾邮件），计算机视觉，医疗信息，音频，数据挖掘，和其他领域。本课程需要 10 周共 18 节课，相对以前的机器学习视频，这个视频更加清晰，而且每课都有 ppt 课件，推荐学习。本人是中国海洋大学 2014 级博士生，目前刚开始接触机器学习，我下载了这次课程的所有视频和课件给大家分享。中英文字幕来自于 https://www.coursera.org/course/ml，主要是教育无边界字幕组翻译，本人把中英文字幕进行合并，并翻译了部分字幕，对视频进行封装，归类，并翻译了课程目录，做好课程索引文件，希望对大家有所帮助。部分视频中文字幕由中国海洋大学的博士生翻译。视频已经翻译完毕，如果下载了视频，可以直接在文档中打开视频，内嵌中英文字幕。目前我正在整理中文笔记，主要是根据视频内容和中文字幕以及 ppt 来制作，部分来源于网络，如“小小人_V”的笔记，并持续更新。本人水平有限，如有公式、算法错误，请及时指出，发邮件给我。黄海广 2014-12-16 夜

 文档修改历史版本号版本日期修改总结修订人 2014.12.16 创建初稿 2014.12.31 2015.02.17 2015.02.23 2015.03.02 修改修改修改修改 2015.03.14 修改一些错误，增加了第十章的一些内容 2015.05.02 修改第十二章一些错误黄海广黄海广黄海广黄海广黄海广黄海广黄海广 1.0 1.1 2.0 2.1 2.2 2.3 2.4

目录第 1 周 .............................................................................................................................................. 1 一、引言(Introduction) .................................................................................................... 1 1.1 欢迎............................................................................................................................ 1 1.2 机器学习是什么？ .................................................................................................... 4 1.3 监督学习 .................................................................................................................... 6 1.4 无监督学习 .............................................................................................................. 10 二、单变量线性回归(Linear Regression with One Variable) ................................................ 15 2.1 模型表示 .................................................................................................................. 15 2.2 代价函数 .................................................................................................................. 17 2.3 代价函数的直观理解 I ............................................................................................ 19 2.4 代价函数的直观理解 II ........................................................................................... 20 2.5 梯度下降 .................................................................................................................. 21 2.6 梯度下降的直观理解 .............................................................................................. 22 2.7 梯度下降的线性回归 .............................................................................................. 23 2.8 接下来的内容 .......................................................................................................... 24 三、线性代数回顾(Linear Algebra Review) ........................................................................... 25 3.1 矩阵和向量 .............................................................................................................. 25 3.2 加法和标量乘法 ...................................................................................................... 27 3.3 矩阵向量乘法 .......................................................................................................... 28 3.4 矩阵乘法 .................................................................................................................. 29 3.5 矩阵乘法的性质 ...................................................................................................... 30 3.6 逆、转置 .................................................................................................................. 31 第 2 周 ............................................................................................................................................ 32 四、多变量线性回归(Linear Regression with Multiple Variables) ........................................ 32 4.1 多维特征 .................................................................................................................. 32 4.2 多变量梯度下降 ...................................................................................................... 34 4.3 梯度下降法实践 1-特征缩放 ................................................................................. 36 4.4 梯度下降法实践 2-学习率 ..................................................................................... 38 4.5 特征和多项式回归 .................................................................................................. 39 4.6 正规方程 .................................................................................................................. 41 4.7 正规方程及不可逆性（可选） .............................................................................. 44 五、Octave 教程(Octave Tutorial) .......................................................................................... 45 5.1 基本操作 .................................................................................................................. 45 5.2 移动数据 .................................................................................................................. 46 5.3 计算数据 .................................................................................................................. 47 5.4 绘图数据 .................................................................................................................. 48 5.5 控制语句：for，while，if 语句 ............................................................................. 49 5.6 矢量化 ...................................................................................................................... 50 5.7 工作和提交的编程练习 .......................................................................................... 51 第 3 周 ............................................................................................................................................ 52 六、逻辑回归(Logistic Regression) ........................................................................................ 52 6.1 分类问题 .................................................................................................................. 52 I

6.2 假说表示 .................................................................................................................. 53 6.3 判定边界 .................................................................................................................. 55 6.4 代价函数 .................................................................................................................. 57 6.5 简化的成本函数和梯度下降 .................................................................................. 60 6.6 高级优化 .................................................................................................................. 61 6.7 多类分类：一个对所有 .......................................................................................... 62 七、正则化(Regularization) ................................................................................................... 63 7.1 过拟合的问题 .......................................................................................................... 63 7.2 代价函数 .................................................................................................................. 65 7.3 正则化线性回归 ...................................................................................................... 67 7.4 正则化的逻辑回归模型 .......................................................................................... 68 第 4 周 ............................................................................................................................................ 69 第八、神经网络：表述(Neural Networks: Representation)................................................. 69 8.1 非线性假设 .............................................................................................................. 69 8.2 神经元和大脑 .......................................................................................................... 71 8.3 模型表示 1 ............................................................................................................... 75 8.4 模型表示 2 ............................................................................................................... 79 8.5 特征和直观理解 1 ................................................................................................... 81 8.6 样本和直观理解 II ................................................................................................... 83 8.7 多类分类 .................................................................................................................. 85 第 5 周 ............................................................................................................................................ 86 九、神经网络的学习(Neural Networks: Learning) ............................................................... 86 9.1 代价函数 .................................................................................................................. 86 9.2 反向传播算法 .......................................................................................................... 88 9.3 反向传播算法的直观理解 ...................................................................................... 91 9.4 实现注意：展开参数 .............................................................................................. 93 9.5 梯度检验 .................................................................................................................. 94 9.6 随机初始化 .............................................................................................................. 96 9.7 综合起来 .................................................................................................................. 97 9.8 自主驾驶 .................................................................................................................. 98 第 6 周 .......................................................................................................................................... 101 十、应用机器学习的建议(Advice for Applying Machine Learning) ................................... 101 10.1 决定下一步做什么 .............................................................................................. 101 10.2 评估一个假设 ...................................................................................................... 104 10.3 模型选择和交叉验证集 ...................................................................................... 106 10.4 诊断偏差和方差 .................................................................................................. 108 10.5 归一化和偏差/方差 ............................................................................................ 110 10.6 学习曲线 .............................................................................................................. 112 10.7 决定下一步做什么 .............................................................................................. 114 十一、机器学习系统的设计(Machine Learning System Design) ....................................... 116 11.1 首先要做什么 ...................................................................................................... 116 11.2 误差分析 .............................................................................................................. 117 11.3 类偏斜的误差度量 .............................................................................................. 120 11.4 查全率和查准率之间的权衡 .............................................................................. 121 II

11.5 机器学习的数据 .................................................................................................. 123 第 7 周 .......................................................................................................................................... 125 十二、支持向量机(Support Vector Machines) ................................................................... 125 12.1 优化目标 .............................................................................................................. 125 12.2 大边界的直观理解 .............................................................................................. 132 12.3 数学背后的大边界分类（可选） ...................................................................... 138 12.4 核函数 1............................................................................................................... 145 12.5 核函数 2............................................................................................................... 147 12.6 使用支持向量机 .................................................................................................. 149 第 8 周 .......................................................................................................................................... 152 十三、聚类(Clustering) ........................................................................................................ 152 13.1 无监督学习：简介 .............................................................................................. 152 13.2 K-均值算法 ........................................................................................................... 155 13.3 优化目标 .............................................................................................................. 157 13.4 随机初始化 .......................................................................................................... 158 13.5 选择聚类数 .......................................................................................................... 159 十四、降维(Dimensionality Reduction) ............................................................................... 160 14.1 动机一：数据压缩 .............................................................................................. 160 14.2 动机二：数据可视化 .......................................................................................... 163 14.3 主成分分析问题 .................................................................................................. 164 14.4 主成分分析算法 .................................................................................................. 166 14.5 选择主成分的数量 .............................................................................................. 167 14.6 重建的压缩表示 .................................................................................................. 168 14.7 主成分分析法的应用建议 .................................................................................. 170 第 9 周 .......................................................................................................................................... 171 十五、异常检测(Anomaly Detection) ................................................................................. 171 15.1 问题的动机 .......................................................................................................... 171 15.2 高斯分布 .............................................................................................................. 173 15.3 算法...................................................................................................................... 174 15.4 开发和评价一个异常检测系统 .......................................................................... 175 15.5 异常检测与监督学习对比 .................................................................................. 176 15.6 选择特征 .............................................................................................................. 177 15.7 多元高斯分布（可选） ...................................................................................... 179 15.8 使用多元高斯分布进行异常检测（可选） ...................................................... 182 十六、推荐系统(Recommender Systems) ........................................................................... 185 16.1 问题形式化 .......................................................................................................... 185 16.2 基于内容的推荐系统 .......................................................................................... 187 16.3 协同过滤 .............................................................................................................. 189 16.4 协同过滤算法 ...................................................................................................... 190 16.5 矢量化：低秩矩阵分解 ...................................................................................... 191 16.6 推行工作上的细节：均值归一化 ...................................................................... 193 第 10 周 ........................................................................................................................................ 194 十七、大规模机器学习(Large Scale Machine Learning) ..................................................... 194 17.1 大型数据集的学习 .............................................................................................. 194 III

17.2 随机梯度下降法 .................................................................................................. 195 17.3 微型批量梯度下降 .............................................................................................. 196 17.4 随机梯度下降收敛 .............................................................................................. 197 17.5 在线学习 .............................................................................................................. 199 17.6 映射化简和数据并行 .......................................................................................... 200 十八、应用实例：图片文字识别(Application Example: Photo OCR) ................................ 201 18.1 问题描述和流程图 .............................................................................................. 201 18.2 滑动窗口 .............................................................................................................. 202 18.3 获取大量数据和人工数据 .................................................................................. 204 18.4 上限分析：哪部分管道的接下去做 .................................................................. 205 十九、总结(Conclusion)....................................................................................................... 206 19.1 总结和致谢 .......................................................................................................... 206 IV

机器学习课程-第 1 周-引言(Introduction) 第 1 周一、引言(Introduction) 1.1 欢迎参考视频: 1 - 1 - Welcome (7 min).mkv 第一个视频主要讲了什么是机器学习，机器学习能做些什么事情。机器学习是目前信息技术中最激动人心的方向之一。在这门课中，你将学习到这门技术的前沿，并可以自己实现学习机器学习的算法。你或许每天都在不知不觉中使用了机器学习的算法每次，你打开谷歌、必应搜索到你需要的内容，正是因为他们有良好的学习算法。谷歌和微软实现了学习算法来排行网页每次，你用 Facebook 或苹果的图片分类程序他能认出你朋友的照片，这也是机器学习。每次您阅读您的电子邮件垃圾邮件筛选器，可以帮你过滤大量的垃圾邮件这也是一种学习算法。对我来说，我感到激动的原因之一是有一天做出一个和人类一样聪明的机器。实现这个想法任重而道远，许多 AI 研究者认为，实现这个目标最好的方法是通过让机器试着模仿人的大脑学习我会在这门课中介绍一点这方面的内容。在这门课中，你还讲学习到关于机器学习的前沿状况。但事实上只了解算法、数学并不能解决你关心的实际的问题。所以，我们将花大量的时间做练习，从而你自己能实现每个这些算法，从而了解内部机理。那么，为什么机器学习如此受欢迎呢？原因是，机器学习不只是用于人工智能领域。我们创造智能的机器，有很多基础的知识。比如，我们可以让机器找到 A 与 B 之间的最短路径，但我们仍然不知道怎么让机器做更有趣的事情，如 web 搜索、照片标记、反垃圾邮件。我们发现，唯一方法是让机器自己学习怎么来解决问题。所以，机器学习已经成为计算机的一个能力。现在它涉及到各个行业和基础科学中。我从事于机器学习，但我每个星期都跟直升机飞行员、生物学家、很多计算机系统程序员交流（我在斯坦福大学的同事同时也是这样）和平均每个星期会从硅谷收到两、三个电子邮件，这些联系我的人都对将学习算法应用于他们 1

分享到：

赞收藏

资料库

机器学习个人笔记完整版中文.pdf

相关推荐

人工智能

热门标签

最新资料