1.模式：从广义上讲是一个客观事物的描述，即一个可用来效仿的完善的例子。 狭义上是指对某些感兴趣的客体的定量或结构的描述。所指的不是事物本身，而 是从事物中提取的信息 模式识别在狭义上是研究一种自动技术，依靠这种技术，计算机将自动地把待识 别模式分配到各自的模式类中，模式类是指具有某些共同特征的模式的集合。 模式识别研究的目的：利用计算机对物理对象进行分类，在错误概率最小的条件 下，使识别的结果尽量与客观物体相符合。 2.模式识别系统的组成： 数据获取：用计算机可以运算的符号来表示所研究的对象 • 预处理单元：去噪声，提取有用信息，复原 • 特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 • 分类器设计：分类规则训练，学习过程 • 分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别，判 决过程 3.模式识别分类： 按理论分类：统计模式识别、句法模式识别、模糊模式识别、神经网络模式识别 按实现方法分类：监督分类（判别函数）、非监督分类（聚类分析） 4.相似性测度：是衡量模式之间相似性的一种尺度。距离是一种相似性的测度， 它可以用来度量同一类模式之间的类似性和不属于同一类的模式之间的差异性。 5.聚类准则：有了模式的相似性测度，还需要一种基于数值的聚类准则，能将相 似的模式样本分在同一类，相异的模式样本分在不同的类。有阈值准则（根据规 定的距离阈值进行分类的准则），函数准则（聚类准则函数是表示模式类间的相 似性和差异性的函数）等 6.迭代自组织的数据分析算法（ISDATA 算法）： 算法共分为 14 步，其中第 1 步到第 6 步是预选参数，进行初始分类，并为合并 和分裂准备必要的数据。第 7 步决定下一步是进行合并还是进行分裂。第 8-10 步时分裂算法。第 11-13 步时合并算法。第 14 步决定算法是否结束。 步骤：（1）选择某些初始值 （2）按最近邻规则进行分类 （3）计算各类中的距离函数等指标，按照给定的要求，对前次获得的聚类集进 行分裂和合并处理，以获取新的聚类中心，调整聚类中心得个数 （4）判断聚类结果是否符合要求，结果收敛，运算结束，否则回到步骤二 K = 预期的聚类中心数目； Nc = 预选 Nc 个聚类中 θN = 每一聚类域中最少的样本数目，若少于此数即不作为一个独立的聚类； θS = 一个聚类域中样本距离分布的标准差； θc = 两个聚类中心间的最小距离，若小于此数，两个聚类需进行合并； L I = 在一次迭代运算中可以合并的聚类中心的最多对数； = 迭代运算的次数。 与 K-均值算法的比较  K-均值算法通常适合于分类数目已知的聚类，而 ISODATA 算法则更加灵活；  从算法角度看， ISODATA 算法与 K-均值算法相似，聚类中心都是通过样本均 值的迭代运算来决定的；  ISODATA 算法加入了一些试探步骤，并且可以结合成人机交互的结构，使其 能利用中间结果所取得的经验更好地进行分类。 

7.聚类效果评价指标：  聚类中心之间的距离：距离值大，通常可考虑分为不同类  聚类域中的样本数目：样本数目少且聚类中心距离远，可考虑是否为噪声  聚类域内样本的距离方差：方差过大的样本可考虑是否属于这一类 8.判别函数法:需要足够的先验知识，首先利用已知类别的训练样本集确定出判别 函数，然后再利用训练好的判别函数对未知的模式进行识别分类。是一种监督学习 判别函数：是直接用来对模式样本进行分类的准则函数。 线性判别函数：一个 n 维线性判别函数的一般形式 i / 两分法需要 M 个判别函数，而ω 9 多类情况比较：对于 M 类模式的分类， i i/ωj 两分法需要 M（M-1）/2 个判别函数。当 M>3 时，后者虽然需要更多的判 别式，但对模式线性可分的可能性更大一点。因为ωi/ωj 两分法不需要考虑其他 模式类的影响，因此受到的限制条件少，线性可分 的可能性更大。 10.感知器算法：就是一种赏罚过程：当分类器发生分类错误时，对分类器进行 “罚”—修改权向量，以使其向正确的方向转化；分类正确时，对其进行“赏” —这里表现为不罚，即权向量不变。 11.最小平方误差算法（LMSE）： 算法思路：对 XW>0 求解—>对 XW=B 求解—>通过求准则函数极小找 W 和 B 算法描述：（1）将训练样本写成增广形式，并进行规范化（2）求 X 的逆矩阵（3） 设置初始值 c 和 B(1)开始迭代（4）计算 e(K)=XW(k)-B(k),进行可分性判别（5）计 算 W(k+1)和 B(K+1); 算法特点：（1）提供了一种线性可分性的检测手段（2）由于算法同时利用了 N 个训练样本，并且同时修改 W 和 B，所以收敛速度快（3）缺点是计算复杂，需 要对 XTX 求逆 12.特征维数灾难：特征向量的维数过多会导致所谓的。。，。。是指在一定的识别 精度要求下，随着样本维数的增加，即自变量数的增加，所需要的数据量会迅速 呈指数增长。 13.对特征的要求:（1）具有很大的识别信息量，即所提供的特征应具有很好的可 分性，使分类器容易判别（2）具有可靠性。对那些模棱两可，不易判别的特征 应该丢掉(3)具有尽可能的独立性。重复的、相关性强的特征只选一个（4）数量 尽量少，同时损失的信息尽量小。 14.特征选择和特征提取的异同：特征选择，就是从 n 个度量值集合{x1, x2,…, xn} 中，按某一准则选取出供分类用的子集，作为降维（m 维，m

17.特征提取的步骤：（1）根据样本集求类内散布矩阵 C（2）计算 C 的特征值， 对特征值从小到大进行排队，选择前 m 个（3）计算前 m 个特征值对应的特征向 量，并进行归一化处理，将归一化的特征向量作为矩阵 A 的行（4）利用 A 对样 本集{x}进行变换 X*=AX.则 m 维模式向量 X*就是作为分类用的模式向量。 18.离散 K-L 变换：优点 K-L 变换是在均方误差最小的意义下获得数据压缩（降维） 的最佳变换，且不受模式分布的限制。通过 K-L 变换能获得互不相关的新特征， 若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差 最大的特征成分，所以 K-L 变换起到了减小相关性、突出差异性的效果。缺点： （1）对于两类问题容易得到较满意结果，但类别越多，效果越差（2）当样本数 不足时，矩阵的估计会变得十分粗糙，变换的优越性也就不能充分体现（3）计 算矩阵的特征值和特征向量缺乏统一的快速的算法,给计算带来困难。 19.特征选择的准则：散布矩阵准则、散度准则 20.特征选择的方法：最优搜索算法、次优搜索算法（单独最优特征组合、顺序 前进法、顺序后退法、增 l 减 r 法）