Fisher 线性判别分析实验报告 一、摘要 Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将 高维问题降低到一维问题来解决，并且要求变换后的一维数据具有性质：同类样本尽可能聚 集在一起，不同类样本尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向 w 和阈值 y0，即确定 线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 二、算法的基本原理及流程图 1 基本原理 （1） W 的确定 各类样本均值向量 mi m i  1  N  x X i x, i  1, 2 i 样本类内离散度矩阵 iS 和总类内离散度矩阵 wS S (x m )(x m ) , 1,2     i T i i i  x  X i S S   1 2 wS 样本类间离散度矩阵 bS S b  (m m )(m m ) 2   1 2 1 T 在投影后的一维空间中， 各类样本均值 m '= W m T i i 样本类内离散度和总类内离散度 样本类间离散度 S ' = W S W b T b S ' = W S W S ' = W S W i w w T T i Fisher 准则函数满足两个性质： 投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出 w 

W = S (m - m ) -1 w 1 2 （2） 阈值的确定 实验中采取的方法： 0 2 y = (m ' + m ') / 2 1 （3） Fisher 线性判别的决策规则 对于某一个未知类别的样本向量 x，如果 y = WTx >y0, 则 x∈w1 否则 x∈w2 2 流程图 载入训练数据 归一化处理 得到每个类的均 值向量 计算类内的离散 度，总的离散度 计算总离散度的 逆矩阵 计算投影向量和 阈值 方差标准化 （归一化处理） 一个样本集中，某一个特征的均值与方差为： x i  s 2 i  1 l 1 l 归一化：  s i 三、实验结果分析 x i  x i x i 载入测试数据 归一化处理 判断测试数据类 别 x ji ( x ji  x i 2 ) l  j 1  l  j  1 

1 男女同学身高体重，训练数据和测试数据都是 50 当采用 StudentData1 作为训练数据，StudnetData2 作为测试数据时 男孩类的错误率 女孩类的错误率 总的错误率 0.04 0.14 0.09 当采用 StudnetData2 作为训练数据，StudentData2 作为测试数据时 男孩类的错误率 女孩类的错误率 总的错误率 0.02 0.06 0.04 

2 IonoSphere 数据 G 类错误率 第一组数据 0.31 第二组数据 0.32 第三组数据 0.31 第四组数据 0.30 第五组数据 0.30 第六组数据 0.78 第七组数据 0.42 第八组数据 0.30 第九组数据 0.29 第十组数据 0.34 B 类错误率 0.29 0.27 0.28 0.37 0.31 0.27 0.25 0.31 0.40 0.25 总的类错误率 0.30 0.30 0.29 0.32 0.31 0.60 0.36 0.30 0.33 0.31 考虑到第一组数据训练数据多，下面的实验以第一组数据的训练数据作为训练数据，分别用 其他组的测试数据进行测试 G 类错误率 第一组数据 0.31 第二组数据 0.31 第三组数据 0.32 第四组数据 0.31 第五组数据 0.31 B 类错误率 0.29 0.26 0.26 0.26 0.26 总的类错误率 0.30 0.29 0.30 0.29 0.29 

第六组数据 0.28 第七组数据 0.32 第八组数据 0.31 第九组数据 0.30 第十组数据 0.31 从实验结果看，Fisher 线性判别用于两类的判别决策时，拥有不错的效果，并且当有足量的 0.26 0.25 0.27 0.26 0.26 0.27 0.30 0.29 0.28 0.29 训练数据时，效果更好。 四、体会 通过 Fisher 线性判别分析程序，对模式识别领域处理问题的一般步骤有了更好的理解， 首先是通过训练数据，得到线性判别函数，即决策规则，构造出分类器，然后根据构造出来 的分类器，对测试数据进行判别，得到测试数据的类别，最后对分类器的分类效果进行评估。