实验题目:
1 实验目的
数据聚类实验
(1)了解常用聚类算法及其优缺点;
(2)掌握 k-means 聚类算法对数据进行聚类分析的基本原理和划分方法。
(3)利用 k-means 聚类算法对“ch7 iris.txt”数据集进行聚类实验。
(4)熟悉使用 matlab 进行算法的实现。
2 实验步骤
2.1 算法原理
聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇,使得同一
个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地
大。即聚类后同一类的数据尽可能聚集到一起,不同数据尽量分离。
k-means 是划分方法中较经典的聚类算法之一。由于该算法的效率高,所以在对大规模
数据进行聚类时被广泛应用。目前,许多算法均围绕着该算法进行扩展和改进。
k-means 算法以 k 为参数,把 n 个对象分成 k 个簇,使簇内具有较高的相似度,而簇间
的相似度较低。k-means 算法的处理过程如下:首先,随机地 选择 k 个对象,每个对象初
始地代表了一个簇的平均值或中心;对剩余的每个对象,根据其与各簇中心的距离,将它赋
给最近的簇;然后重新计算每个簇的平均值。 这个过程不断重复,直到准则函数收敛。
通常,采用平方误差准则,其定义如下:
E
2
mp
i
,这里 E 是数据集中所有
k
i
1
Cp
i
对象的平方误差的总和,p 是空间中的点, im 是簇 iC 的平均值。该目标函数使生成的簇尽
可能紧凑独立,使用的距离度量是欧几里得距离,当然也可以用其他距离度量。
本实验便采用 k-means 聚类方法对样本数据对象进行聚类。该方法易实现,对不存在极
大值的数据有很好的聚类效果,并且对大数据集有很好的伸缩性。
2.2 算法流程
本实验采用的是 k-means 聚类算法,类中心的选择基于簇中对象的平均值。
(1)获取用户的类中心数目 k 和具有 n 个对象的数据集;
(2)任意选取 k 个对象作为初始的簇中心;
(3)根据簇中对象的平均值,将每个对象重新赋给最类似的簇;
(4)更新簇的平均值,即类中心,重新计算每个簇中对象的平均值;
(5)如果新的平均值发生改变,转至(2)步;
(6)新的平均值不在发生改变,算法聚类结束。
2.2 算法流程图
开 始
选择 k 值,选取 k 个
对象作为平均值
聚 类
对新生成的簇重新
计算平均值
Y
新的平均
值改变
N
结 束
图 1
k-means 算法流程图
k-means 算法流程图,如图 1 所示。 k-means 算法中的 k,由用户输入,最终得到的类
别数即为用户输入的数目。聚类过程中,涉及到初始类中心的选择。在程序中,对于类中心,
是选择前 k 个作为初始类中心,对于数据的组织,前 k 个数据有较大差别,可以提高程序的
运行效率和分类结果的准确率。
3 实验结果分析
在实验中,利用 k-means 聚类算法对“ch7 iris.txt”数据集进行聚类实验。
当 k=3 时,k-means 算法聚类效果如图 2 所示:
当 k=4 时,k-means 算法聚类效果如图 3 所示:
图 2
k=3 时聚类效果
图 3
k=4 时聚类效果
K - means 聚类算 法的收敛性和 初值的选取有 关。初始的聚类中心的不同,对聚类
结果没有很大的影响,而对迭代次数有显著的影响。数据的输入顺序不同,同样影响迭代
次数,而对聚类结果没有太大的影响。
4 实验结论
K - means 聚类算法对于类别数的选择 k 值有较高的要求,如果类别数较少,则不能区
分数据。K - means 聚类算法找出平均误差最小的 k 个划分。当结果簇是密集的,而簇与簇
之间的区别明显时,它的效果较好。该算法只有在簇的平均值被定义的情况下才能使用。对
于初始类中心的选择,特别重要。对于分类的准确度和距离影响明显。而且该算法对孤立点
是敏感的。所以如果数据集中存在有极大值的对象,应该消除这种敏感性。
5 实验心得体会
1、初始值可的选取
K - means 聚类算法对于类别数目的选择,需要使用该算法的人员对于数据分类有一定
的了解,并且可以根据观察部分原始抽样数据,得出该样本数据的大致类别数目,否则,应
用该方法的聚类可能会出现较大的错误率。
2、初始类中心的选取
初始类中心的选择对聚类的准确度有较大的影响。在初始类中心的选择时,最好选择两
两距离较大,且能代表不同数据样本类别的点作为初始的类中心点。
参考文献
[1] 数据挖掘:概念与技术/(加)韩家炜,(加)坎伯(Kamber,M.)著;范明等译.-北京:
机械工业出版社,2001.8 .
[2] 效琴,戴汝源.数据挖掘中聚类分析的技术方法[J].微计算机信息,2003,19(1).
[3] 贺玲,吴玲达,蔡益朝.数据挖掘中的聚类算法综述[J].计算机应用研究,2007,
24(1):10-13.
[4] 孙吉贵,刘杰,赵连宇.聚类算法研究[J].软件学报,2008,19(1):48-61.
[5] 冯晓蒲,张铁峰.四种聚类方法之比较[J].微型机与应用,2010,16.
附录(源代码)
Matlab
%K-means算法主程序
k=3;
x= [0.224 0.624 0.067 0.043
0.749 0.502 0.627 0.541
0.557 0.541 0.847 1.000
0.110 0.502 0.051 0.043
0.722 0.459 0.663 0.584
0.776 0.416 0.831 0.831
0.196 0.667 0.067 0.043
0.612 0.333 0.612 0.584
0.612 0.416 0.812 0.875
0.055 0.584 0.067 0.082
0.557 0.541 0.627 0.624
0.165 0.208 0.592 0.667
0.027 0.376 0.067 0.043
0.639 0.376 0.612 0.498
0.667 0.208 0.812 0.710
0.306 0.710 0.086 0.043
0.196 0.000 0.424 0.376
0.612 0.502 0.694 0.792
0.137 0.416 0.067 0.000
0.471 0.082 0.510 0.376
0.694 0.416 0.761 0.831
0.416 0.831 0.035 0.043
0.361 0.376 0.439 0.498
0.416 0.333 0.694 0.957
0.306 0.792 0.051 0.125
0.361 0.416 0.592 0.584
0.612 0.416 0.761 0.710
0.388 0.749 0.118 0.082
0.529 0.082 0.592 0.584
0.945 0.251 1.000 0.918
0.306 0.584 0.118 0.043
0.443 0.502 0.643 0.459
0.722 0.502 0.796 0.918
0.082 0.667 0.000 0.043
0.557 0.208 0.663 0.584
0.945 0.333 0.965 0.792
0.137 0.584 0.153 0.043
0.584 0.376 0.561 0.498
0.667 0.541 0.796 0.831
0.196 0.584 0.102 0.125
0.694 0.333 0.643 0.541
0.529 0.333 0.643 0.710
0.251 0.584 0.067 0.043
0.471 0.376 0.592 0.584
0.584 0.333 0.780 0.831
0.137 0.459 0.102 0.043
0.333 0.169 0.475 0.416
0.863 0.333 0.863 0.749
0.251 0.875 0.086 0.000
0.416 0.290 0.490 0.459
0.584 0.333 0.780 0.875
0.165 0.459 0.086 0.043
0.306 0.416 0.592 0.584
0.498 0.251 0.780 0.541
0.165 0.416 0.067 0.043
0.333 0.624 0.051 0.043
0.667 0.459 0.627 0.584
0.557 0.584 0.780 0.957
0.027 0.416 0.051 0.043
0.361 0.416 0.525 0.498
0.471 0.416 0.643 0.710
0.196 0.624 0.051 0.082
0.333 0.251 0.576 0.459
0.667 0.459 0.780 0.957
0.027 0.502 0.051 0.043
0.416 0.251 0.510 0.459
0.416 0.290 0.694 0.749
0.224 0.749 0.153 0.125
0.361 0.290 0.541 0.498
0.667 0.541 0.796 1.000
0.224 0.749 0.102 0.043
0.388 0.376 0.541 0.498
0.557 0.208 0.678 0.749
0.278 0.710 0.086 0.043
0.224 0.208 0.337 0.416
0.529 0.584 0.745 0.918
0.584 0.502 0.592 0.584
0.416 0.290 0.694 0.749
0.082 0.459 0.086 0.043
0.333 0.125 0.510 0.498
0.557 0.376 0.780 0.710
0.306 0.792 0.118 0.125
0.388 0.333 0.592 0.498
0.918 0.416 0.949 0.831
0.196 0.584 0.086 0.043
0.165 0.169 0.388 0.376
0.835 0.376 0.898 0.710
0.165 0.459 0.086 0.000
0.251 0.290 0.490 0.541
0.804 0.667 0.863 1.000
0.137 0.584 0.102 0.043
0.443 0.416 0.541 0.584
0.584 0.290 0.729 0.749
0.000 0.416 0.016 0.000
0.498 0.376 0.627 0.541
0.388 0.208 0.678 0.792
0.388 1.000 0.086 0.125
0.667 0.459 0.576 0.541
0.584 0.502 0.729 0.918
0.224 0.624 0.067 0.082
0.416 0.290 0.525 0.376
0.945 0.749 0.965 0.875
0.224 0.749 0.086 0.082
0.361 0.208 0.490 0.416
0.471 0.082 0.678 0.584
0.224 0.710 0.086 0.125
0.498 0.333 0.510 0.498
0.361 0.333 0.663 0.792
0.224 0.541 0.118 0.165
0.498 0.333 0.627 0.459
0.557 0.290 0.663 0.710
0.196 0.416 0.102 0.043
0.639 0.416 0.576 0.541
0.804 0.502 0.847 0.710
0.251 0.624 0.086 0.043
0.667 0.416 0.678 0.667
0.498 0.416 0.510 0.710
0.110 0.502 0.102 0.043
0.388 0.251 0.424 0.376
0.804 0.416 0.812 0.624
0.306 0.584 0.086 0.125
0.333 0.169 0.459 0.376
1.000 0.749 0.914 0.792
0.333 0.918 0.067 0.043
0.471 0.290 0.694 0.624
0.557 0.333 0.694 0.584
0.196 0.502 0.035 0.043
0.471 0.584 0.592 0.624
0.945 0.416 0.863 0.918
0.165 0.667 0.067 0.000
0.557 0.125 0.576 0.498
0.584 0.459 0.761 0.710
0.224 0.584 0.086 0.043
0.333 0.208 0.510 0.498
0.722 0.459 0.745 0.831
0.055 0.125 0.051 0.082
0.498 0.416 0.612 0.541
0.722 0.459 0.694 0.918
0.196 0.624 0.102 0.208
0.196 0.125 0.388 0.376
0.694 0.502 0.831 0.918
0.137 0.416 0.067 0.082
0.388 0.416 0.541 0.459
0.667 0.416 0.714 0.918
0.082 0.502 0.067 0.043
0.529 0.376 0.561 0.498
0.612 0.416 0.714 0.792
0.196 0.541 0.067 0.043
0.388 0.333 0.525 0.498
0.443 0.416 0.694 0.710 ];
if cid(i)==1,
plot(x(i,1),x(i,2),'r*') % 显示第一类
hold on
else
if cid(i)==2,
plot(x(i,1),x(i,2),'b*') %显示第二类
hold on
else
if cid(i)==3,
plot(x(i,1),x(i,2),'g*') %显示第三类
hold on
%else
%if cid(i)==4,
%plot(x(i,1),x(i,2),'k*') %显示第四类
%hold on
[n,d] = size(x);
bn=round(n/k*rand);%第一个随机数在前1/K的范围内
nc=[x(bn,:);x(2*bn,:);x(3*bn,:);];%初始聚类中心
%nc=[x(bn,:);x(2*bn,:);x(3*bn,:);x(4*bn,:);];% 4类
[cid,nr,centers] = kmeans(x,k,nc)%调用kmeans函数
for i=1:150
%end
end
end
end
end
strt=['红色*为第一类;蓝色*为第二类;绿色*为第三类;黑色*为第四类' ];
text(-4,-3.6,strt);
%kmeans.m主类
function [cid,nr,centers] = kmeans(x,k,nc)
[n,d] = size(x); % 设置cid为分类结果显示矩阵
cid = zeros(1,n);
oldcid = ones(1,n);