压缩近邻法：

1. %% 剪辑近邻法
   
2. %% 初始化操作
   
3. clc
   
4. close all
   
5. clear all
   
6. n=100;
   
7. N=3*n;
   
8. %% 训练样本1 二维联合正态分布的期望和方差，并随机产生 N 个样本
   
9. mu1=[2 3];
   
10. SIGMA1=[20 1.5; 1.5 30];
    
11. tra_sam1 = mvnrnd(mu1,SIGMA1,N);
    
12. %% 训练样本2 二维联合正态分布的期望和方差，并随机产生 N 个样本
    
13. mu2=[10,11];
    
14. SIGMA2=[20 1.5;1.5 30];
    
15. tra_sam2 = mvnrnd(mu2,SIGMA2,N);
    
16. %% 保留原始样本
    
17. tra_sam_org1=tra_sam1;
    
18. tra_sam_org2=tra_sam2;
    
19. %% 对样本进行分类，分为3类
    
20. num0=0; %% 用于存放上一次剪辑后样本个数
    
21. edit_time=0; %% 记录剪辑次数
    
22. m=0;    %% 记录没有可被剪辑样本的连续次数
    
23. N1=N;N2=N; %%分别记录剪辑后样本类1，类2的样本个数
    
24. while m<5
    
25.     m11=1;m21=1;m31=1;
    
26.     m12=1;m22=1;m32=1;
    
27.     %% 将样本分成三类
    
28.     for i=1:N1
    
29.         t=rand;
    
30.         if t<=0.33
    
31.             cell_sam11(m11,:)=tra_sam1(i,:);
    
32.             m11=m11+1;
    
33.         elseif t<=0.66
    
34.             cell_sam21(m21,:)=tra_sam1(i,:);
    
35.             m21=m21+1;
    
36.         else
    
37.             cell_sam31(m31,:)=tra_sam1(i,:);
    
38.             m31=m31+1;
    
39.         end
    
40.     end
    
41.     for i=1:N2
    
42.         s=rand;
    
43.         if s<=0.33
    
44.             cell_sam12(m12,:)=tra_sam2(i,:);
    
45.             m12=m12+1;
    
46.         elseif s<=0.66
    
47.             cell_sam22(m22,:)=tra_sam2(i,:);
    
48.             m22=m22+1;
    
49.         else
    
50.             cell_sam32(m32,:)=tra_sam2(i,:);
    
51.             m32=m32+1;
    
52.         end
    
53.     end
    
54. 
    
55.     %% 对子集进行剪辑，去掉错分的样本
    
56.     %% 利用子集2，对子集1中的cell_sam11进行裁剪
    
57.     cell_sam11=cutting(cell_sam11,cell_sam21,cell_sam22);
    
58.     %% 利用子集2，对子集1中的cell_sam12进行裁剪
    
59.     cell_sam12=cutting(cell_sam12,cell_sam22,cell_sam21);
    
60. 
    
61.     %% 利用子集3，对子集2中的cell_sam21进行裁剪
    
62.     cell_sam21=cutting(cell_sam21,cell_sam31,cell_sam32);
    
63.     %% 利用子集3，对子集2中的cell_sam22进行裁剪
    
64.     cell_sam22=cutting(cell_sam22,cell_sam32,cell_sam31);
    
65. 
    
66.     %% 利用子集1，对子集3中的cell_sam31进行裁剪
    
67.     cell_sam31=cutting(cell_sam31,cell_sam11,cell_sam12);
    
68.     %% 利用子集1，对子集3中的cell_sam32进行裁剪
    
69.     cell_sam32=cutting(cell_sam32,cell_sam12,cell_sam11);
    
70.    
    
71.     %% 剪辑后对样本进行整理，合并，组成新的训练样本
    
72.     tra_sam1=[cell_sam11;cell_sam21;cell_sam31];
    
73.     tra_sam2=[cell_sam12;cell_sam22;cell_sam32];
    
74.     cell_sam11=zeros(1,2);cell_sam21=zeros(1,2);cell_sam31=zeros(1,2);
    
75.     cell_sam12=zeros(1,2);cell_sam22=zeros(1,2);cell_sam32=zeros(1,2);
    
76.     [a1,b1]=size(tra_sam1);  
    
77.     [c1,d1]=size(tra_sam2);
    
78.     num1=a1+c1;  %% 计算剩余总样本个数
    
79.     N1=a1;
    
80.     N2=c1;
    
81.     if (num1-num0==0)
    
82.         m=m+1;
    
83.     else
    
84.         m=0;
    
85.     end
    
86.     num0=num1;
    
87.     edit_time=edit_time+1;
    
88.       
    
89. end
    
90. %% -------------------%%
    
91. %% 对剪辑好的样本进行压缩
    
92. grabbag1=tra_sam1;
    
93. grabbag2=tra_sam2;
    
94. grabbag=[grabbag1;grabbag2];
    
95. %% 计算存储器grabbag中类1和类2 的个数
    
96. [gra_r1,column3]=size(grabbag1);
    
97. [gra_r2,column4]=size(grabbag2);
    
98. %% 随机选取一个样本放入store中，
    
99. %% 可以等价为随机选取类1和类2,两个样本放入store中
    
100. store1=grabbag1(1,:);
     
101. grabbag1=grabbag1(2:gra_r1,:);
     
102. gra_r1=gra_r1-1;
     
103. store2=grabbag2(1,:);
     
104. grabbag2=grabbag2(2:gra_r2,:);
     
105. gra_r2=gra_r2-1;
     
106. gra_r=gra_r1+gra_r2;
     
107. 
     
108. sto_num1=2;%% store 的下标
     
109. sto_num2=2;
     
110. gra_tem=0;
     
111. m=0;
     
112. while(m<2*gra_r)
     
113.     t=rand;
     
114.     if t<=0.5 %% 如果属于类1
     
115.         q=randperm(gra_r1);
     
116.         for i=1:sto_num1-1
     
117.             distance1(i)=norm(grabbag1(q(1),:)-store1(i,:));
     
118.         end
     
119.         for i=1:sto_num2-1
     
120.             distance2(i)=norm(grabbag1(q(1),:)-store2(i,:));
     
121.         end
     
122.         dist_min1=min(distance1);
     
123.         dist_min2=min(distance2);
     
124.         if dist_min1>dist_min2 %% 如果判断错误，放入store
     
125.             store1(sto_num1,:)=grabbag1(q(1),:);
     
126.             grabbag1=[grabbag1(1:q(1)-1,:);grabbag1(q(1)+1:gra_r1,:)];
     
127.             gra_r1=gra_r1-1;
     
128.             sto_num1=sto_num1+1;
     
129.         end
     
130.     else  %% 如果属于类2
     
131.         q=randperm(gra_r2);
     
132.         for i=1:sto_num1-1
     
133.             distance1(i)=norm(grabbag2(q(1),:)-store1(i,:));
     
134.         end
     
135.         for i=1:sto_num2-1
     
136.             distance2(i)=norm(grabbag2(q(1),:)-store2(i,:));
     
137.         end
     
138.         dist_min1=min(distance1);
     
139.         dist_min2=min(distance2);
     
140.         if dist_min1<dist_min2 %% 如果判断错误，放入store
     
141.             store2(sto_num2,:)=grabbag2(q(1),:);
     
142.             grabbag2=[grabbag2(1:q(1)-1,:);grabbag2(q(1)+1:gra_r2,:)];
     
143.             gra_r2=gra_r2-1;
     
144.             sto_num2=sto_num2+1;
     
145.         end   
     
146.     end
     
147.     gra_r=gra_r1+gra_r2;
     
148.     if gra_r==gra_tem
     
149.         m=m+1;
     
150.     else
     
151.         m=0;
     
152.     end
     
153.     gra_tem=gra_r;
     
154. end
     
155. edit_time
     
156. sto_num1=sto_num1-1
     
157. sto_num2=sto_num2-1
     
158. %% 绘图
     
159. %% 绘制原始样本点
     
160. figure('NumberTitle', 'off', 'Name', '原样本点');
     
161. scatter(tra_sam_org1(:,1),tra_sam_org1(:,2),'r')
     
162. hold on
     
163. scatter(tra_sam_org2(:,1),tra_sam_org2(:,2),50,'kx')
     
164. axis([-20,30,-20,30])
     
165. title('原始样本')
     
166. xlabel('特征1')
     
167. ylabel('特征2')
     
168. legend('类1','类2',2)
     
169. %% 绘制剪辑后样本点
     
170. figure('NumberTitle', 'off', 'Name', '剪辑后样本点');
     
171. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
172. hold on
     
173. scatter(tra_sam2(:,1),tra_sam2(:,2),50,'kx')
     
174. axis([-20,30,-20,30])
     
175. title('算法终止时样本点')
     
176. xlabel('特征1')
     
177. ylabel('特征2')
     
178. legend('类1','类2',2)
     
179. %% 绘制压缩后样本点
     
180. figure('NumberTitle', 'off', 'Name', '压缩后样本点');
     
181. scatter(store1(:,1),store1(:,2),'r')
     
182. hold on
     
183. scatter(store2(:,1),store2(:,2),50,'kx')
     
184. axis([-20,30,-20,30])
     
185. title('压缩后样本点')
     
186. xlabel('特征1')
     
187. ylabel('特征2')
     
188. legend('类1','类2',2)
     
189. 
     
190.    
     
191.    
     
192.    

复制代码

c均值算法：

1. %% c-均值算法
   
2. %% 初始化操作
   
3. clc
   
4. close all
   
5. clear all
   
6. n=100;
   
7. N=5*n;
   
8. %% 产生5类随机样本，假设类别数已知
   
9. %% 样本1
   
10. mu1=[2 2];
    
11. SIGMA1=[1 1.5; 1.5 3];
    
12. tra_sam1 = mvnrnd(mu1,SIGMA1,n);
    
13. %% 样本2
    
14. mu2=[20,20];
    
15. SIGMA2=[4 3;3 5];
    
16. tra_sam2 = mvnrnd(mu2,SIGMA2,n);
    
17. %% 样本3
    
18. mu2=[11,11];
    
19. SIGMA2=[1 1;1 2];
    
20. tra_sam3 = mvnrnd(mu2,SIGMA2,n);
    
21. %% 样本4
    
22. mu2=[20,2];
    
23. SIGMA2=[2 1.2;1.2 4];
    
24. tra_sam4 = mvnrnd(mu2,SIGMA2,n);
    
25. %% 样本5
    
26. mu2=[2,20];
    
27. SIGMA2=[3 2;2 3];
    
28. tra_sam5 = mvnrnd(mu2,SIGMA2,n);
    
29. tra_sam=[tra_sam1;tra_sam2;tra_sam3;tra_sam4;tra_sam5];
    
30. %% 将样本随机分成5类，计算代表点
    
31. n1=1;n2=1;n3=1;n4=1;n5=1;
    
32. for i=1:N
    
33.     t=rand;
    
34.     if t<=0.2
    
35.         cell_sam1(n1,:)=tra_sam(i,:);
    
36.         n1=n1+1;
    
37.     elseif t<=0.4
    
38.         cell_sam2(n2,:)=tra_sam(i,:);
    
39.         n2=n2+1;
    
40.     elseif t<=0.6
    
41.         cell_sam3(n3,:)=tra_sam(i,:);
    
42.         n3=n3+1;
    
43.     elseif t<0.8
    
44.         cell_sam4(n4,:)=tra_sam(i,:);
    
45.         n4=n4+1;
    
46.     else
    
47.         cell_sam5(n5,:)=tra_sam(i,:);
    
48.         n5=n5+1;
    
49.     end
    
50. end
    
51. %% 求每类的均值
    
52. m1=mean(cell_sam1);
    
53. m2=mean(cell_sam2);
    
54. m3=mean(cell_sam3);
    
55. m4=mean(cell_sam4);
    
56. m5=mean(cell_sam5);
    
57. m=[m1;m2;m3;m4;m5];
    
58. 
    
59. cell_sam1=zeros(1,2);cell_sam2=zeros(1,2);
    
60. cell_sam3=zeros(1,2);cell_sam4=zeros(1,2);
    
61. cell_sam5=zeros(1,2);
    
62. n1=1;n2=1;n3=1;n4=1;n5=1;
    
63. %% 获得初始分类
    
64. for i=1:N
    
65.     for j=1:5
    
66.         distance1(j)=norm(tra_sam(i,:)-m(j,:));
    
67.     end
    
68.     [a,b]=min(distance1);
    
69.     if b==1
    
70.         cell_sam1(n1,:)=tra_sam(i,:);
    
71.         n1=n1+1;
    
72.     elseif b==2
    
73.         cell_sam2(n2,:)=tra_sam(i,:);
    
74.         n2=n2+1;
    
75.     elseif b==3
    
76.         cell_sam3(n3,:)=tra_sam(i,:);
    
77.         n3=n3+1;
    
78.     elseif b==4
    
79.         cell_sam4(n4,:)=tra_sam(i,:);
    
80.         n4=n4+1;
    
81.     else
    
82.         cell_sam5(n5,:)=tra_sam(i,:);
    
83.         n5=n5+1;
    
84.     end   
    
85. end
    
86. %% 移动初始分类的样本使分类更加合理
    
87. j_num=0;j_e1=0;
    
88. while (j_num<5)
    
89.     [cell_sam1,cell_sam2,cell_sam3,cell_sam4,cell_sam5]=y_move(cell_sam1,cell_sam2,cell_sam3,cell_sam4,cell_sam5);
    
90.     [cell_sam2,cell_sam1,cell_sam3,cell_sam4,cell_sam5]=y_move(cell_sam2,cell_sam1,cell_sam3,cell_sam4,cell_sam5);
    
91.     [cell_sam3,cell_sam1,cell_sam2,cell_sam4,cell_sam5]=y_move(cell_sam3,cell_sam1,cell_sam2,cell_sam4,cell_sam5);
    
92.     [cell_sam4,cell_sam1,cell_sam2,cell_sam3,cell_sam5]=y_move(cell_sam4,cell_sam1,cell_sam2,cell_sam3,cell_sam5);
    
93.     [cell_sam5,cell_sam1,cell_sam2,cell_sam3,cell_sam4]=y_move(cell_sam5,cell_sam1,cell_sam2,cell_sam3,cell_sam4);
    
94.     %% 计算改变后的误差平方
    
95.     m1=mean(cell_sam1);
    
96.     m2=mean(cell_sam2);
    
97.     m3=mean(cell_sam3);
    
98.     m4=mean(cell_sam4);
    
99.     m5=mean(cell_sam5);
    
100.     [r1,c1]=size(cell_sam1);
     
101.     [r2,c2]=size(cell_sam2);
     
102.     [r3,c3]=size(cell_sam3);
     
103.     [r4,c4]=size(cell_sam4);
     
104.     [r5,c5]=size(cell_sam5);
     
105.     j_e=0;
     
106.     for i=1:r1
     
107.         j_e=j_e+norm(cell_sam1(i,:)-m1)^2;
     
108.     end
     
109.     for i=1:r2
     
110.         j_e=j_e+norm(cell_sam2(i,:)-m2)^2;
     
111.     end
     
112.     for i=1:r3
     
113.         j_e=j_e+norm(cell_sam3(i,:)-m3)^2;
     
114.     end
     
115.     for i=1:r4
     
116.         j_e=j_e+norm(cell_sam4(i,:)-m4)^2;
     
117.     end
     
118.     for i=1:r5
     
119.         j_e=j_e+norm(cell_sam5(i,:)-m5)^2;
     
120.     end
     
121.     if abs(j_e1-j_e)<=0.001
     
122.         j_num=j_num+1;
     
123.     else
     
124.         j_num=0;
     
125.     end
     
126.     j_e1=j_e;
     
127. end
     
128. 
     
129. % 绘图
     
130. figure('NumberTitle', 'off', 'Name', '待分类样本点');
     
131. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
132. hold on
     
133. scatter(tra_sam2(:,1),tra_sam2(:,2),'k')
     
134. hold on
     
135. scatter(tra_sam3(:,1),tra_sam3(:,2),'b')
     
136. hold on
     
137. scatter(tra_sam4(:,1),tra_sam4(:,2),'y')
     
138. hold on
     
139. scatter(tra_sam5(:,1),tra_sam5(:,2),'g')
     
140. title('待分类样本点')
     
141. xlabel('特征1')
     
142. ylabel('特征2')
     
143. legend('类1','类2','类3','类4','类5',2)
     
144. 
     
145. figure('NumberTitle', 'off', 'Name', '分类后样本点与正确分类样本点对比');
     
146. scatter(cell_sam1(:,1),cell_sam1(:,2),'rx')
     
147. hold on
     
148. scatter(cell_sam2(:,1),cell_sam2(:,2),'kx')
     
149. hold on
     
150. scatter(cell_sam3(:,1),cell_sam3(:,2),'bx')
     
151. hold on
     
152. scatter(cell_sam4(:,1),cell_sam4(:,2),'yx')
     
153. hold on
     
154. scatter(cell_sam5(:,1),cell_sam5(:,2),'gx')
     
155. hold on
     
156. scatter(tra_sam1(:,1),tra_sam1(:,2),'r')
     
157. hold on
     
158. scatter(tra_sam2(:,1),tra_sam2(:,2),'k')
     
159. hold on
     
160. scatter(tra_sam3(:,1),tra_sam3(:,2),'b')
     
161. hold on
     
162. scatter(tra_sam4(:,1),tra_sam4(:,2),'y')
     
163. hold on
     
164. scatter(tra_sam5(:,1),tra_sam5(:,2),'g')
     
165. title('分类后样本点与正确分类样本点对比')
     
166. xlabel('特征1')
     
167. ylabel('特征2')
     
168. legend('类1','类2','类3','类4','类5',2)
     
169. 
     
170. 
     
171. 
     
172. 
     

复制代码

bayes判别：

1. % 初始设置
   
2. clc
   
3. clear all
   
4. close all
   
5. n=2000;           %% 样本个数为 2*n
   
6. n1=0;n2=0;       %% 判别为类1的个数为n1，判别为类2的个数为n2
   
7. m1=1;m2=1;
   
8. error1to2=0;error2to1=0;     %% erroritoj为类i判为类j的错误个数
   
9. % 类别1的二维联合正态分布的期望和方差，并随机产生 n 个样本
   
10. mu1=[3 4];
    
11. sigma1=[1 1.5; 1.5 3];
    
12. x1 = mvnrnd(mu1,sigma1,n);
    
13. 
    
14. %%类别2的二维联合正态分布的期望和方差，并随机产生 n 个样本
    
15. mu2=[8,9];
    
16. sigma2=[2 3;3 5];
    
17. x2 = mvnrnd(mu2,sigma2,n);
    
18. % 判别函数g(x)进行判别
    
19. 
    
20. for i=1:1:n
    
21.     if g(x1(i,:),mu1,sigma1)>=g(x1(i,:),mu2,sigma2)
    
22.         X1(m1,:)=x1(i,:);
    
23.         m1=m1+1;
    
24.     else
    
25.         X2(m2,:)=x1(i,:);
    
26.         m2=m2+1;
    
27.         erroe1to2=error1to2+1;
    
28.     end
    
29. end
    
30. for i=1:1:n
    
31.     if g(x2(i,:),mu1,sigma1)>=g(x2(i,:),mu2,sigma2)
    
32.         X1(m1,:)=x2(i,:);
    
33.         m1=m1+1;
    
34.         error2to1=error2to1+1;
    
35.     else
    
36.         X2(m2,:)=x2(i,:);
    
37.         m2=m2+1;
    
38.     end
    
39. end
    
40. %%%%%%绘图
    
41. % 原始样本点
    
42. figure('NumberTitle', 'off', 'Name', '原样本点');
    
43. scatter(x1(:,1),x1(:,2),'r')
    
44. hold on
    
45. scatter(x2(:,1),x2(:,2),50,'kx')
    
46. title('原始样本')
    
47. xlabel('样本1')
    
48. ylabel('样本2')
    
49. legend('第一类样本','第二类样本',0);
    
50.   
    
51. % 分类后样本点
    
52. figure('NumberTitle', 'off', 'Name', '分类样本点');
    
53. scatter(x1(:,1),x1(:,2),'r')
    
54. hold on
    
55. scatter(x2(:,1),x2(:,2),50,'kx')
    
56. hold on
    
57. scatter(X1(:,1),X1(:,2),'r')
    
58. hold on
    
59. scatter(X2(:,1),X2(:,2),50,'kx')
    
60. title('分类后的样本')
    
61. xlabel('样本1')
    
62. ylabel('样本2')
    
63. legend('第一类样本','第二类样本',0);
    

复制代码