子空间法模式识别在纹理分析中的应用

子空间法模式识别在纹理分析中的应用_巡天察地梅安

子空间法模式识别在纹理分析中的应用

王仁札　梅安新

摘　要：最简单最为常用的分类算法是最小距离法，它被广泛应用于遥感图像的分析中，但是随着特征维数的增大，遇到了冗余特征压缩问题，这正是将纹理特征引入分类时的情形，为了解决该问题，本文建议利用子空间法，该法与马氏距离比较，无论是效率还是精度均优于后者。

关键词：子空间，纹理分类，模式识别

一、引　言

在遥感图像分析中，光谱、时相、纹理是三个基本特征，它们相辅相成。但是由于纹理特征提取的复杂性，妨碍了纹理在实际中的运用，尽管快速的阵列处理机在某种程度上弥补了这方面的不足，但同时新的方法本身也应得到应用与发展。

常规的分类算法中，最简单的方法之一就是最小距离法，它被广泛应用于多光谱分类中，但是当维数（即特征数）很大时，就遇到了冗余维数压缩的问题。按常规的方法，处理该类问题通常分为两个独立的步骤：一是特征提取，二是模式分类。所谓特征提取就是把矢量表达的模式，由其原始表达的空间映射到低维的子空间中，不过对所有类别都应用一个子空间。其目的就是试图去掉特征之间的相关性，使模式表达更为紧凑，同时突出在正确分类中起决定作用的特征。而模式分类是根据物以类聚原则，把不同的类别规定为特征空间中的一些有限范围或区域，然后按照一定规则对特征空间进行划分。不过，这里存在两个问题，一是子空间对所有类别都是一样的，这实际上是在平均意义上的最优表达，而对某一类别来讲并不是最优的；二是在分类器的设计中，没有考虑分类器与特征之间的关系。

针对上述问题，人们不仅要问，能不能把特征选择与模式分类合二为一，而避免上述问题的产生呢？回答是肯定的。1973年，Watanabe S.和Pakvasa N.提出，子空间法可作为分类和模式表达的一种新方法，后来由E.Oia（1983）加以系统总结归纳。其主要思想是每类各有自己具有代表性的特征集，类与类之间的特征集各不相同，特征数目也可相差很大。从几何角度来讲，就是说每一类对应于原线性模式空间中的一个子空间，这些子空间由每一类中最为显著的特征矢量所组成，一个矢量或模式与某类别子空间之间的距离作为衡量该矢量与该类之间的隶属度。该法的优点在于它将通常的特征抽取与模式分类合二为一，所以能处理含有许多分量的原始数据矢量，分类规则也只要计算为数不多的几个矢量内积，从而使分类效率提高，同时由于去掉了特征之间的相关性，精度也有所保证。

子空间法除了Eloranta与Mkisara（1983）用于遥感图像的光谱分类外，还没有人对其进行应用方面的研究。本文将该法用于纹理分析，并利用感知器准则对子空间的学习法进行了理论上的推导，得到了与Kohonen大体相同的结果，从而使子空间学习法更易理解。

二、子空间法的基本原理

设W₁，W₂，W₃，…，W_k表示所研究的k个类别。每个类别用n维模式空间Rⁿ的一个子空间L^〔i〕表示，其维数m_i＝dim（L^〔i〕），i＝1，2，…，k。子空间由m_i个正交矢量，j＝1，2，…，m_i所组成。子空间的基不是唯一的，而投影矩阵为：

是唯一的，并且完全等效于子空间L^（i）。

考虑下面的分类规则：

考虑到矩阵P（i）的对称等幂性；二次型XTp（i）X可写成

而p^（i）x是x在L^（i）上的正交投影。因此，上述决策规则是把每个x分到它具有最长投影的那个子空间。

有了分类规则后，接下来的问题就是如何求解各子空间的正交矢量。

子空间的求解方法通常分为两类，即迭代法和直接求解法，前者又分为感知器法和平均学习法。

1.直接求解法

所谓直接求解法，就是根据某一准则，利用一定数量的训练样本一次求解，得到各类子空间的基。该法中最为典型的方法是CLA FIC（Class－Featuring Information Compression），它是根据最小均方判据得到的。其结论是：第i类的子空间是由其训练样本的相关矩阵的mi个最大特征值对应的那些特征矢量所组成，即：

m_i可用对累计贡献率的限制加以选择。根据定义，前m_i个主成分的累计贡献率为：

给定一保真度k，选择m_i使得所有的类别

这样对i＝1，2，…，k都可唯一的确定m_i。

2.学习子空间法

由于CLA FIC法使用了最小均方准则，因此获得的结果对每一类数据的压缩与表达都可以是非常好的。但是单纯地考虑尽可能准确地代表原来模式的主成分，有时并不一定有利于分类。为此有人提出了学习子空间法。

学习算法有许多种，而感知器法似乎更具智能化特色。该法是1950年代由Roscenblatt提出来的，其基本思想是赏罚法。

设已经用某种方法产生了初始子空间，例如CLA FIC法，然后对全部训练样本进行分类如果有某一模式x∈w_i，但分类器把它分至w_j类。对此子空间可作如下修正：找这样的子空间L′_i、L′_j，它使得x在L′_i中的投影最大，而在L′_j中的投影最小。为此，构造准则函数：

这里x＝（x₁x₂…Xn）^T；U为子空间矩阵，即

对（6）式求梯度得：

从而根据子空间的赏罚规则得迭代公式

所以对自己的子空间赏：

对匹敌的子空间罚：

至此，可用（9）、（10）两式对样本反复迭代，直到满意为止。由此可见，迭代的过程就是一学习的过程。

3.平均学习子空间法

上述学习子空间法对于训练集的样本使用次序略带敏感性，同时每次迭代由于只以某样本为准，有可能刚正旋转后，下个样本又要反旋转，这样一则浪费时间，二来可能由于参数使用不当而不收敛。为此，提出了这样的问题，能不能较少地依赖于每个个别训样矢量及其使用次序，而较多地取决于总体设计集，特别是其统计特性。对此提出了平均学习子空间法。

该法的迭代公式为：

式表示下列事件：

＝“在第k步，训练矢量实际属于ω^（i）类，被子空间L（k－1）分到ω^（j）类中去”。

针对上述三种方法做了一个实验。数据为Fisher的IRIS数据，该数据鸢尾属植物的三种单独的花的测量结果所组成，共有三个类别，每类有50个样本矢量，每个矢量为四维，它的元素分别是各朵花萼片的长度和宽度、花瓣的长度和宽度。为了检验分类效果把50个样本一分为二，25个做训练集，另外25个做测试集。

首先用CLA FIC法产生初始子空间，保真度为0.99时，基数均为1，测试结果全部正确，说明该数据集是子空间可分离的。为了验证迭代公式的正确性，将第二分量除以10，结果得混淆矩阵如下：

ρ_r

将ρ₀＝ρ_r＝0.5时，旋转一次即收敛，测试结果全部正确，对平均学习法也有类似结果。由此可见，迭代效果是明显的，当然这必须有个先决条件，即数据是子空间可分离的。

三、纹理分类

1.纹理特征的提取

纹理测度的种类很多，但对遥感图像而言，共生矩阵法被认为是性能最佳的方法。据文献〔7〕的推荐，本文选择了4个基本统计量，它们分别是相关特征、能量特征、局部齐性以及惯性。各参数选择如下：灰度级为16，采用修正型线性量化；窗口为64×64；位移取1和3，为1时主要提取细纹理，为3时则偏重于粗纹理，为了使纹理特征具有旋转不变性，取0°、45°、90°、135°四个方向的平均，这样共有16个特征，即：

其中，j表示四个方向；Δf_i＝f_imax－f_imin。最后对x进行了规一化。

2.实验图像

图像选用了三幅航片，分别为蜂窝状沙丘、树枝状沙垅以及山脉，分别记为sand1、sand2、mount。然后对其进行数字化，取512×512子图像。窗口为64×64，所以每幅有8×8＝64块，即64个样本。由于每幅的右下角为标记，故最后4个样本不计，这样将30个作训练集，余下30个做测试集。

3.实验结果

为了使统计结果更为有效，做了二次实验。实验Ⅰ：任意30个样本做训练集，余下做测试集；实验Ⅱ：把原训练集做测试集，原测试集做训练集。

首先用CLA FIC法产生初始子空间，在保真度为94%时，各子空间的基均为1。对训练集其混淆矩阵为（见表1）：

表1

选P₀＝p－［r］＝0.5迭代15次收敛，最后的混淆矩阵为（见表2）：

表2

然后对测试集进行分类，得结果如下（见表3）：

表3

所以分错率的估计为＝5.6%。

当保真度为99%时，各子空间的基为2，其初始分类结果如表4所示。选P0＝P_r＝0.5，迭代二次全部分类正确。然后对测试集进行分类得结果见表5；选P₀＝P_r＝0.4时，迭代三次收敛，对训练集分类全部正确，测试结果见表6。由此可见在基为2时的分错率约为10%。

表4

表5

表6

对同样的数据，用马氏最小距离法进行分类，结果对训练集分类全部正确，对测试集得出如下结果（见表7）：

分错率为〔（13＋12）/2〕/90＝13.9%。

表7

4.结论

由以上实验结果可得出下列结论：

（1）在保证精度的条件下，子空间的运算速度大大提高。子空间判别函数的运算大约为（2n＋1）P（i）次，而马氏最小距离分类器却大约要（2n＋1）n次，这里n＝16，而P（i）＝2，甚至P（i）＝1这种差别具有重要的意义，特别是在实时处理时更为突出。

（2）子空间法的精度高于马氏距离法，见表3和表7。即使表5与表7比较，精度也略高，同时应注意到，这二者此时训练集的分类都为100%正确。

（3）表2、表3、表7说明，马氏距离对训练集可做到全部分类正确，但对测试则表现出适应能力不强，这说明并没有抓住本质特征。相反，子空间法则适性较好，尽管对训练集的分类有错，但对测试集表现出较高的分类精度，这也许正是其学习的特点。

（4）在同样收敛的情况下，不同的旋转参数可导致不同的分类结果，但差别并不很大，见表5、表6。

（5）平均学习法的收敛速度较快，一般来讲，先α、β均为0.5即可，太小时收敛速度过慢，太大时则有可能导致振荡发散。总之保持在0.3～0.8之间较为适宜。

（6）子空间法在设计阶段计算量比马氏距离法稍大一些，不过通常分类器的设计阶段是脱机进行的，此时的速度并不像误差那样重要。

由于本试验的目的是验证分类方法本身，因此对纹理测度各参数的选择以及特征的选取并没做进一步的研究，不过由于分对率均在90%以上，也足以说明共生矩阵用于纹理表达是可行的。另外，据文献^［9］，训练集的个数一般应为特征数的3倍以上，但本实验未满足这一要求，因此估计的精度也许有些偏差，不过这点并不影响两种不同方法的比较。

四、结束语

目前，遥感图像分类的发展方向之一就是充分利用辅助信息，除了纹理、时相外，还有DTM等，这样作为分类的输入参数便大大增加。在此情况下，为了保证精度，提高速度，运用子空间法是可行的。可以预料，子空间法定能得到深入的研究和广泛的运用。

参考文献

［1］E.奥亚.子空间法模式识别.北京：科学出版社，1987.

［2］Eloranta，K.and Makisara，K.Classification of multispectral scanner data by learning subspace.Proc.3^rd Scand.Conf on Imange Analysis.July 12—14，Copenhagcn，1983.

［3］赵树芗.模式识别的模糊数学方法.西安：西北电讯工程学院出版社，1987.

［4］多元统计分析.华东师范大学油印教材.

［5］蔡元龙.模式识别.西安：西北电讯工程学院出版社，1986.

［6］L.Van，Gool，P.Dewaele，and，A.Oosterlinek Texture Analysis Ann0 1983Computer Vision Graphics Image，Processing，1985，29：336－357.

［7］詹慈祥.灰度相关纹理分析法.环境遥感，1987，2（3）：180－192.

［8］R.michael，Hord，Remote Sensing.Metheds and Applications John Wiley＆Sons.Inc，1986：129－139.

［9］Fo1ey，D.The Probability of Error in the Design Set as a Function of the Sample Size and Dimensionality Technical Report，1971.

［10］程民德，沈燮昌.图像识别导论.上海：上海科学技术出版社，1983：11－12.

［11］毛建昌.用纹理分析和综合的多分辨率自回归模型.毕业论文，1986.