摘要：在分析傳統(tǒng)方法的基礎(chǔ)上，將GA與神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種特征變換的新方法，二者優(yōu)勢互補(bǔ)，通過與傳統(tǒng)的特征選擇方法比較，用實(shí)例驗(yàn)證了該方法的正確性和可信性。

關(guān)鍵詞：GA 神經(jīng)網(wǎng)絡(luò) 特征選擇 特征變換

在機(jī)器學(xué)習(xí)和KDD領(lǐng)域，事物的屬性和屬性取值反映了事物的本質(zhì)和度量，為了描述一致，統(tǒng)稱為模式特征。在傳統(tǒng)文獻(xiàn)中，模式特征一般分為物理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征[1-2]。

物理特征和結(jié)構(gòu)特征容易被人類感官所接受，便于直接識別對象。在人工智能領(lǐng)域，物理特征和結(jié)構(gòu)特征以數(shù)學(xué)特征的形式表現(xiàn)出來，特征提取主要指特征數(shù)據(jù)的處理方法和過程。廣義上的特征提取按屬性數(shù)據(jù)的處理方式分為特征直接提 取和間接提取，又稱為特征選擇和特征變換。

（1）直接提�。ㄌ卣鬟x擇）：設(shè)原始特征集合為Un={A1,A2…，An}，直接提取即從Un中挑選出有利于分類的特征子集：Tc:Un→Ud

其中,d<n,Ud→Un，特征空間的維數(shù)得到了壓縮。

（2）間接提�。ㄌ卣髯儞Q）：通過映射或變換的方法，把高維空間Un的高維特征轉(zhuǎn)化為低維空間Ud的低維特征：Tc:Un→Ud

其中，d≤n，在特征空間變換過程中，特征維數(shù)得到了壓縮，但是壓縮的前提是保證樣本的分類性質(zhì)保持不變。Te可以采用線性或者非線性變換模型。

特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個(gè)特征比較法等啟發(fā)式方法[3]。在實(shí)際運(yùn)算時(shí)，啟發(fā)式算法無論采用深度優(yōu)先或者廣度優(yōu)先，過程控制都非常復(fù)雜，且對噪音的處理非常不方便。從本質(zhì)上講，任何啟發(fā)式算法都是一種局部尋優(yōu)方法，所獲得的解通常不是最優(yōu)解，同時(shí)難于發(fā)現(xiàn)多個(gè)最優(yōu)解或滿意解[4-5]。另外，啟發(fā)式算法的求解結(jié)果對噪音比較敏感，影響了特征子集的魯棒性和適應(yīng)性。

在概念學(xué)習(xí)或者更為廣泛的模式識別領(lǐng)域，特征提取是一個(gè)非常復(fù)雜的問題，所表示的模型求解基本上是NP類問題[6-7]，一般需要綜合考慮分類錯(cuò)誤、特征簡單性和計(jì)算時(shí)間資源等因素。

傳統(tǒng)的特征提取方法通常采用線性變換，使得判別準(zhǔn)則函數(shù)最大或者最�。睾瘮�(shù)和類內(nèi)類間距離函數(shù)是經(jīng)常采用的兩個(gè)準(zhǔn)則函數(shù)，[1]），即

Y=A*X

其中，A*為d×n維的變換矩陣，將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統(tǒng)特征提取的統(tǒng)計(jì)與代數(shù)方法。在這兩種方法中存在著強(qiáng)烈的統(tǒng)計(jì)假設(shè)和矩陣非奇異假設(shè)，而在實(shí)際環(huán)境中，這些要求很難得到滿足。對于大規(guī)模的實(shí)際問題，通常采用專家干預(yù)的方法進(jìn)行調(diào)整，使得計(jì)算過程變得非常繁瑣，導(dǎo)致這兩類方法的實(shí)用性受到很大的限制。尤其是面對非線性可分的樣本空間時(shí)，傳統(tǒng)的統(tǒng)計(jì)與代數(shù)方法顯得更加無能為力，難以實(shí)現(xiàn)分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法，例如基于K-L展開式的KLT方法[1]、神經(jīng)網(wǎng)絡(luò)方法[8]、小波分析[9]等。KLT是最小均方誤差準(zhǔn)則下的最佳K-L變換方法，不受樣本分布性質(zhì)的限制，但是不存在快速算法，計(jì)算是是維數(shù)的指數(shù)函數(shù)，當(dāng)維數(shù)比較高時(shí)，計(jì)算量難以承受。在實(shí)際中經(jīng)常采用傅立葉變換（DFT）或者離散沃爾什變換（DWT）等代替。這些變換均存在相應(yīng)的快速算法，但僅能得到次優(yōu)的結(jié)果。小波分析與KLT方法具有相同的特點(diǎn)，也存在類似的問題。

模式分類是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用領(lǐng)域，在輸入存在或數(shù)據(jù)不完整的情況下，神經(jīng)網(wǎng)絡(luò)也具有良好的分類能力[10-12]，特別是三層以上結(jié)構(gòu)的多層感知器系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型可以靈活地處理非線性可分問題。但是神經(jīng)網(wǎng)絡(luò)模型的求解算法不僅效率低，而且容易陷入局部極值點(diǎn)�；诖耍疚膶⑸窠�(jīng)網(wǎng)絡(luò)的表示能力與GA的全局求解能力結(jié)合，用于非線性特征提取問題。

1 基于GA和神經(jīng)網(wǎng)絡(luò)的非線性特征變換算法

1.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置

根據(jù)神經(jīng)網(wǎng)絡(luò)理論，三層感知器可以形成任意復(fù)雜的決策區(qū)域[8,11]，對于特征提取來講，將第三層作為特征輸出層，并要求輸出二進(jìn)制類型數(shù)據(jù)作為特征數(shù)據(jù)。網(wǎng)絡(luò)模型為：隱層節(jié)點(diǎn)的激勵(lì)函數(shù)選擇連續(xù)型Sigmoid函作為新的特征向量。

1.2 GA方案安排

把GA應(yīng)用于實(shí)際問題時(shí)，首先需要解決編碼和適應(yīng)度函數(shù)的設(shè)計(jì)，然后是三個(gè)進(jìn)化算子（選擇、交叉和變異算子）的設(shè)計(jì)，當(dāng)然還有初始條件和收斂條件的設(shè)置，運(yùn)行GA以求得