基于神經(jīng)網(wǎng)絡(luò)ZISC的模式識(shí)別系統(tǒng)
摘要：首先介紹人工神經(jīng)網(wǎng)絡(luò)ANN實(shí)現(xiàn)技術(shù)的歷史、現(xiàn)狀和發(fā)展，著重分析RBF網(wǎng)絡(luò)的原理及其建立在超大規(guī)模集成電路基礎(chǔ)上的硬件神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法。然后，介紹一種新的硬件神經(jīng)網(wǎng)絡(luò)技術(shù)ZISC的工作原理和應(yīng)用。最后，以ZISC036芯片為例，實(shí)現(xiàn)一個(gè)模式識(shí)別系統(tǒng)。引言
當(dāng)前對(duì)人工神經(jīng)網(wǎng)絡(luò)ANN（Artificial Neutron Network）的研究熱潮源自Hopfield J.[1]和McclellandJ.等人于20世紀(jì)80年代發(fā)表的論文[2],[3]。Hopfield提出了激活函數(shù)為非線(xiàn)性的反饋網(wǎng)絡(luò)，并將其成功地運(yùn)用于組合優(yōu)化問(wèn)題；Mcclelland和Rumelhart用多層前饋網(wǎng)的反向傳播學(xué)習(xí)算法（Back Propagation）成功地解決了感知器不能解決的"異或"問(wèn)題及其它的識(shí)別問(wèn)題。他們的突破打消了此前人們由于簡(jiǎn)單線(xiàn)性神經(jīng)網(wǎng)絡(luò)感知功能的有限而產(chǎn)生的，使ANN成為了新的研究熱點(diǎn)。之后，新的網(wǎng)絡(luò)結(jié)構(gòu)和新的學(xué)習(xí)算法層出不窮，目前常見(jiàn)的都已達(dá)到幾十種。在這些神經(jīng)網(wǎng)絡(luò)中，徑向基函數(shù)RBF（Radial Basic Fuction）網(wǎng)絡(luò)由于具有強(qiáng)大的矢量分類(lèi)功能和快速的計(jì)算能力，在非線(xiàn)性函數(shù)逼近等方面，特別是模式識(shí)別領(lǐng)域，獲得了廣泛的應(yīng)用，從而成為當(dāng)前神經(jīng)網(wǎng)絡(luò)研究中的一個(gè)熱點(diǎn)[4]。
模式識(shí)別是人工智能經(jīng)常遇到的問(wèn)題之一。其主要的應(yīng)用領(lǐng)域包括手寫(xiě)字符識(shí)別、自然語(yǔ)言理解、語(yǔ)音信號(hào)識(shí)別、生物測(cè)量以及圖像識(shí)別等領(lǐng)域。這些領(lǐng)域的共同特點(diǎn)都是通過(guò)對(duì)對(duì)象進(jìn)行特征矢量抽取，再按事先由學(xué)習(xí)樣本建立的有代表性的識(shí)別字典，把特征矢量分別與字典中的標(biāo)準(zhǔn)矢量匹配，根據(jù)不同的距離來(lái)完成對(duì)象的分類(lèi)。以識(shí)別手寫(xiě)數(shù)字為例，字典中有由學(xué)習(xí)樣本建立的10個(gè)標(biāo)準(zhǔn)矢量（代表0～0），把從識(shí)別對(duì)象中抽取的特征矢量分別與這10個(gè)標(biāo)準(zhǔn)矢量匹配，矢量間距離最短的就說(shuō)明別對(duì)象與這個(gè)標(biāo)準(zhǔn)矢量的分類(lèi)最接近，進(jìn)而識(shí)別出其表示的數(shù)字。
模式識(shí)別過(guò)程中，產(chǎn)生一個(gè)具有代表性的、穩(wěn)定且有效的特征矢量分類(lèi)匹配策略，是補(bǔ)償變形、提高識(shí)別率的有效途徑，如何確定分類(lèi)器是識(shí)別系統(tǒng)成功的關(guān)鍵。可以說(shuō)，模式識(shí)別的本質(zhì)就是分類(lèi)，就是把特片空間中一個(gè)特定的點(diǎn)（特征矢量）映射到一個(gè)適當(dāng)?shù)哪Ｊ筋?lèi)別中。傳統(tǒng)的模式識(shí)別分類(lèi)都是基于串行處理的匹配策略：首先由學(xué)習(xí)樣本建立識(shí)別基元（字、詞、音、像素）的標(biāo)準(zhǔn)矢量識(shí)別字典，取取的特征矢量順序與字典中的標(biāo)準(zhǔn)矢量計(jì)算區(qū)別得分；最后根據(jù)概率做出決策，輸出識(shí)別結(jié)果。當(dāng)模式類(lèi)別很大時(shí)，識(shí)別速度會(huì)下降得很快，而近年來(lái)，用RBF網(wǎng)絡(luò)解決這方面的問(wèn)題得到了很好的效果。
理論模型要求發(fā)展神經(jīng)網(wǎng)絡(luò)型計(jì)算機(jī)來(lái)實(shí)現(xiàn)，但迄今 為止，這方面的工作限于條件還主要集中在傳統(tǒng)計(jì)算機(jī)的軟件模擬實(shí)現(xiàn)上。大多數(shù)學(xué)者認(rèn)為，要使人工神經(jīng)網(wǎng)絡(luò)更快、更有效地解決更大規(guī)模的總是，關(guān)鍵在于其超大規(guī)模集成電路（V LSI）硬件的實(shí)現(xiàn)，即把神經(jīng)元和連接制作在一塊芯片上（多為CMOS）構(gòu)成ANN。正是因?yàn)樯鲜龅脑颍渲猩窠?jīng)網(wǎng)絡(luò)的VLSI設(shè)計(jì)方法近年來(lái)發(fā)展很快，硬件實(shí)現(xiàn)已成為ANN的一個(gè)重要分支[5],[6]。
以下介紹IBM的專(zhuān)利硬件RBF神經(jīng)網(wǎng)絡(luò)芯片技術(shù)ZISC(Zero Instruction Set Computer），并給出用ZISC設(shè)計(jì)和實(shí)現(xiàn)的一種模式識(shí)別系統(tǒng)。
1 用VLSI設(shè)計(jì)硬件神經(jīng)網(wǎng)絡(luò)的方法
神經(jīng)網(wǎng)絡(luò)的IC實(shí)現(xiàn)是比較困難的，設(shè)計(jì)者必須把神經(jīng)系統(tǒng)模型的特性反映到受半導(dǎo)體工藝和IC設(shè)計(jì)規(guī)則制約的電路中去。用VLSI設(shè)計(jì)硬件神經(jīng)網(wǎng)絡(luò)的方法主要分為數(shù)字技術(shù)、模擬技術(shù)和數(shù)模混合技術(shù)等，下面分別作簡(jiǎn)要介紹。
（1）用模擬技術(shù)實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)
模擬神經(jīng)芯片通過(guò)單元器件的物理性質(zhì)來(lái)進(jìn)行計(jì)算，因而可以獲得很高的速度。神經(jīng)元的核函數(shù)計(jì)算功能一般由乘法器或運(yùn)算放大器來(lái)完成，而連接權(quán)值大多以電壓形式存儲(chǔ)在電容上或是以電荷形式存儲(chǔ)在浮點(diǎn)門(mén)上。利用模擬神經(jīng)芯片不僅可以制造多層前向感知器那樣的傳統(tǒng)結(jié)構(gòu)，還能從形態(tài)上進(jìn)行如硅視網(wǎng)膜這樣的生物仿真設(shè)計(jì)，從而更有效地模擬生物學(xué)功能。
在解決實(shí)時(shí)感知類(lèi)的問(wèn)題中，模擬神經(jīng)芯片扮演著主要的角色。因?yàn)檫@些問(wèn)題不要求精確的數(shù)學(xué)計(jì)算，而主要是對(duì)大量的信息流進(jìn)行集合和并行處理，這方面低精度的模擬技術(shù)從硅片面積、速度和功耗來(lái)看具有相當(dāng)大的優(yōu)勢(shì)。但是模擬芯片的抗干擾性差，設(shè)計(jì)中需要考慮對(duì)環(huán)境因素變化引起的誤差進(jìn)行補(bǔ)償，非常麻煩；它的另一個(gè)缺點(diǎn)是，制造一個(gè)突觸必須考慮權(quán)值存儲(chǔ)的復(fù)雜性，同時(shí)要求放大器在很寬的范圍內(nèi)呈現(xiàn)線(xiàn)性[5],[6]。
（2）用數(shù)字技術(shù)實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)
用高低電平來(lái)表示不同狀態(tài)的數(shù)字電路是信息工業(yè)中最常用的技術(shù)。數(shù)字神經(jīng)芯片有非常成熟的生產(chǎn)工藝，它的權(quán)值一般存儲(chǔ)在RAM或EPROM等數(shù)字存儲(chǔ)器中，由乘法器和加法器實(shí)現(xiàn)神經(jīng)元并行計(jì)算。對(duì)設(shè)計(jì)者來(lái)說(shuō)，數(shù)字神經(jīng)芯片可以以很高的計(jì)算精度（達(dá)到32位或者更高）實(shí)現(xiàn)神經(jīng)元核函數(shù)。另外，用數(shù)字技術(shù)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)時(shí)，通常可以采用標(biāo)準(zhǔn)單元庫(kù)或可編程門(mén)陣列直接進(jìn)行電路設(shè)計(jì)，這樣可以大大減少設(shè)計(jì)時(shí)間[5],[6]。
數(shù)字神經(jīng)芯片不僅具有容錯(cuò)性好、易于硬件實(shí)現(xiàn)及高精度、高速度的優(yōu)點(diǎn)。更重要的是有很多數(shù)字電路CAD的軟件可以作為設(shè)計(jì)工具使用。但要實(shí)現(xiàn)乘/加運(yùn)算，需要大量的運(yùn)算單元和存儲(chǔ)單元。因而對(duì)芯睡面積和功耗要求很高。為了適應(yīng)大面積的數(shù)字電路的要求，現(xiàn)在很多數(shù)字神經(jīng)芯片都采用了硅片集成技術(shù)(Wafer-Scale Integration)。
（3）用數(shù)模混合技術(shù)實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)
出于上述種種考慮，許多研究人員提出并采用了各種數(shù)模混合神經(jīng)芯片，具有數(shù)字及模擬工藝各息的優(yōu)點(diǎn)而避免各自的缺點(diǎn)，運(yùn)算速率高，芯片面積小，抗噪聲能力強(qiáng)且易于設(shè)計(jì)。典型的數(shù)模混合信號(hào)處理部分則全是模擬的。這種結(jié)構(gòu)很容易與其它的數(shù)字系統(tǒng)接口以完成模塊化設(shè)計(jì)。近年來(lái)在各種數(shù)模混合神經(jīng)芯片設(shè)計(jì)中，利用脈沖技術(shù)的數(shù)模混合神經(jīng)芯片和利用光互連技術(shù)的光電混合神經(jīng)網(wǎng)絡(luò)芯片得到了廣泛的關(guān)系，它們代表神經(jīng)網(wǎng)絡(luò)未來(lái)發(fā)展的方向。
盡管數(shù)模混合神經(jīng)芯片有種種優(yōu)點(diǎn)，但它也存在著一些不足。比如，對(duì)于大多數(shù)數(shù)模混合神經(jīng)芯片來(lái)說(shuō)，訓(xùn)練學(xué)習(xí)算法的實(shí)現(xiàn)往往需要一個(gè)附加的協(xié)處理器，這無(wú)疑會(huì)增加整個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的成本和復(fù)雜性[5],[6]。
2 RBF網(wǎng)絡(luò)原理和它的硬件實(shí)現(xiàn)
RBF網(wǎng)絡(luò)是一種有導(dǎo)師的三層前饋網(wǎng)絡(luò)。它最重要的特點(diǎn)是中間隱層神經(jīng)元的基函數(shù)只對(duì)輸入剩激起局部反應(yīng)，即只有當(dāng)輸入落在輸入空間的 一個(gè)局部區(qū)域時(shí)，基函數(shù)才產(chǎn)生一個(gè)重要的非零響應(yīng)；而在其它情況下基函數(shù)輸出很小（可近似為零）。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。
【基于神經(jīng)網(wǎng)絡(luò)ZISC的模式識(shí)別系統(tǒng)】相關(guān)文章：
徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)芯片ZISC78及其應(yīng)用03-19
基于BP神經(jīng)網(wǎng)絡(luò)的點(diǎn)狀地圖符號(hào)模式識(shí)別03-07
基于USB與DSP的指紋識(shí)別系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)03-19
基于LMBP神經(jīng)網(wǎng)絡(luò)的聲納圖像識(shí)別03-07
基于馬賽克圖形的人機(jī)識(shí)別系統(tǒng)的設(shè)計(jì)與分析03-13
基于粗集的神經(jīng)網(wǎng)絡(luò)的項(xiàng)目風(fēng)險(xiǎn)評(píng)估02-27