手語研究的方向與現狀

時間：2024-07-18 18:55:36 理工畢業論文

手語研究的方向與現狀

摘要：介紹國內外手語研究的主要方向及研究現狀，手語識別的各種方法、手語合成的組成部分、手語網絡通信的實現技術以及手的運動約束問題。

手語是聾啞人使用的語言。它是由手形動作輔之以表情姿勢而構成的比較穩定的表達系統，是一種靠動作/視覺進行交際的特殊語言。

人類交互往往聲情并茂，除了采用自然語言（口語、書面語言）外，人體語言（表情、體勢、手勢）也是人類交互的基本方式之一。與人類交互相比，人機交互就呆板得多，因而研究人體語言理解，即人體語言的感知，及人體語言與自然語言的信息融合對于提高計算機的人類語言理解水平和加強人機接口的可實用性的極有意義的。手語是人體語言的一個非常重要的組成部分，它是包含信息量最多的一種人體語言，它與語言及書面語等自然語言的表達能力相同，因而人機交互方面，手語完全可以作為一種手段，而且具有很強的視覺效果，它生動、形象、直觀。

手語的研究不僅有助于改善和提高聾啞人的生活學習和工作條件，為他們供更好的服務。同時也可以應用于計算機輔助啞語教學、電視節目雙語播放、虛擬人的研究、電影制作中的特技處理、動畫的制作、醫療研究、游戲娛樂等諸多方面。另外，手語的研究涉及到教學、計算機圖形學、機器人運動學、醫學等多學科。因此，手語的研究是一個非常有意義的課題。這里將結合國內外手語研究的相關方向，對手語的識別、手語的合成、手語的網絡通信、手的運動約束這幾方面作一下綜述。

1 手語的識別

手語的識別不但具有深遠的研究意義，而且具有廣闊的實際應用前景，至少表現在以下幾個方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語和正常人交流；（2）從認知科學的角度，研究人的視覺語言理解的機制，提高計算機對人類語言的理解水平；（3）利用手勢控制VR中的智能化；（4）機器人的示范學習；（5）虛擬現實系統中的多模式接口等。

從手語輸入設備來看，手語識別系統主要分為基于數據手套的識別和基于視覺（圖像）的手語識別系統。基于數據手套的手語識別系統，是利用數據手套和位置跟蹤測量手勢在空間運動的軌跡和時序信息。這種方法的優點是系統的識別率高。缺點是打手語的人要穿戴復雜的數據手套和位置跟蹤器，并且輸入設備比較昂貴。利用數據手套等典型傳感設備的方法，臺灣大學的Liang等人利用單個VPL數據手套作為手語輸入設備，可識別臺灣手語課本中的250個基本詞條，識別率為90.5%。CMU的Christopher Lee和Xu在1995年完成了一個操縱機器人的手勢控制系統。Kadous用Power Gloves作為手語輸入設備，識別有95個孤立詞構成的詞匯集，正確率為80%。基于視覺的手勢識別是利用攝像機采集手勢信息，并進行識別。該方法的優點是輸入設備比較便宜，但識別率比較底，實時性較差，特別是很難用于大詞匯量的手語錄的識別。在基于視覺的方法方面，具有代表性的研究成果包括：1991年富士通實驗室完成了對46個手語符號的識別工作。Davis和Shah將戴上指間具有高亮標記的視覺手套的手勢作為系統的輸入，可識別7種手勢。Starner等在對美國手語中帶有詞性的40個詞匯隨機組成短句子識別率達到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術識別262個孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結合用于美國手語識別，交互采用一個位置跟蹤器及三個互相垂直的攝像機作為手勢輸入設備，完成了53個孤立詞的識別，識別率為89.9%。

從識別技術來看，以往手語識別系統主要采用基于人工神經網絡（ANN）及基于隱Markov模型（HMM）等方法。神經網絡方法具有分類特性及抗干擾性，然而由于其處理時間序列的能力不強，目前廣泛用于靜態手勢的識別。著名的Fels的GloveTalk系統采用神經網絡方法作為識別技術。對于分析區間內的手語信號，通常采取HMM方法進行模型化。HMM是眾周知并廣泛使用的統計方法，一般拓撲結構下的HMM具有非常強的描述手語信號的時空變化能力，在動態手勢識別領域一直占有主導地址，如卡內基·梅隆大學的美國手語識別系統及臺灣大學的臺灣手語識別系統等均采用HMM作為系統的識別技術。另外，Grobel與Assam利用HMM識別由戴有色手套的用戶通過攝像機輸入的262個孤立手語詞，正確率為91.3%。然而正是由于HMM拓撲結構的一般性，導致這種模型在分析手語信號時過于復雜，使得HMM訓練和識別計算量過大。尤其是在連續的HMM中，由于需要計算大量的狀態概率密度，需要估計的參數個數較多，使得訓練及識別的速度相對較慢。因而以往手語識別系統所采用的HMM一般為離散HMM。

在我國，哈爾濱工業大學的吳江琴、高文等給出了ANN與HMM的混合方法作為手語的訓練識別方法，以增加識別方法的分類特性和減少模型的估計參數的個數。將ANN-HMM混合方法應用于有18個傳感器的CyberGlove型號數據手套的中國手語識別系統中，孤立詞識別率為90%，簡單語句級識別率為92%。接下來高文等又選取Cyberglove型號數據手套作為手語輸入設備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統的識別技術，即利用一個隨時間變化的具有M個分量的混合GaussianN-元混合密度來模型化手語信號，可識別中國手語字典中274個詞條，識別率為98.2%。與基于HMM的識別系統比較，這種模型的識別精度與HMM模型的識別精度相當，其訓練和識別速度比HMM的訓練與識別速度有明顯的改善。他們為了進一步提高識別速度，識別模塊中選取了多層識別器，可識別中國手語字典中的274個詞條，識別率為97.4%。與基于單個DGMM的識別系統比較，這種模型的識別精度與單個DGMM模型的識別精度基本相同，但其識別速度比單個DGMM的識別速度有明顯的提高。2000年在國際上他們首次實現了5000詞以上的連續中國手語識別系統。另外，清華大學祝遠新、徐光等給出了一種基于視覺的動態孤立手勢識別技術，借助于圖像運動的變階參數模型和魯棒回歸分析，提出一種基于運動分割的圖像運動估計方法。基于圖像運動參數，構造了兩種表現變化模型分別作為手勢的表現特征，利用最大最小優化算法來創建手勢參考模板，并利用基于模板的分類技術進行識別。對12種手勢的識別率超過90%。在進一步研究中，他們又給出了有關連續動態手勢的識別，融合手勢運動信息和皮膚顏色信息，進行復雜背景下的手勢分割；通過結合手勢的時序信息、運動表現及形狀表現，提出動態手勢的時空表現模型，并提出基于顏色、運行以及形狀等多模式信息的分層融合策略抽取時空表觀模型的參數。最后，提出動態時空規整算法用于手勢識別。對12種手勢，平均識別率高達97%。

盡管已經實現了一些手語識別系統，但中國手語識別仍然面臨許多挑占性課題，如手勢不變特征的提取、手勢之間的過度模型、手語識別的最小識別基于、自動分割識別基元、詞匯量可擴展的

手語研究的方向與現狀

【手語研究的方向與現狀】相關文章：

鋼渣作混凝土集料的研究現狀及發展方向12-04