基于全局注意力機(jī)制的漢語(yǔ)手語(yǔ)詞翻譯

　　摘 要 針對(duì)使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的模型在手語(yǔ)翻譯任務(wù)中難以關(guān)注到手語(yǔ)視頻序列中關(guān)鍵幀的問(wèn)題，提出了一種結(jié)合全局注意力機(jī)制的手語(yǔ)翻譯模型.該模型在長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中嵌入全局注意力機(jī)制，通過(guò)計(jì)算當(dāng)前隱藏狀態(tài)和源隱藏狀態(tài)之間的相似度并得出對(duì)齊向量，讓模型學(xué)習(xí)對(duì)齊權(quán)重，使模型關(guān)注到長(zhǎng)手語(yǔ)視頻序列中的關(guān)鍵幀，從而提升模型翻譯的準(zhǔn)確率 . 實(shí)驗(yàn)結(jié)果表明：加入全局注意力機(jī)制的模型在DEVISIGN_D數(shù)據(jù)集上的準(zhǔn)確率優(yōu)于3DCNN、CNN+LSTM等主流模型，并且在100分類(lèi)的短手語(yǔ)詞和長(zhǎng)手語(yǔ)詞數(shù)據(jù)集上，分別與未使用注意力機(jī)制的模型進(jìn)行了對(duì)比，其準(zhǔn)確率提升 0.87%和 1.60%，證明該注意力機(jī)制可以有效地提升模型翻譯的準(zhǔn)確率.

　　關(guān)鍵詞 手語(yǔ)翻譯;全局注意力機(jī)制;長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

　　據(jù)統(tǒng)計(jì)，截止到 2020 年我國(guó)聽(tīng)力殘疾人數(shù)約2780 萬(wàn)人，占全國(guó)殘疾人總數(shù)的 30% 以上 . 而聾啞人之間的相互交流以及其同非聾啞人的相互交流主要依靠手語(yǔ)進(jìn)行 .因此高精度的手語(yǔ)翻譯算法對(duì)于解決聾啞人的交流問(wèn)題有著重大意義 .手語(yǔ)又可以細(xì)分為手指語(yǔ)和手勢(shì)語(yǔ)，其中前者用手指的指示變化代表字母數(shù)字，通過(guò)字母拼寫(xiě)出詞，常常作為聾啞人教育的交流工具;而后者則以手部動(dòng)作結(jié)合上肢動(dòng)作進(jìn)行表達(dá)，平時(shí)所說(shuō)的手語(yǔ)大多指手勢(shì)語(yǔ)，手勢(shì)語(yǔ)也是聾啞人溝通的主要方式 .

　　本文的研究重點(diǎn)主要放在手勢(shì)語(yǔ)的孤立詞翻譯.在手勢(shì)語(yǔ)翻譯的早期研究中，研究人員大多采用人工設(shè)置特征輔以分類(lèi)器的傳統(tǒng)方法，如 ZHOU等[1]提出了一種基于全局模板的動(dòng)態(tài)時(shí)間規(guī)整算法，該算法通過(guò)統(tǒng)計(jì)方法，將定義的手勢(shì)樣本離散化形成全局模板，并在180個(gè)手勢(shì)識(shí)別上取得了95.6%的準(zhǔn)確率 .ZHANG 等[2]提出了一種自適應(yīng)的隱馬爾可夫模型，該模型從形狀上下文的軌跡特征中獲取時(shí)空特征，通過(guò)融合軌跡和手形概率的組合方法進(jìn)行漢語(yǔ)手語(yǔ)識(shí)別，并在自建數(shù)據(jù)集上獲得了86%的準(zhǔn)確率 .

　　YE等[3]將隱馬爾科夫模型與支持向量機(jī)結(jié)合構(gòu)建了一個(gè)多層體系結(jié)構(gòu)的分類(lèi)器，并根據(jù)結(jié)果動(dòng)態(tài)更新易混淆集來(lái)優(yōu)化，取得了89.4%的準(zhǔn)確率.雖然傳統(tǒng)的手語(yǔ)翻譯方法取得了一定成果，但其翻譯的準(zhǔn)確率依賴(lài)于人工設(shè)置特征的有效性 .漢語(yǔ)手語(yǔ)詞種類(lèi)較多，且部分手語(yǔ)詞手勢(shì)動(dòng)作較為復(fù)雜，給人工設(shè)置特征造成了一定困難，同時(shí)人工設(shè)置特征是一個(gè)非常耗時(shí)的工作，這也導(dǎo)致了傳統(tǒng)的手語(yǔ)翻譯方法很難拓展到更大的手語(yǔ)數(shù)據(jù)集上.近年來(lái)隨著計(jì)算機(jī)算力的提升和基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)的發(fā)展，在手語(yǔ)翻譯領(lǐng)域越來(lái)越多的學(xué)者開(kāi)始進(jìn)行基于深度學(xué)習(xí)的手語(yǔ)翻譯方法研究 .KOLLER 等[4]提出的混合卷積神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別能力和隱馬爾可夫模型的序列建模能力，在 PHOENIX-2014數(shù)據(jù)集上取得了較好的結(jié)果.

　　HUANG等[5]提出了一種新的三維卷積神經(jīng)網(wǎng)絡(luò)，它可以自動(dòng)從原始視頻流中提取出具有鑒別性的時(shí)空特征，從而避免特征設(shè)計(jì) . 作者通過(guò)使用多通道視頻流作為輸入，整合顏色、深度、軌跡信息，并在微軟 Kinect 收集的數(shù)據(jù)集上驗(yàn)證了該方法的有效性.YANG等[6]將卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合，構(gòu)建了一個(gè)可用于連續(xù)手語(yǔ)翻譯的模型，其借助卷積神經(jīng)網(wǎng)絡(luò)將手語(yǔ)視頻中抓取的圖像信息轉(zhuǎn)換為矢量，然后使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)完成序列學(xué)習(xí)任務(wù)，并在自建數(shù)據(jù)集上取得了較高的準(zhǔn)確率 .2014 年注意力機(jī)制[7]在自然語(yǔ)言處理領(lǐng)域被提出之后便成為國(guó)內(nèi)外學(xué)者的研究熱點(diǎn)，也有部分學(xué)者將注意力機(jī)制應(yīng)用到手語(yǔ)翻譯的研究中 .

　　如 ZHOU 等[8]使用自注意力網(wǎng)絡(luò)作為全局特征提取器結(jié)合CTC(連接時(shí)序分類(lèi))進(jìn)行手語(yǔ)翻譯 ，并 在 RWTH-PHOENIX-Weather 2014 取 得 了31.3% 的詞錯(cuò)率 .SLIMANE 等[9]提出了一種用于連續(xù)手語(yǔ)的注意力網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)注意力機(jī)制將手部特征與時(shí)空上下文進(jìn)行聚合以更好地識(shí)別，并在RWTH-PHOENIX-Weather 2014 數(shù)據(jù)集上驗(yàn)證了該方法的有效性.為進(jìn)一步提升手語(yǔ)詞翻譯的準(zhǔn)確率，并克服上述方法由于手語(yǔ)動(dòng)作視頻較長(zhǎng)導(dǎo)致模型不能有效地關(guān)注到復(fù)雜手語(yǔ)詞動(dòng)作的上下文信息的問(wèn)題，本文在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)合長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的翻譯模型中添加了一個(gè)全局注意力機(jī)制以解決上述問(wèn)題，并與其他算法的翻譯準(zhǔn)確率進(jìn)行了比較.

　　1 基于注意力機(jī)制的手語(yǔ)翻譯方法

　　1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)以 RGB 手語(yǔ)視頻作為輸入的手語(yǔ)翻譯任務(wù)可以轉(zhuǎn)換為一個(gè)視頻多分類(lèi)任務(wù) .在漢語(yǔ)手語(yǔ)詞的翻譯中需要關(guān)注時(shí)間特征與空間特征，將視頻中手語(yǔ)動(dòng)作的時(shí)空特征結(jié)合才能提取出手語(yǔ)動(dòng)作的語(yǔ)義 .故對(duì)于手語(yǔ)視頻需先將其逐幀分割成圖像，通過(guò)對(duì)圖像的卷積操作來(lái)提取單幀圖像的空間特征，按照視頻中的時(shí)間順序?qū)⑺�提取的單幀圖像的空間特征組成特征序列之后，再提取特征序列的時(shí)間特征，由此通過(guò)時(shí)空特征信息對(duì)手語(yǔ)視頻進(jìn)行翻譯.手語(yǔ)翻譯的模型由用于提取空間特征的卷積神經(jīng)網(wǎng)絡(luò)、用于提取時(shí)間特征的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、用于幫助模型關(guān)注序列中關(guān)鍵部分的全局注意力機(jī) 制 組 成 ，其 中 對(duì) 于 卷 積 神 經(jīng) 網(wǎng) 絡(luò) 本 文 選 用ResNet34. 數(shù)據(jù)經(jīng)預(yù)處理之后輸入到模型中，由ResNet34對(duì)單幀手語(yǔ)圖像特征進(jìn)行提取，并以固定的幀數(shù)將所提取出的空間特征組成特征序列，經(jīng)由一個(gè)線性層送入LSTM中對(duì)空間特征序列的時(shí)間特征進(jìn)行提取，然后將時(shí)空特征送入注意力層 . 注意力層中所使用的全局注意力機(jī)制可以通過(guò)一個(gè)可訓(xùn)練的參數(shù)來(lái)計(jì)算對(duì)齊向量，最終得出上下文向量(1.4節(jié))，由此可以使模型關(guān)注到手語(yǔ)視頻中的關(guān)鍵幀.最后通過(guò)softmax層進(jìn)行分類(lèi)輸出.

　　1.2 基于ResNet的空間特征提取若要完成手語(yǔ)詞的高精度翻譯，則需對(duì)于單幀圖像中手語(yǔ)動(dòng)作的空間特征提取盡可能得充分，從而保證能夠完整地獲取到手勢(shì)特征 .為滿(mǎn)足這點(diǎn)需求，用于提取空間特征的網(wǎng)絡(luò)層數(shù)勢(shì)必會(huì)增加，而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)如 VGG[10]和 GoogleNet[11]隨著層數(shù)的增加有可能出現(xiàn)過(guò)擬合、梯度消失和梯度爆炸等問(wèn)題;另一方面隨著網(wǎng)絡(luò)層數(shù)的加深，計(jì)算資源消耗也會(huì)大量增加 . 而 HE 等[12]提出的深度殘差網(wǎng)絡(luò)可以有效地避免以上問(wèn)題，ResNet由殘差塊堆疊而成，核心思想就是通過(guò)跳轉(zhuǎn)連接的方式來(lái)解決隨著層數(shù)加深網(wǎng)絡(luò)退化的問(wèn)題，其中殘差塊結(jié)構(gòu)如圖 2 所示 . 其中 x 為輸入，F(xiàn) ( x) 為映射函數(shù)，期望的最終映射輸出H ( x) = F ( x) + x，其結(jié)果就是映射函數(shù)與輸入之和 . 若 F ( x) = 0，則構(gòu)成了一個(gè)恒等映射 .該方法可以有效地解決深度網(wǎng)絡(luò)的梯度消失或爆炸等問(wèn)題.

　　1.3 基于LSTM的時(shí)序特征

　　提取對(duì)于 ResNet34所提取的空間特征序列，需要提取時(shí)序特征從而獲取手語(yǔ)視頻動(dòng)作的時(shí)空特征，再進(jìn)行翻譯，而循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以很好地處理時(shí)序信息，其中長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)[13]在RNN結(jié)構(gòu)的網(wǎng)絡(luò)中表現(xiàn)較為優(yōu)秀[14]，尤其是其能夠?qū)W習(xí)長(zhǎng)期的依賴(lài)關(guān)系，用于處理手語(yǔ)翻譯這類(lèi)在前后時(shí)序關(guān)系上存在依賴(lài)的問(wèn)題尤為合適。

　　1.4 基于全局注意力機(jī)制的計(jì)算網(wǎng)絡(luò)本文為解決ResNet-LSTM模型在處理長(zhǎng)手語(yǔ)視頻時(shí)由于特征序列較長(zhǎng)從而導(dǎo)致手語(yǔ)翻譯的準(zhǔn)確率下降的問(wèn)題，在模型中嵌入了一種全局注意力機(jī)制[15]，如圖5中虛線所框，注意力模塊幫助模型關(guān)注到特征序列中對(duì)于翻譯結(jié)果更為有用的部分，提升模型的翻譯準(zhǔn)確率.

　　2 實(shí)驗(yàn)分析

　　2.1 數(shù)據(jù)集與數(shù)據(jù)

　　預(yù)處理本實(shí)驗(yàn)采用的數(shù)據(jù)集為中國(guó)科學(xué)技術(shù)大學(xué)所采集的DEVISIGN_D數(shù)據(jù)集[16].該數(shù)據(jù)集是DEVISIGN數(shù)據(jù)集的子集，包含了500個(gè)漢語(yǔ)手語(yǔ)的常用詞，其中每個(gè)詞語(yǔ)由RGB視頻和深度骨架信息構(gòu)成.數(shù)據(jù)集由8名不同的手語(yǔ)表演者演示.對(duì)于其中4名表演者每個(gè)手語(yǔ)詞匯錄制兩遍，另外 4 名表演者每個(gè)手語(yǔ)詞匯錄制一遍，總共6000組數(shù)據(jù).首先將手語(yǔ)視頻數(shù)據(jù)逐幀分割成圖像，通過(guò)觀察分割成幀后的圖像可知其中包含部分無(wú)關(guān)的背景信息，而數(shù)據(jù)集中手語(yǔ)表演者均處在中間位置，故對(duì)圖片進(jìn)行粗略裁剪，僅保留圖像中間包含手語(yǔ)表演者的矩形部分.

　　通過(guò)觀察裁剪后的圖像發(fā)現(xiàn)存在大量的無(wú)用幀，即手語(yǔ)表演者開(kāi)始錄制視頻時(shí)的靜止畫(huà)面和抬手動(dòng)作.此類(lèi)無(wú)用幀對(duì)于整個(gè)手語(yǔ)序列無(wú)任何實(shí)際意義，而且大量的無(wú)用幀也會(huì)影響模型的訓(xùn)練速度.對(duì)于此類(lèi)無(wú)用幀的剔除，本實(shí)驗(yàn)選取每個(gè)手語(yǔ)視頻分割后的第一幀圖像作為基準(zhǔn)圖像，用其余圖像與基準(zhǔn)圖像計(jì)算兩張圖像的余弦相似度，若大于某閾值則剔除 .在確定閾值時(shí)根據(jù)經(jīng)驗(yàn)選定閾值范圍，并通過(guò)多組實(shí)驗(yàn)確定閾值設(shè)定為 0.997 時(shí)效果最好 . 對(duì)于剔除無(wú)用幀之后的 6000 組圖像采用翻轉(zhuǎn)、旋轉(zhuǎn)的方法增強(qiáng)數(shù)據(jù)集，使數(shù)據(jù)集擴(kuò)大到原來(lái)的4倍.

　　2.2 實(shí)驗(yàn)配置與訓(xùn)練

　　實(shí)驗(yàn)中使用Pytorch 1.8框架實(shí)現(xiàn)本文所提出的模型，并進(jìn)行訓(xùn)練和測(cè)試.操作系統(tǒng)為Ubuntu18.04，GPU為NVIDIARTX 3090，處理器為Intel(R)Xeon(R)Glod 5218 R，內(nèi)存為64 G.由于本文研究的是漢語(yǔ)連續(xù)手語(yǔ)詞的翻譯，故使用連續(xù)視頻幀作為輸入，設(shè)置連續(xù)的16幀圖像為一個(gè)輸入序列 . 為減少訓(xùn)練時(shí)間，實(shí)驗(yàn)中加載了Pytorch提供的ResNet34預(yù)訓(xùn)練模型。

　　2.3 實(shí)驗(yàn)結(jié)果分析

　　本文提出的在 LSTM 中嵌入全局注意力機(jī)制的模型與其他手語(yǔ)翻譯模型在DEVISIGN_D數(shù)據(jù)集上準(zhǔn)確率的對(duì)比.本文模型的準(zhǔn)確率高于其他模型 .對(duì)于 HMM-DTW 這樣使用傳統(tǒng)方法的模型，由于缺乏深度學(xué)習(xí)方法的特征提取能力，受限于人工特征設(shè)置，導(dǎo)致該模型在使用了RGB 視頻和深度骨架信息兩種數(shù)據(jù)作為輸入的情況下準(zhǔn)確率雖優(yōu)于DNN，但仍低于大多數(shù)深度學(xué)習(xí)模型 .3DCNN 模型在傳統(tǒng) 2DCNN 基礎(chǔ)上增加了一個(gè)維度，可以用于處理時(shí)間維度 . 但其對(duì)時(shí)間維度的處理依賴(lài)于連續(xù)圖像的卷積計(jì)算，所以也沒(méi)有取得較好的結(jié)果 .CNN 與 LSTM 相結(jié)合的模型使用CNN 提取圖像特征、LSTM 提取時(shí)序特征達(dá)到手語(yǔ)視頻翻譯的目的.由于傳統(tǒng)CNN隨著網(wǎng)絡(luò)層數(shù)的加深會(huì)出現(xiàn)退化，導(dǎo)致 CNN 對(duì)圖像特征的提取有限 .通過(guò)將 CNN 換成 ResNet34 可以解決網(wǎng)絡(luò)退化的問(wèn)題，并加深網(wǎng)絡(luò)深度進(jìn)一步提取圖像特征.

　　本文所提出的基于全局注意力機(jī)制模型準(zhǔn)確率較 ResNet34+LSTM 提升 1.91% 達(dá)到 86.24%. 通過(guò)分析，本文模型在空間特征提取方面采用 ResNet34加深網(wǎng)絡(luò)層數(shù)，能更好地提取空間特征信息 . 在時(shí)序特征提取時(shí)加入了全局注意力機(jī)制，使模型可以關(guān)注到整個(gè)手語(yǔ)動(dòng)作序列中對(duì)翻譯出手語(yǔ)語(yǔ)義更為重要的部分，從而獲得了更高的準(zhǔn)確率.

　　2.4 注意力機(jī)制分析

　　為進(jìn)一步研究在模型中嵌入的全局注意力機(jī)制對(duì)模型的影響，證明其對(duì)長(zhǎng)手語(yǔ)視頻翻譯的有效性，本文從DEVISIGN_D中劃分出了兩個(gè)子集：一個(gè)子集為視頻長(zhǎng)度較短的 100 類(lèi)手語(yǔ)視頻，稱(chēng)其為DEVISIGN_DS;另一個(gè)為視頻長(zhǎng)度較長(zhǎng)的 100 類(lèi)手語(yǔ)視頻，稱(chēng)其為DEVISIGN_DL.

　　使用這兩個(gè)100分類(lèi)的數(shù)據(jù)集和DEVISIGN_D，分別在添加注意力機(jī)制和未添加注意力機(jī)制的情況下對(duì)模型進(jìn)行訓(xùn)練，并且兩者參數(shù)設(shè)置相同。結(jié)果表明：添加了注意力機(jī)制的模型在 3 個(gè)數(shù)據(jù)集中的準(zhǔn)確率均高于未添加注意力機(jī)制的模型 .通過(guò)對(duì)比模型添加注意力機(jī)制前后在 DEVISIGN_DS 和 DEVISIGN_DL 上的準(zhǔn)確率，可知模型對(duì)長(zhǎng)序列手語(yǔ)視頻翻譯準(zhǔn)確率的提升更大，證明了該注意力機(jī)制可以有效地關(guān)注到長(zhǎng)手語(yǔ)視頻序列中的關(guān)鍵幀，同時(shí)也證明了該注意力機(jī)制添加到模型中的有效性.

　　3 結(jié)論

　　為使手語(yǔ)翻譯模型更好地關(guān)注到手語(yǔ)序列中的關(guān)鍵部分，本文在 ResNet 和 LSTM 組合的模型中嵌入全局注意力機(jī)制，對(duì)手語(yǔ)詞進(jìn)行翻譯 . 該模型首先通過(guò)殘差網(wǎng)絡(luò)來(lái)提取單幀手語(yǔ)圖像的空間特征;然后將多個(gè)連續(xù)幀的空間特征組成特征序列輸入到長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)提取時(shí)序特征;最后通過(guò)模型中所嵌入的全局注意力機(jī)制計(jì)算出序列中哪些部分對(duì)手語(yǔ)視頻翻譯的影響更大，進(jìn)而達(dá)到使模型能自己關(guān)注手語(yǔ)視頻中關(guān)鍵幀的目的 . 結(jié)果表明：加入注意力機(jī)制的模型對(duì)比未加入注意力機(jī)制的模型翻譯準(zhǔn)確率有所提升，加入注意力機(jī)制之后的模型優(yōu)于其他模型 .在下一步工作中將嘗試將此方法由手語(yǔ)詞的翻譯擴(kuò)展到手語(yǔ)句的翻譯，并優(yōu)化注意力機(jī)制帶來(lái)的計(jì)算開(kāi)銷(xiāo).

　　參 考 文 獻(xiàn)：

　　[1] ZHOU Z，DAI Y，LI W. Gesture recognition based onglobal template DTW for Chinese sign language[J].Journal of Intelligent & Fuzzy Systems，2018，35(2)：1969-1978.

　　[2] ZHANG J，ZHOU W，XIE C，et al. Chinese signlanguage recognition with adaptive HMM[C]//IEEE.2016 IEEE International Conference on Multimedia andExpo. Seattle：IEEE，2016：1-6.

　　[3] YE J，YAO H，JIANG F. Based on HMM and SVMmultilayer architecture classifier for Chinese signlanguage recognition with large vocabulary[C]//IEEE.3rd International Conference on Image and Graphics.Hong Kong：IEEE，2004：377-380.

　　[4] KOLLER O，ZARGARAN S，NEY H，et al. Deep sign：Enabling robust statistical continuous sign languagerecognition via hybrid CNN-HMMs[J]. InternationalJournal of Computer Vision，2018，126(12)：1311-1325.

　　[5] HUANG J，ZHOU W，LI H，et al. Sign languagerecognition using 3d convolutional neural networks[C]//IEEE. 2015 IEEE International Conference onMultimedia and Expo. Turin：IEEE，2015：1-6.

　　[6] YANG S，ZHU Q. Continuous Chinese sign languagerecognition with CNN-LSTM [C]//IACSIT. 9th International Conference on Digital Image Processing.International Society for Optics and Photonics. HongKong：IACSIT，2017，10420：104200F.

　　選自期刊《中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版)》第 41 卷第 4 期

　　作者信息：朱連淼，楊波*，郭佳君，陳曉燚(中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，武漢 430074)

轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/30406.html