融合自適應(yīng)常識門的圖像描述生成模型

　　摘要:針對傳統(tǒng)的圖像描述模型不能充分利用圖像信息且融合特征方式單一的問題，提出了一種融合自適應(yīng)常識門的圖像描述生成模型。首先，使用VCR-CNN提取視覺常識特征，并將常識特征分層輸入到Transformer編碼器中;然后，在編碼器每一分層中設(shè)計(jì)了自適應(yīng)常識門，對視覺常識特征和編碼特征進(jìn)行自適應(yīng)融合操作;最后，將融合常識信息的編碼特征送入Transformer解碼器中完成訓(xùn)練。通過MSCOCO數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，在指標(biāo)BLEU-4、CIDEr、SPICE分別為39.2、129.6和22.7，相較于POS-SCAN模型分別提升了3.1%、2.9%和2.2%。實(shí)驗(yàn)結(jié)果表明，所提出的模型效果明顯優(yōu)于使用單一顯著區(qū)域特征的Transformer模型，能夠?qū)�圖像內(nèi)容進(jìn)行準(zhǔn)確的描述。

　　關(guān)鍵詞:圖像描述;自然語言處理;卷積神經(jīng)網(wǎng)絡(luò);視覺常識;自適應(yīng)常識門

　　0引言

　　圖像描述生成是一個(gè)融合了計(jì)算機(jī)視覺和自然語言處理的跨模態(tài)任務(wù)，它是圖像處理的高級層次。從傳統(tǒng)基于檢索、模板的方法到后來基于編碼器-解碼器的深度學(xué)習(xí)方法[1-2]，使圖像描述生成任務(wù)從只能生成單一形式的語句發(fā)展到現(xiàn)在可以生成精度更高、描述更加準(zhǔn)確的語句。在常規(guī)的編解碼框架中，使用了卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork，CNN)[3]作為編碼器將圖像編碼為相應(yīng)特征，使用長短期記憶(LongShort-TermMemory，LSTM)網(wǎng)絡(luò)作為解碼器將圖像特征解碼為對應(yīng)描述句子。

　　2017年，Vaswani等[4]提出了一種完全依賴于注意力機(jī)制的Transformer結(jié)構(gòu)，可以對圖像特征進(jìn)行關(guān)系建模，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks,RNN)存在的時(shí)間依賴問題。隨后，基于Transformer結(jié)構(gòu)的各種變體[5],[6]在圖像描述模型中應(yīng)運(yùn)而生。2018年Anderson等[7]首次采用FasterR-CNN(FasterRegion-basedConvolutionalNeuralNetwork)[8]作為編碼器，提取圖像的顯著區(qū)域特征并應(yīng)用在圖像描述生成模型中，一經(jīng)問世便取得了極其優(yōu)秀的表現(xiàn)。

　　2019年，Herdade等[9]在Transformer結(jié)構(gòu)之上，通過幾何注意合并對象事物之間的空間關(guān)系信息，證明了模型空間意識的重要性。以上的圖像描述生成模型雖然能產(chǎn)生描述圖像語義內(nèi)容的句子，但無法確切描述圖像事物的因果關(guān)系，存在潛在的視覺注意不合理問題。2020年，Wang等[10]提出了一種新的無監(jiān)督特征表示學(xué)習(xí)方法，設(shè)計(jì)了VCR-CNN(VisualCommonsenseRegion-basedConvolutionalNeuralNetwork)，該網(wǎng)絡(luò)通過因果關(guān)系訓(xùn)練得到視覺常識特征，可以捕捉圖像中上下文之間的潛在關(guān)系，在圖像描述生成模型上取得了很好的表現(xiàn)。

　　現(xiàn)在的圖像描述生成模型在使用多個(gè)特征進(jìn)行融合處理時(shí)，會出現(xiàn)特征信息利用不充分且融合方式單一的問題，存在一定的局限性。文獻(xiàn)[10]從圖像中提取視覺常識特征，但只是單一拼接到顯著區(qū)域特征上訓(xùn)練，并未充分利用視覺常識性信息。文獻(xiàn)[11]使用了VGG(VisualGeometryGroup)19和ResNet(ResidualNetwork)作為特征提取網(wǎng)絡(luò),整體融合方式也只是單一拼接，沒有重點(diǎn)融合其中的關(guān)鍵信息，導(dǎo)致生成語句存在重要內(nèi)容缺失問題。

　　本文提出了基于Transformer結(jié)構(gòu)的圖像描述生成模型，引入了一種全新的自適應(yīng)常識門機(jī)制。為了提高對圖像深層關(guān)系的感知和表征性，提取視覺常識特征分層輸入到Transformer編碼器中，使模型更好的從特征信息中感知圖像的因果關(guān)系。為了增強(qiáng)常識信息在Transformer結(jié)構(gòu)上的利用效果并提高網(wǎng)絡(luò)收斂速度，本文改進(jìn)了兩種特征之間單一拼接的方式，在每一分層上設(shè)計(jì)了自適應(yīng)常識門(AdaptiveCommonsenseGate,ACG)。這樣不僅可以降低模型收斂速度，而且能夠充分融合視覺常識信息和圖像編碼信息，生成更加符合語境的描述語句。

　　1模型架構(gòu)

　　為了更好的實(shí)現(xiàn)并行處理，提高圖像描述的準(zhǔn)確度，模型使用了目前流行的完全基于注意力機(jī)制的Transformer結(jié)構(gòu)，并在此基礎(chǔ)上重新設(shè)計(jì)了網(wǎng)絡(luò)。模型大體分為三個(gè)部分:特征提取網(wǎng)絡(luò)、融合ACG的編碼器、解碼器。其中，編碼端由多個(gè)自注意力塊和ACG堆積組成：自注意力塊負(fù)責(zé)對圖像特征進(jìn)行聚合操作，以此得到更高層次的圖像特征;ACG負(fù)責(zé)融合視覺常識特征和圖像編碼特征，自適應(yīng)地決定兩者特征之間的權(quán)重。解碼端由多個(gè)掩碼自注意力塊和交叉注意力塊組成，負(fù)責(zé)對編碼圖像進(jìn)行解碼操作，通過迭代解碼預(yù)測圖像標(biāo)題。

　　1.1特征提取網(wǎng)絡(luò)

　　通過目標(biāo)檢測任務(wù)中的FasterR-CNN提取圖像的顯著區(qū)域特征以及VCR-CNN提取圖像的視覺常識特征。FasterR-CNN將區(qū)域建議網(wǎng)絡(luò)(RegionProposalNetwork,RPN)引入深度神經(jīng)網(wǎng)絡(luò)中，將最終層提取的圖像特征組合為顯著區(qū)域特征Vvvv=12,,,…。

　　VCR-CNN作為一種改進(jìn)的視覺區(qū)域編碼器，使用因果關(guān)系干預(yù)該區(qū)域的上下文對象，可以學(xué)習(xí)感知構(gòu)建知識。VCR-CNN通過干擾因子字典(ConfounderDictionary，CD)存儲常識，它的實(shí)現(xiàn)和FasterR-CNN相比，去除了RPN網(wǎng)絡(luò)，不再訓(xùn)練網(wǎng)絡(luò)建議邊界框，而是直接將訓(xùn)練集中真實(shí)詞的邊界框坐標(biāo)輸入到其中，直接提取區(qū)域特征。

　　1.2融合ACG的編碼器

　　設(shè)計(jì)自適應(yīng)常識門的動機(jī)來源于文獻(xiàn)[12]中的門控機(jī)制，在許多計(jì)算機(jī)視覺任務(wù)中得到了廣泛的應(yīng)用。采用門控機(jī)制的目的是建立信道特征依賴關(guān)系，可以更加有效地指導(dǎo)多通道信息之間的交互。ACG通過后續(xù)層和自注意力塊相結(jié)合，以此在編碼器中以同質(zhì)方式對圖像模態(tài)間和模態(tài)內(nèi)的常識性關(guān)系進(jìn)行建模。

　　2實(shí)驗(yàn)準(zhǔn)備

　　2.1實(shí)驗(yàn)數(shù)據(jù)集以及訓(xùn)練環(huán)境

　　本文使用MSCOCO2014[13]數(shù)據(jù)集來驗(yàn)證模型性能。MSCOCO數(shù)據(jù)集是當(dāng)前圖像描述任務(wù)的最大離線數(shù)據(jù)集，其包括82783個(gè)訓(xùn)練圖像，40504個(gè)驗(yàn)證圖像和40775個(gè)測試圖像，每個(gè)圖像標(biāo)有5個(gè)標(biāo)題。離線“Karpathy”數(shù)據(jù)分割[14]用于離線性能比較，這種分割在圖像描述工作中得到了廣泛的應(yīng)用，其中113,287張帶有5個(gè)標(biāo)題的圖像進(jìn)行訓(xùn)練，并用5000張圖像用于驗(yàn)證，5000張圖像用于測試。實(shí)驗(yàn)環(huán)境在Windows操作系統(tǒng)下進(jìn)行，基于Pytorch深度學(xué)習(xí)框架，該框架支持GPU運(yùn)算;用于測試的環(huán)境為Python3.7;用于訓(xùn)練和測試的硬件配置為:Inteli7-9700CPU3.00GHz處理器，NVidiaGeForceGTX2080顯卡。

　　2.2評分標(biāo)準(zhǔn)

　　為了對所提出的模型方法進(jìn)行定量的性能評價(jià)，實(shí)驗(yàn)采用了標(biāo)準(zhǔn)的客觀量化評分方法，其中包括BLEU(BiLingualEvaluationUnderstudy)、ROUGE_L(LongestcommonsubsequencebasedRecall-OrientedUnderstudyforGistingEvaluation)、METEOR(MetricforEvaluationofTranslationwithExplicitORdering)、CIDEr(Consensus-basedImageDescriptionEvaluation)[15]以及SPICE(SemanticPropositionalImageCaptionEvaluation)[16]等評價(jià)指標(biāo)。

　　2.3實(shí)驗(yàn)參數(shù)設(shè)置

　　參數(shù)設(shè)置方面，本文在編碼器和解碼器中使用N=3個(gè)相同的層。單詞嵌入層的輸出維數(shù)為512，輸入的視覺特征也通過線性投影映射到512。前饋網(wǎng)絡(luò)的內(nèi)層維數(shù)為2048。多頭注意采用=8個(gè)平行注意層。本文使用ADAM(ADAptiveMomentestimation)[17]優(yōu)化器訓(xùn)練，將beta1和beta2分別設(shè)置為0.9和0.999，epsilon設(shè)置為1e-6。在語言文本生成模型中設(shè)定單詞時(shí)間步為20，為了生成更加合理的圖像文字描述，本文采用集束搜索BeamSearch的方式，將beamsize大小設(shè)置為3。

　　為了增強(qiáng)模型的魯棒性以及提高模型的訓(xùn)練速度，分別使用預(yù)先訓(xùn)練的FatserR-CNN模型提取圖像的顯著區(qū)域特征，使用VCR-CNN模型提取圖像對應(yīng)視覺常識特征。訓(xùn)練中，本文設(shè)置模型學(xué)習(xí)速率初始化為3e-4，輸入批處理大小為10，每次訓(xùn)練5輪增加0.05的計(jì)劃抽樣概率，進(jìn)行15輪交叉熵?fù)p失訓(xùn)練;隨后使用SCST(Self-CriticalSequenceTrainingforimagecaptiongeneration)[18]強(qiáng)化學(xué)習(xí)方法訓(xùn)練，學(xué)習(xí)率大小設(shè)置為1e-5，訓(xùn)練至30輪結(jié)束。

　　3實(shí)驗(yàn)結(jié)果及分析

　　為了驗(yàn)證提出的融合自適應(yīng)常識門的圖像描述模型表現(xiàn)和性能。

　　3.1實(shí)驗(yàn)結(jié)果定性分析

　　本文選取測試集中不同場景的圖像進(jìn)行測試，各圖生成的描述實(shí)例，其中每個(gè)實(shí)例包含Transformer基線模型、本文模型以及人為標(biāo)注的參考描述(HUMAN)。從這些示例中，本文發(fā)現(xiàn)Transformer基線模型生成的標(biāo)題符合語言邏輯，但描述內(nèi)容不夠準(zhǔn)確，甚至有些描述與圖像內(nèi)容不太匹配。

　　而本文提出的模型生成的標(biāo)題相對正確且更具有描述性。從中可以看到本文提出的模型生成的語句不僅相比基線模型效果要更好，甚至比人工描述更加生動形象，描述出了人工標(biāo)注也忽略了的一些重要點(diǎn)。然而，相對于表達(dá)程度更深的人工標(biāo)注而言，機(jī)器產(chǎn)生的描述存在一定的局限性。本文模型和Transformer基線模型僅僅只是描述出圖像中的內(nèi)容“一組飛機(jī)停在機(jī)場”，而人工標(biāo)注進(jìn)一步描述出了“在窗戶后面”。

　　4結(jié)語

　　本文提出了一種基于Transformer結(jié)構(gòu)，融合自適應(yīng)常識門的圖像描述生成模型。使用FasterR-CNN模型提取圖像顯著區(qū)域特征，使用VCR-CNN模型提取視覺常識特征。通過將視覺常識特征分層輸入到Transformer編碼器中，并在每一分層中設(shè)計(jì)使用了自適應(yīng)常識門，從而增強(qiáng)了模型對視覺常識信息的提取能力，同時(shí)進(jìn)一步融合了圖像的顯著區(qū)域信息和視覺常識信息。本文所提出的模型在圖像描述評價(jià)指標(biāo)上都取得較高分?jǐn)?shù)，其中BLEU-4、CIDEr得分可以達(dá)到39.2分和129.6分。實(shí)驗(yàn)結(jié)果表明，本文提出的模型泛化能力相比于傳統(tǒng)模型更好一些，在圖像描述生成任務(wù)上能取得出色的表現(xiàn)。

　　參考文獻(xiàn)：

　　[1]JiangW,MaL,JiangYG,etal.Recurrentfusionnetworkforimagecaptioning[C]//Proceedingsofthe2018EuropeanConferenceonComputerVision.Cham:Springer,2018:499-515.

　　[2]黃友文,游亞東,趙朋.融合卷積注意力機(jī)制的圖像描述生成模型[J].計(jì)算機(jī)應(yīng)用,2020,40(1):23-27.(HUANGYW,YOUYD,ZHAOP.Imagecaptiongenerationmodelwithconvolutionalattentionmechanism[J].JournalofComputerApplications,2020,40(1):23-27.)

　　[3]HEK,ZHANGX,RENS,etal.Deepresiduallearningforimagerecognition[C]//Proceedingsofthe2016InternationalConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety,2016:770-778.

　　[4]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyouneed[C]//Proceedingsofthe31stInternationalConferenceonNeuralInformationProcessingSystems.RedHook，NY：CurranAssociatesInc，2017：6000-6010.

　　[5]ZHUX,LIL,LIUJ,etal.CaptioningTransformerwithStackedAttentionModules.AppliedSciences.2018;8(5):739.

　　作者：楊有1,2，陳立志2*，方小龍2，潘龍?jiān)?

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/29279.html