基于自組織增量圖卷積神經(jīng)網(wǎng)絡(luò)的金相圖半監(jiān)督學(xué)習(xí)

　　摘 要：采用深度學(xué)習(xí)對鋼鐵材料顯微組織圖像分類，需要大量帶標(biāo)注信息的訓(xùn)練集。針對訓(xùn)練集人工標(biāo)注效率低下問題，該文提出一種新的融合自組織增量神經(jīng)網(wǎng)絡(luò)和圖卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法。首先，采用遷移學(xué)習(xí)獲取圖像數(shù)據(jù)樣本的特征向量集合;其次，通過引入連接權(quán)重策略的自組織增量神經(jīng)網(wǎng)絡(luò)(WSOINN)對特征數(shù)據(jù)進(jìn)行學(xué)習(xí)，獲得其拓?fù)鋱D結(jié)構(gòu)，并引入勝利次數(shù)進(jìn)行少量人工節(jié)點(diǎn)標(biāo)注;然后，搭建圖卷積網(wǎng)絡(luò)(GCN)挖掘圖中節(jié)點(diǎn)的潛在聯(lián)系，利用Dropout手段提高網(wǎng)絡(luò)的泛化能力，對剩余節(jié)點(diǎn)進(jìn)行自動(dòng)標(biāo)注進(jìn)而獲得所有金相圖的分類結(jié)果。針對從某國家重點(diǎn)實(shí)驗(yàn)室收集到的金相圖數(shù)據(jù)，比較了在不同人工標(biāo)注比例下的自動(dòng)分類精度，結(jié)果表明：在圖片標(biāo)注量僅為傳統(tǒng)模型12%時(shí)，新模型的分類準(zhǔn)確度可達(dá)到91%。

　　關(guān)鍵詞：自組織增量神經(jīng)網(wǎng)絡(luò);圖卷積神經(jīng)網(wǎng)絡(luò);自動(dòng)標(biāo)注;鋼材顯微組織

　　1引言

　　鋼的微觀組織決定其使用性能，對微觀組織的定性和定量研究一直都是鋼鐵材料領(lǐng)域的重要工作[1–3]。將采用適當(dāng)方法(如拋光、腐蝕)處理后的實(shí)驗(yàn)鋼試樣置于光學(xué)顯微鏡(Optical Microscope,OM)或電子顯微鏡(Electron Microscope, EM)下，可觀察到鋼的顯微組織形貌圖像，即金相圖[4,5]。

　　傳統(tǒng)上，金相圖的辨識(shí)由人工完成，對人的專業(yè)經(jīng)驗(yàn)依賴性較大，即使是經(jīng)驗(yàn)豐富的專家也會(huì)因?yàn)槿庋劭床坏降膱D像細(xì)節(jié)而分析失誤。而現(xiàn)代鋼材種類越來越多，其內(nèi)部顯微組織越來越復(fù)雜，人工辨識(shí)面臨巨大挑戰(zhàn)[6,7]。隨著計(jì)算機(jī)視覺的深入發(fā)展，國內(nèi)外研究者已開始將深度學(xué)習(xí)用于金相圖的自動(dòng)辨識(shí)問題。Pauly等人[8]使用數(shù)據(jù)挖掘方法對金相圖分類，但由于不同類別間提取到的特征差異性不夠，在測試集上僅獲得48%的精度。

　　Chowdhury等人[9]組合不同的特征提取和特征選擇方法作用于金相圖，并選擇不同分類器，比較了不同組合間模型性能的差異。Azimi等人[10]采用全卷積神經(jīng)網(wǎng)絡(luò)對金相圖進(jìn)行分類，在所收集的數(shù)據(jù)集上能夠獲取90%以上的精度。文獻(xiàn)[11]融合多種圖像增強(qiáng)方法，并改進(jìn)AlexNet, VGGNet, ResNet, GoogleNet適用于金相圖，在所收集的數(shù)據(jù)集上能夠獲取95%以上的精度。上述研究所使用的一般均是小規(guī)模數(shù)據(jù)集，且由于人工標(biāo)注困難、效率低問題，用于模型訓(xùn)練的已標(biāo)記圖像數(shù)量較少，模型泛化能力弱、實(shí)際應(yīng)用困難。圖G=(V,E)[12–14]能表達(dá)非歐空間復(fù)雜數(shù)據(jù)關(guān)系[15]，圖卷積(Graph Convolutional Network,GCN)可用于超維關(guān)聯(lián)數(shù)據(jù)的挖掘和分析[16–18]。

　　基于已有拓?fù)鋵W(xué)習(xí)模型[19]，本文提出一種基于自組織增量-圖卷積神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法。在原自組織增量神經(jīng)網(wǎng)絡(luò)(Self-Organizing Incremental Neural Network, SOINN)中引入連接權(quán)重概念來表示兩節(jié)點(diǎn)相似性，得到引入連接權(quán)重策略的自組織增量神經(jīng)網(wǎng)絡(luò)(Weighted SOINN, WSOINN)，并引入節(jié)點(diǎn)勝利次數(shù)以挑選少量節(jié)點(diǎn)進(jìn)行人工標(biāo)注;進(jìn)而，搭建GCN學(xué)習(xí)拓?fù)鋱D中高階特征來預(yù)測節(jié)點(diǎn)的類別信息，達(dá)到用較少的圖像標(biāo)注量獲取較高模型分類準(zhǔn)確率的目的。本文用WSOINN獲取拓?fù)鋱D結(jié)構(gòu)描述圖像數(shù)據(jù)的空間分布，用GCN將WSOINN拓展至半監(jiān)督學(xué)習(xí)，實(shí)現(xiàn)鋼鐵材料金相圖的自動(dòng)分類。針對收集到的貝氏體、低碳板條馬氏體、高碳片狀馬氏體、鐵素體、下貝氏體、珠光體6種類型的金相圖進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本方法具有較高的準(zhǔn)確性和適應(yīng)性。

　　2自組織增量-圖卷積神經(jīng)網(wǎng)絡(luò)(WSOINNGCN)

　　本節(jié)首先給出WSOINN-GCN的整體框架;然后，分小節(jié)介紹各個(gè)模塊：2.1節(jié)介紹圖像數(shù)據(jù)特征提取;2.2節(jié)給出WSOINN算法步驟;2.3節(jié)結(jié)合金相圖特征設(shè)計(jì)GCN;2.4節(jié)給出WSOINN-GCN的算法步驟。它由3部分組成：第1部分基于遷移學(xué)習(xí)獲得圖像數(shù)據(jù)的特征向量集合;第2部分采用引入連接權(quán)重策略的自組織增量神經(jīng)網(wǎng)絡(luò)(WSOINN)提取特征數(shù)據(jù)的拓?fù)鋱D結(jié)構(gòu)，并按照節(jié)點(diǎn)勝利次數(shù)選擇少量節(jié)點(diǎn)進(jìn)行人工標(biāo)注;第3部分搭建圖卷積網(wǎng)絡(luò)(GCN)，采用交叉熵?fù)p失函數(shù)、Adam算法優(yōu)化網(wǎng)絡(luò)參數(shù)，自動(dòng)標(biāo)注剩余節(jié)點(diǎn)，最后基于歐式距離來分類所有圖像數(shù)據(jù)。

　　2.1遷移學(xué)習(xí)獲取特征向量集合

　　收集自某國家重點(diǎn)實(shí)驗(yàn)室場發(fā)射掃描電子顯微鏡所拍攝的不同鋼鐵材料的微觀組織圖片，依次為鐵素體、珠光體、貝氏體、下貝氏體、板條馬氏體、片狀馬氏體，共2342張，圖片像素大小均為221×221。本文采用在ImageNet數(shù)據(jù)集上已訓(xùn)練好的VGG16卷積模塊提取每張金相圖的特征，并對從每張金相圖獲得的512張?zhí)卣鲌D作全局均值池化，每張圖輸出一個(gè)512維的特征向量，從而得到所有金相圖特征提取后的數(shù)據(jù)特征集合。

　　3實(shí)驗(yàn)結(jié)果及分析

　　本節(jié)先給出WSOINN-GCN模型參數(shù)的優(yōu)選方法，再比較在不同節(jié)點(diǎn)標(biāo)注率下模型的節(jié)點(diǎn)標(biāo)注精度及金相圖分類精度，最后給出其他常見方法的對比實(shí)驗(yàn)結(jié)果。

　　3.1實(shí)驗(yàn)環(huán)境及模型指標(biāo)

　　本實(shí)驗(yàn)硬件支持有CPU為i5-7500，4核4線程，主頻3.41 GHz，內(nèi)存12 GB, GPU為NVIDIAGeFore GTX 1060，顯存6 GB，操作系統(tǒng)為win10，編程環(huán)境為spyder,Python3.7，框架平臺(tái)為tensorflow。對于圖卷積網(wǎng)絡(luò)結(jié)構(gòu)，采用Adam算法優(yōu)化參數(shù)，初始學(xué)習(xí)率為0.01, dropout神經(jīng)元失活的概率為0.5, Glorot_normal初始化參數(shù)，采用Early Stopping提前終止。統(tǒng)計(jì)精確率與召回率2個(gè)指標(biāo)。

　　3.2WSOINN-GCN模型參數(shù)分析

　　ppWmaxpWmaxWSOINN在每輸入樣本的百分比例后，會(huì)刪除孤立節(jié)點(diǎn)，會(huì)影響最終節(jié)點(diǎn)輸出數(shù)量。節(jié)點(diǎn)數(shù)過多可能含有噪聲節(jié)點(diǎn)，節(jié)點(diǎn)數(shù)過少不能全面反映所有樣本分布，從而間接影響自動(dòng)標(biāo)注精度。圖5表示為列舉了不同,值下，WSOINN獲取拓?fù)鋱D節(jié)點(diǎn)的數(shù)量情況，顏色越深代表產(chǎn)生的節(jié)點(diǎn)數(shù)越少，節(jié)點(diǎn)數(shù)最大值為865，最小值256。

　　隨著,增大，節(jié)點(diǎn)數(shù)隨之增大，連接矩陣越稠密。實(shí)驗(yàn)收集到的金相圖總樣本數(shù)有2432張，用n、a別代表WSOINN輸出圖的節(jié)點(diǎn)數(shù)和連接矩陣中非0元素個(gè)數(shù)，為保證精度同時(shí)加快運(yùn)算，選擇節(jié)點(diǎn)數(shù)為原數(shù)據(jù)量的1/10～1/6的W-SOINN進(jìn)一步分析。表1列舉了節(jié)點(diǎn)標(biāo)注率為0.3、不同p,Wmax值時(shí)模型對剩余節(jié)點(diǎn)的自動(dòng)標(biāo)注精度，其中Acc_w是按照勝利次數(shù)選擇標(biāo)注的結(jié)果，Acc_r是隨機(jī)選擇節(jié)點(diǎn)標(biāo)注的結(jié)果。

　　深度學(xué)習(xí)論文范例：基于深度學(xué)習(xí)算法的學(xué)術(shù)查詢意圖分類器構(gòu)建

　　4結(jié)論

　　(1)針對深度學(xué)習(xí)中圖像數(shù)據(jù)標(biāo)注困難的問題，融合拓?fù)鋵W(xué)習(xí)與圖卷積理論，本文提出一種新的基于自組織增量-圖卷積神經(jīng)網(wǎng)絡(luò)(WSOINNGCN)的半監(jiān)督學(xué)習(xí)方法。通過引入連接權(quán)重來改進(jìn)自組織增量神經(jīng)網(wǎng)絡(luò)(WSOINN)，從而提取數(shù)據(jù)圖結(jié)構(gòu)，并按照節(jié)點(diǎn)重要性指標(biāo)節(jié)點(diǎn)勝利次數(shù)選擇部分節(jié)點(diǎn)進(jìn)行標(biāo)注，進(jìn)而搭建圖卷積網(wǎng)絡(luò)(GCN)挖掘圖中節(jié)點(diǎn)的潛在聯(lián)系，融合Dropout正則化手段與Adam算法對GCN進(jìn)行網(wǎng)絡(luò)參數(shù)尋優(yōu)，自動(dòng)標(biāo)注剩余節(jié)點(diǎn)信息，并基于歐氏距離來自動(dòng)分類金相圖，結(jié)果表明該模型具有可行性。

　　(2)針對從某國家重點(diǎn)實(shí)驗(yàn)室掃描電子顯微鏡拍攝到的鋼鐵材料微觀組織圖片樣本，比較了不同節(jié)點(diǎn)標(biāo)注率、有無Dropout 對模型的影響，結(jié)果表明：隨著節(jié)點(diǎn)標(biāo)注率增加，WSOINN-GCN與WSOINN-MLP模型的精度都會(huì)增加，且前者性能要優(yōu)于后者，當(dāng)節(jié)點(diǎn)標(biāo)注率為0.3時(shí)，前者精度可達(dá)93%，而后者僅為86%;對于WSOINN-GCN而言，當(dāng)節(jié)點(diǎn)標(biāo)注率較低時(shí)(≤0.4)，含有Dropout比未含有Dropout有更好性能表現(xiàn);對于WSOINNMLP而言，無論節(jié)點(diǎn)標(biāo)注率多少，使用Dropout策略能一直提高其精度。

　　(3)與現(xiàn)有的人工標(biāo)注或其他監(jiān)督學(xué)習(xí)算法相比，本文所提出的WSOINN-GCN模型有效解決了實(shí)際應(yīng)用時(shí)金相圖片訓(xùn)練集數(shù)據(jù)人工標(biāo)注困難的問題，為金相圖片數(shù)據(jù)標(biāo)注、分類等提供了新的解決思路。在金相圖片標(biāo)注量僅為VGG等傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)的12%時(shí)，新模型比傳統(tǒng)模型精度高，分類準(zhǔn)確度高達(dá)91%;在達(dá)到相同的分類精度90%時(shí)，人工標(biāo)注量僅為傳統(tǒng)模型的5.6%，同時(shí)保證了效率優(yōu)勢。WSOINN-GCN具有自動(dòng)提取數(shù)據(jù)圖結(jié)構(gòu)、實(shí)施半監(jiān)督學(xué)習(xí)、動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)等特性，在圖片數(shù)據(jù)標(biāo)注、分類等領(lǐng)域有理論研究價(jià)值和廣闊的應(yīng)用前景。

　　參考文獻(xiàn)

　　ZHAO H, WYNNE B P, and PALMIERE E J. A phasequantification method based on EBSD data for acontinuously cooled microalloyed steel[J]. MaterialsCharacterization, 2017, 123: 339–348. doi: 10.1016/j.matchar.2016.11.024.

　　[1]YANG Youwen, HE Chongxian, E Dianyu, etal. Mg boneimplant: Features, developments and perspectives[J].Materials&Design, 2020, 185: 108259. doi: 10.1016/j.matdes.2019.108259.

　　作者：李維剛* 諶竟成 謝 璐 趙云濤

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/26450.html