基于自組織增量圖卷積神經(jīng)網(wǎng)絡的金相圖半監(jiān)督學習

　　摘 要：采用深度學習對鋼鐵材料顯微組織圖像分類，需要大量帶標注信息的訓練集。針對訓練集人工標注效率低下問題，該文提出一種新的融合自組織增量神經(jīng)網(wǎng)絡和圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督學習方法。首先，采用遷移學習獲取圖像數(shù)據(jù)樣本的特征向量集合;其次，通過引入連接權重策略的自組織增量神經(jīng)網(wǎng)絡(WSOINN)對特征數(shù)據(jù)進行學習，獲得其拓撲圖結構，并引入勝利次數(shù)進行少量人工節(jié)點標注;然后，搭建圖卷積網(wǎng)絡(GCN)挖掘圖中節(jié)點的潛在聯(lián)系，利用Dropout手段提高網(wǎng)絡的泛化能力，對剩余節(jié)點進行自動標注進而獲得所有金相圖的分類結果。針對從某國家重點實驗室收集到的金相圖數(shù)據(jù)，比較了在不同人工標注比例下的自動分類精度，結果表明：在圖片標注量僅為傳統(tǒng)模型12%時，新模型的分類準確度可達到91%。

　　關鍵詞：自組織增量神經(jīng)網(wǎng)絡;圖卷積神經(jīng)網(wǎng)絡;自動標注;鋼材顯微組織

　　1引言

　　鋼的微觀組織決定其使用性能，對微觀組織的定性和定量研究一直都是鋼鐵材料領域的重要工作[1–3]。將采用適當方法(如拋光、腐蝕)處理后的實驗鋼試樣置于光學顯微鏡(Optical Microscope,OM)或電子顯微鏡(Electron Microscope, EM)下，可觀察到鋼的顯微組織形貌圖像，即金相圖[4,5]。

　　傳統(tǒng)上，金相圖的辨識由人工完成，對人的專業(yè)經(jīng)驗依賴性較大，即使是經(jīng)驗豐富的專家也會因為肉眼看不到的圖像細節(jié)而分析失誤。而現(xiàn)代鋼材種類越來越多，其內(nèi)部顯微組織越來越復雜，人工辨識面臨巨大挑戰(zhàn)[6,7]。隨著計算機視覺的深入發(fā)展，國內(nèi)外研究者已開始將深度學習用于金相圖的自動辨識問題。Pauly等人[8]使用數(shù)據(jù)挖掘方法對金相圖分類，但由于不同類別間提取到的特征差異性不夠，在測試集上僅獲得48%的精度。

　　Chowdhury等人[9]組合不同的特征提取和特征選擇方法作用于金相圖，并選擇不同分類器，比較了不同組合間模型性能的差異。Azimi等人[10]采用全卷積神經(jīng)網(wǎng)絡對金相圖進行分類，在所收集的數(shù)據(jù)集上能夠獲取90%以上的精度。文獻[11]融合多種圖像增強方法，并改進AlexNet, VGGNet, ResNet, GoogleNet適用于金相圖，在所收集的數(shù)據(jù)集上能夠獲取95%以上的精度。上述研究所使用的一般均是小規(guī)模數(shù)據(jù)集，且由于人工標注困難、效率低問題，用于模型訓練的已標記圖像數(shù)量較少，模型泛化能力弱、實際應用困難。圖G=(V,E)[12–14]能表達非歐空間復雜數(shù)據(jù)關系[15]，圖卷積(Graph Convolutional Network,GCN)可用于超維關聯(lián)數(shù)據(jù)的挖掘和分析[16–18]。

　　基于已有拓撲學習模型[19]，本文提出一種基于自組織增量-圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督學習方法。在原自組織增量神經(jīng)網(wǎng)絡(Self-Organizing Incremental Neural Network, SOINN)中引入連接權重概念來表示兩節(jié)點相似性，得到引入連接權重策略的自組織增量神經(jīng)網(wǎng)絡(Weighted SOINN, WSOINN)，并引入節(jié)點勝利次數(shù)以挑選少量節(jié)點進行人工標注;進而，搭建GCN學習拓撲圖中高階特征來預測節(jié)點的類別信息，達到用較少的圖像標注量獲取較高模型分類準確率的目的。本文用WSOINN獲取拓撲圖結構描述圖像數(shù)據(jù)的空間分布，用GCN將WSOINN拓展至半監(jiān)督學習，實現(xiàn)鋼鐵材料金相圖的自動分類。針對收集到的貝氏體、低碳板條馬氏體、高碳片狀馬氏體、鐵素體、下貝氏體、珠光體6種類型的金相圖進行實驗，結果表明，本方法具有較高的準確性和適應性。

　　2自組織增量-圖卷積神經(jīng)網(wǎng)絡(WSOINNGCN)

　　本節(jié)首先給出WSOINN-GCN的整體框架;然后，分小節(jié)介紹各個模塊：2.1節(jié)介紹圖像數(shù)據(jù)特征提取;2.2節(jié)給出WSOINN算法步驟;2.3節(jié)結合金相圖特征設計GCN;2.4節(jié)給出WSOINN-GCN的算法步驟。它由3部分組成：第1部分基于遷移學習獲得圖像數(shù)據(jù)的特征向量集合;第2部分采用引入連接權重策略的自組織增量神經(jīng)網(wǎng)絡(WSOINN)提取特征數(shù)據(jù)的拓撲圖結構，并按照節(jié)點勝利次數(shù)選擇少量節(jié)點進行人工標注;第3部分搭建圖卷積網(wǎng)絡(GCN)，采用交叉熵損失函數(shù)、Adam算法優(yōu)化網(wǎng)絡參數(shù)，自動標注剩余節(jié)點，最后基于歐式距離來分類所有圖像數(shù)據(jù)。

　　2.1遷移學習獲取特征向量集合

　　收集自某國家重點實驗室場發(fā)射掃描電子顯微鏡所拍攝的不同鋼鐵材料的微觀組織圖片，依次為鐵素體、珠光體、貝氏體、下貝氏體、板條馬氏體、片狀馬氏體，共2342張，圖片像素大小均為221×221。本文采用在ImageNet數(shù)據(jù)集上已訓練好的VGG16卷積模塊提取每張金相圖的特征，并對從每張金相圖獲得的512張?zhí)卣鲌D作全局均值池化，每張圖輸出一個512維的特征向量，從而得到所有金相圖特征提取后的數(shù)據(jù)特征集合。

　　3實驗結果及分析

　　本節(jié)先給出WSOINN-GCN模型參數(shù)的優(yōu)選方法，再比較在不同節(jié)點標注率下模型的節(jié)點標注精度及金相圖分類精度，最后給出其他常見方法的對比實驗結果。

　　3.1實驗環(huán)境及模型指標

　　本實驗硬件支持有CPU為i5-7500，4核4線程，主頻3.41 GHz，內(nèi)存12 GB, GPU為NVIDIAGeFore GTX 1060，顯存6 GB，操作系統(tǒng)為win10，編程環(huán)境為spyder,Python3.7，框架平臺為tensorflow。對于圖卷積網(wǎng)絡結構，采用Adam算法優(yōu)化參數(shù)，初始學習率為0.01, dropout神經(jīng)元失活的概率為0.5, Glorot_normal初始化參數(shù)，采用Early Stopping提前終止。統(tǒng)計精確率與召回率2個指標。

　　3.2WSOINN-GCN模型參數(shù)分析

　　ppWmaxpWmaxWSOINN在每輸入樣本的百分比例后，會刪除孤立節(jié)點，會影響最終節(jié)點輸出數(shù)量。節(jié)點數(shù)過多可能含有噪聲節(jié)點，節(jié)點數(shù)過少不能全面反映所有樣本分布，從而間接影響自動標注精度。圖5表示為列舉了不同,值下，WSOINN獲取拓撲圖節(jié)點的數(shù)量情況，顏色越深代表產(chǎn)生的節(jié)點數(shù)越少，節(jié)點數(shù)最大值為865，最小值256。

　　隨著,增大，節(jié)點數(shù)隨之增大，連接矩陣越稠密。實驗收集到的金相圖總樣本數(shù)有2432張，用n、a別代表WSOINN輸出圖的節(jié)點數(shù)和連接矩陣中非0元素個數(shù)，為保證精度同時加快運算，選擇節(jié)點數(shù)為原數(shù)據(jù)量的1/10～1/6的W-SOINN進一步分析。表1列舉了節(jié)點標注率為0.3、不同p,Wmax值時模型對剩余節(jié)點的自動標注精度，其中Acc_w是按照勝利次數(shù)選擇標注的結果，Acc_r是隨機選擇節(jié)點標注的結果。

　　深度學習論文范例：基于深度學習算法的學術查詢意圖分類器構建

　　4結論

　　(1)針對深度學習中圖像數(shù)據(jù)標注困難的問題，融合拓撲學習與圖卷積理論，本文提出一種新的基于自組織增量-圖卷積神經(jīng)網(wǎng)絡(WSOINNGCN)的半監(jiān)督學習方法。通過引入連接權重來改進自組織增量神經(jīng)網(wǎng)絡(WSOINN)，從而提取數(shù)據(jù)圖結構，并按照節(jié)點重要性指標節(jié)點勝利次數(shù)選擇部分節(jié)點進行標注，進而搭建圖卷積網(wǎng)絡(GCN)挖掘圖中節(jié)點的潛在聯(lián)系，融合Dropout正則化手段與Adam算法對GCN進行網(wǎng)絡參數(shù)尋優(yōu)，自動標注剩余節(jié)點信息，并基于歐氏距離來自動分類金相圖，結果表明該模型具有可行性。

　　(2)針對從某國家重點實驗室掃描電子顯微鏡拍攝到的鋼鐵材料微觀組織圖片樣本，比較了不同節(jié)點標注率、有無Dropout 對模型的影響，結果表明：隨著節(jié)點標注率增加，WSOINN-GCN與WSOINN-MLP模型的精度都會增加，且前者性能要優(yōu)于后者，當節(jié)點標注率為0.3時，前者精度可達93%，而后者僅為86%;對于WSOINN-GCN而言，當節(jié)點標注率較低時(≤0.4)，含有Dropout比未含有Dropout有更好性能表現(xiàn);對于WSOINNMLP而言，無論節(jié)點標注率多少，使用Dropout策略能一直提高其精度。

　　(3)與現(xiàn)有的人工標注或其他監(jiān)督學習算法相比，本文所提出的WSOINN-GCN模型有效解決了實際應用時金相圖片訓練集數(shù)據(jù)人工標注困難的問題，為金相圖片數(shù)據(jù)標注、分類等提供了新的解決思路。在金相圖片標注量僅為VGG等傳統(tǒng)深度學習網(wǎng)絡的12%時，新模型比傳統(tǒng)模型精度高，分類準確度高達91%;在達到相同的分類精度90%時，人工標注量僅為傳統(tǒng)模型的5.6%，同時保證了效率優(yōu)勢。WSOINN-GCN具有自動提取數(shù)據(jù)圖結構、實施半監(jiān)督學習、動態(tài)調(diào)整網(wǎng)絡結構等特性，在圖片數(shù)據(jù)標注、分類等領域有理論研究價值和廣闊的應用前景。

　　參考文獻

　　ZHAO H, WYNNE B P, and PALMIERE E J. A phasequantification method based on EBSD data for acontinuously cooled microalloyed steel[J]. MaterialsCharacterization, 2017, 123: 339–348. doi: 10.1016/j.matchar.2016.11.024.

　　[1]YANG Youwen, HE Chongxian, E Dianyu, etal. Mg boneimplant: Features, developments and perspectives[J].Materials&Design, 2020, 185: 108259. doi: 10.1016/j.matdes.2019.108259.

　　作者：李維剛* 諶竟成 謝 璐 趙云濤

轉(zhuǎn)載請注明來自發(fā)表學術論文網(wǎng)：http:///jjlw/26450.html