基于深度學(xué)習(xí)的熒光顯微成像技術(shù)及應(yīng)用

　　摘要近年來，熒光顯微鏡技術(shù)由于其良好特異性、高對比度、高信噪比等性能優(yōu)勢，被廣泛應(yīng)用于生物物理學(xué)，神經(jīng)科學(xué)，細(xì)胞學(xué)，與分子生物學(xué)等生命科學(xué)研究的各個(gè)領(lǐng)域。然而，傳統(tǒng)的熒光顯微鏡仍然存在分辨率、成像速度、成像視場、光毒性和光漂白等方面的相互限制，使其在亞細(xì)胞結(jié)構(gòu)觀測、活體生物超精密成像和分子結(jié)構(gòu)研究領(lǐng)域的應(yīng)用受到了極大阻礙。由于傳統(tǒng)熒光顯微鏡所具有的光學(xué)系統(tǒng)的局限性，研究人員將目光投向了由數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法�；�于深度學(xué)習(xí)顯微鏡的出現(xiàn)，豐富了現(xiàn)有的光學(xué)顯微成像技術(shù)，大數(shù)據(jù)量的訓(xùn)練突破了傳統(tǒng)光學(xué)顯微鏡所能夠達(dá)到的功能和性能的疆界。本文聚焦深度學(xué)習(xí)的熒光顯微成像技術(shù)，首先對深度學(xué)習(xí)的基本原理以及發(fā)展過程進(jìn)行了簡要概述，隨后針對深度學(xué)習(xí)在熒光顯微成像領(lǐng)域近年來國內(nèi)外的最新成果進(jìn)行了總結(jié)，通過與傳統(tǒng)顯微成像系統(tǒng)的對比，闡述了深度學(xué)習(xí)在解決熒光顯微成像問題上的優(yōu)越性，最后對深度學(xué)習(xí)在顯微成像技術(shù)上的應(yīng)用前景進(jìn)行了展望。

　　關(guān)鍵詞深度學(xué)習(xí);熒光顯微鏡;超分辨;光學(xué)成像

　　1引言

　　2014年諾貝爾化學(xué)獎(jiǎng)授予了超分辨熒光顯微技術(shù)，標(biāo)志著光學(xué)顯微鏡的分辨率由亞微米級進(jìn)入納米級。熒光顯微鏡是生命科學(xué)中研究細(xì)胞、組織和生物體時(shí)空動(dòng)力學(xué)行為不可或缺的工具�，F(xiàn)有的熒光顯微鏡[1-8]將成像分辨率從幾百納米提高至幾納米，實(shí)現(xiàn)了生物精細(xì)結(jié)構(gòu)與精細(xì)動(dòng)態(tài)過程的高分辨體成像[9-19]。然而，記錄生物過程的質(zhì)量不僅取決于光學(xué)設(shè)備的空間分辨率[20]，還取決于時(shí)間分辨率、實(shí)驗(yàn)總持續(xù)時(shí)間、成像深度、可達(dá)到的熒光團(tuán)密度、光漂白性和光毒性等[20-29]。

　　而受樣本健康和最大光子預(yù)算限制，上述因素存在相互制約關(guān)系，不可能同時(shí)優(yōu)化。例如，通過減少曝光時(shí)間提高成像速度的同時(shí)犧牲信噪比。因此，熒光顯微鏡在亞細(xì)胞結(jié)構(gòu)觀測、活體生物超精密成像和分子結(jié)構(gòu)研究領(lǐng)域的應(yīng)用上仍存在一定缺陷。

　　目前，針對上述缺陷主要有兩類解決方法。第一類方法是優(yōu)化顯微鏡硬件[30-36]。第二類方法是使用提高獲取顯微圖像質(zhì)量的算法與光路配合，優(yōu)化提取信息的效率[37-42]。由于物理?xiàng)l件的限制，光路硬件優(yōu)化很難突破。因此計(jì)算算法已日益成為成像過程的重要組成部分。圖像重建算法的突破不僅能提高圖像質(zhì)量，還將為開發(fā)新的成像模式提供思路[43]。常見圖像重建算法包括基于熒光分子物理特性的統(tǒng)計(jì)超分辨算法[44-49]、基于相應(yīng)成像模型的反卷積算法[50-54]、基于形態(tài)學(xué)模型的表面投影算法[55,56]和基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法[57,58]等。

　　上述算法均可以巧妙地繞過物理限制，在一定程度上克服熒光顯微鏡的缺陷，更好地恢復(fù)生物信息。相比于其他算法，深度學(xué)習(xí)能夠更充分利用現(xiàn)有數(shù)據(jù)的先驗(yàn)知識，針對于特定任務(wù)的信息恢復(fù)能力更強(qiáng)[43];深度學(xué)習(xí)利用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)推斷，不需要對成像過程進(jìn)行數(shù)值建�；蚬烙�(jì)點(diǎn)擴(kuò)散函數(shù);深度學(xué)習(xí)可以實(shí)現(xiàn)端到端的圖像轉(zhuǎn)換，不需要顯式的分析建模;深度學(xué)習(xí)預(yù)訓(xùn)練好的深層網(wǎng)絡(luò)無需任何迭代或參數(shù)搜索即可快速實(shí)現(xiàn)高性能顯微功能及其大眾化。基于上述優(yōu)勢，深度學(xué)習(xí)已成為彌補(bǔ)熒光顯微鏡缺點(diǎn)的一種有效方法。

　　本文聚焦于深度學(xué)習(xí)熒光顯微成像技術(shù)，旨在幫助研究者們了解深度學(xué)習(xí)熒光顯微成像技術(shù)的基本知識、應(yīng)用和發(fā)展趨勢，為該領(lǐng)域科學(xué)研究提供參考。首先簡介了深度學(xué)習(xí)基本原理;其次分析了幾種典型的熒光顯微鏡的主要缺陷，并通過舉例方式闡述深度學(xué)習(xí)在解決熒光顯微成像問題上的優(yōu)越性;最后總結(jié)了深度學(xué)習(xí)仍存在的問題并對深度學(xué)習(xí)顯微成像領(lǐng)域未來發(fā)展趨勢進(jìn)行了展望。

　　2深度學(xué)習(xí)原理

　　2.1深度學(xué)習(xí)基本概念及其發(fā)展歷程

　　深度學(xué)習(xí)是隸屬于機(jī)器學(xué)習(xí)算法的一項(xiàng)新興技術(shù)，其發(fā)展是由用于人腦分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的建立和仿真所推動(dòng)的。傳統(tǒng)的學(xué)習(xí)算法大多屬于簡單學(xué)習(xí)，只具有淺層結(jié)構(gòu)，一般僅包含一兩層非線性特征變換層，很難解決一些復(fù)雜的自然信號處理問題[59-63]。深度學(xué)習(xí)通過學(xué)習(xí)深度非線性網(wǎng)絡(luò)結(jié)構(gòu)來表征輸入數(shù)據(jù)，能夠?qū)崿F(xiàn)對復(fù)雜函數(shù)的逼近，具有直接從樣本集學(xué)習(xí)整體數(shù)據(jù)集本質(zhì)特征的強(qiáng)大能力，更加適用于計(jì)算機(jī)視覺領(lǐng)域，能夠用于解決熒光顯微成像領(lǐng)域一系列傳統(tǒng)熒光顯微鏡無法克服的問題。深度學(xué)習(xí)的發(fā)展迄今為止經(jīng)過了三次浪潮，跌宕起伏，總的來說可以分為：1943-1969年為起源階段，在此期間各種人工智能的概念被相繼提出[64-68]。1974-2006年為發(fā)展階段，具有代表性的技術(shù)，如反向傳播算法、循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等深度生成架構(gòu)逐步成型[69-79]。

　　2006年-至今為爆發(fā)階段，深度學(xué)習(xí)在科學(xué)與技術(shù)的各個(gè)領(lǐng)域開始廣泛應(yīng)用[80-86]。起源階段：1943年隨著McCulloch&Pitts神經(jīng)元模型的提出[64]，人工神經(jīng)網(wǎng)絡(luò)的研究由此開始。隨后，“感知器”的提出[66]引起了第一次神經(jīng)網(wǎng)絡(luò)的浪潮。然而，1969年美國數(shù)學(xué)家M.Minsky提出了單層感知器無法解決線性不可分問題[68]，使人工神經(jīng)網(wǎng)絡(luò)的發(fā)展陷入了停滯。發(fā)展階段：1986年G.E.Hinton教授提出的適用于多層感知器的反向傳播算法(BP算法)[76]，有效解決了非線性分類和學(xué)習(xí)的問題，人工神經(jīng)網(wǎng)絡(luò)進(jìn)入發(fā)展階段，多種模型被陸續(xù)提出。

　　然而，1991年BP算法被指出存在梯度消失問題，阻礙了其有效地學(xué)習(xí)數(shù)據(jù)分布，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展陷入了二次停滯。爆發(fā)階段：2006年G.E.Hinton教授針對深層網(wǎng)絡(luò)訓(xùn)練中梯度消失問題提出了解決方案，并正式提出“深度學(xué)習(xí)”的概念[80]。隨后，2012年提出的AlexNet模型以及2015年提出的ResNet模型[83]由于在ImageNet競賽中的優(yōu)異表現(xiàn)，得到了人們的廣泛關(guān)注，深度學(xué)習(xí)進(jìn)入爆發(fā)階段。隨著深度學(xué)習(xí)的不斷發(fā)展，深度學(xué)習(xí)開始在各個(gè)領(lǐng)域被廣泛應(yīng)用，深度學(xué)習(xí)顯微成像技術(shù)應(yīng)運(yùn)而生。

　　2.2深度學(xué)習(xí)方法

　　2.2.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是目前最常見的機(jī)器學(xué)習(xí)類型[87]，輸入是有人工標(biāo)注的樣本，通過調(diào)整分類器的參數(shù)，實(shí)現(xiàn)輸入數(shù)據(jù)到已知目標(biāo)輸出的映射。監(jiān)督學(xué)習(xí)主要包括分類和回歸。在分類問題中，深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)測離散值并將輸入變量與離散類別關(guān)聯(lián)。在回歸問題中，深度學(xué)習(xí)網(wǎng)絡(luò)使用連續(xù)函數(shù)將輸入與輸出關(guān)聯(lián)。

　　2.2.2無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)是指在沒有人工標(biāo)注(標(biāo)簽)的情況下，通過計(jì)算機(jī)學(xué)習(xí)去自動(dòng)尋找輸入數(shù)據(jù)間的關(guān)系[88]。目前無監(jiān)督學(xué)習(xí)主要用于數(shù)據(jù)可視化、數(shù)據(jù)壓縮以及數(shù)據(jù)去噪。其中，降維和聚類是目前最流行的兩種無監(jiān)督學(xué)習(xí)方法。

　　2.2.3強(qiáng)化學(xué)習(xí)

　　強(qiáng)化學(xué)習(xí)[89]使用獎(jiǎng)懲系統(tǒng)預(yù)測學(xué)習(xí)模型的下一步，用于解決智能體在與環(huán)境的交互過程中通過學(xué)習(xí)策略以達(dá)成回報(bào)最大化或?qū)崿F(xiàn)特定目標(biāo)的問題。強(qiáng)化學(xué)習(xí)的常見模型是標(biāo)準(zhǔn)的馬爾可夫決策過程，主要用于解決游戲和機(jī)器人中常見的決策問題。強(qiáng)化學(xué)習(xí)可分為基于模式的強(qiáng)化學(xué)習(xí)和無模式強(qiáng)化學(xué)習(xí)，以及主動(dòng)強(qiáng)化學(xué)習(xí)和被動(dòng)強(qiáng)化學(xué)習(xí)。求解強(qiáng)化學(xué)習(xí)問題所使用的算法可分為策略搜索算法和值函數(shù)算法兩類。

　　2.3深度學(xué)習(xí)架構(gòu)

　　隨著近年來深度學(xué)習(xí)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展也獲得了重大進(jìn)展，產(chǎn)生了豐富的深度學(xué)習(xí)架構(gòu)。在眾多深度學(xué)習(xí)框架中，深度學(xué)習(xí)熒光顯微成像領(lǐng)域沿用了許多計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出色的網(wǎng)絡(luò)架構(gòu)并對其進(jìn)行優(yōu)化與創(chuàng)新。

　　2.3.1卷積神經(jīng)網(wǎng)絡(luò)

　　深度卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks，CNN)是計(jì)算機(jī)視覺領(lǐng)域最廣泛應(yīng)用的網(wǎng)絡(luò)[70]，具有權(quán)重共享、局部區(qū)域感知以及空間或時(shí)間上池化降采樣三大特點(diǎn)，因此網(wǎng)絡(luò)模型在結(jié)構(gòu)上更加簡單，大大減少了網(wǎng)絡(luò)中的權(quán)值數(shù)量。上述特點(diǎn)也使得CNN網(wǎng)絡(luò)在面對數(shù)據(jù)量龐大的圖像識別問題時(shí)可以通過降維方法解決問題，在視覺識別任務(wù)中表現(xiàn)出色，被廣泛應(yīng)用到顯微成像領(lǐng)域[90-96]。

　　3深度學(xué)習(xí)在熒光顯微成像中的應(yīng)用

　　光學(xué)顯微成像技術(shù)本身具有高分辨率、高通量(高速)、非侵入、低毒性等特點(diǎn)，與熒光蛋白以及熒光染料等標(biāo)記物在細(xì)胞中的定位與表達(dá)技術(shù)相結(jié)合，使得科學(xué)家可以特異性的分辨生物體乃至細(xì)胞內(nèi)部不同結(jié)構(gòu)與成分，并且能夠在生命體和細(xì)胞仍具有活性的狀態(tài)下對其功能進(jìn)行動(dòng)態(tài)觀察。

　　典型的熒光顯微系統(tǒng)主要有基于掃描照明的光片熒光顯微成像，共聚焦熒光顯微成像，基于寬場照明(非掃描)的寬場熒光顯微成像和光場熒光顯微成像，采用了超分辨技術(shù)的結(jié)構(gòu)光照明熒光顯微成像、受激發(fā)射損耗顯微成像、單分子定位熒光顯微成像。2017年美國加州大學(xué)洛杉磯分校A.Ozcan課題組在《Optica》上發(fā)表文章[115]，第一次將深度學(xué)習(xí)技術(shù)應(yīng)用于寬場顯微圖像轉(zhuǎn)換中，并用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集，顯著改善了寬場顯微鏡的性能，提高了在大視場和景深范圍內(nèi)的空間分辨率，開啟了將深度學(xué)習(xí)與顯微成像相結(jié)合的新時(shí)代。

　　3.1共聚焦熒光顯微成像

　　共聚焦熒光顯微鏡[116]用高度聚焦的激光束對樣品逐點(diǎn)掃描成像，熒光信號經(jīng)過探測針孔濾波后被光電倍增管收集。由于針孔結(jié)構(gòu)，只有激光焦點(diǎn)處激發(fā)的熒光可以通過探測針孔，有效的濾除了離焦信號，而且通過逐層掃描樣品，可實(shí)現(xiàn)三維成像。與普通寬場或點(diǎn)掃描熒光顯微鏡相比，共聚焦顯微鏡具有更高的信噪比和分辨率。然而，共聚焦熒光顯微鏡采用點(diǎn)掃描方式成像，需要逐像素掃描，原理上速度慢。并且共聚焦熒光顯微鏡采用大功率激發(fā)光聚焦照明，獲得高信噪比圖像的同時(shí)相比于傳統(tǒng)顯微鏡光漂白性和光毒性更加嚴(yán)重。

　　與傳統(tǒng)點(diǎn)掃描共聚焦熒光顯微鏡相比，轉(zhuǎn)盤共聚焦熒光顯微鏡采用多點(diǎn)并行掃描方式，速度快，但信噪比較低，分辨率不如點(diǎn)掃描共聚焦且仍存在光漂白性和光毒性嚴(yán)重的問題。M.Weigert等人在2018年提出了基于深度學(xué)習(xí)的內(nèi)容感知圖像恢復(fù)網(wǎng)絡(luò)(Content-awareImageRestoration，CARE)，更好地解決了轉(zhuǎn)盤共聚焦熒光顯微鏡光漂白性和光毒性嚴(yán)重的問題。CARE使用U-Net類3D網(wǎng)絡(luò)，在采集過程中光子數(shù)量減少60倍的情況下將低信噪比轉(zhuǎn)盤共聚焦熒光顯微圖像恢復(fù)為高分辨顯微圖像，實(shí)現(xiàn)了更適合生物樣本活體狀態(tài)下的成像[98]。

　　4深度學(xué)習(xí)顯微成像的發(fā)展趨勢

　　深度學(xué)習(xí)顯微鏡的出現(xiàn)豐富了現(xiàn)有的光學(xué)顯微成像技術(shù)，解決了很多傳統(tǒng)光學(xué)在物理限制下無法輕易甚至不能解決的問題，然而這僅僅是實(shí)現(xiàn)革命性成像技術(shù)大工程中的一小步�，F(xiàn)今深度學(xué)習(xí)顯微鏡仍然存在一些問題：(i)訓(xùn)練數(shù)據(jù)的獲取與標(biāo)注成本高;(ii)電子硬件芯片資源昂貴且落地靈活性差;(iii)純依靠數(shù)據(jù)導(dǎo)致特定網(wǎng)絡(luò)訓(xùn)練后缺乏泛化能力;(iv)學(xué)習(xí)器的拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)與學(xué)習(xí)的內(nèi)在過程的可解釋性不足。上述因素均限制了深度學(xué)習(xí)顯微鏡的進(jìn)一步發(fā)展[129-131]。

　　光學(xué)論文范例： 影響X熒光光譜儀測量準(zhǔn)確度的幾個(gè)因素分析

　　5結(jié)束語

　　本文介紹了深度學(xué)習(xí)熒光顯微成像技術(shù)的基本概念，列舉了共聚焦顯微鏡、光片顯微鏡、光場顯微鏡、結(jié)構(gòu)光顯微鏡、受激發(fā)射損耗顯微鏡以及單分子定位顯微鏡與深度學(xué)習(xí)結(jié)合的一系列應(yīng)用實(shí)例，最后對于深度學(xué)習(xí)顯微成像的發(fā)展趨勢進(jìn)行了展望。深度學(xué)習(xí)的發(fā)展雖有過曲折，但是深度學(xué)習(xí)的出現(xiàn)不可否認(rèn)的為許多領(lǐng)域帶來了眾多令人矚目的開創(chuàng)性研究成果。我們有理由相信人工智能未來的發(fā)展將會迎來更好時(shí)代，現(xiàn)在正處于深度學(xué)習(xí)的第三次發(fā)展浪潮，應(yīng)努力致力于深度學(xué)習(xí)技術(shù)和顯微成像技術(shù)的結(jié)合應(yīng)用。另一方面，深度學(xué)習(xí)也還有很長的路要走，當(dāng)下深度學(xué)習(xí)技術(shù)在光學(xué)顯微成像領(lǐng)域所面臨的挑戰(zhàn)也是正要面對和解決的問題，同時(shí)也應(yīng)當(dāng)注重光學(xué)原理以及硬件的創(chuàng)新和提升，未來顯微鏡的發(fā)展必將依靠新型光學(xué)系統(tǒng)與高效深度學(xué)習(xí)算法的融合，我們期待出現(xiàn)更多革命性的顯微成像技術(shù)。

　　參考文獻(xiàn)

　　[1]LichtmanJW,ConchelloJA.Fluorescencemicroscopy[J].NatureMethods,2005,2(12):910-919.

　　[2]HuiskenJ,SwogerJ,DelBeneF,etal.Opticalsectioningdeepinsideliveembryosbyselectiveplaneilluminationmicroscopy[J].Science,2004,305(5686):1007-1009.

　　[3]ChenBC,LegantWR,WangK,etal.Latticelight-sheetmicroscopy:imagingmoleculestoembryosathighspatiotemporalresolution[J].Science,2014,346(6208):439-453.

　　[4]PrevedelR,YoonYG,HoffmannM,etal.Simultaneouswhole-animal3Dimagingofneuronalactivityusinglight-fieldmicroscopy[J].NatureMethods,2014,11(7):727-730.

　　[5]GustafssonMGL.Surpassingthelateralresolutionlimitbyafactoroftwousingstructuredilluminationmicroscopy[J].JournalofMicroscopy,2000,198(2):82-87.

　　[6]BetzigE,PattersonGH,SougratR,etal.Imagingintracellularfluorescentproteinsatnanometerresolution[J].Science,2006,313(5793):1642-1645.

　　作者：李浩宇，曲麗穎，華子杰，王新偉，趙唯淞，劉儉

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/27815.html