本文摘要：摘要近年來，熒光顯微鏡技術(shù)由于其良好特異性、高對比度、高信噪比等性能優(yōu)勢，被廣泛應用于生物物理學，神經(jīng)科學，細胞學，與分子生物學等生命科學研究的各個領(lǐng)域。然而，傳統(tǒng)的熒光顯微鏡仍然存在分辨率、成像速度、成像視
摘要近年來，熒光顯微鏡技術(shù)由于其良好特異性、高對比度、高信噪比等性能優(yōu)勢，被廣泛應用于生物物理學，神經(jīng)科學，細胞學，與分子生物學等生命科學研究的各個領(lǐng)域。然而，傳統(tǒng)的熒光顯微鏡仍然存在分辨率、成像速度、成像視場、光毒性和光漂白等方面的相互限制，使其在亞細胞結(jié)構(gòu)觀測、活體生物超精密成像和分子結(jié)構(gòu)研究領(lǐng)域的應用受到了極大阻礙。由于傳統(tǒng)熒光顯微鏡所具有的光學系統(tǒng)的局限性，研究人員將目光投向了由數(shù)據(jù)驅(qū)動的深度學習方法�；谏疃葘W習顯微鏡的出現(xiàn)，豐富了現(xiàn)有的光學顯微成像技術(shù)，大數(shù)據(jù)量的訓練突破了傳統(tǒng)光學顯微鏡所能夠達到的功能和性能的疆界。本文聚焦深度學習的熒光顯微成像技術(shù)，首先對深度學習的基本原理以及發(fā)展過程進行了簡要概述，隨后針對深度學習在熒光顯微成像領(lǐng)域近年來國內(nèi)外的最新成果進行了總結(jié)，通過與傳統(tǒng)顯微成像系統(tǒng)的對比，闡述了深度學習在解決熒光顯微成像問題上的優(yōu)越性，最后對深度學習在顯微成像技術(shù)上的應用前景進行了展望。
關(guān)鍵詞深度學習;熒光顯微鏡;超分辨;光學成像
1引言
2014年諾貝爾化學獎授予了超分辨熒光顯微技術(shù)，標志著光學顯微鏡的分辨率由亞微米級進入納米級。熒光顯微鏡是生命科學中研究細胞、組織和生物體時空動力學行為不可或缺的工具�，F(xiàn)有的熒光顯微鏡[1-8]將成像分辨率從幾百納米提高至幾納米，實現(xiàn)了生物精細結(jié)構(gòu)與精細動態(tài)過程的高分辨體成像[9-19]。然而，記錄生物過程的質(zhì)量不僅取決于光學設備的空間分辨率[20]，還取決于時間分辨率、實驗總持續(xù)時間、成像深度、可達到的熒光團密度、光漂白性和光毒性等[20-29]。
而受樣本健康和最大光子預算限制，上述因素存在相互制約關(guān)系，不可能同時優(yōu)化。例如，通過減少曝光時間提高成像速度的同時犧牲信噪比。因此，熒光顯微鏡在亞細胞結(jié)構(gòu)觀測、活體生物超精密成像和分子結(jié)構(gòu)研究領(lǐng)域的應用上仍存在一定缺陷。
目前，針對上述缺陷主要有兩類解決方法。第一類方法是優(yōu)化顯微鏡硬件[30-36]。第二類方法是使用提高獲取顯微圖像質(zhì)量的算法與光路配合，優(yōu)化提取信息的效率[37-42]。由于物理條件的限制，光路硬件優(yōu)化很難突破。因此計算算法已日益成為成像過程的重要組成部分。圖像重建算法的突破不僅能提高圖像質(zhì)量，還將為開發(fā)新的成像模式提供思路[43]。常見圖像重建算法包括基于熒光分子物理特性的統(tǒng)計超分辨算法[44-49]、基于相應成像模型的反卷積算法[50-54]、基于形態(tài)學模型的表面投影算法[55,56]和基于數(shù)據(jù)驅(qū)動的深度學習算法[57,58]等。
上述算法均可以巧妙地繞過物理限制，在一定程度上克服熒光顯微鏡的缺陷，更好地恢復生物信息。相比于其他算法，深度學習能夠更充分利用現(xiàn)有數(shù)據(jù)的先驗知識，針對于特定任務的信息恢復能力更強[43];深度學習利用神經(jīng)網(wǎng)絡進行數(shù)據(jù)驅(qū)動的統(tǒng)計推斷，不需要對成像過程進行數(shù)值建�；蚬烙孅c擴散函數(shù);深度學習可以實現(xiàn)端到端的圖像轉(zhuǎn)換，不需要顯式的分析建模;深度學習預訓練好的深層網(wǎng)絡無需任何迭代或參數(shù)搜索即可快速實現(xiàn)高性能顯微功能及其大眾化�；谏鲜鰞�(yōu)勢，深度學習已成為彌補熒光顯微鏡缺點的一種有效方法。
本文聚焦于深度學習熒光顯微成像技術(shù)，旨在幫助研究者們了解深度學習熒光顯微成像技術(shù)的基本知識、應用和發(fā)展趨勢，為該領(lǐng)域科學研究提供參考。首先簡介了深度學習基本原理;其次分析了幾種典型的熒光顯微鏡的主要缺陷，并通過舉例方式闡述深度學習在解決熒光顯微成像問題上的優(yōu)越性;最后總結(jié)了深度學習仍存在的問題并對深度學習顯微成像領(lǐng)域未來發(fā)展趨勢進行了展望。
2深度學習原理
2.1深度學習基本概念及其發(fā)展歷程
深度學習是隸屬于機器學習算法的一項新興技術(shù)，其發(fā)展是由用于人腦分析學習的神經(jīng)網(wǎng)絡的建立和仿真所推動的。傳統(tǒng)的學習算法大多屬于簡單學習，只具有淺層結(jié)構(gòu)，一般僅包含一兩層非線性特征變換層，很難解決一些復雜的自然信號處理問題[59-63]。深度學習通過學習深度非線性網(wǎng)絡結(jié)構(gòu)來表征輸入數(shù)據(jù)，能夠?qū)崿F(xiàn)對復雜函數(shù)的逼近，具有直接從樣本集學習整體數(shù)據(jù)集本質(zhì)特征的強大能力，更加適用于計算機視覺領(lǐng)域，能夠用于解決熒光顯微成像領(lǐng)域一系列傳統(tǒng)熒光顯微鏡無法克服的問題。深度學習的發(fā)展迄今為止經(jīng)過了三次浪潮，跌宕起伏，總的來說可以分為：1943-1969年為起源階段，在此期間各種人工智能的概念被相繼提出[64-68]。1974-2006年為發(fā)展階段，具有代表性的技術(shù)，如反向傳播算法、循環(huán)神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡等深度生成架構(gòu)逐步成型[69-79]。
2006年-至今為爆發(fā)階段，深度學習在科學與技術(shù)的各個領(lǐng)域開始廣泛應用[80-86]。起源階段：1943年隨著McCulloch&Pitts神經(jīng)元模型的提出[64]，人工神經(jīng)網(wǎng)絡的研究由此開始。隨后，“感知器”的提出[66]引起了第一次神經(jīng)網(wǎng)絡的浪潮。然而，1969年美國數(shù)學家M.Minsky提出了單層感知器無法解決線性不可分問題[68]，使人工神經(jīng)網(wǎng)絡的發(fā)展陷入了停滯。發(fā)展階段：1986年G.E.Hinton教授提出的適用于多層感知器的反向傳播算法(BP算法)[76]，有效解決了非線性分類和學習的問題，人工神經(jīng)網(wǎng)絡進入發(fā)展階段，多種模型被陸續(xù)提出。
然而，1991年BP算法被指出存在梯度消失問題，阻礙了其有效地學習數(shù)據(jù)分布，人工神經(jīng)網(wǎng)絡的發(fā)展陷入了二次停滯。爆發(fā)階段：2006年G.E.Hinton教授針對深層網(wǎng)絡訓練中梯度消失問題提出了解決方案，并正式提出“深度學習”的概念[80]。隨后，2012年提出的AlexNet模型以及2015年提出的ResNet模型[83]由于在ImageNet競賽中的優(yōu)異表現(xiàn)，得到了人們的廣泛關(guān)注，深度學習進入爆發(fā)階段。隨著深度學習的不斷發(fā)展，深度學習開始在各個領(lǐng)域被廣泛應用，深度學習顯微成像技術(shù)應運而生。
2.2深度學習方法
2.2.1監(jiān)督學習監(jiān)督學習是目前最常見的機器學習類型[87]，輸入是有人工標注的樣本，通過調(diào)整分類器的參數(shù)，實現(xiàn)輸入數(shù)據(jù)到已知目標輸出的映射。監(jiān)督學習主要包括分類和回歸。在分類問題中，深度學習網(wǎng)絡預測離散值并將輸入變量與離散類別關(guān)聯(lián)。在回歸問題中，深度學習網(wǎng)絡使用連續(xù)函數(shù)將輸入與輸出關(guān)聯(lián)。
2.2.2無監(jiān)督學習無監(jiān)督學習是指在沒有人工標注(標簽)的情況下，通過計算機學習去自動尋找輸入數(shù)據(jù)間的關(guān)系[88]。目前無監(jiān)督學習主要用于數(shù)據(jù)可視化、數(shù)據(jù)壓縮以及數(shù)據(jù)去噪。其中，降維和聚類是目前最流行的兩種無監(jiān)督學習方法。
2.2.3強化學習
強化學習[89]使用獎懲系統(tǒng)預測學習模型的下一步，用于解決智能體在與環(huán)境的交互過程中通過學習策略以達成回報最大化或?qū)崿F(xiàn)特定目標的問題。強化學習的常見模型是標準的馬爾可夫決策過程，主要用于解決游戲和機器人中常見的決策問題。強化學習可分為基于模式的強化學習和無模式強化學習，以及主動強化學習和被動強化學習。求解強化學習問題所使用的算法可分為策略搜索算法和值函數(shù)算法兩類。
2.3深度學習架構(gòu)
隨著近年來深度學習的發(fā)展，人工神經(jīng)網(wǎng)絡的發(fā)展也獲得了重大進展，產(chǎn)生了豐富的深度學習架構(gòu)。在眾多深度學習框架中，深度學習熒光顯微成像領(lǐng)域沿用了許多計算機視覺領(lǐng)域表現(xiàn)出色的網(wǎng)絡架構(gòu)并對其進行優(yōu)化與創(chuàng)新。
2.3.1卷積神經(jīng)網(wǎng)絡
深度卷積神經(jīng)網(wǎng)絡(ConvolutionalNeuralNetworks，CNN)是計算機視覺領(lǐng)域最廣泛應用的網(wǎng)絡[70]，具有權(quán)重共享、局部區(qū)域感知以及空間或時間上池化降采樣三大特點，因此網(wǎng)絡模型在結(jié)構(gòu)上更加簡單，大大減少了網(wǎng)絡中的權(quán)值數(shù)量。上述特點也使得CNN網(wǎng)絡在面對數(shù)據(jù)量龐大的圖像識別問題時可以通過降維方法解決問題，在視覺識別任務中表現(xiàn)出色，被廣泛應用到顯微成像領(lǐng)域[90-96]。
3深度學習在熒光顯微成像中的應用
光學顯微成像技術(shù)本身具有高分辨率、高通量(高速)、非侵入、低毒性等特點，與熒光蛋白以及熒光染料等標記物在細胞中的定位與表達技術(shù)相結(jié)合，使得科學家可以特異性的分辨生物體乃至細胞內(nèi)部不同結(jié)構(gòu)與成分，并且能夠在生命體和細胞仍具有活性的狀態(tài)下對其功能進行動態(tài)觀察。
典型的熒光顯微系統(tǒng)主要有基于掃描照明的光片熒光顯微成像，共聚焦熒光顯微成像，基于寬場照明(非掃描)的寬場熒光顯微成像和光場熒光顯微成像，采用了超分辨技術(shù)的結(jié)構(gòu)光照明熒光顯微成像、受激發(fā)射損耗顯微成像、單分子定位熒光顯微成像。2017年美國加州大學洛杉磯分校A.Ozcan課題組在《Optica》上發(fā)表文章[115]，第一次將深度學習技術(shù)應用于寬場顯微圖像轉(zhuǎn)換中，并用卷積神經(jīng)網(wǎng)絡訓練數(shù)據(jù)集，顯著改善了寬場顯微鏡的性能，提高了在大視場和景深范圍內(nèi)的空間分辨率，開啟了將深度學習與顯微成像相結(jié)合的新時代。
3.1共聚焦熒光顯微成像
共聚焦熒光顯微鏡[116]用高度聚焦的激光束對樣品逐點掃描成像，熒光信號經(jīng)過探測針孔濾波后被光電倍增管收集。由于針孔結(jié)構(gòu)，只有激光焦點處激發(fā)的熒光可以通過探測針孔，有效的濾除了離焦信號，而且通過逐層掃描樣品，可實現(xiàn)三維成像。與普通寬場或點掃描熒光顯微鏡相比，共聚焦顯微鏡具有更高的信噪比和分辨率。然而，共聚焦熒光顯微鏡采用點掃描方式成像，需要逐像素掃描，原理上速度慢。并且共聚焦熒光顯微鏡采用大功率激發(fā)光聚焦照明，獲得高信噪比圖像的同時相比于傳統(tǒng)顯微鏡光漂白性和光毒性更加嚴重。
與傳統(tǒng)點掃描共聚焦熒光顯微鏡相比，轉(zhuǎn)盤共聚焦熒光顯微鏡采用多點并行掃描方式，速度快，但信噪比較低，分辨率不如點掃描共聚焦且仍存在光漂白性和光毒性嚴重的問題。M.Weigert等人在2018年提出了基于深度學習的內(nèi)容感知圖像恢復網(wǎng)絡(Content-awareImageRestoration，CARE)，更好地解決了轉(zhuǎn)盤共聚焦熒光顯微鏡光漂白性和光毒性嚴重的問題。CARE使用U-Net類3D網(wǎng)絡，在采集過程中光子數(shù)量減少60倍的情況下將低信噪比轉(zhuǎn)盤共聚焦熒光顯微圖像恢復為高分辨顯微圖像，實現(xiàn)了更適合生物樣本活體狀態(tài)下的成像[98]。
4深度學習顯微成像的發(fā)展趨勢
深度學習顯微鏡的出現(xiàn)豐富了現(xiàn)有的光學顯微成像技術(shù)，解決了很多傳統(tǒng)光學在物理限制下無法輕易甚至不能解決的問題，然而這僅僅是實現(xiàn)革命性成像技術(shù)大工程中的一小步�，F(xiàn)今深度學習顯微鏡仍然存在一些問題：(i)訓練數(shù)據(jù)的獲取與標注成本高;(ii)電子硬件芯片資源昂貴且落地靈活性差;(iii)純依靠數(shù)據(jù)導致特定網(wǎng)絡訓練后缺乏泛化能力;(iv)學習器的拓撲結(jié)構(gòu)設計與學習的內(nèi)在過程的可解釋性不足。上述因素均限制了深度學習顯微鏡的進一步發(fā)展[129-131]。
光學論文范例： 影響X熒光光譜儀測量準確度的幾個因素分析
5結(jié)束語
本文介紹了深度學習熒光顯微成像技術(shù)的基本概念，列舉了共聚焦顯微鏡、光片顯微鏡、光場顯微鏡、結(jié)構(gòu)光顯微鏡、受激發(fā)射損耗顯微鏡以及單分子定位顯微鏡與深度學習結(jié)合的一系列應用實例，最后對于深度學習顯微成像的發(fā)展趨勢進行了展望。深度學習的發(fā)展雖有過曲折，但是深度學習的出現(xiàn)不可否認的為許多領(lǐng)域帶來了眾多令人矚目的開創(chuàng)性研究成果。我們有理由相信人工智能未來的發(fā)展將會迎來更好時代，現(xiàn)在正處于深度學習的第三次發(fā)展浪潮，應努力致力于深度學習技術(shù)和顯微成像技術(shù)的結(jié)合應用。另一方面，深度學習也還有很長的路要走，當下深度學習技術(shù)在光學顯微成像領(lǐng)域所面臨的挑戰(zhàn)也是正要面對和解決的問題，同時也應當注重光學原理以及硬件的創(chuàng)新和提升，未來顯微鏡的發(fā)展必將依靠新型光學系統(tǒng)與高效深度學習算法的融合，我們期待出現(xiàn)更多革命性的顯微成像技術(shù)。
參考文獻
[1]LichtmanJW,ConchelloJA.Fluorescencemicroscopy[J].NatureMethods,2005,2(12):910-919.
[2]HuiskenJ,SwogerJ,DelBeneF,etal.Opticalsectioningdeepinsideliveembryosbyselectiveplaneilluminationmicroscopy[J].Science,2004,305(5686):1007-1009.
[3]ChenBC,LegantWR,WangK,etal.Latticelight-sheetmicroscopy:imagingmoleculestoembryosathighspatiotemporalresolution[J].Science,2014,346(6208):439-453.
[4]PrevedelR,YoonYG,HoffmannM,etal.Simultaneouswhole-animal3Dimagingofneuronalactivityusinglight-fieldmicroscopy[J].NatureMethods,2014,11(7):727-730.
[5]GustafssonMGL.Surpassingthelateralresolutionlimitbyafactoroftwousingstructuredilluminationmicroscopy[J].JournalofMicroscopy,2000,198(2):82-87.
[6]BetzigE,PattersonGH,SougratR,etal.Imagingintracellularfluorescentproteinsatnanometerresolution[J].Science,2006,313(5793):1642-1645.
作者：李浩宇，曲麗穎，華子杰，王新偉，趙唯淞，劉儉
轉(zhuǎn)載請注明來自發(fā)表學術(shù)論文網(wǎng)：http:///jjlw/27815.html
