熒光顯微鏡是生物醫(yī)學研究中的重要工具，通過使用熒光染料或熒光蛋白標記特定的細胞或分子，使其在顯微鏡下發(fā)出熒光，從而實現(xiàn)高分辨率的成像。

光片熒光顯微鏡是一種革命性的新興三維成像技術，通過快速掃描薄片樣本，實現(xiàn)高通量、高分辨率的三維成像。該技術具有光漂白與光毒性低、光子利用效率高、成像速度快和分辨率高等優(yōu)點，廣泛應用于神經(jīng)科學、細胞生物學、病理學等生物醫(yī)學領域。光片熒光顯微成像技術在三維病理分析中展現(xiàn)出了巨大的潛力。

相比于傳統(tǒng)的二維病理切片，三維病理分析能夠提供組織結構的完整空間信息，有助于更全面地理解疾病的發(fā)生和發(fā)展機制。三維病理分析領域的發(fā)展，將極大地推動病理學研究的深入和臨床診斷的化，為疾病的早期發(fā)現(xiàn)、*治療和個性化醫(yī)療提供強有力的支持。

華中科技大學光學與電子信息學的費鵬團隊發(fā)表綜述，介紹了光片顯微成像技術的發(fā)展及其在病理領域的應用，然后介紹了目前三維病理分析的主要工作和方法，著重討論了新興的多模態(tài)大語言模型在病理分析領域的應用前景。

光片顯微鏡的發(fā)展及應用

光片顯微鏡的發(fā)展歷程

2004年，Huisken課題組提出SPIM，首次將光片顯微鏡帶入人們的視野，大大降低了光漂白和光毒性，并能連續(xù)采集長時間序列圖像。

2007年，基于之前工作提出mSPIM，減少了SPIM中的條紋偽影。2008年，Keller等人提出DSLM，其通過掃描高斯光束形成虛擬光片。SPIM和DSLM奠定了光片顯微鏡的基本模式。

SPIM概覽。（a）樣品室示意圖；（b）SPIM成像的青鳉魚胚胎；（c）黑腹果蠅胚胎形成延時成像

光片生成的并行化。SPIM同時照明并捕捉整個視野的熒光，而mSPIM通過圍繞其中心旋轉光片來減少條紋偽影。DSLM通過時間共享光束生成虛擬光片，任何給定時間內(nèi)僅有被照明條帶產(chǎn)生熒光。為了保持相同信噪比，隨著視野大?。ㄑ貟呙栎S）相對于光片厚度的增加，DSLM需要更高的峰值強度Ipeak

近年來，光片顯微鏡朝著更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像體積發(fā)展。例如貝塞爾光片顯微鏡、Lattice顯微鏡、平面掃面共焦（SCAPE）顯微鏡及其改進版等多種*顯微鏡技術被提出。

傳統(tǒng)熒光顯微鏡在三維成像、長時間活體成像、光漂白和光毒性方面存在局限性，寬場熒光顯微鏡圖像對比度低，共聚焦顯微鏡成像速度慢且光漂白和光毒性較大。

為解決這些問題，光片熒光顯微鏡應運而生。它用一束薄薄的光片從側面照射樣品，減少了曝光量，大大降低了光漂白和光毒性，同時實現(xiàn)了快速、高分辨率的三維成像。

光片熒光顯微鏡。左側：典型的光片顯微鏡，成對的正交光路提供平面照明（藍色）和寬視場熒光檢測（綠色）。右側：通過選擇性照明單個平面實現(xiàn)光學切片

光片顯微鏡的重要技術發(fā)展

組織透明化技術：組織透明化技術通過化學試劑置換、沖洗等方法對生物樣本進行脫水、脫脂等操作，然后填充試劑使樣本具有均勻折射率，*放入折射率匹配的試劑中實現(xiàn)光的透明。該技術與光片顯微鏡結合，可提取復雜哺乳動物和大型人類標本的結構信息，如構建單細胞分辨率小鼠大腦圖譜。

全腦單細胞分辨率成像。（a）組織透明化方法允許對全腦細胞進行輪廓分析；（b）使用親水性組織透明化和定制的高分辨率光片顯微鏡獲得的成年小鼠大腦圖像；（c）三維單細胞分辨率的小鼠腦圖譜

光片顯微鏡在病理組織樣本中的應用

腫瘤病理學研究：光片顯微鏡可實現(xiàn)腫瘤組織的三維成像，提供詳細結構信息，用于評估藥物療效和指導個性化治療。如開頂光片顯微鏡可對前列腺組織樣本進行成像，還有研究對乳腺癌、膀胱腫瘤等的相關組織進行了成像研究，展示了其在腫瘤病理診斷和藥物研究中的價值。

神經(jīng)病理學和大腦研究：在研究神經(jīng)網(wǎng)絡結構方面具有優(yōu)勢，可觀察腦組織及神經(jīng)元等結構的三維形態(tài)特征。如對腦部標本的透明化方法進行可視化，在人腦組織中尋找感興趣區(qū)域并進行相關研究，以及對人腦枕葉組織、厚人腦切片中的淀粉樣斑塊等進行成像研究，體現(xiàn)了其在研究神經(jīng)系統(tǒng)疾病病理機制中的重要性。

其他病理學研究：在皮膚、眼球、口腔等病理組織研究中也有重要應用。如對人體皮膚活檢組織樣本、人眼、人類牙髓等進行成像，展示了其在臨床環(huán)境的體內(nèi)組織原位體積成像中的重要作用。

光片顯微鏡在病理組織樣本中的應用。（a）人類前列腺芯針活檢樣本虛擬蘇木精-伊紅染色的體積圖像及其正交二維橫截面，右側為感興趣區(qū)域中不同深度的放大視圖；（b）BT-474人類乳腺癌細胞系異種移植的整個腫瘤塊中藥物輸送的可視化；（c）厚人腦組織切片的大規(guī)模熒光成像，放大視圖展示了富含淀粉樣蛋白的區(qū)域；（d）人類舌頭背面無標記體內(nèi)成像圖像，舌頭的絲狀乳頭和蕈狀乳頭組織的H&E染色圖像、感興趣區(qū)域在臺式和微型MediSCAPE顯微鏡下成像圖像

病理分析的應用及發(fā)展

病理分析是一門醫(yī)學分支，其主要包含組織學、細胞學、免疫組織化學、分子病理學等方面。對于許多常見的癌癥和腫瘤，比如乳腺癌、前列腺癌、肺癌、胃腸道癌、皮膚癌以及各種良性和惡性的腫瘤等，病理分析通過對這些疾病的組織樣本進行詳細檢查，提供了明確的診斷依據(jù)，幫助醫(yī)生制定有效的治療方案。

光片顯微鏡作為一種新興的顯微成像技術，能夠以高速度、高分辨率和低光毒性成像大體積樣本。這種技術極其適用于三維組織成像、活體成像、多色熒光成像等場景，在病理分析中有著廣泛的應用前景。隨著光片顯微鏡技術的不斷發(fā)展，算法的進步也在推動病理分析邁向新的高度。

虛擬染色技術

傳統(tǒng)組織染色方法如H&E染色雖對病理學發(fā)展有重要作用，但存在時間成本高、操作繁瑣、樣本損壞和染色一致性差等問題。

虛擬染色技術興起得益于數(shù)字病理學和計算機視覺技術的快速發(fā)展。它利用圖像算法將顯微鏡下的無染色或輕度染色的生物組織圖像轉換為類似于傳統(tǒng)染色效果的技術。其顯著減少染色過程所需時間和成本，在組織病理學中，除固定樣本外，只需用類似H&E染色的熒光標記物進行標記，整個樣本準備過程少于3分鐘，并且減少額外材料開支。其圖像算法在GPU上并行處理時可在亞毫秒級處理每幀圖像。例如Jonathan T.C.Liu課題組提出的快速數(shù)字染色軟件包（FalseColor-Python）通過GPU加速處理大規(guī)模數(shù)據(jù)集，實現(xiàn)高效虛擬染色。

不同研究者針對各種視覺的定量指標進行對比，發(fā)現(xiàn)虛擬染色的結果與傳統(tǒng)染色結果非常接近。同時對一些臨床分析的結果進行對比，發(fā)現(xiàn)虛擬染色的結果并不會影響*終的判斷。這些結果表明通過虛擬染色生成的病理圖像是可靠的，可以在不影響診斷信息的情況下提供高質(zhì)量的組織圖像。

虛擬染色技術允許研究者在同一圖像上應用不同的染色方案，無需對樣本進行多次處理，減少對樣本的損耗和操作成本，提供更加靈活和多樣化的選擇。例如Zhang等人通過深度學技術對未標記的組織樣本進行虛擬染色，*復現(xiàn)H&E染色、Masson三色和Jones'銀染色，該方法能在單個組織切片上實現(xiàn)多重染色，無需進行多次物理處理，大大提高組織學分析的效率和準確性。Liu等人同樣利用深度學方法，從H&E染色圖像中生成虛擬的免疫組織化學（Immunohistochemistry，IHC）圖像，從而在不進行實際染色的情況下，獲得同樣高質(zhì)量的診斷信息。

虛擬染色結果。（a）用FalseColor-Python染色的病理組織（皮膚、腎臟、前列腺癌、表皮的基底層、腎小管、前列腺），通過調(diào)整染色參數(shù)實現(xiàn)不同風格的結果；（b）淋巴結虛擬染色前后對比圖。左側為用H&E熒光類似物染色的可視化，右側為用FalseColor-Python虛擬H&E染色的可視化；（c）利用Cycle-GAN將H&E染色風格的病理圖像轉變?yōu)镮HC染色風格，能夠準確預測出Ki-67的表達分布

虛擬染色通過算法實現(xiàn)，對于同樣的組織樣本，只要保持參數(shù)一致，就能夠提供一致的染色效果，避免傳統(tǒng)染色方法中的人為誤差和實驗室間差異。

傳統(tǒng)染色方法可能對樣本造成損傷，而虛擬染色技術是非破壞性的。研究者可以多次對同一樣本進行不同的虛擬染色處理，保留原始樣本的完整性。例如Jonathan T.C.Liu課題組的研究展示一種多分辨率非破壞性三維病理學方法，通過結合熒光染色和光學透明化技術，對淋巴結進行全方位成像，提高淋巴結轉移分期的準確性。

同時，虛擬染色技術可以很好地與光片熒光顯微鏡相結合。例如 Jonathan T.C.Liu課題組的研究中采用開頂式光片顯微鏡對經(jīng)過H&E染色熒光類似物標記的組織樣本進行成像。

這種結合可以顯著降低染色成本、提高病理分析效率、減少樣品損傷等，為病理分析提供強有力的工具，具有廣闊的應用前景。

病理分析的研究進展

光片熒光顯微成像技術：可快速、非破壞性地獲取高分辨率三維圖像，在癌癥研究、神經(jīng)科學和發(fā)育生物學等領域有巨大潛力，能實現(xiàn)大樣本高通量分析和動態(tài)過程實時監(jiān)測。

虛擬染色技術：通過計算方法替代傳統(tǒng)染色過程，加快病理切片處理速度，減少染色劑使用，提高環(huán)境友好性。

機器學和數(shù)字圖像處理技術：

• 二維病理分析：是病理學研究的基石，隨著人工智能發(fā)展，利用深度學算法對病理圖像進行分類診斷，在乳腺癌等疾病的病理分析中有諸多應用，但存在無法充分展示組織結構復雜性和空間關系的局限性。

作者提出框架的概述，包含標注、訓練和推理方法。（a）*病理學家使用計算機輔助標注軟件，根據(jù)患者的H&E染色和相應的IHC染色組織微陣列圖像對PD-L1狀態(tài)進行標注；（b）通過五折交叉驗證使用訓練集的H&E圖像訓練CNN模型，并在驗證集、測試集上生成每個患者的預測分數(shù)，取*值與病理學家標注進行比較以進行統(tǒng)計分析

• 三維病理分析：光片熒光顯微鏡在三維病理分析中有諸多優(yōu)勢，能提供更全面*的組織結構信息。如 Jonathan T.C.Liu課題組提出的TriPath平臺，以及在前列腺癌、乳腺癌等組織上的一系列工作，還有其他關于不同組織的研究，都展示了三維病理分析的優(yōu)勢，結合自動化算法可幫助醫(yī)生更準確診斷疾病。

TriPath計算工作流程。（a）3D成像模式可以捕捉組織樣本的高分辨率體積圖像；（b）TriPath首先將組織的體積圖像從背景中分離出來，然后將原始體積切分成小塊；（c）這些小塊通過預訓練的特征編碼器網(wǎng)絡進行處理（3D CNN或3D Vision Transformer）。這些編碼特征通過一個領域適應的淺層全連接網(wǎng)絡進行壓縮。接下來，一個聚合模塊對代表所有實例的特征進行聚合，根據(jù)其對體積級特征貢獻的重要性自動加權，以生成患者級別的預測。TriPath還提供了顯著性熱圖用于臨床解釋和驗證。

三維病理分析工作介紹。（a）左側三列分別為二維的虛擬染色H&E圖像、合成CK8 IHC圖像、CK8圖像的腺體分割掩膜。右側展示了良性和癌性區(qū)域的腺體分割的三維渲染圖；（b）上方：在模擬組織學圖像中觀察到一個微小轉移灶（<2毫米）。左下角：深度3D成像顯示腫瘤沉積為一個大轉移灶（>2毫米）。右下角：高分辨率成像顯示了轉移灶和良性組織之間的界面；（c）使用Amira和MATLAB軟件包對單細胞進行自動定量，評估了腫瘤每個細胞中的波形蛋白水平，并對其表達做了三維渲染

病理分析大模型：病理分析大模型是在醫(yī)療健康領域應用的大規(guī)模預訓練模型，參數(shù)量大，具備更強的特征提取和學能力，在不同任務場景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，這些模型在不同的病理學任務中表現(xiàn)優(yōu)異。

病理分析大模型概覽。（a）UNI概覽；（b）Prov-GigaPath概覽；（c）Virchow概覽

多模態(tài)大語言模型的應用及發(fā)展

多模態(tài)大語言模型的發(fā)展追溯到Transformer結構的提出，隨后基于Transformer的GPT、BERT等語言基礎模型誕生，接著ViT模型將Transformer應用到計算機視覺領域，CLIP架構實現(xiàn)了多模態(tài)信息的融合。

主流多模態(tài)大語言模型主要由圖像編碼器和文本編碼器經(jīng)過CLIP框架預訓練，再結合預訓練的LLM等組成，采用多種訓練方式，如參數(shù)高效微調(diào)方法等。

多模態(tài)大語言模型的核心組件

多模態(tài)大語言模型在病理分析領域的應用

• 生成醫(yī)學報告：根據(jù)病人影像資料和病歷文本自動生成詳細醫(yī)學報告，節(jié)省醫(yī)生時間，提高工作效率和報告準確性。

• 診斷疾?。航Y合影像和文本數(shù)據(jù)提高疾病診斷準確性，如在肺癌早期篩查中的應用。

• 數(shù)字病理分析：通過學病理圖像和診斷信息，自動識別、計算和分類病理組織，為病理醫(yī)生提供輔助工具。

• 人機交互：實現(xiàn)自然和直觀的人機交互，方便醫(yī)學工作者獲取信息和建議。

• 應用案例：如Tiu等人利用CLIP模型實現(xiàn)對多種疾病的檢測，還有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任務中的應用。

遵循指令的數(shù)據(jù)集管理和PathChat概述。（a）作者策劃了目前*的專門用于病理學領域的指令微調(diào)數(shù)據(jù)集，由456,916條指令和相應的響應組成，涵蓋各種格式。該助手可以對視覺和自然語言輸入進行推理；（b）PathChat的訓練過程

PathAsst整體框架示意圖。多模態(tài)MLLM訓練包括PathCLIP和PathAsst的訓練過程以及論文嵌入數(shù)據(jù)庫的構建。工具增強的MLLM推理詳細說明了PathAsst利用各種工具來提高其生成輸出質(zhì)量的過程

M3D-LaMed模型概述。（a）3D圖像編碼器通過與圖像-文本對進行跨模態(tài)對比學損失預訓練，執(zhí)行圖像-文本檢索。（b）在M3D-LaMed模型中，3D醫(yī)學圖像被輸入到預訓練的3D圖像編碼器和有效的3D空間池化感知器中，以生成精細的嵌入并插入到LLM中。輸出的[SEG]視為提示符，以調(diào)用可提示的3D醫(yī)學分割模型，從而獲得3D掩碼輸出。通過我們的M3D-Data，M3D-LaMed可以應用于各種3D醫(yī)學任務

多模態(tài)大語言模型結合光片顯微鏡展望

• 模型復雜性與計算資源：模型結構復雜、參數(shù)多，三維病理圖像數(shù)據(jù)處理更復雜，需要強大計算資源，這是研究機構和醫(yī)療機構的瓶頸，但隨著技術發(fā)展有望突破。

• 三維病理數(shù)據(jù)獲取與標注困難：需要大量三維病理圖像-文本對數(shù)據(jù)，目前缺乏大規(guī)模三維病理數(shù)據(jù)集，光片顯微鏡可解決此問題，還可通過模態(tài)遷移與適配在現(xiàn)有二維病理大模型上進行改進。

• 可能存在的問題：可能存在偏見和知識抄襲問題，且容易產(chǎn)生幻覺和錯誤，需要謹慎整合到病理實踐中，病理學家要驗證其生成內(nèi)容。

• 應用前景：光片顯微鏡與多模態(tài)大語言模型結合可改善三維病理數(shù)據(jù)獲取與標注困難，處理一系列病理分析任務，具有巨大臨床價值，雖然面臨挑戰(zhàn)，但隨著技術進步有望解決，應用前景廣闊。

結與展望

光片熒光顯微鏡具有高分辨率、成像速度快、光毒性和光漂白低等優(yōu)勢，在生物醫(yī)學領域應用廣泛且不斷發(fā)展，在三維病理成像領域潛力巨大。人工智能技術在病理分析中的應用不斷發(fā)展，從傳統(tǒng)的CNN模型到通用的綜合性病理分析大模型。光片熒光顯微鏡與多模態(tài)大語言模型結合將為病理分析領域提供更強大的工具支持，推動該領域進一步發(fā)展。

內(nèi)容來源：費鵬, 思文天, 張敏. 基于光片熒光顯微鏡的三維病理分析綜述[J]. 光學學報（網(wǎng)絡版）, 2024, 01(05): 02.