TW202429064A - 決定光束處理路徑之基於顯微鏡的系統和方法 - Google Patents

Abstract

提供了基於顯微鏡的系統。該基於顯微鏡的系統包含：照光組件，其包括照光光源和圖案照光裝置；以及處理模組，其耦接到照光光源和圖案照光裝置。該處理模組被組態為識別樣品中的感興趣的區域以針對該多個視野中的每一個產生二維照光光照，以及用於每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及控制該照光光源和該圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。也提供了使用方法。

Description

決定光束處理路徑之基於顯微鏡的系統和方法

優先權主張

此申請案主張2022年9月8日提出之美國臨時專利申請案第63/374,931號(名稱為「決定光束處理路徑之基於顯微鏡的系統和的方法」)的優先權，其整個內容併入本文中作為參考。 援引加入

本說明書所論及之所有公開案和專利申請案係均以整體援引加入本文，其援引程度如同每份單獨的公開案或專利申請案被具體且單獨地指示以援引加入一樣。

由於質譜法的靈敏度有限且缺乏蛋白質擴增工具，高靈敏度無假設的亞細胞蛋白質體學正面臨挑戰。如果沒有這種技術，就不可能在細胞和組織樣本中大量發現感興趣的特定位置的蛋白質。

空間蛋白質體學允許生物樣品的蛋白質圖譜揭示潛在蛋白質-蛋白質相互作用的幾何框架。細胞生物學家和組織學家很大程度上受益於空間蛋白質體學的最新發展，例如，能夠進行與疾病相關的微環境蛋白質圖譜、結構化組織學樣品上的結構蛋白質分佈或特定胞器的蛋白質識別。標靶空間蛋白質體學旨在定位已知蛋白質，而從頭空間蛋白質體學(de novo spatial proteomics)需要空間蛋白質識別，而無需事先了解要尋找的蛋白質。轉錄組學使用PCR來放大訊號，從而使RNAseq等從頭轉錄組學(de novo transcriptomics)成為可能，但蛋白質體學尚無與PCR等效的技術，與轉錄組學不同。

對於從頭空間蛋白質體學來說，有兩種主要技術是可行的：顯微鏡和質譜法(MS)。嚴格來說，顯微鏡術是一種依賴螢光蛋白質或螢光染料標記的標靶方式。最近蛋白質圖譜計畫的大規模免疫染色繪製了數千種蛋白質物種的圖譜，使其相當於從頭開始的空間蛋白質體資料庫。這種方式的局限性在於其應用於特定的生物問題，對於具有特定突變的生物樣品，必須再次實施一個長達多年的綜合過程。

質譜法技術長期以來一直被用來識別從頭蛋白質體。免疫沉澱(IP)和質譜法皆是一種廣泛使用的生化方式，用於識別與誘餌蛋白質相關的蛋白質體。最近的鄰近標記(PL)方法提供了接近誘餌蛋白質的更好的空間精準度。免疫沉澱和鄰近標記的結果有時特異性較低，這可能是由於下拉過程中的非特異性交互作用所致。

雷射擷取顯微切割(LCM)能夠在特定感興趣的區域進行蛋白質分離，並隨後進行從頭空間蛋白質體識別。然而，切割雷射的光束尺寸太大，無法實現空間精準度。其非有辨別力軸向切割引入了非特異性雜訊並降低了特異性。

空間標靶光學微蛋白質體學(STOMP)及其衍生方式的最新發展提供了另一種從頭空間蛋白質體學工具，可在顯微鏡下識別特定感興趣的區域的蛋白質體。然而，它缺乏基本的放大要求來達到質譜法對靈敏度和特異性的需求，這給識別低含量蛋白質帶來了挑戰。

鑑於上述目的，美國專利第11,265,449號揭露了一種圖像引導系統和方法，能夠照光樣品上的變化圖案。透過光學、光化學、圖像處理和機電一體化設計的獨特整合，此類系統和方法能夠處理高含量的蛋白質、脂質、核酸或生化物質，以便在基於使用者定義的顯微圖像特徵的感興趣的區域進行調節、轉換、分離或識別，廣泛用於細胞或組織樣品實驗。更具體地，本技術在生物樣品的感興趣的區域(ROIs)處標記(使用，例如生物素化)蛋白質，然後應用鄰近光標記以在目標區域中準確地標記蛋白質。光標記後，從樣品中萃取生物素化蛋白質並進行質譜蛋白質體分析。光誘導標記可確保低背景，使顯微鏡引導的蛋白質體學變得可行。然而，通常至少需要一天時間才能照光數萬個視野(FOV)。在此體認到需要一種在合理的持續時間內對一個視野的蛋白質進行光標記的改進方法。

在一方面，本發明提供了一種基於顯微鏡的系統，用於快速照光生物樣品的多個視野中的複數個感興趣的區域，包括光源、圖案照光裝置、和耦接到該光源和該圖案照光裝置的處理模組，其中，該處理模組被組態為針對該多個視野中的每一個來識別感興趣的區域；用於每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序；以及控制該光源和該圖案照光裝置來基於該照光順序照光該感興趣的區域，其中，該多個視野中的照光順序不同。

在另一方面，本發明提供了一種電腦實現方法，用於快速照光生物樣品的多個視野中的複數個感興趣的區域，該電腦實現方法在電腦的處理器中執行，包括：針對該多個視野中的每一個識別感興趣的區域；針對每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序；針對每個視野，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及控制該光源和該圖案照光裝置來基於該照光順序和該照光路徑照光該感興趣的區域，其中，該多個視野中的照光順序不同。

在一些實施例中，該區域到區域行進距離是該感興趣的區域中的每一個的中心點之間的直線距離的該總和。

在一些實施例中，處理模組進一步被組態為遵循該照光順序在該感興趣的區域中的每一個內決定照光路徑。

在一些實施例中，該處理模組進一步被組態為控制該光源和該圖案照光裝置來根據該照光路徑照光該感興趣的區域並防止對該感興趣的區域之外的照光。

在一些實施例中，該照光路徑從位於第一順序的該感興趣的區域的邊界處的起點延伸。

在一些實施例中，每一個感興趣的區域不與該視野中的任何其他感興趣的區域重疊或連接。

在一些實施例中，該照光路徑包括複數個照光停止點和照光恢復點，以及該照光停止點中的每一個指示用於切換到每個該恢復點的獨立座標。

在一些實施例中，該恢復點中的一個位於該感興趣的區域中的一個內以及被該感興趣的區域的邊界所圍繞。

在一些實施例中，該恢復點中的一個位於該感興趣的區域中的一個的邊界處。

在一些實施例中，該處理模組藉由將該停止點的數量和該恢復點的數量最小化來決定該照光路徑，從而最小化該照光路徑的總距離。

在一些實施例中，針對該多個視野中的第一視野，該照光路徑包括終止點，該處理模組進一步被組態為在該終止點處針對該第一視野終止對該照光路徑的照光。

在一些實施例中，該處理模組進一步被組態為控制該光源和該圖案照光裝置從該起點或每個恢復點到每個停止點對感興趣的區域進行照光，防止從每個停止點到每個恢復點照光該感興趣的區域，並在該終止點處終止對該感興趣的區域的照光。

提供一種方法，包括:識別在生物樣品的多個視野中的至少一個感興趣的區域；針對該多個視野中的每一個產生二維照光光罩；針對該多個視野中的每一個，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該至少一個感興趣的區域的照光順序；針對每個視野，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及控制基於顯微鏡的系統的照光光源和圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。

在一方面，該區域到區域行進距離是該感興趣的區域中的每一個的中心點之間的直線距離的該總和。

在另一方面，該方法包含控制該照光光源和該圖案照光裝置來根據該照光路徑照光該感興趣的區域並防止對該感興趣的區域之外的照光。

在某些方面，該照光路徑從位於第一順序的該感興趣的區域的邊界處的起點延伸。

在一方面，每一個感興趣的區域不與該視野中的任何其他感興趣的區域重疊或連接。

在某些方面，該照光路徑包含複數個停止點和恢復點，以及該停止點中的每一個指示用於切換到每個該恢復點的獨立座標。

在一方面，該恢復點中的一個位於感興趣的區域中的一個內以及被該感興趣的區域的邊界所圍繞。

在另一方面，該恢復點中的一個位於該感興趣的區域中的一個的邊界處。

在某些方面，決定該照光路徑的該步驟包括將該停止點和恢復點的數量最小化，以便將在該照光路徑中每兩個感興趣的區域之間的總距離最小化。

在一個方面，針對該多個視野中的第一視野，該照光路徑包括終止點，以及該方法進一步包括在該終止點處針對該第一視野終止對該照光路徑的照光。

在某些方面，進一步包括控制該照光光源和該圖案照光裝置來開始在該起點或每個恢復點處照光該感興趣的區域，來暫時停止照光從每個停止點到每個恢復點的該感興趣的區域，以及針對該多個視野中的每一個在該終止點處來終止對該感興趣的區域的照光。

透過參考附隨圖式進行的以下詳細描述，本發明的實施例將變得顯而易見，其中相同的標號是有關於相同的元件。

儘管用語「第一」和「第二」可以在本文中用於描述各種特徵/元件(包含步驟)，但是這些特徵/元件不應受這些用語限制，除非上下文另有指示。這些用語可用於將一個特徵/元件與另一特徵/元件區分開。因此，在不脫離本發明的教導的情況下，下面討論的第一特徵/元件可以被稱為第二特徵/元件，並且類似地，下面討論的第二特徵/元件可以被稱為第一特徵/元件。

如本文所使用的，用語「光束」是雷射光束，用作本發明的照光光源。在一個實施例中，可以使用飛秒雷射作為照光光源，以產生雙光效果，以實現高軸向照光精準度。

如本文所使用的，用語「感興趣的區域」由使用者所定義。它們可以是細胞核、核仁、粒線體或任何細胞器或亞細胞區室的位置。它們可以是感興趣的蛋白質的位置、或形態特徵。它們也可以是由兩種顏色成像定義的特徵，例如蛋白質A和B的共置位點、或靠近中心體的肌動蛋白絲。

本文所使用的用語「照光」是指將光敏光(photosensitizing light)照光在點或區域上以實現局部光標記，其中分子可以是蛋白質、胺基酸、脂質或核酸。光標記過程是藉由包含光敏劑如核黃素、Rose Bengal或光敏蛋白質(如miniSOG和Killer Red等)和化學試劑如苯酚、芳基疊氮化物、二苯甲酮、Ru(bpy) ₃ ²⁺或用於標記目的之它們的衍生物。

本發明的基於顯微鏡的系統和照光方法的示例包含在美國專利第11,265,449號中描述的那些，其為所有目的藉由援引完全併入本文。在如圖1所示的一個實施例中，本發明的基於顯微鏡的系統10可以包括例如但不限於顯微鏡11、成像組件12、照光組件13和處理模組14。顯微鏡11包括物鏡(圖1未示出)和高精準度顯微鏡載台15，其中載台15被組態為裝載樣品S。成像組件12可以包括相機121和成像光源122。照光組件13可以包括照光光源131和圖案照光裝置132。

在本實施例中，照光光源131不同於用於樣品成像的成像光源122，例如LED燈。這裡的照光光源131僅用於對圖像處理決定的感興趣的區域進行照光，以及藉由點掃描來實現。即照光光源131可以是雷射，藉由檢流計反射鏡等掃描面鏡實現點掃描。例如，可以使用飛秒雷射作為照光光源131。

在本實施例中，處理模組14耦接至顯微鏡11、成像組件12和照光組件13。在另一個實施例中，基於顯微鏡的系統10可以包括獨立地控制成像組件12的第一處理模組、以及獨立控制照光裝置13的第二處理模組。處理模組14可以是電腦、工作站或電腦的CPU，其能夠執行為作業系統而設計的程式。

在一些實施例中，處理模組14採用四個連續步驟，重複數萬次。步驟1：處理模組14控制成像組件12，使得相機121取得第一視野(FOV)的樣品S的至少一個圖像；步驟2：根據預定標準自動將圖像或多個圖像即時傳輸至處理模組14，以藉由圖像處理識別感興趣的區域(ROI)並產生生物樣品S的圖像的照光光罩；步驟3：處理模組14依據照光罩控制照光組件13對樣品S的感興趣的區域進行照光；以及步驟4：當感興趣的區域完全照光後，處理模組14控制載台15移動至第一視野之後的第二視野。

這種快速重複的過程提供了足夠的目標蛋白質(例如，在目標細胞結構中發現的)，以克服缺乏可行的蛋白質擴增技術的根本問題。現有技術並未最佳化以在幾個小時內多次重複地執行這樣的過程。如果沒有這樣的速度，人們只能識別大多是已知的高含量蛋白質。

為了提高照光性能，本發明提供了一種用於快速照光生物樣品的多個視野中的複數個感興趣的區域的基於顯微鏡的系統，該系統包括被組態為採用演算法來繪製有效照光順序的處理模組以及每個視野中的感興趣的區域內和之間的最短照光路徑。請參考圖2。本發明的處理器模組被組態為執行包含步驟201、202、203和204的電腦實現方法。

在步驟201中，處理模組被組態為識別該感興趣的區域以針對該多個視野中的每一個產生二維照光光罩。如上所述，將生物樣品S裝載到載台上，並且處理模組控制成像組件針對多個視野中的每一個獲取生物樣品S的圖像。圖像可以是螢光染色圖像或明視野圖像。然後，處理模組或連接的電腦使用圖像處理技術(例如閾值處理、侵蝕、過濾或經過訓練的人工智慧方法)對圖像自動執行圖像處理，以基於使用者所設定的標準來識別感興趣的區域。在圖像處理後，處理模組產生僅示出多個視野中的每一個的所有期望的感興趣的區域的二維照光光罩，以用於隨後的照光。根據本發明，每個識別的感興趣的區域單獨存在。換句話說，每一個感興趣的區域不與視野之一中的任何其他感興趣的區域重疊或連接。如果兩個或多個感興趣的區域彼此重疊或連接，則這些感興趣的區域被視為「一個」感興趣的區域。

在步驟202中，處理模組被組態為，針對每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序。這裡的照光順序是指基於感興趣的區域的分佈對感興趣的區域進行排序，其中排序中每兩個感興趣的區域之間的總距離最小。換句話說，如果我們能夠縮短感興趣的區域的照光時間，則連續的感興趣的區域之間的複數個區域到區域行進距離的總和最小。在本發明的實施例中，該區域到區域行進距離是該感興趣的區域中的每一個的中心點之間的直線距離的總和。

在步驟203中，處理模組被組態為在每個該感興趣的區域內遵循照該光順序決定照光路徑。照光光源經由照光路徑提供照光的光以照光樣品的感興趣的區域。因此，利用照光路徑的引導，可以在感興趣的區域內精確地進行光化學反應，同時避免對感興趣的區域之外的照光。如前所述，感興趣的區域的分佈會影響多個視野中的順序，而順序又會影響路徑。因此，多個視野中的路徑是各種各樣的。

在步驟204中，處理模組被組態為控制該照光光源和該圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。

一般而言，本發明的目的提供一種非常有效的演算法來減少照光時間，但仍可在感興趣的區域內執行最大面積的光反應。如上所述，處理模組控制照光組件以照光每個感興趣的區域位置。照光順序提供了每兩個感興趣的區域之間的最小距離，以縮短照光裝置的行進時間。另外，照光路徑可以採用傳統演算法如洪水演算法(flooding algorithm)進行。本發明的照光路徑提供了一種讀取盡可能少的像素並使用最少量的記憶體分配來加速照光進度的方法。以下描述根據本揭露的某些示例性實施例。

請參考圖3A至圖3F。如圖3A所示，樣品S的視野300含有細胞301a至301e、非細胞材料303和亞細胞感興趣的區域302a至302e，例如細胞核，可以由處理模組14藉由它們的形態來識別，例如，使用人工智慧模型。在一些實施例中，併入處理模組14中的人工智慧模型被組態為提供或預測照光光罩，其用於控制每個細胞301的細胞核(即感興趣的區域302)的照光。由於生物樣品的可變性和多樣性，需要照光的興趣區域的大小、形狀和位置在每個視野中都會有所不同。因此，處理模組14將為生物樣品S的每個視野提供不同的照光光罩。

圖3B示出了用於視野300的示範照光光罩304。感興趣的區域302a至302e對應於處理模組14在視野300中所識別的細胞核的座標。感興趣的區域302a至302e中的每一個都與其他感興趣的區域分開；感興趣的區域302a至302e在任何照光光罩304中都不彼此重疊或連接。

圖3C中示出了示例性照光順序311。為了開始決定照光順序的過程，處理模組14從視野300的邊緣光柵掃描視野300。處理模組14被組態為針對全局最小距離策略(global minimum distance strategy)計算每個感興趣的區域302a至302e與該視野中的所有其他感興趣的區域302a至302e之間的距離，並且基於感興趣的區域302a至302e的分佈在掃描順序中對感興趣的區域302進行排序，其也是照光順序。例如，當光柵掃描路徑到達感興趣的區域302a時，感興趣的區域302a是要掃描的第一區域並且決定照光路徑302-1。然後，第一感興趣的區域302a可以被使用作為對所有感興趣的區域302b至302e進行排序並定義照光順序的基礎。如圖3C所示，照光順序311以302a、302b、302c、302d和302e的次序所配置的虛線312來標記。在決定照光順序311之後，處理模組順序掃描感興趣的區域302a、302b、302c、302d和302e，以決定302-1、302-2、302-3、302-4、和302-5的對應照光路徑。

如上所述，照光光源131是諸如雷射的點光源，並且藉由沿著照光路徑移動光源及/或光來執行感興趣的區域302的照光。當在照光過程期間移動光點掃描穿過感興趣的區域302時，每個視野的總照光時間可以至少部分取決於掃描感興趣的區域302的次序。本發明的一個面向是一種用於識別和實施掃描方式的方法和系統，該掃描方式將照光每個視野中的感興趣的區域所花費的時間最小化。換句話說，本發明提供了一種透過填充演算法(例如洪泛填充方法)來決定照光每個感興趣的區域的整個區域的最小路線的方法。

請參考圖3C和3D，他們為感興趣的區域的照光路徑302-1和302-2的放大視圖。在決定照光順序311之後，處理模組開始計算並決定第一感興趣的區域302a的照光路徑302-1。如圖3D所示，光柵掃描路徑到達第一感興趣的區域302a的邊緣標示為起點320的位置，並且感興趣的區域內的照光路徑可以是從該感興趣的區域的外圍開始並且向在初始停止點330-1處的中心延伸的螺旋線。因此，根據照光路徑320，處理模組控制照光組件從起點320開始照光第一感興趣的區域302a，並在初始停止點330-1處暫時中止照光。虛線312表示照光組件移動到隨後的感興趣的區域(例如，302b)的路徑而未進行照光。

根據照光順序311，處理模組隨後計算並決定第二感興趣的區域302b的照光路徑302-2。如圖3E所示，光柵掃描路徑到達第二感興趣的區域302b的邊緣標示為恢復點320-2的位置，並且感興趣的區域內的照光路徑可以是從感興趣的區域的外圍開始並且向在第二停止點330-2處的中心延伸的螺旋線。在初始停止點330-1和恢復點320-2之間是無照光部分，其藉由照光光源131和圖案照光裝置132而無照光。停止點330-n中的每一個標示用於切換到每個恢復點320-n+1的獨立座標。照光路徑302-3及302-4是由處理模組根據本發明所揭露的相同規則來計算並決定。

圖3F示出了根據所決定的照光順序311的第一視野的最後感興趣的區域302e的照光路徑302-5。如圖3F所示，光柵掃描路徑到達第二感興趣的區域302e的邊緣標示為恢復點320-5的位置，並且感興趣的區域內的照光路徑可以是從感興趣的區域的外圍開始並且向在終止點340處的中心延伸的螺旋線。到達終止點340後，所有感興趣的區域都被完全照光，處理模組14控制載台15移動到後續視野開始成像，識別感興趣的區域，決定照光順序和照光路徑，並再次進行照光處理。

如上所述，本發明因此提供了一種新穎的演算法來決定每兩個感興趣的區域302之間的距離被最小化，以及按順序302-1、302-2、302-3、302-4和302-5分別穿過感興趣的區域302a、302b、302c、302d和302e的總掃描距離被最小化。

根據本發明，感興趣的區域中的每一個不與視野之一中的任何其他感興趣的區域重疊或連接。在一些實施例中，如果兩個或更多個感興趣的區域彼此非常接近，則這些相鄰感興趣的區域的照光路徑可以組合在一起以成為「聯合照光路徑」。為了定義兩個或多個感興趣的區域是否足夠接近以成為「鄰居」，本領域技術人員可以使用「4鄰居圖模型」(4-neighbor graph model)或「8鄰居圖模型」(8-neighbor graph model)來知道哪些像素與給定的像素相鄰。

圖4描繪了聯合照光路徑的範例。如圖4所示，感興趣的區域401a和401b彼此靠近，虛線表示其感興趣的區域的邊界。在這實施例中，我們假設感興趣的區域401a和401b是一個視野中僅有的兩個感興趣的區域。當光柵掃描路徑到達感興趣的區域401a的邊界標示起點420的位置時，感興趣的區域內的照光路徑412可以沿著感興趣的區域401a和401b的邊界延伸，然後照光路徑412螺旋地延伸到初始停止點430-1處的中心。接下來，照光路徑412跳躍到感興趣的區域401a的邊界內的恢復點420-1並且向在終止點440處的中心延伸。

「聯合照光路徑」是一種實現兩個相鄰感興趣的區域的照光路徑「局部最小值」(local minima)的方法。它可以對感興趣的區域之外的小區域照光。如果使用者在任何情況下都不希望對感興趣的區域之外照光，則他們可以教導處理模組不要使用聯合照光路徑。

在另一個實施例中，如果感興趣的區域是不規則形狀而不是常見的圓形，則仍然可以應用聯合照光路徑演算法。與圖4中的範例類似，在具有不規則形狀的興趣區域內的照光路徑中可以存在多個恢復點/停止點。

在某些實施例中，本發明的照光路徑是透過填充演算法(filling algorithm)(例如洪水填充法)來計算或決定的。填充演算法可以基於自訂的數值控制碼進行編碼，如表1所示。

表1自訂的數值控制碼

程式碼	回應	程式碼	回應
d10000	向上轉一步	d10005	向左下轉一步
d10001	向右上轉一步	d10006	向下轉一步
d10002	向右轉一步	d10007	向左上轉一步
d10003	向右下轉一步	d10008	跳到新座標
d10004	向下轉一步	d10009	終止

在一些實施例中，自訂數值控制碼可以作為編碼器實現在FPGA、MCU、CPLD或PLC上，以將照光路徑轉換為二維點座標。d10000至d10008各程式碼所決定的實線中的點座標將在照光能量下曝光一次。此方法允許系統節省傳輸的資料量。另外，自訂的數值控制碼可以以一維陣列結構的形式傳輸，對於從主機電腦到處理模組14所實現的先進先出(FIFO)來說，佔用的記憶體較少。

在表1所示的實施例中，填充演算法的控制碼次序決定了順時針繪製的照光路徑，如圖3D至3F所示。然而，在其他實施例中，當控制碼的次序改變時，照光路徑可以繪製為逆時針方向。

在一些實施例中，因為如圖3C所示，照光順序中每兩個感興趣的區域302之間的總距離被最小化，所以停止點和恢復點的數量被最小化來將該路徑中每兩個感興趣的區域之間的總距離最小化。

在決定照光路徑後，該處理模組進一步被組態為控制該照光光源和該圖案照光裝置來開始在該起點或每個恢復點處照光該感興趣的區域、從每個停止點到每個恢復點的該感興趣的區域暫時停止照光、以及針對該多個視野中的每一個在該終止點處來終止對該感興趣的區域的照光。由於整個生物樣品S可以被劃分為多個視野，因此在不同的視野下，感興趣的區域302的分佈會不同。感興趣的區域302的不同分佈會影響照光順序，不同視野中的順序也會因此而改變。根據照光的感興趣的區域的數量，使用40倍物鏡對2 cm x 2 cm樣品井的蛋白質進行光標記的總時間可以在，例如2至15小時的範圍內。

圖5示出了根據本發明的詳細的基於顯微鏡的系統，用於快速照光生物樣品的多個視野中的複數個感興趣的區域。根據本揭露的基於顯微鏡的系統500包含具有無漂移聚焦設定的機動倒置式表層螢光顯微鏡501(例如，Nikon®Ti2-E顯微鏡)、控制器506(例如帶有現場可程式化閘陣列的桌上型電腦)和照光子系統503。控制器506中的軟體-韌體整合程式緊密協調地控制成像、圖像分割、光化學照光和視野變化。控制器506控制用於從顯微鏡載台505上的樣品獲得多色螢光圖像(例如，488nm、568nm、647nm)的LED光源502以及用於擷取樣品的圖像的sCMOS相機504。每種顏色的廣域成像可能需要(例如100 ms的曝光時間)LED電子快門進行10 ms的顏色切換。

控制器506可以即時分析圖像，使用傳統圖像處理或嵌入系統中的深度學習來識別和分割樣品中的感興趣的區域。此步驟需要0.1到1秒，具體取決於處理複雜性和圖像品質。在一些實施例中，基於深度學習的圖像分割可用於識別感興趣的區域並產生針對複雜圖像或低品質圖像的光罩。例如，數百張註釋的圖像可用於使用U-Net卷積神經網路訓練語意分割模型。還可以實施預處理及/或後/處理以改善訓練結果，並且訓練後的系統可以更有效地執行圖像分割和光罩產生。在一些實施例中，系統使用軟體-韌體整合程式來控制和緊密協調圖像擷取、圖像分割成感興趣的區域、感興趣的區域的光化學照光以及用於改變視野的載台移動。

在由系統的控制器506擷取和處理圖像之後，產生光罩以用來照光該視野中的想要的感興趣的區域，例如用雙光子標記感興趣的區域。光罩可以是對應於感興趣的區域的樣品視野上的座標的集合。照光子系統使用780nm飛秒光源508(例如，Coherent®Chameleon Vision I雷射)用於觸發x、y和z方向上的光化學反應(化學標記)的雙光子照光。雙光子照光在z方向獲得更好的化學標記精準度。

透過旋轉半波片510來調節雷射功率，半波片510可以改變雷射的線偏振方向，因此可以藉由通過偏振分光鏡立方體512來衰減功率。聲光調變器(AOM)514(例如Gooch&Housego AOMO 3080-125聲光調變器)在控制器506的控制下充當飛秒光快門以開啟和關閉雷射。四分之一波片516進一步將雷射光束的偏振改變為圓偏振。透鏡518和520擴大雷射光束尺寸以滿足顯微鏡物鏡522的要求。

控制器506控制一對檢流計掃描鏡(檢流鏡)(帶有671個驅動器的Cambridge Technology®6215H面鏡)524和526，以將飛秒光引導通過顯微鏡的掃描透鏡528和鏡筒透鏡530，經由物鏡522到達載台505上的樣品。為了避免因機械運動而造成的任何減慢，多波段二向色反射鏡532和534(例如2022年6月23日所提交的美國申請案第63/354,806號中描述的面鏡中所描述的那些，其揭露是藉由援引被併入本文)用於實現多色成像和飛秒光照光，而無需移動諸如轉塔或快門等機械元件。在對樣品視野中的感興趣的區域進行成像、感興趣的區域識別、光罩創建和雙光子照光之後，控制器506移動載台505，使得可以對下一個視野進行成像、感興趣的區域識別、光罩創建、和照光。該過程持續進行，直到樣品的所有視野都已成像。過程中唯一需要的機械運動是快速振鏡掃描和相對較慢的平台移動到下一個視野。

儘管上面描述了各種說明性實施方式，但是可以對各種實施方式進行多種改變中的任何改變而不脫離申請專利範圍所描述的本發明的範圍。例如，在替代實施方式中，執行各種所描述的方法步驟的順序常常可以改變，並且在其他替代實施方式中，可以一起跳過一個或多個方法步驟。各種裝置和系統實施方式的可選特徵可以包含在一些實施方式中而不包含在其他實施方式中。因此，前面的描述主要是出於示例性目的而提供的，並且不應被解釋為限制申請專利範圍中所述的本發明的範圍。

10:基於顯微鏡的系統 11:顯微鏡 12:成像組件 13:照光組件 14:處理模組 15:載台 121:相機 122:成像光源 131:照光光源 132:圖案照光裝置 20:方法 201:步驟 202:步驟 203:步驟 204:步驟 300:視野 301a:細胞 301b:細胞 301c:細胞 301d:細胞 301e:細胞 302a:感興趣的區域 302b:感興趣的區域 302c:感興趣的區域 302d:感興趣的區域 302e:感興趣的區域 302-1:照光路徑 302-2:照光路徑 302-3:照光路徑 302-4:照光路徑 302-5:照光路徑 303:非細胞材料 304:照光光罩 311:照光順序 312:虛線 320:起點 320-2:恢復點 320-5:恢復點 330-1:初始停止點 330-2:第二停止點 340:終止點 401a:感興趣的區域的邊界 401b:感興趣的區域的邊界 412:照光路徑 420:起點 420-1:恢復點 430-1:初始停止點 440:終止點 500:基於顯微鏡的系統 501:顯微鏡 502:LED光源 503:照光子系統 504:相機 505:顯微鏡載台 506:控制器 508:飛秒光源 510:半波片 512:偏振分光鏡立方體 514:聲光調變器 516:四分之一波片 518:透鏡 520:透鏡 522:物鏡 524:檢流計掃描鏡 526:檢流計掃描鏡 528:掃描透鏡 530:鏡筒透鏡 532:多波段二向色反射鏡 534:多波段二向色反射鏡 S:樣品

從詳細描述和附圖中可以更充分理解本發明的實施方式，附隨圖式僅用於說明，並不限制本發明，其中：

[圖1]表示根據本發明的一個實施例的基於顯微鏡的系統的示意圖。

[圖2]是由處理模組執行的決定生物樣品的多個視野中的複數個感興趣的區域上的快速照光的電腦實現的方法的流程圖。

[圖3A]表示由成像組件所獲取的樣品S的一個視野的圖像。

[圖3B]表示圖3A的圖像的示範性照光光罩。

[圖3C]表示由本發明的處理模組所決定的示例性照光順序。

[圖3D、3E和3F]描繪了相應感興趣的區域的照光路徑。

[圖4]描繪了根據本發明的另一個實施例的兩個感興趣的區域的照光路徑。

[圖5]描繪了根據本發明的另一個實施例的基於顯微鏡的系統的示意圖。

Claims (33)

1. 一種基於顯微鏡的系統，用於快速照光生物樣品的多個視野中的複數個感興趣的區域，包括： 包括照光光源和圖案照光裝置的照光組件；以及 耦接到該照光光源和該圖案照光裝置的處理模組，其中，該處理模組被組態為： 識別該感興趣的區域以針對該多個視野中的每一個產生二維照光光罩； 針對每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序； 針對每個視野，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及 控制該照光光源和該圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。
2. 如請求項1之系統，其中，該區域到區域行進距離是該感興趣的區域中的每一個的中心點之間的直線距離的該總和。
3. 如請求項1之系統，其中，該處理模組進一步被組態為控制該照光光源和該圖案照光裝置來根據該照光路徑照光該感興趣的區域並防止對該感興趣的區域之外的照光。
4. 如請求項1之系統，其中，該照光路徑從位於第一順序的感興趣的區域的邊界處的起點延伸。
5. 如請求項1之系統，其中，該每一個感興趣的區域不與該視野中的任何其他感興趣的區域重疊或連接。
6. 如請求項1之系統，其中，該照光路徑包括複數個照光停止點和照光恢復點，以及該照光停止點中的每一個指示用於切換到每個該恢復點的獨立座標。
7. 如請求項6之系統，其中，該起點和該恢復點中的一個位於該感興趣的區域中的一個內以及被該感興趣的區域的邊界所圍繞。
8. 如請求項6之系統，其中，該起點和該恢復點中的一個位於該感興趣的區域中的一個的邊界處。
9. 如請求項6之系統，其中，該處理模組藉由將該停止點的數量和該恢復點的數量最小化來決定該照光路徑來將該照光路徑的總距離最小化。
10. 如請求項1之系統，其中，針對該多個視野中的第一視野，該照光路徑包括終止點，以及該處理模組進一步被組態為在該終止點處針對該第一視野終止該照光路徑的照光。
11. 如請求項10之系統，其中，該處理模組進一步被組態為控制該照光光源和該圖案照光裝置來開始在該起點或每個恢復點處照光該感興趣的區域、來暫時停止照光從每個停止點到每個恢復點的該感興趣的區域、以及針對該多個視野中的每一個在該終止點處來終止對該感興趣的區域的照光。
12. 一種電腦實現方法，用於快速照光生物樣品的多個視野中的複數個感興趣的區域，該電腦實現方法在電腦的處理器中執行，包括： 識別該感興趣的區域以針對該多個視野中的每一個產生二維照光光罩； 針對每個視野，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該感興趣的區域的照光順序； 針對每個視野，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及 控制基於顯微鏡的系統的照光光源和圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。
13. 如請求項12之電腦實現方法，其中，該區域到區域行進距離是該感興趣的區域中的每一個的中心點之間的直線距離的該總和。
14. 如請求項12之電腦實現方法，其中，該處理器進一步被組態為控制該照光光源和該圖案照光裝置來根據該照光路徑照光該感興趣的區域並防止對該感興趣的區域之外的照光。
15. 如請求項12之電腦實現方法，其中，該照光路徑從位於第一順序的感興趣的區域的邊界處的起點延伸。
16. 如請求項12之電腦實現方法，其中，該每一個感興趣的區域不與該視野中的任何其他感興趣的區域重疊或連接。
17. 如請求項12之電腦實現方法，其中，該照光路徑包含複數個停止點和恢復點，以及該停止點中的每一個指示用於切換到每個該恢復點的獨立座標。
18. 如請求項17之電腦實現方法，其中，該恢復點中的一個位於感興趣的區域中的一個內以及被該感興趣的區域的邊界所圍繞。
19. 如請求項17之電腦實現方法，其中，該恢復點中的一個位於該感興趣的區域中的一個的邊界處。
20. 如請求項17之電腦實現方法，其中，決定該照光路徑的該步驟包括將該停止點和恢復點的數量最小化，以便將在該照光路徑中每兩個感興趣的區域之間的總距離最小化。
21. 如請求項12之電腦實現方法，其中，針對該多個視野中的第一視野，該照光路徑包括終止點，以及該方法進一步包括在該終止點處針對該第一視野終止對該照光路徑的照光。
22. 如請求項21之電腦實現方法，其中，該處理模組進一步被組態為控制該照光光源和該圖案照光裝置來開始在該起點或每個恢復點處照光該感興趣的區域、來暫時停止照光從每個停止點到每個恢復點的該感興趣的區域、以及針對該多個視野中的每一個在該終止點處來終止對該感興趣的區域的照光。
23. 一種方法，包括： 識別在生物樣品的多個視野中的至少一個感興趣的區域； 針對該多個視野中的每一個產生二維照光光罩； 針對該多個視野中的每一個，藉由將在連續感興趣的區域之間複數個區域到區域行進距離的總和最小化來決定該至少一個感興趣的區域的照光順序； 針對每個視野，在該感興趣的區域中的每一個內遵循該照光順序決定照光路徑；以及 控制基於顯微鏡的系統的照光光源和圖案照光裝置來基於針對該多個視野中的每一個的該照光順序和該照光路徑照光該感興趣的區域。
24. 如請求項23之方法，其中，該區域到區域行進距離是該感興趣的區域中的每一個的該中心點之間的直線距離的該總和。
25. 如請求項23之方法，進一步包括控制該照光光源和該圖案照光裝置來根據該照光路徑照光該感興趣的區域並防止對該感興趣的區域之外的照光。
26. 如請求項23之方法，其中，該照光路徑從位於該順序的第一感興趣的區域的邊界處的起點延伸。
27. 如請求項23之方法，其中，該感興趣的區域中的每一個不與該視野中的任何其他感興趣的區域重疊或連接。
28. 如請求項23之方法，其中，該照光路徑包含複數個停止點和恢復點，以及該停止點中的每一個指示用於切換到每個該恢復點的獨立座標。
29. 如請求項28之方法，其中，該恢復點中的一個位於感興趣的區域中的一個內以及被該感興趣的區域的邊界所圍繞。
30. 如請求項28之方法，其中，該恢復點中的一個位於該感興趣的區域中的一個的邊界處。
31. 如請求項28之方法，其中，決定該照光路徑的該步驟包括將該停止點和恢復點的數量最小化，以便將在該照光路徑中每兩個感興趣的區域之間的總距離最小化。
32. 如請求項23之方法，其中，針對該多個視野中的第一視野，該照光路徑包括終止點，以及該方法進一步包括在該終止點處針對該第一視野終止對該照光路徑的照光。
33. 如請求項32之方法，進一步包括控制該照光光源和該圖案照光裝置來開始在該起點或每個恢復點處照光該感興趣的區域，來暫時停止照光從每個停止點到每個恢復點的該感興趣的區域，以及針對該多個視野中的每一個在該終止點處來終止對該感興趣的區域的照光。

Images