TWI659227B

TWI659227B - 以影像導引之顯微照射的顯微鏡系統及方法

Info

Publication number: TWI659227B
Application number: TW107121123A
Authority: TW
Inventors: Jung-Chi LIAO; 仲麒廖; Yi-De Chen; 陳一德; Chih-Wei Chang; 張至為; Weng Man Chong; 鍾穎文
Original assignee: Academia Sinica; 中央研究院
Priority date: 2017-06-20
Filing date: 2018-06-20
Publication date: 2019-05-11
Also published as: US20250028163A1; US20250028162A1; US20240219704A1; US20240411122A1; TW201905536A; US11789251B2; US20250035910A1; US20220159157A1; US20240219705A1; US20230418041A1; US20180367717A1; US11265449B2; US20250052993A1; US20240219703A1

Abstract

本發明提供了一種顯微鏡系統及方法，用於影像引導的顯微照射。顯微鏡系統包括顯微鏡、照射組件、攝像組件、第一處理模組、和第二處理模組。顯微鏡包括載台，其用以裝載樣本。攝像組件可包括相機。前述處理模組與顯微鏡及攝像組件及照射組件連接。處理模組控制攝像組件，使得相機在第一視野下擷取樣本的至少一個影像。前述影像被傳送至前述處理模組，並且由第一處理模組基於一預設條件自動且即時地進行影像處理，以定義出影像中的目標區域，且從而獲得與目標區域有關的座標信息。與目標區域有關的座標信息自動地傳送至處理模組，且此處理模組根據所接收到的與目標區域有關的座標信息來控制照射組件來對樣本的目標區域進行照射。因此，本發明的目的是在由螢光訊號所標示出或由生物影像的結構特徵所指定出的目標區域中，處理蛋白質、脂質、核酸或生化物質。本發明的另一目的在於，以高通量標記的方式和純化來收集大量的蛋白質、脂質和核酸，藉由包括質譜分析法和定序，來鑑定目標區域中所欲研究的蛋白質、脂質、核酸或生化物質。

Description

以影像導引之顯微照射的顯微鏡系統及方法

本發明是關於一種在樣本上進行圖像照射的系統及方法，特別是關於一種用於在大量的視野下高速且連續地照射不同圖像的顯微鏡系統及方法。

目前有在樣本(例如生物樣本)的特定位置處上照射圖像的需求。例如在某些亞細胞區域處的分子光致褪色(photobleaching)、在限定位置處的光活化、光遺傳學、指定細胞器內活性氧的光觸發釋放、或細胞的限定結構特徵中的光誘導蛋白質標記的處理均需要圖像照射。對於某些應用，上述處理的圖像可能需要通過顯微鏡影像所定義。某些應用還需要處理足夠的樣本、添加高通量要求以重複多個區域中的處理。能夠執行這種自動化基於影像的局部光觸發處理的系統很少見。

處理蛋白質、脂質或核酸的一個例子是將它們標記以用於分離和鑑定。經標記的蛋白質、脂質或核酸可以使用例如質譜儀或測序儀等其他系統所分離和鑑定。由Kevin C Hadley等人在2015年提出的STOMP(空間目標光學微型蛋白質體學)是一種使用市售雙光子系統的手動操作的技術，但缺乏本發明的高通量能力的主要元件。使用激光切割廣泛用於分離組織或細胞培養物的一部分的激光捕獲顯微切割(LCM)系統在缺乏高通量能力之外也不具有本發明可以實現的軸向精度。

有鑑於上述目的，本發明提供了以影像導引的系統和方法，能夠在樣本上照射不同圖像。換句話說，這樣的系統和方法能根據使用者所定義的顯微影像特徵來處理高通量的蛋白質、脂質、核酸或生物化學物質，以在目標區域中進行調節，轉化，分離或鑑定，並廣泛地應用於細胞或組織樣本研究中。憑藉光學、光化學、影像處理和機電設計的獨特整合，本文所提供的系統及方法能夠以每個視野300毫秒的速度實現影像導引照射，這點是現有技術(如STOMP或LCM)仍無法實現的。但是這個速度對於在合理的時間內收集足夠的生物分子樣本是必要的。舉例而言，本文所提供的系統及方法能夠在10小時的照射時間內收集到足夠的蛋白質樣品，供後續進行蛋白質體學分析。本發明藉由獨特的設計策略，與任何現有技術有極大的不同。

此系統可以包括一顯微鏡、一攝像光源、一數位相機、一第一處理模組、一第二處理模組(例如現場可編程閘陣列(field programmable gate array，FPGA)單元或特定應用積體電路(application-specific integrated circuit，ASIC))、一照射光源、一快門、一圖像照射裝置(例如一對電流計掃描鏡、一數位微鏡裝置(digital micromirror device，DMD)或一空間光調控器(spatial light modulator，SLM)、一顯微鏡載台以及一自動聚焦裝置。處理模組被編程為擷取相機影像，並基於使用者所定義的準則即時地處理所擷取到的影像，以決定或定義出欲照射的樣本位置。接著，編程處理模組來控制快門和掃描鏡，以將照射光源一次一點地引導到這些位置。當處理模組裝載有集成記憶單元(例如DRAM)的時候，集成記憶單元會提供快速處理和傳送影像數據所必需的數據儲存空間，以實現快速處理。一個處理模組(例如計算機)分別控制一攝像光源、一自動聚焦裝置，以及用於攝像、維持聚焦和改變視野的一顯微鏡載台。攝像、影像處理、照射和載台移動係通過軟體或韌體程式來協調，以實現快速且高通量的影像引導照射。飛秒雷射可以當作照射光源，來產生用於高軸向照射精度的雙光子效應。影像的處理準則可以是基於顯微影像的形態、強度、對比度或特定特徵。影像處理的方式可以是通過例如閥值擷取(thresholding)、侵蝕(erosion)、濾波(filtering)或人工智能訓練的語義分割法(artificial intelligence trained semantic segmentation method)的即時影像處理技術所完成。本文所提供的系統及方法，其速度和高通量的本質使得其能夠收集大量特定位置的樣本，以用於光誘導分子標記、光轉換、或蛋白質體學(proteomics)、轉錄體學(transcriptomics)和代謝體學(metabolomics)研究。

為了達到以上目的，本發明提供一種顯微鏡系統，用於影像引導之顯微照射。此顯微鏡系統包括一顯微鏡、一照射組件、一攝像組件及一處理模組。顯微鏡包括一載台，其用以裝載一樣本。攝像組件可包括一可控的相機，且可控的相機可被安裝在顯微鏡上或與顯微鏡的光路對齊(即安裝於光路中)。照射組件可包括一圖像照射裝置。處理模組與顯微鏡、攝像組件及照射組件連接。處理模組控制攝像組件，使得相機擷取樣本在第一視野下的至少一個影像。一個或多個影像被傳送至處理模組，並且由處理模組基於一預設的準則自動且即時地進行處理，以定義出影像中的一目標區域，且從而獲得與目標區域有關的一座標信息。目標區域有關的座標信息被自動地傳送至處理模組，並且處理模組根據所獲得到的與目標區域有關的座標信息來控制照射組件的圖像照射裝置來對樣本的目標區域進行照射。

為了達到以上目的，本發明也提供另一種顯微鏡系統，用於影像引導的顯微照射。此顯微鏡系統包括一顯微鏡、一照射組件、一攝像組件、一第一處理模組、一第二處理模組。顯微鏡包括一載台，其用以裝載一樣本。攝像組件可包括一可控的相機，且可控的相機可被安裝在顯微鏡上或與顯微鏡的光路對齊。照射組件可包括一圖像照射裝置。第一處理模組與顯微鏡及攝像組件連接。第二處理模組與照射組件及第一處理模組連接。第一處理模組控制攝像組件，使得相機擷取樣本在第一視野下的至少一個影像。一個或多個影像被傳送至第一處理模組，並且由第一處理模組基於一預設的準則自動即時地進行處理，以定義出影像中的一目標區域，且從而獲得與目標區域有關的一座標信息。與目標區域有關的座標信息自動地傳送至第二處理模組，且第二處理模組根據所接收到的與目標區域有關的座標信息來控制照射組件的圖像照射裝置來對樣本的目標區域進行照射。

為了達到以上目的，本發明更提供另一種顯微鏡系統。此顯微鏡系統包括一顯微鏡、一照射組件、一第一處理模組、一第二處理模組。顯微鏡包括一載台，其用以裝載一樣本。攝像組件可包括一可控的相機，且可控的相機可被安裝在顯微鏡上或與顯微鏡的光路對齊。照射組件可包括一圖像照射裝置。第一處理模組與顯微鏡及攝像組件連接。第二處理模組與照射組件、相機及第一處理模組連接，且第二處理模組包括一記憶單元。第一處理模組控制攝像組件，第二處理模組控制相機，使得相機擷取樣本在第一視野下的至少一個影像。一個或多個影像被傳送至第二處理模組的記憶單元。接著一個或多個影像由第二處理模組基於一預設的準則自動即時地進行處理，以定義出影像中的一目標區域，且從而獲得與所述目標區域有關的一座標信息。第二處理模組根據所接收到的與目標區域有關的座標信息來控制照射組件的圖像照射裝置來對樣本的目標區域進行照射。

為了達到以上目的，本發明也提供另一種顯微照射方法，用於影像引導之顯微照射。此顯微鏡方法包括以下(a)至(d)的步驟：(a)由處理模組啟動攝像組件的相機，以擷取樣本在第一視野下的至少一個影像，其中樣本被裝載在顯微鏡的載台上；(b)將樣本的一個或多個影像自動傳送至處理模組；(c)基於預設的準則，由處理模組自動且即時地進行樣本的影像處理，以定義出影像中的目標區域並獲得與目標區域有關的座標信息；以及(d)由處理模組根據所獲取到的座標信息來控制照射組件來對樣本中的目標區域進行照射。

為了達到以上目的，本發明更提供一種顯微照射方法，用於影像引導之顯微照射。此顯微鏡方法包括以下(a)至(e)的步驟：(a)由第一處理模組啟動攝像組件的相機，以獲取一樣本在第一視野下的至少一個影像，其中樣本被裝載在顯微鏡的載台上；(b)將樣本的一個或多個影像自動傳送至第一處理模組；(c)基於預設的準則，由第一處理模組自動且即時地進行樣本的影像處理，以定義出影像中的目標區域並獲得與目標區域有關的座標信息；(d)將與目標區域有關的座標信息自動傳送至第二處理模組；以及(e)由第二處理模組根據所接收到的座標信息來控制照射組件來對樣本中的目標區域進行照射。

為了達到以上目的，本發明也提供另一種顯微照射方法，用於影像引導之顯微照射。此顯微鏡方法包括以下(a)至(d)的步驟：(a)由第一處理模組控制攝像組件以及由第二處理模組啟動攝像組件的相機，以獲取樣本在第一視野下的至少一個影像，其中樣本被裝載在顯微鏡的載台上；(b)將樣本的一個或多個影像自動傳送至第二處理模組的記憶單元；(c)基於預設的準則，由第二處理模組自動且即時地進行樣本的影像處理，以定義出影像中的目標區域並獲得與目標區域有關的座標信息；以及(d)由第二處理模組根據所接收到的座標信息來控制照射組件來對樣本中的目標區域進行照射。

在一實施例中，在目標區域被完全照射之後，第一處理模組控制顯微鏡的載台移動至位於第一視野之後的第二視野。

在一實施例中，在移動至下一個視野後，此方法還依序重複前述的一個或多個攝像步驟、前述的一個或多個的影像處理步驟、以及前述的一個或多個的照射處理步驟，直到所有指定視野的目標區域都完成照射。

在一實施例中，影像處理的方式是以例如閥值擷取、侵蝕、濾波或人工智能訓練的語義分割法的即時影像處理技術所完成。

在一實施例中，攝像組件包括一攝像光源、一第一快門、及可控的相機。此攝像光源提供一攝像光線，經由一攝像光路以在拍攝所述樣本時對所述樣本照光。第一快門，沿著攝像光路，是設置在攝像光源及顯微鏡之間。可控的相機是設置在顯微鏡上或攝像光路中。

在一實施例中，照射組件包括一照射光源及圖像照射裝置。照射光源提供一照射光線，經由一照射光路以照射樣本。圖像照射裝置包括至少一對掃描鏡及一第二快門、一數位微鏡裝置或一空間光調控器；沿著所述照射光路，所述圖像照射裝置是設置在照射光源及顯微鏡之間。

為了使用本發明的系統和方法，可以在培養基中用光敏劑和化學試劑製備細胞或組織樣本。在一視野下，進行顯微影像的拍攝及/或擷取。接著，使用影像處理程序來處理被擷取出的影像，以在樣本(例如蛋白質、脂質、核酸或其他生物化學物質)上定義出預計被照射的位置(例如通過使用雙光子照射光源的光化學反應來進行光激活或處理)。然後，電腦將目標點的座標傳送至掃描鏡以進行局部照射。舉例而言，當需要進行光化學反應時，事先添加在目標區域中的光敏劑會被照射光線所提供的激發能量所激發，讓化學試劑與照射區域中的蛋白質、脂質、核酸或生化物質進行反應。然後重複地控制顯微鏡載台移動到下一個視野，以重複這個影像引導的光轉化處理步驟，直到經處理的樣本已足夠。

此系統和方法的高通量處理能力可以下述方式來實現和促進：藉由對掃描鏡、快門裝置、與攝像方法進行最佳化選擇，以及藉由對即時影像處理方式和對圖像照射裝置、顯微鏡載台及快門裝置的控制方式進行最佳化設計。例如，包含FPGA或ASIC元件的可編程或依實際需求而定製出的電子晶片，將可讓系統最佳化。這種把軟體、韌件、硬體和光學器件的整合方式，使得本發明具有有別於其他現有技術的高通量處理能力。

因此，本發明提供了一種顯微鏡系統和方法，用於影像引導之顯微照射。此顯微鏡系統和方法可以利用單一一個處理模組或兩個獨立的處理模組(即，第一處理模組和第二處理模組)，來同時控制用於拍攝樣本的至少一個影像的攝像組件以及控制用於照射樣本的照射組件。此外，第二處理模組可與第一處理模組通信連接並且接收樣本上的目標點的座標(即，樣本影像中的「目標區域」，並且由第一處理模組進行處理)以便快速地控制照射組件來對樣品上的目標點進行照射。因此，本發明的影像引導系統和方法實現了一種高通量處理方法，能夠在連續且大量的視野下(對樣本)照射不同的圖像。

1‧‧‧顯微鏡系統

10‧‧‧顯微鏡

101‧‧‧載台

102‧‧‧物鏡

103‧‧‧目鏡

11‧‧‧照射組件

111‧‧‧照射光源

112‧‧‧第二快門

113‧‧‧透鏡模組

113a、113b‧‧‧中繼透鏡

113c‧‧‧四分之一波板

115‧‧‧掃描鏡(XY掃描振鏡)

116‧‧‧掃描透鏡

117‧‧‧圖像照射裝置

12‧‧‧攝像組件

121‧‧‧相機

122‧‧‧攝像光源

123‧‧‧自動對焦裝置

124‧‧‧第一快門

13‧‧‧第一處理模組

13a‧‧‧處理模組

14‧‧‧第二處理模組

141‧‧‧記憶單元

17‧‧‧訊號轉換器

S‧‧‧樣本

S11、S11’、S12、S12’、S13、S13’、S14、S14’、S15、S15’、S16、S16’、S17、S17’、S18、S18’、S19、S19’、S20、S20’、S21、S21’、S22、S22’、S23、S23’‧‧‧步驟

圖1A是根據本發明一實施例的影像導引顯微鏡系統的示意圖。

圖1B是根據圖1A所示之影像導引顯微鏡系統中光路的示意圖。

圖1C是根據本發明另一實施例的影像導引顯微照射方法的流程示意圖，其係利用如圖1A所示的影像導引顯微鏡系統。

圖1D是圖1B、圖2B與圖3B中所示的圖像照射裝置示意圖。

圖2A是根據本發明另一實施例的影像導引顯微鏡系統的示意圖。

圖2B是根據圖2A所示之影像導引顯微鏡系統中光路的示意圖。

圖2C是根據本發明另一實施例的影像導引顯微照射方法的流程示意圖，其係利用如圖2A所示的影像導引顯微鏡系統。

圖3A是根據本發明又一實施例的影像導引顯微鏡系統的示意圖。

圖3B是根據圖3A所示之影像導引顯微鏡系統中光路的示意圖。

圖3C是根據本發明又一實施例的影像導引顯微照射方法的流程示意圖，其係利用如圖3A所示的影像導引顯微鏡系統。

圖4A與圖4B為根據本文一實驗例的顯微照射方式所得到的影像，其顯示了經定義出的壓力顆粒(stress granules)區域。

圖5為本文所提供的光蛋白質體學研究方法的示意圖。

以下將參照相關圖式，說明依本發明所提供的各種實施例，其中相同的元件將以相同的參照符號加以說明。

本文所提及的所有文獻的全文皆藉由引用的方式併入本文，如同每個文獻或專利申請案被具體地及個別指明以引用方式併入本文中。當併入的參考文獻中術語的定義或用法與本文中提供之術語的定義相違背時，以本文所提供之術語定義為準，而不採用該參考文獻中之術語的定義。

需要說明的是，本發明各實施例中所有方向性指示(諸如上、下、左、右、前、後......)僅用於解釋在某一特定姿態(如所附的各圖式所示)下各部件之間的相對位置關係、運動情況等，如果該特定姿態發生改變時，則該方向性指示也會相應的隨之改變。

除非上下文另外明確指出，用於本文中以及隨後的權利要求中，的術語「一」(a、an)及「該」(the)的含義包括複數形式。而且，除非上下文另外明確指出，用於本文描述中的術語「在...中」(in)，的含義包括「在...中」(in)和「在...上」(on)。

除非上下文有相反之意，否則本文闡述的所有範圍應被解釋為包括它們的端點，並且開放式範圍應被解釋為僅包括商業上可行的值。同樣地，除非上下文有相反之意，否則所有列出的數值均應視為包含在其其間的數值。

本文對數值範圍的列舉僅是用來作為單獨提及落入該範圍內的每個單獨數值的簡略表達方式。除非本文另有指示，數值範圍中的每個數值都視為說明書有明文揭露，如同它在本文中單獨地被列舉一樣。除非在本文另有指示或者與上下文明顯矛盾，本文描述的所有方法可以以任何合適的順序進行。針對本文中的某些實施例提供的任何和所有例子或示例性用語(舉例而言，「例如」)的使用僅意在更適當地說明本發明，而不是對本發明所要求保護的範圍構成限制。說明書中的任何用語都不應將任何未載明於權利要求中的條件解釋為表示對實施本發明來說其為不可或缺的元件。

本文中各實施例所提供的系統與方法，可關於以高通量的方式處理，例如(但不限於)，蛋白質、脂質、核酸或生化物質，其包含有一攝像光源、一光激活(photosensitizing)光源、一圖像照射裝置(例如一組雙軸高速檢流掃描振鏡，galvanometric scanning mirrors)、一顯微鏡、一自動聚焦裝置、一高精度顯微鏡載台、一高靈敏度數位相機、一控制工作站(或一個人電腦)、一處理模組(例如現場可編程閘陣列晶片)，以及一軟體程式，軟體程式是用來控制相機、處理影像、控制載台、以及控制光路。因此，本文的其中一個目的，是在於有螢光標記或是依結構特徵所標記出的細胞影像特定區域中，進行蛋白質、脂質、核酸或生化物質的處理。除此之外，本文的另一個目的則是藉由高通量標定及純化的方式，收集大量的蛋白質、脂質、或核酸；將其以質譜儀或核酸定序儀分析來於指定(影像)區域中找出特定生物標記，接著進行蛋白質體學、代謝體學或轉錄體學研究。

根據本發明中某些實施例所提供的系統及方法，是先拍攝螢光染色或是明視野(brightfield)影像。接著，連接在系統上的電腦自動地以例如閥值擷取、侵蝕、濾波或人工智能訓練的語義分割法等方式對所拍到的影像進行影像處理，依據操作人員所設定的條件(或準則)來定義(或決定)出預計處理的區域或位置點。利用一高速掃描系統來進行圖像照射，以在前述區域或位置點上照射光激活光，藉此處理在照射區域中的蛋白質、脂質、核酸，或生化物質。在某一實施例中，圖像照射裝置可包含數位微鏡裝置或空間光調控器。光誘發處理(Photo-induced processing)可藉由使用包含光敏劑(photosensitizer，例如核黃素(riboflavin)、孟加拉玫瑰紅(Rose Bengal)或是如單重態氧發生蛋白(miniSOG)或Killer Red等光敏化蛋白)以及用於標記的化學試劑(例如酚、芳香基疊氮(aryl azide)化合物、二苯基甲酮(benzophenone)、Ru(bpy)₃ ²⁺、或前述化合物的衍生物)來達成。標記基團可與生物素等標記試劑(tagging reagents)共軛接合，生物素等標記試劑是用於蛋白純化或是核酸萃取。光敏劑、標定試劑以及標記試劑可為各自獨立的分子，或者是同一個分子但同時具有前述三種功能。空間控制的照光可以讓標定試劑共價接合在氨基酸、脂質、核酸或其他生化物質上，而經前述標記的分子則可經過純化而用於質譜儀分析。去氧核醣核酸(RNA)則可以其關聯蛋白共同被拉出(pulldown)，接著以進行去氧核醣核酸定序(RNAseq)或是反轉錄-聚合酶連鎖反應(RTPCR)。由於取得足量的去氧核醣核酸或是蛋白才能降低在測量結果中的背景值，所以本系統的主要目的即在於進行有效且高通量的標記。

本文數個示例性的實施例，說明如下。

根據本文的一實施例，其亦為一種顯微鏡系統，用於影像引導之顯微照射。請參考圖1A及圖1B。本實施例的顯微鏡系統包括顯微鏡10、攝像組件12、照射組件11、以及處理模組13a。顯微鏡10包括物鏡102與載台101。載台101用以裝載樣本S。攝像組件12可包括一(可控的)相機121、攝像光源122、自動對焦裝置123以及第一快門124。請進一步參考圖1B與圖1D。照射組件11可包括照射光源111與圖像照射裝置117。圖像照射裝置117可包括至少一第二快門112、一透鏡模組113(例如中繼透鏡113a與113b、四分之一波板113c)、至少一對掃描鏡115與掃描透鏡116。在一實施態樣中，數位微鏡裝置或空間光調控器可用來作為圖像照射裝置117。

在本實施例中，處理模組13a與顯微鏡10、攝像組件12及照射組件11連接。處理模組13a可以是一電腦、一工作站，或電腦中的中央處理單元(CPU)，其能夠執行設計用來操控本系統的軟體。

處理模組13a控制攝像組件12，使得相機121擷取樣本S在第一視野下的至少一個影像。而前述影像(一個或多個)被傳送至處理模組13a，並且由處理模組13a基於一預設條件或準則自動且即時地進行處理，以定義出樣本S的影像中的一目標區域，從而獲得與目標區域有關的座標信息。接著，處理模組13a根據所接收到的與目標區域有關的座標信息來控制照射組件11來對樣本S的目標區域進行照射。並且，在目標區域被完全照射之後，處理模組13a控制顯微鏡10的載台101移動至位於第一視野之後的第二視野。

在本實施例中，攝像光源122提供一攝像光線，經由一攝像光路以在拍攝樣本S時對所述樣本S照光。第一快門124，沿著攝像光路，是設置在攝像光源122及顯微鏡10之間。

此外，照射光源111提供一照射光線，經由一照射光路以照射樣本S。圖像照射裝置117，沿著所述照射光路，是設置在照射光源111及顯微鏡 10之間。

請參考圖1C，其是根據本實施例影像導引顯微照射方法的流程示意圖。其為本文所提供之影像導引方法較為詳細的例子，但本發明並不以此為限。圖1C所示的方法，其流程包含如下所示的步驟S11'至S23'。

簡單來說，在步驟S11’中，操作人員把顯微鏡10的載台101移動至開始位置。在步驟S12’中，處理模組13a開啟第一快門124。在步驟S13'中，處理模組13a啟動相機121以擷取或拍攝樣本S的影像。接著，在步驟S14'中，處理模組13a關閉第一快門124。在步驟S15'中，相機121將影像數據傳送給處理模組13a。在步驟S16'中，處理模組13a進行影像處理，以獲得預計被照射的目標位置的XY座標陣列(亦即樣本S的「目標區域」)。在步驟S17'中，處理模組13a將座標陣列傳送至訊號轉換器(例如DAC)17，以將其轉換成類比電壓訊號。在步驟S18'中，類比電壓訊號則是被傳送至XY掃描振鏡115，以將照射光導引至目標點上。在步驟S19'中，處理模組13a開啟第二快門112。在步驟S20'中，處理模組13a關閉第二快門112。在步驟S21'中，系統會確認是否所有的目標位置點都被照射光照射過。換句話說，若目標位置點還沒有全數被照射光照射過，則流程會回到步驟S18'中，而處理模組13a在此時將會控制XY掃描振鏡115把照射光導引至下一個目標點上、開啟/關閉第二快門112(步驟S19'與S20')。一旦所有在XY座標陣列中所代表的位置點都被照射光照射過，流程會進到下一步驟中。在步驟S22'中，處理模組13a會控制顯微鏡10的載台101移動至下一個視野。在步驟S23'中，系統會確認是否所有的視野都經過處理。如果樣本S所有的視野都被處理過，則結束流程。若否，則流程會回到步驟S12'中，開始進行下一輪的攝影、影像處理、照光，以及在處理過每個視野後的載台移動。換句話說，系統在每一個視野(FOV)下會執行同樣的輪序：攝影、影像處理、照光，以及載台移動，直到有足夠的樣本區域被照射過為止。

在本實施例中，影像處理的方式可以是通過即時影像處理技術所完成，其例如閥值擷取、侵蝕、濾波或人工智能訓練的語義分割法。

由於本實施例的顯微照射方法中各元件組成、變化態樣以及與其他元件之間的連接關係，可參考前述其他實施例，在此不再贅述。

本文提供另一實施例，其亦為一種顯微鏡系統，用於影像引導之顯微照射。本系統包含另外一個處理模組，以增進影像處理效能，其將於下文中進行較為詳細說明。請參考圖2A及圖2B。圖2A是根據本發明一實施例的影像導引顯微鏡系統的示意圖。圖2B是根據圖2A所示之影像導引顯微鏡系統中光路的示意圖。

如圖2A與2B所示，顯微鏡系統1，用於影像引導之顯微照射，包括顯微鏡10、照射組件11、攝像組件12、第一處理模組13以及第二處理模組14。顯微鏡系統1是設計用來拍攝樣本一或多個影像，且利用這個或這些影像來定義或決定在樣本上預計照射的圖像，其可快速地(例如，在300毫秒內)對一張影像執行完所有步驟，並在短時間內(例如，10小時)完成整個蛋白質體學的照射程序。

顯微鏡10包括物鏡102與載台101。載台101用以裝載樣本S。顯微鏡10的載台101可以是高精度顯微鏡載台。

攝像組件12可包括一相機121、攝像光源122、自動對焦裝置123以及第一快門124。相機121是設置在顯微鏡10上。詳細來說，相機121是經由目鏡103而與顯微鏡10連接。自動對焦裝置123則與相機121連接，並且受控以在拍攝樣本S的影像時協助進行一自動對焦程序。攝像光源122，提供一攝像光線(如圖2A中從攝像組件12至物鏡102之間的灰色區域所示)，經由一攝像光路(如圖2A在灰色區域所示的攝像光線中以空白箭頭所標示的路徑)對所述樣本S進行照光。第一快門124，沿著攝像光路，是設置在攝像光源122及顯微鏡10之間。攝像光源122可以是鎢鹵素燈、弧光燈、金屬鹵化物燈、LED燈、雷射光，或前述多種光源的組合。第一快門124的快門時間可以隨著攝像光源122的類型而變化。以LED光源為例，第一快門124的快門時間為20微秒。

如果想要進行雙色成像，則第一色光的快門會先被關閉，然後第二色光的快門會被第一處理模組13打開。這種流程可能額外需要40微秒。然後，相機121用另一個20毫秒的曝光時間來拍攝另一個圖像。接著，第一處理模組13會關閉第二色光的快門。

在本實施例中，請再參考圖2B與圖1D，照射組件11可包括照射光源111與圖像照射裝置117。圖像照射裝置117可包括第二快門112、透鏡模組113(例如中繼透鏡113a與113b、四分之一波板113c)、至少一對掃描鏡115與掃描透鏡116。在一實施態樣中，數位微鏡裝置或空間光調控器可用來作為圖像照射裝置117。照射光源111提供一照射光線(如圖2A中從照射組件11至物鏡102之間的空白箭頭所示)經由一照射光路對樣本S進行照射。第二快門112，沿著照射光路，設置在照射光源111和顯微鏡10之間。一對掃描鏡115，沿著照射光路，設置在第二快門112和顯微鏡10之間。相機121可以是高性能的學術研究用相機，例如是具有高量子效率(quantum efficiency)的sCMOS相機或是EMCCD相機，以實現短曝光時間。舉例來說，為了要讓後續處理的影像有足夠的亮度，曝光時間可以是20毫秒。

第一處理模組13與顯微鏡10以及攝像組件12連接。詳細來說，第一處理模組13連接並控制相機121、攝像光源122、第一快門124、自動對焦裝置123，以及顯微鏡10的載台101，以進行攝像、保持對焦和變換視野。第一處理模組13可以是一電腦、工作站，或一電腦的中央處理單元(CPU)，其能夠執行設計用來操控本系統的軟體。第一處理模組13啟動相機121拍攝或擷取樣本S在某一視野(FOV)下的影像。此外，相機121可藉由一USB埠或一Camera Link與第一處理模組13連接。本系統的控制和影像處理程序將在以下段落中詳細說明。

在本實施例中，第二處理模組14是與照射組件11以及第一處理模組13連接。詳細來說，第二處理模組14是連接並藉此控制圖像照射裝置(pattern illumination device)117(以及第二快門112與一對掃描鏡)，以對第一處理模組13所定義出的目標區域中的位置點進行照射。第二處理模組14可以是FPGA、ASIC基板、另一個中央處理單元，或是另一台電腦。本系統的控制和影像處理程序將在以下段落中詳細說明。

簡單來說，顯微鏡系統1的操控方式如下。第一處理模組13控制攝像組件12，使得相機121擷取樣本S在第一視野下的至少一個影像。前述影像(一個或多個)被傳送至第一處理模組13，並且由第一處理模組13基於一預設條件(或準則)自動且即時地進行處理，以定義出影像中的目標區域，並且從而獲得與目標區域有關的座標信息。影像處理所用到的運算法是事先獨立設計好，其利用例如閥值擷取(thresholding)、侵蝕(erosion)、濾波(filtering)或人工智能訓練的語義分割法(artificial intelligence trained semantic segmentation method)。接著，與目標區域有關的座標信息自動地傳送至第二處理模組14。第二處理模組14則根據所接收到的與目標區域有關的座標信息來控制照射組件11來對樣本S的目標區域進行照射(亦即，對目標區域內的目標位置點照光)。並且，在目標區域被完全照射(或者所有的目標位置點都被照過光)之後，第一處理模組13控制顯微鏡10的載台101移動至下一個視野(即第二視野)。移動至下一個視野後，此方法依序重複上述攝像流程、影像處理流程、以及照射處理流程，直到所有指定視野的目標區域都完成照射。

此外，本文也提供另一實施例，是一種顯微照射方法，用於影像引導之顯微照射。本實施例的顯微照射方法，係利用前述實施例所提供的顯微鏡系統，其包括以下(a)至(e)的步驟：(a)由第一處理模組13啟動攝像組件12的相機121，以獲取樣本S在第一視野下的至少一個影像，其中樣本S被裝載在顯微鏡10的載台101上；(b)將樣本S的一個或多個影像自動傳送至第一處理模組13；(c)基於一預設條件或準則，由第一處理模組13自動且即時地進行樣本S的影像處理，以定義出影像中的目標區域並獲得與目標區域有關的座標信息；(d)將與目標區域有關的座標信息自動傳送至第二處理模組14；以及，(e)由第二處理模組14根據所接收到的座標信息來控制照射組件11來對樣本S中的目標區域進行照射。此外，在本實施例中，在目標區域被完全照射(或者所有的目標位置點都被照過光)之後，本方法還包含以下步驟：由第一處理模組13控制顯微鏡10的載台101移動至位於第一視野之後的下一個視野(即第二視野)。

本實施例所使用的顯微鏡系統1與前述實施例實質相同，其細部構造、元件構成，以及變化態樣，在此不再重複贅述。

請參考圖2C，其是根據本實施例顯微影像處理的流程示意圖。其為本實施例所提供之影像導引方法較為詳細的例子，但本發明並不以此為限。圖2C所示的方法，其流程包含如下所示的步驟S11至S23。

在步驟S11中，操作人員把顯微鏡10的載台101移動至開始位置。

在步驟S12中，第一處理模組13開啟第一快門124。

在步驟S13中，第一處理模組13啟動相機121以擷取或拍攝樣本S的影像。

在步驟S14中，第一處理模組13關閉第一快門124。

在步驟S15中，相機121將影像數據傳送給第一處理模組13。在相機121拍攝或擷取樣本S的影像後，此時其具有該影像的數據，例如，是2048x2048像素且各像素為16位元的一張影像，其大小相當於約0.5百萬位元組(Megabytes)。接著，該數據會傳送到第一處理模組13，完成前述的數據傳送的時間可能小於1毫秒(ms)。

在步驟S16中，第一處理模組13會進行影像處理，並獲得預計被照射的目標位置的XY座標陣列(亦即樣本S的「目標區域」)。換句話說，在收到從相機121所傳來的影像數據後，第一處理模組13的中央處理單元會執行影像處理流程，以決定或定義出在樣本S上預計被照射光源所照射(或者是，激活、照光，或是光激活)的目標區域(或目標位置點)。目標區域或目標位置點可依使用者定義，其可為細胞核、核仁、粒線體，或其他任何胞器或次胞器的位置。其亦可為欲尋找的蛋白質，例如肌球蛋白V(myosin V)、上皮鈣粘蛋白(E-cadherin)、p53，或其他任何種類的蛋白質。其可為形態特徵，例如長於2微米(micrometer)的初級纖毛，或是星狀體旁邊的微管。其亦可為在特定時點下的區域，例如分裂中的細胞核。其也可以是由雙色攝像所定義的特徵，例如蛋白質A和蛋白質B的共存點(colocation sites)，或靠近中心體的肌動蛋白絲。

此時，將有許多等著由第一處理模組13處理的影像處理動作需要進行。其可以使用現有的處理方式或是其組合來實現前述各種不同的影像處裡需求。例如，利用閥值擷取(thresholding)、侵蝕(erosion)、擴張(dilation)、邊界偵測(edge detection)、濾波(filtering)、分割(segmentation)或轉換(transformation)，來定義出目標區域，也可利用經人工智能訓練的語義分割法(artificial intelligence trained semantic segmentation method)來進行。前述處理動作會受到影像品質所影響，因此條件會隨著個案情況來調整。原則上，所有的處理動作都是基於矩陣的線性代數運算。由於不同圖像所處理的目標有不同的複雜程度，此步驟所需的時間也各不相同。進行簡單的閥值擷取處理動作，每一影像需時2毫秒，而進行複雜的處理動作組合，每一影像可能需時100毫秒。進行一系列的處理動作，會需要空間來存放矩陣的多個副本，因此可能需要利用具有DRAM的FPGA基板來作為第二處理模組14。

此外，照射光源111與用來攝像的攝像光源122不同。本實施例所用的照射光源111僅用於對在經過步驟S16中進行影像處理步驟所定義出來的目標區域進行照光。對樣本S影像中所選出的區域進行照光有許多潛在性的應用。舉例來說，研究人員可以實現光激活分子標記、光轉換，或是根據在這些目標區域中所產生的光化學反應來進行該些分子的蛋白質體學、轉錄體學和代謝體學研究。如下所述，目標區域的照射是藉由逐點掃描(point scanning)所實現。換句話說，照射光源111可為雷射，而逐點掃描是經由掃描鏡115(例如檢流掃描振鏡，galvanometer mirrors)來達成。亦即，其與共軛焦顯微鏡的設置類似。若使用者需要精準控制的軸向照光，其可使用雙光子顯微術。在此情況下，其可以飛秒雷射來作為照射光源111。

此外，如圖2A、2B與1D所示，照光的光路起始於照射光源111。第二快門112對於這種照射光源111來說是必要的。為了要達到高切換速度的點照光，機械快門可能不夠。使用者可利用聲光調製器(acousto-optic modulator，AOM)或電光調製器(electro optic modulator，EOM)來實現所要求的高速。例如，AOM的上升/下降時間可以達到25奈秒(nanosecond)，對本實施例中的方法和系統來說是夠快的。在第二快門112之後，可以用一對中繼透鏡113a和113b來調整光束大小。在中繼透鏡113a和113b之後，設置四分之一波片113c將有助於讓光束產生圓偏振。接著，照射光抵達成對的掃描鏡(即XY掃描鏡)115，藉此將照射光一次一個地導引到目標位置點。之後，照射光經過掃描透鏡116和管狀透鏡(包括在顯微鏡中，此處未繪示)和顯微鏡10的物鏡102來照射至樣本S的目標位置點。高數值孔徑(NA)的物鏡102可能需要有足夠的光強度才能進行光化學反應或光轉化。

在經過步驟S16的影像處理後，所輸出的是涵蓋目標區域的欲照射位置點的XY-座標陣列(二維陣列)，目標區域則是依使用者定義。每個視野(FOV)的照光點數量可以根據使用者所設置的條件而變化。在某些情況下，每個FOV可能有1000個點。在這種情況下，前述的輸出會具有1000對的浮點數。圖4A和圖4B為根據本文一實驗例的影像處理方式所得到的影像，其顯示了經定義出的壓力顆粒(stress granules)區域。

現在，繼續說明本方法的流程。在步驟S17中，第二處理模組14將座標陣列傳送至訊號轉換器(例如數位-類比轉換器，digital-analog convertor，DAC)17，以將其轉換成類比電壓訊號。

在步驟S18中，類比電壓訊號則是被傳送至XY掃描振鏡115，以將照射光導引至目標點上。

在步驟S17與S18中，對於每對XY座標來說，會計算出驅動XY掃描振鏡115至指定位置的對應角度與電壓。而對於前述1000個目標位置點的照明是一次照明一個。這些位置點的照明順序可以利用軌跡規劃方式來優化，對訪問所有點所需的總時間進行最小化。舉例來說，利用解決旅行商問題的方法來進行軌跡規劃(例如，參見Lawler等人的「The Traveling Salesman Problem：A Guided Tour of Combinatorial Optimization」)。接著，由第二處理模組14將這1000對浮點數的電壓傳送到訊號轉換器17處，訊號轉換器17會將數位數值轉換為類比訊號。之後，類比訊號被傳送到XY掃描振鏡115，並且驅動XY掃描振鏡115以導引至第一個要照明的目標位置點。掃描振鏡的響應時間可以達到5微秒。

在步驟S19中，第二處理模組14開啟第二快門112。

在步驟S20中，第二處理模組14關閉第二快門112。

在步驟S19中，第二處理模組14控制第二快門112的電壓並開啟它。使用者可以將電壓值指定在某個數值，以降低照射光源的功率至適用於光化學反應或光轉換的標準。如果第二快門112無法將功率降低至指定值，使用者可以增加一個偏振分光器(polarization beam splitter)和一個半波片來降低功率。照光時間是依光化學反應或光轉化的需要來決定。舉例來說，某個反應可能需要 100微秒。在經過這段照射時間之後，在步驟S20中，第二處理模組14會關閉第二快門112。

在步驟S21中，系統會確認是否所有的目標位置點都被照射光照射過。換句話說，若目標位置點還沒有全數被照射光照射過，則流程會回到步驟S18中，而第二處理模組14在此時將會控制XY掃描振鏡115把照射光導引至下一個目標點上、控制開啟/關閉第二快門112(步驟S19與S20)。一旦所有在XY座標陣列中所代表的位置點(例如，前述的1000個目標位置點)都被照射光照射過，流程會進到下一步驟中。總和計算，照射前述1000的目標位置點可能需時100毫秒。

在步驟S22中，第一處理模組13會控制顯微鏡10的載台101移動至下一個視野。在此步驟中，第一處理模組13會控制顯微鏡10的載台101移動至下一個(旁邊的)視野。載台移動需時2毫秒。

在步驟S23中，系統會確認是否所有的視野都經過處理。如果樣本S所有的視野都被處理過，則結束流程。若否，則流程會回到步驟S12中，開始進行下一輪的攝影、影像處理、照光，以及在處理過每個視野後的載台移動。換句話說，系統在每一個視野(FOV)下會執行同樣的輪序：攝影、影像處理、照光，以及載台移動，直到有足夠的樣本區域被照射過為止。換句話說，系統會照射多個視野(FOV)，已產生足夠多量的光化學反應或光轉化。一般來說，每一輪序有300毫秒即可。

此外，若是光轉化分子(photoconverted molecule)的濃度需求為10飛摩爾(femtomolar，fmol)，則相當於需要有6x10⁹個分子。假設對每個照明點來說，照射光量足以把50個分子進行光轉化，這對光學解析度(直徑約是250奈米)來說是可能的，因此，使用者需要照1.2x10⁸個目標點(等於6x10⁹/50)。在每個視野有1000個照射點的情況下，使用者需要照射1.2x10⁵個視野。若是每個視野需時300毫秒，則總共需要約10小時(3.6x10⁴秒)才能進行足夠量的反應。前述耗時相當於3D列印的時間。如果不對每個步驟耗用的時間進行最佳化，則處理過程的總耗用時間會變得不切實際。

同樣的，本文亦提供另一實施例，其亦為一種顯微鏡系統，用於影像引導之顯微照射。本實施例的顯微鏡系統與前述實施例所描述的大致相同。請參考圖3A及圖3B。在本實施例中，顯微鏡系統1包括顯微鏡10、照射組件11、攝像組件12、第一處理模組13以及第二處理模組14。顯微鏡10包括載台101、物鏡102與目鏡103。載台101用以裝載樣本S。請再參考圖3B與圖1D，照射組件11可包括照射光源111與圖像照射裝置117。圖像照射裝置117可包括至少一第二快門112、至少一中繼透鏡(例如中繼透鏡113a與113b)、四分之一波板113c、至少一對掃描鏡115與掃描透鏡116。在一實施態樣中，數位微鏡裝置或空間光調控器可用來作為圖像照射裝置117。攝像組件12可包括一相機121、攝像光源122、自動對焦裝置123以及第一快門124。相機121是設置在顯微鏡10上或攝像光路中。

與前述實施例所描述的系統不同之處在於，本實施例中的第一處理模組13連接於顯微鏡10的載台101以及攝像組件12的攝像光源122及第一快門124。但是，本實施例的第二處理模組14則是具有一記憶單元141並連接於相機121、照射組件11以及第一處理模組13。換句話說，在本實施例中，相機121是由第二處理模組14來控制，而非第一處理模組(亦即，電腦)13。若有影像數據高速傳輸及處理的需求，相機121可經由Camera Link與第二處理模組14連接。記憶單元141可以是隨機存取記憶體(RAM)、快閃記憶體(flash ROM)，或是硬碟(hard drive)。隨機存取記憶體可以是動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)，或是零電容隨機存取記憶體(zero-capacitor random access memory，Z-RAM)。

因此，本實施例的顯微鏡系統1其操控方式如下。第一處理模組13控制攝像組件12，而第二處理模組14控制相機121，使得相機121擷取樣本S在第一視野下的至少一個影像。前述影像(一個或多個)自動地被傳送至第二處理模組14的記憶單元141。基於一預設條件(或準則)，第二處理模組14自動且即時地對影像進行處理，以定義出影像中的目標區域，並且從而獲得與目標區域有關的座標信息。接著，第二處理模組14則根據所接收到的與目標區域有關的座標信息來控制照射組件11來對樣本S的目標區域進行照射(亦即，對目標區域內的目標位置點照光)。

本實施例所使用的顯微鏡系統1與前述實施例大致相同，其細部構造、元件構成，以及變化態樣，在此不再重複贅述。

此外，本文也提供另一實施例，是一種顯微照射方法，用於影像引導之顯微照射。本實施例的顯微照射方法與前述實施例中所描述的大致相同。請參考圖3A、圖3B與圖1D，本實施例的顯微照射方法包括以下(a)至(d)的步驟：(a)由第一處理模組13控制攝像組件12而由第二處理模組14啟動攝像組件12的相機121，以獲取樣本S在第一視野下的至少一個影像，其中樣本S被裝載在顯微鏡10的載台101上；(b)將樣本S的一個或多個影像自動傳送至第二處理模組14的記憶單元141；(c)基於一預設條件或準則，由第二處理模組14自動且即時地進行樣本S的影像處理，以定義出影像中的目標區域並獲得與目標區域有關的座標信息；以及，(d)由第二處理模組14根據所獲得到的座標信息來控制照射組件11來對樣本S中的目標區域進行照射。

請參考圖3C，其是根據本文實施例所提供之影像導引顯微照射方法的流程示意圖。其為本文所提供之影像導引方法較為詳細的例子，但本發明並不以此為限。圖3C所示的方法，其流程包含如下所示的步驟S11'至S23'。

簡單來說，在步驟S11’中，操作人員把顯微鏡10的載台101移動至開始位置。在步驟S12’中，第一處理模組13開啟第一快門124。在步驟S13'中，第二處理模組14啟動相機121以擷取或拍攝樣本S的影像。接著，在步驟S14'中，第一處理模組13關閉第一快門124。在步驟S15'中，相機121將影像數據傳送給第二處理模組14的記憶單元(例如DRAM)141。在步驟S16'中，由第二處理模組14進行影像處理，以獲得預計被照射的目標位置的XY座標陣列(亦即樣本S的「目標區域」)。在步驟S17'中，第二處理模組14將座標陣列傳送至訊號轉換器(例如DAC)17，以將其轉換成類比電壓訊號。在步驟S18'中，類比電壓訊號則是被傳送至XY掃描振鏡115，以將照射光導引至目標點上。在步驟S19'中，第二處理模組14開啟第二快門112。在步驟S20'中，第二處理模組14關閉第二快門112。在步驟S21'中，系統會確認是否所有的目標位置點都被照射光照射過。換句話說，若目標位置點還沒有全數被照射光照射過，則流程會回到步驟S18'中，而第二處理模組14在此時將會控制XY掃描振鏡115把照射光導引至下一個目標點上、開啟/關閉第二快門112(步驟S19'與S20')。一旦所有在XY座標陣列中所代表的位置點都被照射光照射過，流程會進到下一步驟中。在步驟S22'中，第一處理模組13會控制顯微鏡10的載台101移動至下一個視野。在步驟S23'中，系統會確認是否所有的視野都經過處理。如果樣本S所有的視野都被處理過，則結束流程。若否，則流程會回到步驟S12'中，開始進行下一輪的攝影、影像處理、照光，以及在處理過每個視野後的載台移動。換句話說，系統在每一個視野(FOV)下會執行同樣的輪序：攝影、影像處理、照光，以及載台移動，直到有足夠的樣本區域被照射過為止。

以下利用數個實驗例來描述本發明的實際應用。

實驗例一：本文的系統和方法可用於顯示細胞核的蛋白質體，其方法學如圖5所示。首先，以抗-核孔複合體蛋白抗體進行染色，使細胞核成像。拍攝影像後，進行影像處理分析，產生預計要由光敏化光源掃描的座標點。接著，控制檢流計掃描振鏡來掃描這些座標點。照射光會導致光敏劑釋放出自由基，並因此致使掃描區域中氨基酸的生物素化。在大量視野下進行攝像被和照光，以生成足夠的生物素化樣品。接著，純化出被生物素化的氨基酸，並以質譜儀來鑑定細胞核的蛋白質體。利用本文的系統及方法進行生物素化樣品的蛋白質體學分析，並且，如下表1中所示，以這種高通量光致生物素化的方式來鑑定核蛋白質。

表1的實驗條件如下。固定：以甲醇固定12小時。裂解緩衝液：乳癌裂解緩衝液：100mM Tris-HCl pH=7.5、100mM DTT、4% SDS、1x EDTA-free PIC。結合緩衝液：稀釋過的裂解緩衝液，具有1.6%的SDS、40mM的DTT、500mM的NaCl。標記用珠：Pierce高容量鏈黴親和素瓊脂珠。沖提液：1x的樣本液。

實驗例二：本文的系統和方法可用於鑑定細胞中壓力顆粒(stress granules)的蛋白質。首先，以壓力顆粒標記物，如G3BP1，將壓力顆粒染色，並拍攝影像。取得影像後，對影像進行影像處理分析，以產生預計要由光敏化光源來掃描的一系列點座標。本文能夠開發一種圖像處理算法，以精確地檢測壓力顆粒的位置，裨便進一步進行蛋白質體學研究，如圖4A和圖4B所示。

實驗例三：本文的系統和方法可用於分辨出具有癌症幹細胞標誌物(例如CD44)和不具有癌症幹細胞標誌物的癌細胞中蛋白質的差異。為了區分癌細胞和癌症幹細胞的差異，本實施例的方案與上述實驗例1大致相同，只是本實驗例中係將幹細胞標記用於成像。

實驗例四：本文的系統和方法可以應用於活體細胞和動物模型的研究(亦即體內(in vivo)試驗)中。其係進行活體細胞攝像或體內(in vivo)試驗攝像，而不是以抗體進行染色，且其光敏化照射係根據活體細胞或動物的影像來進行。

本發明的主要優點是能夠實現由細胞影像所引導的高通量、高精度的光誘導處理。因此，本文的系統與方法可以基於使用者所定義的次細胞特徵來特別處理目標區域中的蛋白質、脂質、核酸或生物化學物質。在需要進行蛋白質體分析時，也可以將經標記的蛋白質、脂質或核酸以質譜法進行純化和鑑定。習知的類似技術無法達到本發明的高通量和高精度能力。因此，本文所提供的是目前唯一可用以達到收集足夠的生物分子樣品所需的速度和精度要求的系統及方法，其係經由影像引導而用於蛋白質體學研究或生物醫學研究。

在一實施例中，本文的系統可以用來執行光燒蝕(photoablation)或光致褪色。光敏劑可用於產生活性氧(ROS)物質。舉例來說，孟加拉玫瑰紅(Rose Bengal)可以用來產生單線態氧(singlet oxygen)，其為一種活性氧物質。單線態氧是高度反應性的，其可以損傷生物分子，而在體內達到光致褪色或光燒蝕。本文的系統可以在培養細胞或組織中，對大量細胞同時進行次細胞等級的光燒蝕(但是習知技術無法達成)，並且也可以應用於光照治療。

在一實施例中，本文的系統可以用來執行光調節反應。舉例來說，定向生物正交配體束縛法(directed bioorthogonal ligand tethering，BOLT)已可用於實現蛋白質功能的選擇性抑制，例如藉由經過修飾的激酶在體內試驗中來控制磷酸化。利用上述實施例所提供的系統和方法，可對大量細胞進行次細胞等級的光調節反應。

本發明的某些實施例，自動進行光敏化和處理生物分子的系統和方法，具有以下優點和效果。

首先，在本發明的某些實施例中，提出了一種優於化學標記方法(APEX)的光標記方法，其係因本發明某些實施例所提供的系統和/或方法能夠更精確地指定欲標記的特徵，而不是僅依親和力高低來進行所有的標記。使用者可以指定目標，並在相同區域中使用本文的系統來區分和標記出不同組的蛋白質。因此，它在基於形態學其他特徵找到蛋白質體學方面具有優勢，這種優勢是APEX無法達成的。

其次，本發明某些實施例所提供的系統和方法優於STOMP：本發明的高通量處理能力是STOMP無法實現的，因其標記速度受到限制。對於低濃度(或含量)的蛋白質，STOMP的速度太慢，而本發明可以在短時間內(例如幾個小時)為每個細胞中具有低拷貝數的蛋白質取得足量的樣品。由於整合了影像處理、載台掃描和檢流掃描振鏡控制，本發明某些實施例所示的系統具有速度和特異性優勢。

第三，本發明某些實施例還具有可以標記多組蛋白質的優選試劑。與miniSOG等化學標記方法(僅能標記幾組蛋白質的)相比，本發明某些實施例所提供的系統和方法可以標記指定區域中的所有蛋白質。此外，本文的系統和方法可以通過軟件進行設計，以對複雜形狀的區域進行標記。

綜上所述，本發明提供了一種顯微鏡系統和方法，用於影像引導之顯微照射。本文的顯微鏡系統和方法可以利用兩個獨立的處理模組(即，第一處理模組和第二處理模組)，來同時控制攝像組件，以拍攝樣本的至少一個影像，以及控制照射組件來照射樣本。此外，第二處理模組可與第一處理模組通信連接並且接收樣本上的目標點的座標(即，樣本影像中的「目標區域」，並且由第一處理模組進行處理)以便快速地控制照射組件來對樣品上的目標點進行照射。因此，本文的影像引導系統和方法實現了一種高通量處理流程，能夠在連續且大量的視野下(對樣本)照射不同的圖像。

以上所述僅為舉例性，而非為限制性的。任何未脫離本發明的精神與範疇，而對其進行的等效修改或變更，均應包含於後附的申請專利範圍中。

Claims

一種顯微鏡系統，用於影像引導之顯微照射，包括：一顯微鏡，包括一物鏡及一載台，其中所述載台用以裝載一樣本；一攝像組件，包括一可控的相機；一照射組件，包括一圖像照射裝置，所述圖像照射裝置包括至少一對掃描鏡；以及一處理模組，其與所述顯微鏡、所述攝像組件及所述照射組件連接，其中所述處理模組控制所述攝像組件，使得所述相機擷取所述樣本在一第一視野下的至少一個影像，所述至少一個影像被傳送至所述處理模組並且由所述處理模組基於一預設的準則自動且即時地進行處理，以定義出所述影像中的一目標區域並從而獲得與所述目標區域有關的一座標信息，並且所述處理模組根據所獲得的與所述目標區域有關的所述座標信息來控制所述照射組件的所述圖像照射裝置，使該至少一對掃描鏡將一照射光線導引至所述樣本的所述目標區域以進行照射。
如申請專利範圍第1項所述的顯微鏡系統，其中在所述目標區域被完全照射之後，所述處理模組控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第1項所述的顯微鏡系統，其中所述攝像組件包括：一攝像光源，其提供的一攝像光線，經由一攝像光路以在拍攝所述樣本時對所述樣本照光；一第一快門，沿著所述攝像光路，是設置在所述攝像光源及所述顯微鏡之間；以及所述可控的相機，是設置在所述顯微鏡上或所述攝像光路中。
如申請專利範圍第1項所述的顯微鏡系統，其中所述照射組件包括：一照射光源，其提供該照射光線，經由一照射光路以照射所述樣本；以及所述圖像照射裝置，其中所述圖像照射裝置更包括一第二快門、一數位微鏡裝置或一空間光調控器；沿著所述照射光路，所述圖像照射裝置是設置在所述照射光源及所述顯微鏡之間。
一種顯微鏡系統，用於影像引導之顯微照射，包括：一顯微鏡，包括一物鏡及一載台，其中所述載台用以裝載一樣本；一攝像組件，包括一可控的相機；一照射組件，包括一圖像照射裝置，所述圖像照射裝置包括至少一對掃描鏡；一第一處理模組，其與所述顯微鏡及所述攝像組件連接；以及一第二處理模組，其與所述照射組件及所述第一處理模組連接，其中所述第一處理模組控制所述攝像組件，使得所述相機擷取所述樣本在一第一視野下的至少一個影像，所述一個或多個影像被傳送至所述第一處理模組並且由所述第一處理模組基於一預設的準則自動即時地進行處理，以定義出所述影像中的一目標區域，且從而獲得與所述目標區域有關的一座標信息，且與所述目標區域有關的所述座標信息被自動傳送至所述第二處理模組，所述第二處理模組根據所接收到的與所述目標區域有關的所述座標信息來控制所述照射組件的所述圖像照射裝置，使該至少一對掃描鏡將一照射光線導引至所述樣本的所述目標區域以進行照射。
如申請專利範圍第5項所述的顯微鏡系統，其中在所述目標區域被完全照射之後，所述第一處理模組控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第5項所述的顯微鏡系統，其中所述攝像組件包括：一攝像光源，其提供一攝像光線，經過一攝像光路以在拍攝所述樣本時對所述樣本照光；一第一快門，沿著所述攝像光路，是設置在所述攝像光源及所述顯微鏡之間；以及所述可控的相機，是設置在所述顯微鏡上或所述攝像光路中。
如申請專利範圍第5項所述的顯微鏡系統，其中所述照射組件更包括：一照射光源，其提供穿過一照射光路的該照射光線以照射所述樣本；以及所述圖像照射裝置，其中所述圖像照射裝置更包括一第二快門、一數位微鏡裝置或一空間光調控模塊；沿著所述照射光路，所述圖像照射裝置是設置在所述照射光源及所述顯微鏡之間。
一種顯微鏡系統，用於影像引導之顯微照射，包括：一顯微鏡，包括一物鏡及一載台，其中所述載台用以裝載一樣本；一攝像組件，包括一可控的相機；一照射組件，包括一圖像照射裝置，所述圖像照射裝置包括至少一對掃描鏡；一第一處理模組，其與所述顯微鏡及所述攝像組件連接；以及一第二處理模組，包括一記憶單元，所述第二處理模組與所述照射組件、所述相機及所述第一處理模組連接，其中所述第一處理模組控制所述攝像組件，且所述第二處理模組控制所述相機，使得所述相機擷取所述樣本在一第一視野下的至少一個影像，所述至少一個影像被自動傳送至第二處理模組的所述記憶單元，接著所述至少一個影像由所述第二處理模組基於一預設的準則自動且即時地進行處理，以定義出所述影像中的一目標區域，且所述第二處理模組從而獲得與所述目標區域有關的一座標信息，且所述第二處理模組根據所接收到的與所述目標區域有關的所述座標信息來控制所述照射組件的所述圖像照射裝置，使該至少一對掃描鏡將一照射光線導引至所述樣本的所述目標區域以進行照射。
如申請專利範圍第9項所述的顯微鏡系統，其中在所述目標區域被完全照射之後，所述第一處理模組控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第9項所述的顯微鏡系統，其中所述攝像組件包括：一攝像光源，其提供一攝像光線，經由一攝像光路以在攝像所述樣本時對所述樣本照光；一第一快門，沿著所述攝像光路，是設置在所述攝像光源及所述顯微鏡之間；以及所述可控的相機，是設置在所述顯微鏡上或所述攝像光路中。
如申請專利範圍第9項所述的顯微鏡系統，其中所述照射組件更包括：一照射光源，其提供該照射光線，經由一照射光路以照射所述樣本；以及所述圖像照射裝置，其中所述圖像照射裝置更包括一第二快門、一數位微鏡裝置或一空間光調控器；沿著所述照射光路，所述圖像照射裝置是設置在所述照射光源及所述顯微鏡之間。
一種顯微照射方法，用於對一生物樣本進行影像引導之顯微照射，其中該生物樣本位於一水溶液中，且該水溶液包含有至少一標記物質，該方法包括以下步驟：經由一處理模組啟動一攝像組件的一相機，以擷取所述生物樣本在該水溶液中一第一視野下的至少一個影像，其中在該水溶液中的所述生物樣本被裝載在一顯微鏡的一載台上；將在該水溶液中的所述生物樣本在該第一視野下的該至少一個影像自動傳送至所述處理模組；基於一預設的準則，由所述處理模組自動且即時地進行所述生物樣本的影像處理，以定義出所述影像中的一目標區域並獲得與所述目標區域有關的一座標信息；以及由所述處理模組根據所獲取到的所述座標信息來控制一照射組件發出一照射光線來對所述生物樣本中的所述目標區域進行照射，其中該照射光線致使該水溶液中的該標記物質產生光化學反應或光轉化，以對該水溶液中的所述生物樣本進行標記。
如申請專利範圍第13項所述的顯微照射方法，其中在所述目標區域被完全照射之後，所述方法更包括一步驟：由所述處理模組來控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第14項所述的顯微照射方法，其中在移動至所述下一個視野後，所述方法還依序重複如申請專利範圍第13及14項所述的步驟，直到所有指定視野的目標區域都完成照射。
如申請專利範圍第13項所述的顯微照射方法，其中影像處理的方式是閥值擷取、侵蝕、濾波，或經人工智能訓練的語義分割法。
一種顯微照射方法，用於對一生物樣本進行影像引導之顯微照射，其中該生物樣本位於一水溶液中，且該水溶液包含有至少一標記物質，該方法包括以下步驟：經由一第一處理模組啟動一攝像組件的一相機，以獲取所述生物樣本在該水溶液中一第一視野下的至少一個影像，其中在該水溶液中的所述生物樣本被裝載在一顯微鏡的一載台上；將在該水溶液中的所述生物樣本在該第一視野下的該至少一個影像自動傳送至所述第一處理模組；基於一預設的準則，由所述第一處理模組自動且即時地進行所述生物樣本的影像處理，以定義出所述影像中的一目標區域並獲得與所述目標區域有關的一座標信息；將與所述目標區域有關的所述座標信息自動傳送至一第二處理模組；以及由所述第二處理模組根據所接收到的所述座標信息來控制一照射組件發出一照射光線來對所述生物樣本中的所述目標區域進行照射，其中該照射光線致使該水溶液中的該標記物質產生光化學反應或光轉化，以對該水溶液中的所述生物樣本進行標記。
如申請專利範圍第17項所述的顯微照射方法，其中在所述目標區域被完全照射之後，所述方法更包括一步驟：由所述第一處理模組來控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第18項所述的顯微照射方法，其中所述載台在移動至下一個視野後，所述方法還依序重複如申請專利範圍第17及18項所述的步驟，直到所有指定視野的目標區域都完成照射。
如申請專利範圍第17項所述的顯微照射方法，其中影像處理的方式是閥值擷取、侵蝕、濾波，或經人工智能訓練的語義分割法。
一種顯微照射方法，用於對一生物樣本進行影像引導之顯微照射，其中該生物樣本位於一水溶液中，且該水溶液包含有至少一標記物質，該方法包括以下步驟：經由一第一處理模組控制一攝像組件以及通過一第二處理模組啟動所述攝像組件的一相機，以獲取所述生物樣本在該水溶液中一第一視野下的至少一個影像，其中在該水溶液中的所述生物樣本被裝載在一顯微鏡的一載台上；將在該水溶液中的所述生物樣本的該至少一個影像自動傳送至所述第二處理模組的一記憶單元；基於一預設的準則，由所述第二處理模組自動且即時地進行所述生物樣本的影像處理，以定義出所述影像中的一目標區域並獲得與所述目標區域有關的一座標信息；以及由所述第二處理模組根據所接收到的所述座標信息來控制一照射組件發出一照射光線來對所述生物樣本中的所述目標區域進行照射，其中該照射光線致使該水溶液中的該標記物質產生光化學反應或光轉化，以對該水溶液中的所述生物樣本進行標記。
如申請專利範圍第21項所述的顯微照射方法，其中在所述目標區域被完全照射之後，所述方法更包括一步驟：控制所述顯微鏡的所述載台移動至一第二視野，所述第二視野是在所述第一視野之後。
如申請專利範圍第22項所述的顯微照射方法，其中在所述載台移動至下一個視野後，所述方法還依序重複如申請專利範圍第21及22項所述的步驟，直到所有指定視野的目標區域都完成照射。
如申請專利範圍第21項所述的顯微照射方法，其中影像處理的方式是閥值擷取、侵蝕、濾波，或經人工智能訓練的語義分割法。