TWI485631B - 全景式顯微影像的擷取方法與擷取設備 - Google Patents

Description

全景式顯微影像的擷取方法與擷取設備

本發明係有關於一種顯微影像的擷取方法與擷取設備，尤其是一種具有線掃描式影像擷取機構以擷取全景式顯微影像的擷取方法與擷取設備。

近年來，隨著生物科技的快速發展，許多醫療設備已走向數位化時代，以滿足現今醫療體系中快速、方便、衛生及安全的需求。隨著組織病理分析與診斷的需求量日漸增加，傳統顯微鏡的病理觀察方式已不敷使用。其次，基於城鄉間醫療資源的差距，偏遠地區的醫療單位往往因為無法得到即時的診斷，而錯失病患治療的最佳時機，因此，虛擬玻片(virtual slide)是近年來隨之發展的高科技生物分析技術，其主要是透過顯微影像系統(例如：掃描儀)掃描一實體的組織玻片，以獲得數位化的虛擬玻片影像，之後，病理研究人員即可藉由網際網路傳輸虛擬玻片的影像資訊至其他地區，以提供病理臨床診斷與後續的追蹤比對。

一般而言，組織玻片的掃描技術包括兩個要點，一為掃描技術，另一為掃描影像的品質，而二者多呈反比例。也就是說，掃描速度如果要快，則勢必要犧牲影像品質；而如果要提高影像品質，則必須拉長掃描的時間。習知用以拍攝組織玻片的掃描設備，係透過面掃描(area scan)攝影機擷取該組織玻片之虛擬玻片影像。然而，隨著組織玻片上載有的組織陣列(tissue array)數目增加，面掃描攝影機所需要掃描的層數亦隨之上升，於此增加了整體的掃描時間，降低掃描之工作速率。

其次，習知利用面掃描攝影機進行組織玻片之掃描時，在掃描過程中，組織玻片必須全程保持靜止狀態，方可拍攝出具有清晰品質的影像。在此情況之下，用以置放組織玻片的夾治具，必須要能提供平穩的作業平台，以符合輸出影像高精度的要求，在無形中亦提高了整體製作設備之製作成本。

因此，如何解決習知擷取虛擬玻片影像時所產生的問題，並且提供一種兼具高精度影像品質與低掃描時間的擷取方法與其設備，實為相關技術領域者目前迫切需要解決的問題。

鑒於以上，本發明在於提供一種全景式顯微影像的擷取方法與擷取設備，藉以解決習知存在的問題。

本發明係有關於一種全景式顯微影像的擷取方法，適於自組織玻片(tissue slide)擷取全景式組織影像。此種全景式顯微影像的擷取方法包括以下步驟：決定組織玻片的一待掃描區域，待掃描區域包括多個網格區域；根據待掃描區域執行對焦程序，以獲得一焦距表(focus table)，其中焦距表包括多個焦距值，每一焦距值係對應待掃描區域中每一網格區域之對焦點；根據焦距表中的每一焦距值掃描待掃描區域中的每一網格區域，以獲得多個條狀影像；以及根據該些條狀影像，執行影像縫合程序，以獲得全景式組織影像。

根據本發明之一實施例，全景式顯微影像的擷取方法另包括根據每一網格區域的銳利度因子(Sharpness factor，SF)搜尋每一網格區域之對焦點的步驟，以獲得焦距表。

根據本發明之一實施例，全景式顯微影像的擷取方法另包括針對每一條狀影像進行色彩校正的步驟，以獲得色彩校正後之條狀影像。

根據本發明之一實施例，全景式顯微影像的擷取方法另包括擷取該些條狀影像中的至少一重疊區塊；以及根據重疊區塊接合每一條狀影像的步驟，以獲得全景式組織影像。

本發明另有關於一種全景式顯微影像的擷取設備，適於自組織玻片擷取全景式組織影像。此種全景式顯微影像的擷取設備包括一送料裝置、一全景式影像擷取機構以及一電腦設備。送料裝置包括懸臂式機構與固定機構，其中懸臂式機構係往復運動於一抓取位置與一上料位置之間，當懸臂式機構位於抓取位置時，懸臂式機構係夾取組織玻片，當懸臂式機構移動至上料位置時，懸臂式機構係將組織玻片置放於固定機構上。固定機構係承載組織玻片行經一掃描區域。全景式影像擷取機構係於該掃描區域中以線掃描(line scan)方式掃描組織玻片，全景式影像擷取機構係依序擷取到組織玻片上的多個條狀影像。電腦設備電性連接全景式影像擷取機構，電腦設備係依據該些條狀影像執行影像縫合程序，以獲得全景式組織影像。

根據本發明之一實施例，全景式影像擷取機構包括一影像預覽裝置、一影像預覽裝置與一影像聚焦裝置。其中，影像預覽裝置決定組織玻片的一待掃描區域，待掃描區域包括多個網格區域。影像聚焦裝置根據待掃描區域執行對焦程序，以獲得焦距表，其中焦距表包括多個焦距值，每一焦距值對應待掃描區域中每一網格區域之對焦點。影像掃描裝置係根據焦距表中的每一焦距值掃描待掃描區域中的每一網格區域，以獲得條狀影像。

因此，本發明係整合機構設計、影像擷取與影像處理，提出全景式顯微影像的擷取方法與擷取設備，藉此提供高精度且不失真的組織影像。

本發明提出的全景式顯微影像的擷取方法與擷取設備，同時更可降低習知取像中所耗費的掃描時間，兼具較高的工作效率。

以上有關於本發明的內容說明，與以下的實施方式係用以示範與解釋本發明的精神與原理，並且提供本發明的專利申請範圍更進一步的解釋。有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

「第1圖」係為根據本發明實施例全景式顯微影像的擷取設備之整體示意圖，此種擷取設備主要包括送料裝置100、全景式影像擷取機構200與電腦設備300。其中，送料裝置100主要是用以夾取組織玻片10，並且將組織玻片10傳送至全景式影像擷取機構200，供全景式影像擷取機構200掃描組織玻片10上的病理組織。電腦設備300係電性連接全景式影像擷取機構200，並且針對全景式影像擷取機構200所擷取到的影像，進行後續之影像分析處理，以形成對應於組織玻片10上病理特徵的全景式組織影像(或稱虛擬玻片影像)。

「第2圖」係為根據本發明實施例之送料裝置之結構示意圖，送料裝置100包括懸臂式機構102與固定機構104，其中懸臂式機構102係用以夾取組織玻片10，並且將取得之組織玻片10置放於固定機構104上。懸臂式機構102大致成一ㄇ形構件，並於其結構中開設有凹槽12，以容設組織玻片10。懸臂式機構102並且相對設置於一組可水平與垂直運動的直線運動構件14與升降運動構件16上。藉此，懸臂式機構102可被帶動而沿著空間中的三軸向運動，並且將組織玻片10置放於固定機構104上。固定機構104位於底座106之上，底座106係藉由平台108內部的音圈馬達(圖中未示)而被驅動沿著平台108上開設的滑軌110而水平滑動。於此，固定機構104可一併帶動組織玻片10行經一掃描區域L(容後詳述)。

關於懸臂式機構102夾取組織玻片10，並將其置放於固定機構104上的步驟，請一併參閱「第3A圖」至「第3D圖」。首先，組織玻片10係位於承載台18上，升降運動構件16開始下降，使得懸臂式機構102到達一抓取位置，以擷取組織玻片10(對應「第3A圖」至「第3B圖」)。接著，直線運動構件14開始帶動懸臂式機構102進行水平軸向運動，以到達一上料位置，使得組織玻片10被置放於固定機構104之上(對應「第3C圖」)。

續請參閱「第4圖」，係為根據本發明實施例之固定機構之分解結構示意圖，其中固定機構104包括卡夾上層402、卡夾下層404與至少一泡綿406，泡綿406係夾置於卡夾上層402與卡夾下層404之間。因此，當組織玻片10被置放於固定機構104上時，卡夾上層402係擠壓卡夾下層404，泡綿406即可用以緩衝並且固定組織玻片10於二者之中。

最後，如「第3D圖」所示，當組織玻片10被夾持於固定機構104之後，懸臂式機構102即可再次透過直線運動構件14與升降運動構件16的帶動，回到原抓取位置，以抓取下一個組織玻片10。

接著，關於固定機構104帶動組織玻片10行經掃描區域L之過程，請一併參閱「第5A圖」至「第5C圖」。全景式影像擷取機構200包括一影像預覽裝置202、一影像聚焦裝置204與一影像掃描裝置206。其中，影像聚焦裝置204與影像掃描裝置206係分別為一面掃描(area scan)與一線掃描(line scan)攝影機，且各自於其鏡頭22、24的另一側具有背光源26、28。影像聚焦裝置204與影像掃描裝置206可以是但不限於電荷耦合元件(Charge-coupled Device，CCD)的攝像裝置。

因此，根據本發明之實施例，當組織玻片10行經掃描區域L時，全景式影像擷取機構200係於掃描區域L中以線掃描方式掃描組織玻片10，其詳細說明請一併參閱「第6圖」，係為根據本發明實施例之全景式顯微影像的擷取方法之步驟流程圖，擷取方法主要包括以下步驟：步驟S602：決定組織玻片的一待掃描區域，待掃描區域包括多個網格區域；步驟S604：根據待掃描區域執行對焦程序，以獲得一焦距表(focus table)，其中焦距表包括多個焦距值，每一焦距值係對應待掃描區域中每一網格區域之對焦點；步驟S606：根據焦距表中的每一焦距值掃描待掃描區域中的每一網格區域，以獲得多個條狀影像；以及步驟S608：根據該些條狀影像，執行影像縫合程序，以獲得全景式組織影像。

如「第5A圖」所示，當組織玻片10位於影像預覽裝置202之鏡頭前時，影像預覽裝置202係用以決定(或是圈選出)組織玻片10上的一待掃描區域，待掃描區域係定義為組織玻片10上包括最多病理組織的一區塊。則如「第7圖」所示，待掃描區域70包括多個網格區域72，且每一網格區域72係相互比鄰。因此，如「第5B圖」所示，當組織玻片10行進影像聚焦裝置204的鏡頭22前時，影像聚焦裝置204即可針對該些網格區域72逐一進行對焦程序，以將位於同一列之網格區域72舖成對應的焦點曲面。

詳細而言，如「第2圖」、「第3A圖」至「第3D圖」所示，底座106係位於一組可上下垂直運動的底塊112之上，藉此，組織玻片10在行經掃描區域L時，即可同時垂直地上升或下降。因此，當組織玻片10由影像預覽裝置202進入影像聚焦裝置204的聚焦範圍時，影像聚焦裝置204即可沿著組織玻片10中左上往右下的方向，逐一對焦待掃描區域70中的每一網格區域72。由於各個網格區域72皆具有其各自對應的對焦點，因此，影像聚焦裝置204於對焦完所有網格區域72後，即可據以獲得一焦距表(focus table)。換言之，焦距表包括多個焦距值，而每一焦距值對應待掃描區域70中每一網格區域72之對焦點。焦距表可以是但不限於焦距查找表(Lookup table)。其中，搜尋對焦點的方法可以是根據網格區域72的銳利度因子(Sharpness factor，SF)來決定的。

一般來說，要判斷影像是否對焦，必須將影像中的每個像素(pixel)代入影像銳利度函數(Sharpness function)進行運算，運算後的結果即稱為銳利度因子(Sharpness factor，SF)。當銳利度因子越大，即代表影像對焦的越精確。舉例而言，計算銳利度因子可透過離散餘弦轉換(Discrete Cosine Transform，DCT)分析影像的頻譜特性。其運算主要是將影像資訊從空間域轉換到頻率域進行分析，並且在轉換後得到DCT係數矩陣。此係數矩陣會依照影像在空間中的不同特性，而有不同的排列方式。假設f(i,j)為一個M×N的二維影像矩陣，則二維DCT如式(1)所示。

其中u、v分別代表頻譜圖中垂直與水平方向的餘弦波。

因此，影像聚焦裝置204即可根據銳利度因子之計算結果配合對焦搜尋演算法，驅動其鏡頭22移動到網格區域72之正確焦點位置，其中演算法可以是但不限於全域搜尋法、爬山搜尋法、或三點逼近法等。

爾後，如「第5C圖」所示，當組織玻片10行進至影像掃描裝置206的鏡頭24前時，影像掃描裝置206即可根據焦距表中的每一焦距值及其對應舖成的曲面，逐一掃描待掃描區域70中的每一網格區域72，以獲得自同一列的網格區域72所形成之條狀影像80。

由於全景式影像擷取機構200係電性連接至電腦設備300，因此，根據本發明之實施例，電腦設備300續可透過圖形化程式，自動擷取任意兩張連續拍攝的條狀影像80中的重疊區塊，並且根據該重疊區塊而接合每一張條狀影像80，以輸出最後接合完畢的全景式組織影像。其中，根據本發明實施例所使用的影像縫合方法，可同時兼具圖形比對的校正功能，其主要是利用重疊區塊內的特徵做為影像疊合的參考座標，並藉此來縫合前後兩張連續拍攝的條狀影像80。於此，本發明提出的影像縫合方法，不僅可減少影像縫合處的接縫、提升影像縫合後的可靠度(reliability)，更可防止組織特徵因連續取像過程中機構定位誤差而造成的遺漏。

其次，為了消弭影像中色彩不均勻或失真的問題，「第8圖」係為根據本發明又一實施例全景式顯微影像的擷取方法之步驟流程圖，擷取方法主要包括步驟S602、S604、S606、S608與S610。其中步驟S610係為針對每一條狀影像80進行色彩校正，以獲得色彩校正後之條狀影像80。舉例而言，色彩校正的方法可以是利用組織玻片10上未具有病理組織的空白玻片74(如「第7圖」所示)作為校正影像之基準。爾後，再擷取各個條狀影像80中的紅(R)、綠(G)、藍(B)三元素代入色彩校正的運算式當中，轉換得到色彩校正後之彩色影像。

是以，綜上所述，本發明提出之全景式顯微影像的擷取方法與擷取設備，適於自組織玻片擷取其數位化的全景式組織影像。此種擷取方法與擷取設備，係以線掃描方式進行網格式的自動對焦，並且據以建構出每一網格區域所對應焦距值的焦距表，使得線掃描攝影機根據該焦距表逐一掃描各個網格區域，獲得後續供電腦設備進行影像縫合之條狀影像。

本發明提出之全景式顯微影像的擷取方法與擷取設備，不僅可快速擷取顯微影像，並具有全景不失真的影像品質，其可在組織玻片相對運動的情況下仍擷取到清晰的組織影像，更使得此種擷取方法與擷取設備，相較於習知具有更佳的產業利用性與競爭力。

雖然本發明以前述的較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神與範圍內，當可作些許更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

10．．．組織玻片

12．．．凹槽

14．．．直線運動構件

16．．．升降運動構件

18．．．承載台

22．．．鏡頭

24．．．鏡頭

26．．．背光源

28．．．背光源

70．．．待掃描區域

72．．．網格區域

74．．．空白玻片

80．．．條狀影像

100．．．送料裝置

102．．．懸臂式機構

104．．．固定機構

106．．．底座

108．．．平台

110．．．滑軌

112．．．底塊

200．．．全景式影像擷取機構

202．．．影像預覽裝置

204．．．影像聚焦裝置

206．．．影像掃描裝置

300．．．電腦設備

402．．．卡夾上層

404．．．卡夾下層

406．．．泡綿

第1圖係為根據本發明實施例全景式顯微影像的擷取設備之整體示意圖。

第2圖係為根據本發明實施例之送料裝置之結構示意圖。

第3A圖至第3D圖係為根據本發明實施例之懸臂式機構自抓取位置到上料位置之間的作動示意圖。

第4圖係為根據本發明實施例之固定機構之分解結構示意圖。

第5A圖至第5C圖係為根據本發明實施例之組織玻片行經掃描區域之連續示意圖。

第6圖係為根據本發明實施例之全景式顯微影像的擷取方法之步驟流程圖。

第7圖係為根據本發明實施例之組織玻片之放大圖。

第8圖係為根據本發明又一實施例之全景式顯微影像的擷取方法之步驟流程圖。

Claims (9)

1. 一種全景式顯微影像的擷取方法，適於自一組織玻片擷取一全景式組織影像，該全景式顯微影像的擷取方法包括：令該組織玻片位於一固定機構上，該固定機構包括一卡夾上層、一卡夾下層與至少一泡綿，該泡綿係夾置於該卡夾上層與該卡夾下層之間，當該組織玻片位於該固定機構上時，該卡夾上層係擠壓該卡夾下層，令該泡綿緩衝並且固定該組織玻片；決定該組織玻片的一待掃描區域，該待掃描區域包括多個網格區域；根據該待掃描區域執行對焦程序，以獲得一焦距表(focus table)，其中該焦距表包括多個焦距值，每一該焦距值係對應該待掃描區域中每一該網格區域之對焦點；根據該焦距表中的每一該焦距值掃描該待掃描區域中的每一該網格區域，以獲得多個條狀影像；以及根據該些條狀影像，執行影像縫合程序，以獲得該全景式組織影像。
2. 如請求項1所述之全景式顯微影像的擷取方法，另包括根據每一該網格區域的銳利度因子(Sharpness factor，SF)搜尋每一該網格區域之對焦點的步驟，以獲得該焦距表。
3. 如請求項1所述之全景式顯微影像的擷取方法，另包括：擷取該些條狀影像中的至少一重疊區塊；以及 根據該重疊區塊接合每一該條狀影像，以獲得該全景式組織影像。
4. 如請求項1所述之全景式顯微影像的擷取方法，另包括針對每一該條狀影像進行色彩校正的步驟，以獲得色彩校正後之該些條狀影像。
5. 一種全景式顯微影像的擷取設備，適於自一組織玻片擷取一全景式組織影像，該全景式顯微影像的擷取設備包括：一送料裝置，包括：一懸臂式機構，係往復運動於一抓取位置與一上料位置之間；以及一固定機構，包括一卡夾上層、一卡夾下層與至少一泡綿，該泡綿係夾置於該卡夾上層與該卡夾下層之間，其中當該懸臂式機構位於該抓取位置時，該懸臂式機構係夾取該組織玻片，當該懸臂式機構移動至該上料位置時，該懸臂式機構係將該組織玻片置放於該固定機構上，當該組織玻片位於該固定機構上時，該卡夾上層係擠壓該卡夾下層，令該泡綿緩衝並且固定該組織玻片，該固定機構係承載該組織玻片行經一掃描區域；一全景式影像擷取機構，係於該掃描區域中以線掃描(Line scan)方式掃描該組織玻片，該全景式影像擷取機構係依序擷取到該組織玻片上的多個條狀影像；以及一電腦設備，電性連接該全景式影像擷取機構，該電腦設 備係依據該些條狀影像執行影像縫合程序，以獲得該全景式組織影像。
6. 如請求項5所述之全景式顯微影像的擷取設備，其中該全景式影像擷取機構包括：一影像預覽裝置，決定該組織玻片的一待掃描區域，該待掃描區域包括多個網格區域；一影像聚焦裝置，根據該待掃描區域執行對焦程序，以獲得一焦距表(focus table)，其中該焦距表包括多個焦距值，每一該焦距值係對應該待掃描區域中每一該網格區域之對焦點；以及一影像掃描裝置，根據該焦距表中的每一該焦距值掃描該待掃描區域中的每一該網格區域，以獲得該些條狀影像。
7. 如請求項6所述之全景式顯微影像的擷取設備，其中該影像聚焦裝置係根據每一該網格區域的銳利度因子(Sharpness factor，SF)搜尋每一該網格區域之對焦點，以獲得該焦距表。
8. 如請求項5所述之全景式顯微影像的擷取設備，其中該電腦設備係擷取該些條狀影像中的至少一重疊區塊，並且根據該重疊區塊接合每一該條狀影像，以獲得該全景式組織影像。
9. 如請求項5所述之全景式顯微影像的擷取設備，其中該電腦設備係針對每一該條狀影像執行色彩校正的步驟，以獲得色彩校正後之該些條狀影像。