TWI839311B - 手術三維即時定位補償方法 - Google Patents

Abstract

一種手術三維即時定位補償方法，包含：取得一手術影像中的數個標記裝置各自在世界座標系下的一初始姿態；對該手術影像執行一亮度正規化，以產生一正規化影像；對該數個標記裝置的所有標誌各自生成具有不同解析度的數張紋理影像，並以解析度最接近的紋理影像作為一標準影像；從該標準影像中另選取至少N個取樣點，並在該正規化影像中獲得相對應的參照點；取得與各該參照點具有最小亮度誤差的優化點，並分別計算取得一誤差值，再根據該些誤差值修正該初始姿態，以產生一補償姿態。

Description

手術三維即時定位補償方法

本發明主要為一種手術三維即時定位補償方法，特別是有關於一種透過增加取樣點數量，並以影像亮度與實際亮度修正軌跡球姿態的手術三維即時定位補償方法。

近年來，電腦輔助定位技術的發展，使得醫療人員能夠在進行如骨科或脊椎等精密的外科手術過程中，利用影像攝影設備取得病患的病灶位置之二維影像，再利用電腦根據該二維影像重建出該病灶的立體影像，並進行該病灶的座標化，醫療人員即可在電腦的引導下，精準地將植體植入到正確的位置，具有大幅提升手術定位精準度的優點。

中華民國專利公告號I708591公開了一種骨科手術之三維即時定位方法，該方法透過將立體標記裝置固定在手術部位上，並架設攝影機拍攝取得一拍攝影像。隨後，對該拍攝影像進行辨識，以取得該立體標記裝置的二維角點位置。然而，該拍攝影像本身由像素所組成，微觀下呈現顆粒狀，在邊界會產生影像梯度，縱使該拍攝影像中的立體標記裝置處於靜止狀態下，其二維角點仍會 產生±3像素的誤差，導致在運算該立體標記裝置的姿態上容易產生較大誤差，而具有精度不佳的問題。

有鑑於此，有必要提供一種手術三維即時定位補償方法，以解決上述之問題。

本發明的目的在於提供一種手術三維即時定位補償方法，係可以透過增加取樣點數量，並以影像亮度與實際亮度修正軌跡球姿態。

本發明所述之「機械角點」，係指一標記裝置的正多面體具有一中心原點，該正多面體上的每一個標誌之圖形的四個角落，其相對於該中心原點的實際座標。

為達成上述目的，本發明提供一種手術三維即時定位補償方法，包含：取得一手術影像，其影像中包含數個標記裝置，該標記裝置具有一正多面體，該正多面體具有至少四幾何圖面，該幾何圖面具有一標誌，該標誌由一邊框及一圖形共同組成，該圖形位於該邊框內側，並供辨識取得具有唯一性的一識別碼；將該手術影像輸入至一物件偵測模型，以偵測出該數個標記裝置各自的一第一邊界框資訊、各該標記裝置所具有之邊框的一第二邊界框資訊，以及各該標記裝置所具有之圖形所代表的識別碼及一第三邊界框資訊；根據該第二邊界框資訊取得相對應之邊框的四個角點，根據該數個標記裝置各自的第一邊界框資訊及所具有之邊框的四個角點，並搭配相對應之機械角點執行投影變換計算，以獲得該數個標記裝置各自在世界座標系下的一初始姿態；對該手術影像執行一亮度正規化，以產生一正規化影像；對該數個標記裝置的所有標誌各自生成長寬等 比例大小，但具有不同解析度的數張紋理影像；根據各該標記裝置所具有之圖形所代表的識別碼，與具有相同識別碼的數張紋理影像分別進行一模糊度運算，並將解析度最接近的紋理影像作為一標準影像；根據該第二邊界框資訊及該第三邊界框資訊，從該標準影像的邊框或圖形中選取該四個角點以外的至少N個取樣點，將該至少N個取樣點搭配相對應之機械角點執行投影變換計算，再透過一相機參數進行運算，以獲得該至少N個取樣點各自在該正規化影像中相對應的一參照點；以該參照點為原點在一容許範圍內取得一優化點，該優化點與該參照點之間具有最小亮度誤差，透過一最小化誤差函數計算取得各該參照點與相對應的優化點之間的一誤差值，再根據該誤差值修正該初始姿態，以產生一補償姿態；及將該數個標記裝置各自在世界座標系下的補償姿態實時繪製顯示於一顯示螢幕上。

在一些實施例中，100≦N≦300。

在一些實施例中，該容許範圍為±1像素。

在一些實施例中，該物件偵測模型為YoLov5。

本發明的手術三維即時定位補償方法具有下列特點：透過增加該標誌的邊框或圖形上的取樣點數量，並以該取樣點的影像亮度與實際亮度之間的最小誤差來修正該數個標記裝置各自在世界座標系下的姿態。藉此，本發明的手術三維即時定位補償方法，在使用ASTM2554進行精度驗證之下，該標記裝置的平均誤差由0.8547下降至0.1493，係可以達到提高及穩定標記裝置定位精度之功效。

〔本發明〕

1:標記裝置

11:正多面體

11a:幾何圖面

12:釘狀體

13:標誌

13a:邊框

13b:圖形

2:攝影機

3:電腦主機

4:顯示螢幕

P:取樣點

S:脊椎

S1:影像取得步驟

S2:物件偵測步驟

S3:姿態取得步驟

S4:亮度正規化步驟

S5:影像生成步驟

S6:模糊比對步驟

S7:取樣步驟

S8:誤差最小化步驟

S9:姿態補償步驟

[圖1]為本發明之手術三維即時定位補償方法的步驟流程圖；[圖2]為本發明之手術三維即時定位補償方法之標記裝置的立體圖；[圖3]為本發明之手術三維即時定位補償方法的使用情形圖；[圖4]為本發明之手術三維即時定位補償方法的取樣點示意圖。

茲配合圖式將本發明實施例詳細說明如下，其所附圖式主要為簡化之示意圖，僅以示意方式說明本發明之基本結構，因此在該等圖式中僅標示與本發明有關之元件，且所顯示之元件並非以實施時之數目、形狀、尺寸比例等加以繪製，其實際實施時之規格尺寸實為一種選擇性之設計，且其元件佈局形態有可能更為複雜。

以下各實施例的說明是參考附加的圖式，用以例示本發明可據以實施的特定實施例。本發明所提到的方向用語，例如「上」、「下」、「前」、「後」等，僅是參考附加圖式的方向。因此，使用的方向用語是用以說明及理解本申請，而非用以限制本申請。另外，在說明書中，除非明確地描述為相反的，否則詞語“包含”將被理解為意指包含所述元件，但是不排除任何其它元件。

請參照圖1，其為本發明手術三維即時定位補償方法的步驟流程圖，係包含以下步驟：請一併參照圖2，影像取得步驟S1：取得一手術影像，其影像中包含數個標記裝置1，在本實施例中，該標記裝置1為一追跡球，並採用剛性十二面體球。具體而言，該標記裝置1具有一正多面體11及一釘狀體12，該正多 面體11具有呈現正五邊形的至少四幾何圖面11a，該幾何圖面11a具有一標誌13，該標誌13由一邊框13a及一圖形13b共同組成，其中，該圖形13b位於該邊框13a內側，並供辨識取得具有唯一性的一識別碼。舉例而言，該標誌13可以為AR-ToolKit標誌、ARTag標誌、ArUco標誌或AlVar標誌的其中一種，在本實施例中，係以AlVar標誌作為該幾何圖面11a上的標誌13。該釘狀體12用以使該標記裝置1固定在一手術器械或一病患/教具的至少一手術部位。

請參照圖3，當該手術部位為脊椎S時，則該釘狀體12為一脊突釘，屬於本發明技術領域中具有通常知識者可以理解。值得注意的是，該數個標記裝置1之間不具有相同識別碼的圖形13b。舉例而言，設置於該手術器械的標記裝置1的標誌13之圖形13b所代表的識別碼可以為0~8，而設置於該脊椎的三個標記裝置1各自的標誌13之圖形13b所代表的識別碼，依此類推分別可以為9~17、18~26及27~35。值得一提的是，該標記裝置1插設於手術部位時，其中3個幾何圖面11a朝下面向該手術部位而無法被該辨識，因此，該標誌13之圖形13b所代表的識別碼設定9個標誌號數即可。

承上述，在本發明中，為架設至少一攝影機2，並朝該數個標記裝置1進行拍攝，以產生該手術影像。在本實施例中，該攝影機2為具有高畫質功能及六自由度(Degree of Freedom，DOF)運動姿態的攝影機。

物件偵測步驟S2：將該手術影像輸入至一電腦主機3中的一物件偵測模型，以偵測出該數個標記裝置1各自的一第一邊界框資訊、各該標記裝置1所具有之邊框13a的一第二邊界框資訊，以及各該標記裝置1所具有之圖形13b所代表的識別碼及一第三邊界框資訊。在本實施例中，該標記裝置1具有至 少三個標誌13的圖形13b所代表的識別碼可以被辨識出來，具有提高定位精準度之功效。

在本發明中，該物件偵測模型係可以從網路上下載已完成參數設定的深度學習模型至該電腦主機3，該電腦主機3在C++開發環境之下，根據先前拍攝的數張手術影像訓練該深度學習模型，以獲得該物件偵測模型，在本實施例中，係以YoLov5予以說明，其屬於本發明技術領域中的通常知識，在此不多加贅述。

姿態取得步驟S3：根據該第二邊界框資訊取得相對應之邊框13a的四個角點。隨後，根據該數個標記裝置1各自的第一邊界框資訊及所具有之邊框13a的四個角點，並搭配相對應之機械角點執行投影變換計算，以獲得該數個標記裝置1各自在世界座標系下的一初始姿態。在本實施例中，該電腦主機3係可以透過調用OpenCV電腦視覺庫中的solvepnp()函數完成計算，屬於本發明相關領域中的通常知識，在此不多加贅述。

亮度正規化步驟S4：對該手術影像執行一亮度正規化，以產生一正規化影像。舉例而言，係可以採用對比拉伸方式將該標準影像進行亮度直方圖題曲後，再均勻地拉至0~255的亮度範圍區間。

影像生成步驟S5：對該數個標記裝置1的所有標誌13各自生成長寬等比例大小，但具有不同解析度的數張紋理影像。在本實施例中，該攝影機2所拍攝的手術影像的原圖解析度為640*640，該電腦主機3透過對該手術影像執行縮小、放大及模糊化等影像處理方法，以生成解析度分別為320*320、160*160、80*80、40*40、20*20及10*10等數張紋理影像。

模糊比對步驟S6：根據各該標記裝置1所具有之圖形13b所代表的識別碼，與具有相同識別碼的數張紋理影像分別進行一模糊度運算，並將解析度最接近的紋理影像作為一標準影像。在本實施例中，該模糊度運算為採用能量梯度函式進行計算。

請一併參照圖4，取樣步驟S7：根據該第二邊界框資訊及該第三邊界框資訊，從該標準影像的邊框13a或圖形13b中選取該四個角點以外的至少N個取樣點P，在本實施例中，100≦N≦300；將該至少N個取樣點P搭配相對應之機械角點執行投影變換計算，再透過該攝影機2的相機參數進行運算，以獲得該至少N個取樣點P各自在該正規化影像中相對應的一參照點。其中，該攝影機2的相機參數屬於本發明技術領域中的通常知識。

誤差最小化步驟S8：以該參照點為原點在一容許範圍內取得一優化點，該優化點與該參照點之間具有最小亮度誤差。其中，該容許範圍可以為±1像素，該亮度誤差之公式可以如下列所示，屬於本發明技術領域中的通常知識。

隨後，透過一最小化誤差函數計算取得各該參照點與相對應的優化點之間的一誤差值，再根據該誤差值修正該初始姿態，以產生一補償姿態。其中，該最小化誤差函數可以如下列所示，屬於本發明技術領域中的通常知識。

姿態補償步驟S9：將該數個標記裝置1各自在世界座標系下的補償姿態實時繪製顯示於一顯示螢幕4上。

承上所述，本發明的手術三維即時定位補償方法，透過增加該標誌的邊框或圖形上的取樣點數量，並以該取樣點的影像亮度與實際亮度之間的 最小誤差來修正該數個標記裝置各自在世界座標系下的姿態。藉此，本發明的手術三維即時定位補償方法，在使用ASTM2554進行精度驗證之下，該標記裝置的平均誤差由0.8547下降至0.1493，係可以達到提高及穩定標記裝置定位精度之功效。

上述揭示的實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為下述之申請專利範圍所涵蓋。

S1:影像取得步驟

S2:物件偵測步驟

S3:姿態取得

S4:亮度正規化步驟

S5:影像生成

S6:模糊比對步驟

S7:取樣步驟

S8:誤差最小化步驟

S9:姿態補償步驟

Claims (4)

1. 一種手術三維即時定位補償方法，包含： 取得一手術影像，其影像中包含數個標記裝置，該標記裝置具有一正多面體，該正多面體具有至少四幾何圖面，該幾何圖面具有一標誌，該標誌由一邊框及一圖形共同組成，該圖形位於該邊框內側，並供辨識取得具有唯一性的一識別碼； 將該手術影像輸入至一物件偵測模型，以偵測出該數個標記裝置各自的一第一邊界框資訊、各該標記裝置所具有之邊框的一第二邊界框資訊，以及各該標記裝置所具有之圖形所代表的識別碼及一第三邊界框資訊； 根據該第二邊界框資訊取得相對應之邊框的四個角點，根據該數個標記裝置各自的第一邊界框資訊及所具有之邊框的四個角點，並搭配相對應之機械角點執行投影變換計算，以獲得該數個標記裝置各自在世界座標系下的一初始姿態； 對該手術影像執行一亮度正規化，以產生一正規化影像； 對該數個標記裝置的所有標誌各自生成長寬等比例大小，但具有不同解析度的數張紋理影像； 根據各該標記裝置所具有之圖形所代表的識別碼，與具有相同識別碼的數張紋理影像分別進行一模糊度運算，並將解析度最接近的紋理影像作為一標準影像； 根據該第二邊界框資訊及該第三邊界框資訊，從該標準影像的邊框或圖形中選取該四個角點以外的至少N個取樣點，將該至少N個取樣點搭配相對應之機械角點執行投影變換計算，再透過一相機參數進行運算，以獲得該至少N個取樣點各自在該正規化影像中相對應的一參照點； 以該參照點為原點在一容許範圍內取得一優化點，該優化點與該參照點之間具有最小亮度誤差，透過一最小化誤差函數計算取得各該參照點與相對應的優化點之間的一誤差值，再根據該誤差值修正該初始姿態，以產生一補償姿態；及 將該數個標記裝置各自在世界座標系下的補償姿態實時繪製顯示於一顯示螢幕上。
2. 如請求項1所述之手術三維即時定位補償方法，其中，100≦N≦300。
3. 如請求項1所述之手術三維即時定位補償方法，其中，該容許範圍為 ±1像素。
4. 如請求項1所述之手術三維即時定位補償方法，其中，該物件偵測模型為YoLov5。