TWI645372B

TWI645372B - 影像校正系統及影像校正方法

Info

Publication number: TWI645372B
Application number: TW106129114A
Authority: TW
Inventors: 葉振凱
Original assignee: 華利納企業股份有限公司
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2018-12-21
Also published as: TW201913561A

Abstract

本發明係關於一種影像校正系統及影像校正方法，校正時係使用一圖案板容納標的物於該圖案板的範圍內。其中，該圖案板採用虛擬隨機陣列編碼，具有複數個第一圖案單元及複數個第二圖案單元；所述第一圖案單元以矩陣方式彼此相鄰排列，各該第一圖案單元呈現一第一顏色及一第二顏色之其中之一，且相鄰的所述第一圖案單元彼此顏色相異；所述第二圖案單元分別設置於所述第一圖案單元中。設置於該標的物上之攝影機朝向該圖案板拍攝的影像，可辨識出其相對於該圖案板的方位，以利拼接為一環景影像。

Description

影像校正系統及影像校正方法

本發明係關於一種影像校正系統及影像校正方法，特別是一種環景影像之校正系統及校正方法。

為了讓駕駛人在行車過程中更能掌握車輛的周圍狀況，現今的車輛已逐漸將環景影像系統（Around View Monitoring, AVM）列為標準配備。環景影像系統包含多個（例如4個以上）攝影機，藉由將攝影機所擷取的影像整合後轉換成一俯視的環景鳥瞰畫面，以供駕駛人行車之參考。

然而，攝影機所擺設的位置及角度均不同，欲呈現較佳的環景影像品質，各個攝影機所取得影像後的校正與拼接技術便相當重要，不但在新車出廠安裝環景影像系統時需要進行校正，若之後因事故碰撞或模組更新，同樣也需要再予以重新校正。攝影機間的定位校正需要有共同的座標系統，例如世界座標系統（World Coordinates System, WCS），才能讓各個影像可以整合，故每個攝影機需要透過校正程序求取由攝影機座標系統至世界座標系統的轉換資訊，以辨識鏡頭的位置。若轉換資訊存在誤差時，就會使得拼接出的環景鳥瞰影像品質不佳。為了簡化校正程序及確保影像拼接結果，習知技術通常會將攝影機以彼此對稱或固定位置的方式配置，例如設於一般車輛的前、後、左、右的四個位置上的攝影機，限定其必須是兩兩對稱、或者是分別設置於特定位置上；然而，當應用於一般房車之外的標的物如卡車或飛機時，欲限制攝影機僅能對稱配置，則有先天上的困難。

一種習知的環景影像校正方式，如第1圖所示，是在車輛11周圍先佈設一棋盤格狀的圖板12。車輛11上的攝影機（圖未示）擷取影像後，利用各個影像中所選取之棋盤格交界的特徵點進行影像校正。考慮攝影機的數量無法太多，而最終又要能拼接成環景影像，故攝影機通常採用魚眼鏡頭或廣角鏡頭，如第2圖所示，其中一個攝影機111的魚眼鏡頭所拍攝得到的影像113將會變形，尤其在邊界處的變形更為明顯。而影像校正系統需將其轉換為平面影像，並以特徵點作為影像拼接的依據。換言之，相鄰二個攝影機所擷取的影像113之間必須要有重疊的特徵，以提供作為二者轉換為平面影像後再進行拼接的依據。可想見地，重疊特徵通常位於影像113的外圍區域，但採用魚眼鏡頭或廣角鏡頭的攝影機111所轉換得到的影像113，其周邊區域的解析度相對較低且變形程度大，因而特徵點的判斷以及後續環景影像的拼接上，具有一定難度。

也因此，習知的環景影像校正需仰賴大量人工的方式進行後續處理，尤其是具備相當經驗的專業人力，投入相當時間參與影像校正及拼接。詳言之，在初期的棋盤格狀圖板佈設，即需要精確的量測，故通常是以人工方式進行；而接下來的影像擷取、校正對位及拼接調整等程序，仍然需要大量的人力及時間進行判斷及參數設定，來確保校正及拼接的結果。大幅依賴專業人員投入的結果造成工時過長、人力耗費、成本增加且效率低落等問題，且人力的素質與經驗將直接影響校正及拼接的品質，此等因素均造成全景影像系統普及化的阻礙。

有鑑於此，發展一種可全自動且精確的環景影像校正系統及校正方法，在此產業中極具需求及發展潛力。

本發明之一主要目的在於提供一種影像校正系統及影像校正方法，可全自動地進行校正並產生正確的環景影像，能大幅減少人力的投入，且能獲得更為精準及強健的結果。

承上，本發明採用具有虛擬隨機陣列（Pseudo Random Array, PRA）編碼的圖案板，其上具有相當數量且準確的校正特徵，包含棋盤格狀的複數個第一圖案單元作為背景、以及分別設置於所述第一圖案單元中的複數個第二圖案單元作為特徵點，可以保證任一方位或姿態之攝影機所拍攝到的局部圖案都是唯一的，不僅能夠決定攝影機的校正資料，還能提供複數個確認的證據，在求取影像的空間轉換資訊時（例如，計算Homography matrix）能獲得更為精準及強健的結果，讓攝影機的校正結果更具正確性。

因為本發明的圖案板具有虛擬隨機陣列（PRA）編碼，因此各鏡頭所擷取的影像具有其唯一性，故標的物設置於圖案板上的位置及角度不受限制，攝影機的的擺設也不須限制其對稱配置或特定位置，從影像上均能辨識出其位置及方位，且相鄰的攝影機所拍攝的影像，也不需具有重疊的區域，當然也不再需要校正重疊區域的特徵點。此外，本發明的技術不限於前述例示的平面影像，也可以以更多的鏡頭分別配置在標的物的前、後、左、右、上、下等，最終可拼接出球形的環景影像，應用於飛機或無人機使其具備避障能力。

本發明之校正系統及校正方法僅需利用各攝影機所拍得影像的中心高解析度區域，即可自動且精準的取得校正特徵點，並據此進行影像拼接而產生全景影像。

而校正處理程序中，標的物相對於圖案板的位置不受限，其上鏡頭的方位也不限制，只要大致上朝向圖案板而得以擷取其影像即可，標的物之寬度、長度、高度均不會有影響，系統甚至可自動透過校正圖案的已知規格尺寸，自動回推攝影機的位置及對應的車輛尺寸與類別。

為達前述目的，本發明提供一種影像校正系統，用於取得一標的物周圍之一環景影像，該標的物上設有至少一鏡頭，該影像校正系統包含：一圖案板、一傳輸模組、一校正模組及一運算模組。該圖案板可容納該標的物於該圖案板的範圍內，該圖案板具有複數個第一圖案單元及複數個第二圖案單元；所述第一圖案單元係以矩陣方式彼此相鄰排列，各該第一圖案單元呈現一第一顏色及一第二顏色之其中之一，且相鄰的所述第一圖案單元彼此顏色相異；所述第二圖案單元分別設置於所述第一圖案單元中。該傳輸模組接收所述鏡頭朝向該圖案板拍攝之一局部影像；該校正模組與該傳輸模組連接，以自該局部影像中擷取並校正得到一矩陣影像；該運算模組於該矩陣影像上辨識出多個所述第一圖案單元及多個所述第二圖案單元，並根據所述第一圖案單元及所述第二圖案單元，計算出所述鏡頭相對於該圖案板上之一方位。

該方位包含所述鏡頭相對於該圖案板之一位置參數及一視角參數。該圖案板之所述第二圖案單元係以一虛擬隨機陣列（Pseudo Random Array, PRA）編碼排列，且較佳地，所述第二圖案單元具有一形狀特徵及一顏色特徵，其中該顏色特徵為該第一顏色及該第二顏色之其中之一。該校正模組係擷取該局部影像之中央部分並加以攤平校正，以得到該矩陣影像。

所述鏡頭係包含複數個鏡頭，且較佳為魚眼鏡頭或廣角鏡頭，該運算模組根據各該鏡頭的該方位，將各該鏡頭之各該局部影像，拼接成該標的物周圍之該環景影像。

本發明還提供一種影像校正方法，用於取得一標的物周圍之一環景影像，該影像校正方法包含下列步驟：提供一以虛擬隨機陣列編碼製成之圖案板；將該標的物設置於該圖案板上，其中該標的物上設置有複數個鏡頭；經由各該鏡頭取得一局部影像；自該局部影像中擷取並校正得出一矩陣影像；根據該矩陣影像，計算出各該鏡頭相對於該圖案板上之一方位。

其中，該圖案板具有複數個第一圖案單元及複數個第二圖案單元，所述第一圖案單元係以矩陣方式彼此相鄰排列，各該第一圖案單元呈現一第一顏色及一第二顏色之其中之一，且相鄰的所述第一圖案單元彼此顏色相異，所述第二圖案單元係分別設置於所述第一圖案單元中；其中，該計算出各該鏡頭相對於該圖案板上之一方位之步驟，係於該矩陣影像上辨識出多個所述第一圖案單元及多個所述第二圖案單元，並根據所述第一圖案單元及所述第二圖案單元，計算出所各該鏡頭相對於該圖案板上之一位置參數及一視角參數。

自該局部影像中擷取並校正得出一矩陣影像之步驟，係擷取該局部影像之中央部分並加以攤平校正，以得到該矩陣影像。

所述第二圖案單元至少具有一形狀特徵及一顏色特徵。其中該顏色特徵為該第一顏色及該第二顏色之其中之一。

本實施例之校正方法更包含一步驟：根據各該鏡頭的該方位，將各該鏡頭之各該局部影像，拼接成該標的物周圍之該環景影像。

為讓上述目的、技術特徵和優點能更明顯易懂，下文係以較佳實施例配合所附圖式進行詳細說明。

在下文中，將提供實施例以詳細說明本發明之實施態樣。本發明之優點以及功效將藉由本發明所揭露之內容而更為顯著。在此說明所附之圖式係經簡化且做為例示用。圖式中所示之元件數量、形狀及尺寸可依據實際情況而進行修改，且元件的配置可能更為複雜。本發明中也可進行其他方面之實踐或應用，且不偏離本發明所定義之精神及範疇之條件下，可進行各種變化以及調整。

請一併參閱第3圖及第4圖，其中第3圖為本發明影像校正系統之方塊示意圖，第4圖為本發明影像校正系統之圖案板容置一標的物之示意圖。本發明之影像校正系統3包含一圖案板30、一傳輸模組31、一校正模組33及一運算模組35。如第4圖所示，首先將一標的物50（本發明以車輛為例）不限方位地隨意擺設於具有虛擬隨機陣列（Pseudo Random Array, PRA）編碼的圖案板30上，圖案板30的大小需足以容納該標的物50於該圖案板30的範圍內，而標的物50上設有至少一鏡頭51（於第4圖未示）。所述鏡頭51以自身的方位或姿態，朝向該圖案板30拍攝得到一視野內的局部影像，並將其傳送至傳輸模組31，而校正模組33與傳輸模組31連接，以對該影像進行擷取及校正，然後運算模組35依據校正後的影像，計算出所述鏡頭51相對於該圖案板30上之一方位，詳細說明如後。

以下以辨識一個5 x 5的位元陣列在虛擬隨機陣列（PRA）中的位置作為例示說明，其係依四個方向攝影機的方位、及座標於（13,18）的位元陣列（偶數列18開始）為例，請參第5圖。

由於虛擬隨機陣列（PRA）的偶數列（0, 2, …, 60）皆與原始的虛擬隨機數列（PRS）相同，利用此特性先找出位元陣列隔行或隔列，其5個位元皆相同的方向（即為偶數列），來代表虛擬隨機陣列（PRA）的水平的方向（即i軸方向），同時依攝影機原點位置開始，決定原始虛擬隨機數列（PRS）為（01111），而01111在原始虛擬隨機數列（PRS）10000100101100111110001101110101的第13個位置(a)，故i座標為(i = a = 13)。由前後左右四個鏡頭看到的（13, 18）位元陣列如第5圖所示。

接下來，取隔壁的奇數列的互補虛擬隨機數列（PRS）為（10110），而它在互補虛擬隨機數列0111101101001100000111001000101的第4個位置，故互補數列被位移的次數（b = 4）。當第一列為原始虛擬隨機數列（PRS）時，j軸座標為 j = 2 x (a-b) mod 31 = 2 x (13 - 4) mod 31 = 2 x 9 = 18。綜合上述二者，即可定出此5 x 5位元陣列在整個虛擬隨機陣列（PRA）的位置（i , j）=（13, 18）。

另外，再以座標於（8, 31）的位元陣列（奇數列31開始）為例說明如下，併參第6圖。

由虛擬隨機陣列（PRA）的偶數列（0, 2, …, 60）皆與原始的虛擬隨機數列（PRS）相同，利用此特性首先找出位元陣列隔行或格列，其5個位元皆相同的方向（即為偶數列），來代表虛擬隨機陣列（PRA）的水平的方向（即i軸方向），同時依攝影機原點位置開始，決定原始虛擬隨機數列（PRS）的數列為（10110），而10110在原始虛擬隨機數列10000100101100111110001101110101的第8個位置(a)，故i座標為(i = a = 8)。由前後左右四個鏡頭看到的（8, 31）位元陣列如第6圖所示。

取奇數列的互補虛擬隨機數列（PRS）為（10001），而它在互補虛擬隨機數列0111101101001100000111001000101的第24個位置，故互補數列被位移的次數（b = 24）。當第一列不為原始虛擬隨機數列（PRS）時，j軸座標為 j = 2 x (a-b) mod 31+1 = 2 x (8 - 24) mod 31+1 = 2 x (-16) mod 31+1 = 2 x 15 + 1 = 31。綜合兩者，即可定出此5 x 5位元陣列在整個虛擬隨機陣列（PRA）的位置（i , j）=（8, 31）。

透過上述的性質，可以將虛擬隨機陣列（PRA）設計成定位圖形。接著，只要透過攝影機擷取定位圖形，並能從影像中辨識出一個 m x m的位元陣列，便可以做攝影機定位。最直接設計定位圖形的方法是將虛擬隨機陣列（PRA）中為”0”的位元轉換成黑色，”1”的位元轉換成白色，並配合世界座標系統的X軸和Y軸的方向，將原本虛擬隨機陣列（PRA）以左上至右下的編排方式，改從左下至右上編排來產生出定位圖形。

根據前述的理論，以下將進一步說明其應用於具有虛擬隨機陣列（PRA）編碼的圖案板30。第7圖所示為圖案板30之局部，為清楚說明，定義棋盤格背景係由複數個第一圖案單元301、302所組成。所述第一圖案單元301、302係以矩陣方式彼此相鄰排列，各該第一圖案單元301、302呈現一第一顏色及一第二顏色之其中之一，於本實施例中，第一顏色及第二顏色分別指黑色及白色，且相鄰的所述第一圖案單元301、302之顏色彼此相異，藉此，形成一黑白相間的棋盤格狀之背景圖案，然可以理解地，第一顏色及第二顏色不作限制。本發明之一重要特徵在於，圖案板30更包含複數個第二圖案單元303、304，分別設置於所述第一圖案單元301、302中，而較佳地，所述第二圖案單元301、302係以虛擬隨機陣列（PRA）編碼排列，且至少具有一形狀特徵及一顏色特徵。

換言之，可以視為圖案板30上的每一個方格單元均是一個第一圖案單元301、302內含一個第二圖案單元303、304所組成。本實施例的第一圖案單元301、302為黑色或及白色的方格，而第二圖案單元303、304為菱形（實際應用時可以是採用任何其他形狀，例如圓形）且為黑色或白色，故排列組合後共有4種可能性，請參閱第8A圖至第8D圖。詳言之，第8A圖顯示之方格單元30a係由黑色的第一圖案單元及黑色的第二圖案單元所組成，故視覺上方格單元30a為全黑，第8B圖顯示之方格單元30b係由黑色的第一圖案單元及白色的第二圖案單元所組成，第8C圖顯示之方格單元30c係由白色的第一圖案單元及黑色的第二圖案單元所組成，而第8D圖顯示之方格單元30d係由白色的第一圖案單元及白色的第二圖案單元所組成，故視覺上方格單元30d為全白。

第9圖所示為於一較佳實施例中，每個方格單元中，第一圖案單元301、302與第二圖案單元303、304之配置比例。以第8C圖的方格單元30c為例，第一圖案單元301、302為一個基礎矩形具有長(ℓ)及寬(w)，第二圖案單元303、304為一適當的菱形圖案（實際應用時也可以是採用任何其他形狀，例如圓形），位於在第一圖案單元301、302的中心位置，也就是第一圖案單元301、302與第二圖案單元303、304的中心重疊，以作為後續位置辨識之用。如第9圖所示第二圖案單元303、304的尺寸與位置，第二圖案單元303、304係以中心為基準，並在長(ℓ)方向及寬(w)方向上分別延伸ℓ/4及w/4。

須說明的是，第二圖案單元303、304可以是任意形狀，例如圓形或菱形，其中，隨著鏡頭的解析度愈高，可以使用愈複雜的形狀。當第二圖案單元303、304在形狀上具有更多的特徵，便可以隱含更多的資訊，無論在後續影像辨識或其他方位辨別等運用上，將具備更多的應用可能性。因此，第二圖案單元303、304之形狀及顏色在本發明中不作限制。

接下來將說明影像擷取及校正的過程。首先，考量鏡頭的設置數量，前述的鏡頭51為複數個廣角鏡頭或魚眼鏡頭。如第10圖所示，當鏡頭51為魚眼鏡頭時，其朝向該圖案板30拍攝得到一局部影像61，如圖所示，愈靠近周圍的部分，解析度愈低且影像的變形（distortion）愈嚴重。鏡頭51朝向圖案板30拍攝取得局部影像61後，便可傳送至本發明的影像校正系統3，由該傳輸模組31接收所述鏡頭51拍攝得到的局部影像61。該校正模組33與該傳輸模組31連接，以自該局部影像61中擷取並校正得到一矩陣影像63，如第11圖所示。更明確而言，校正模組33係擷取該局部影像61之解析度較高且變形較少之中央部分，並加以攤平校正，以得到該矩陣影像63。然後，該矩陣影像63傳送至運算模組35，該運算模組35於該矩陣影像63上辨識出多個所述第一圖案單元301、302及多個所述第二圖案單元303、304，並根據所述第一圖案單元301、302及所述第二圖案單元303、304，計算出所述鏡頭51相對於該圖案板30上之一方位。

因該圖案板30之所述第二圖案單元303、304係以一虛擬隨機陣列（PRA）編碼排列，故攤平校正後的該矩陣影像63，回到該圖案板30上加以比較，可得到一個唯一的結果，因此該運算模組35可以計算出所述鏡頭51相對於該圖案板30上之一方位，較佳係包含所述鏡頭51相對於該圖案板30之一位置參數及一視角參數。而根據此等位置參數及視角參數等方位資訊，本發明之影像校正系統3可準確且快速地將將各該鏡頭51之各該局部影像61，拼接成該標的物50周圍之環景影像。

本發明之技術重點之一在於採用含有虛擬隨機陣列（PRA）編碼的圖案板30，以下將針對該圖案板30之配置，並以標的物50上設置前後左右共設置4個鏡頭51朝向圖案板30進行說明。

本發明的圖案板採用以一維的m階虛擬隨機數列（Pseudo Random Sequences, PRS）為基礎，組合成大小為的虛擬隨機陣列（PRA）二維圖案，使得任一鏡頭51在任一位置所觀察到的任一個m x m的局部二維影像，都是唯一的。也因為每個鏡頭51會看到獨一無二的m x m局部二維影像，故該影像在整個虛擬隨機陣列（PRA）二維圖案（即圖案板30）上的方位也可以被判別出來。因此，可以藉由m x m局部二維影像進行攝影機校正，同時也能轉換成其在整體虛擬隨機陣列（PRA）上的方位。

為說明圖案板30的設計程序，以下將以m = 5的虛擬隨機數列（PRS）為例，說明具有虛擬隨機陣列（PRA）編碼之圖案板30的建置。透過5階虛擬隨機數列的本質多項式（primitive polynomial）：，同時取初始數列（A _i+4, A _i+3, A _i+2, A _i+1, A _i）為00001，故獲得虛擬隨機數列為：a= a ₀a ₁a ₂…a ₃₀= 10000100101100111110001101110101，然而，沒有其他任一個長度為5的數列具有同樣的性質。

接著，透過上述階數為5且長度為n=31的虛擬隨機數列（PRS），可以建構出一個大小為n x 2n = 31 x 62的虛擬隨機陣列（PRA）如下： = = 。其中，所有的偶數列c _2k（0≦k≦30）皆與原始的虛擬隨機數列（a= a ₀a ₁a ₂…a _n-1）相同。c ₁為a的互補數列（complement series）：。接著，將c ₁向右做k次循環位移（circular shift right），可得csr _k（0≦k≦30）共31個虛擬隨機數列（PRS）。將他們一次排入PRA _5,31得到所有的奇數列為c _2k+1= csr _k，以得到相對應的虛擬隨機陣列（PRA）的位元陣列。

由於一個虛擬隨機數列的互補數列仍然是一個虛擬隨機數列（除了111….1會被定義為000….0），因此，在虛擬隨機陣列（PRA）中所有的奇數列皆為虛擬隨機數列（PRS）。此外，透過程式的模擬驗證，可以證實虛擬隨機陣列（PRA）在四個不同的視點方向，皆具有視窗特性：當一個m x m的視窗區塊在一個階數為m的虛擬隨機陣列（PRA）中滑動而衍生的位元陣列，其中每一個m x m的位元陣列，都只會出現一次。

回到前述標的物50的長度與寬度，設定標的物50的平面面積為L x W。再考量一般施工場域的大小、標的物50擺設位置的可變化量，及圖案板30上的有效觀察區域，在標的物50前後左右四個方向各保有T公分的校正區域。為符合上述的要求，可設計圖案板30尺寸為。而針對階數為m的虛擬隨機陣列（PRA）而言，圖案板30中的每一個方格單元30a、30b、30c、30d的長寬分別為：；。

由於建構出的虛擬隨機陣列（PRA）可能會出現連續的位元1或位元0，若以全黑的基本矩形表示位元1，全白的基本矩形表示位元0，就會在代表PRA的校正圖案中顯示長條的同一顏色區域，很難進行位元的辨識。為克服這種問題，本發明重新對虛擬隨機陣列（PRA）的各位元進行圖案編碼。首先針對大小的虛擬隨機陣列（PRA）建立一個由黑白相間的棋盤狀背景底圖，由黑白相間的基本矩形之方格單元構成。接著再依虛擬隨機陣列（PRA）的對應位元值，將基本矩形重新制訂，組合成本發明的具虛擬隨機陣列（PRA）編碼的圖案板30，如第4圖及第7圖所示。

本發明的圖案板30設計至少具有下列優點：(1) 圖案板30包含兩組相互垂直、間距固定的直線組所排列的矩陣，在影像辨識技術上相對容易被偵測出來；(2)相較於傳統的人工或基礎矩形的四個邊角擷取及校正方法，本方法可以使用直線組計算交點，具有次像素的精準度；(3)邊角的數量是冗餘的，因此可以使用四個以上的校正特徵點求取影像轉換矩陣，提供更為精確的轉換資訊；(4)由於虛擬隨機陣列（PRA）是由虛擬隨機數列（PRS）所組成，故m階的虛擬隨機陣列（PRA）圖案可以依初始數列與排列方式而有許多的變形，增加系統與校正圖案間的配對類型，建立基礎的防仿冒機制。

為了從擷取影像中找出一個m x m的區塊大小來做定位，首先將霍夫轉換（Hough transform）找出的特徵線做分類。從使用的定位圖形來看，特徵線主要是由二類直線所組成，包含：第一圖案單元301、302的水平和垂直直線、以及第二圖案單元303、304菱形四邊所構成的直線。由於第一圖案單元301、302中的水平和垂直直線的邊緣點比第二圖案單元303、304菱形四邊所構成的邊緣點還多，所以在直線偵測時會先被找出。而在稍後找出第二圖案單元303、304菱形四邊所構成的直線都會與第一圖案單元301、302的水平和垂直直線相交，可以利用此特性將它過濾掉。最後，可以得到水平和垂直直線組成的二個特徵線群組。然而，於其他實施例中，第二圖案單元303、304也可以是採用其他形狀，例如圓形。

接著從這二個特徵線群組中，設法找出一個 m x m的區塊大小。雖然圖案板30上的每個方格單元30a、30b、30c、30d實際上皆為相同大小，但若使用魚眼鏡頭或攝影機的視點是從斜的角度觀看時，原本相同的方格單元30a、30b、30c、30d，會因為透視投影的關係，造成在影像中各個方格單元30a、30b、30c、30d的像素不相同。此透視投影造成的扭曲失真（distortion）效果會隨著攝影機視點越斜，讓方格單元30a、30b、30c、30d大小在影像中的像素長呈現數倍的差距，如第10圖所示。

最後，從二個特徵線群組中各選出相鄰m+1條直線，來構成m x m的區塊大小，接著再從區塊中各個網格的中心點，取出像素顏色，並依照黑色為0、白色為1的轉換方法得到一個位元陣列，再到虛擬隨機陣列（PRA）中進行比對，來得知此位元陣列在虛擬隨機陣列（PRA）的位置，以及二個特徵線群組所對應的水平和垂直方向。

承上，因為本發明的圖案板30具有虛擬隨機陣列（PRA）編碼，因此各鏡頭62所擷取的影像具有其唯一性，因此如第12圖所示，可將標的物50不限方位地隨意擺設於圖案板30上，仍能實施本發明。此外，各鏡頭62的擺設也不須限制其對稱配置或特定位置，只要大致上朝向圖案板30，即能從影像辨識出各鏡頭62的位置及方位。也當然可以在圖案板30上定義任一點為原點，然後計算出所有鏡頭51相對於原點的座標位置及方位。此外，本發明的技術不限於前述例示的平面影像，也可以應用於立體影像；詳言之，例如以至少6個鏡頭分別配置在標的物的前、後、左、右、上、下，最終可拼接出球形的環景影像，當應用於飛機或無人機時，可具備完善的的避障能力。

搭配前述的影像校正系統，本發明之另一實施例揭露一種影像校正方法，如第13圖所示之流程圖。該影像校正方法包含下列步驟：（S11）提供一以虛擬隨機陣列編碼製成之圖案板30；（S12）將該標的物50設置於該圖案板30上，其中該標的物50上設有複數個鏡頭51；（S13）經由各該鏡頭51取得一局部影像61；（S14）自該局部影像61中擷取並校正得出一矩陣影像63；（S15）根據該矩陣影像63，計算出各該鏡頭51相對於該圖案板上之一方位；（S16）根據各該鏡頭51的該方位，將各該鏡頭51之各該局部影像61拼接成該標的物50周圍之該環景影像。

其中，步驟（S14）係擷取該局部影像61之中央部分並加以攤平校正，以得到該矩陣影像63。

如同前述實施例，該圖案板30具有複數個第一圖案單元301、302及複數個第二圖案單元303、304，所述第一圖案單元301、302係以矩陣方式彼此相鄰排列，各該第一圖案單元301、302呈現第一顏色及第二顏色之其中之一，且相鄰的所述第一圖案單元301、302彼此顏色相異，所述第二圖案單元303、304係分別設置於所述第一圖案單元301、302中。其中，該計算出各該鏡頭51相對於該圖案板30上之一方位之步驟，係於該矩陣影像63上辨識出多個所述第一圖案單元301、302及多個所述第二圖案單元303、304，並根據所述第一圖案單元及所述第二圖案單元301、302，計算出所各該鏡頭51相對於該圖案板30上之位置參數及視角參數。所述第二圖案單303、304元至少具有一形狀特徵及一顏色特徵，其中該顏色特徵為該第一顏色及該第二顏色之其中之一。

綜上所述，本發明所提供之影像校正系統及影像校正方法，利用具有虛擬隨機陣列編碼的圖案板，任一方位或姿態的鏡頭所拍攝到的局部圖案都是唯一的，因此標的物相對於圖案板之擺設位置不受限，鏡頭的方位亦不受限，各鏡頭只要確保大致上朝向圖案板即可，不需如先前技術具有位於重疊區域的特徵點。藉此，能精準地進行校正並產生正確的環景影像，且能自動地進行以大幅減少人力的投入。

上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本創作之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍以申請專利範圍為準。

11‧‧‧車輛

111‧‧‧攝影機

113‧‧‧影像

12‧‧‧圖板

3‧‧‧影像校正系統

30‧‧‧圖案板

30a~30d‧‧‧方格單元

301‧‧‧第一圖案單元

302‧‧‧第一圖案單元

303‧‧‧第二圖案單元

304‧‧‧第二圖案單元

31‧‧‧傳輸模組

33‧‧‧校正模組

35‧‧‧該運算模組

50‧‧‧標的物

51‧‧‧鏡頭

61‧‧‧局部影像

63‧‧‧矩陣影像

S11~S16‧‧‧步驟

第1圖為習知影像校正系統之示意圖；第2圖為習知影像校正系統之鏡頭所拍攝影像之示意圖；第3圖為本發明影像校正系統之方塊圖；第4圖為圖案板與標的物之示意圖；第5圖為一校正實施例之示意圖；第6圖為另一校正實施例之示意圖；第7圖為圖案板之局部示意圖；第8A圖至第8D圖為圖案板上各方格單元之示意圖；第9圖為圖案板上其中一方格單元之示意圖；第10圖為鏡頭擷取一局部影像之示意圖；第11圖為將該局部影像擷取校正得出一矩陣影像之示意圖；第12圖為本發明另一實施態樣之示意圖；以及第13圖為本發明影像校正方法之流程圖。

Claims

一種影像校正系統，用於取得一標的物周圍之一環景影像，該標的物上設有至少一鏡頭，該影像校正系統包含：一圖案板，可容納該標的物於該圖案板的範圍內，該圖案板具有：複數個第一圖案單元，以矩陣方式彼此相鄰排列，各該第一圖案單元呈現一第一顏色及一第二顏色之其中之一，且相鄰的所述第一圖案單元彼此顏色相異；以及複數個第二圖案單元，以一虛擬隨機陣列(Pseudo Random Array,PRA)編碼排列的方式分別設置於所述第一圖案單元中，其中，各所述第二圖案單元分別具有一形狀特徵及一顏色特徵，且該顏色特徵為該第一顏色及該第二顏色其中之一；一傳輸模組，接收所述鏡頭朝向該圖案板拍攝之一局部影像；一校正模組，與該傳輸模組連接，以自該局部影像中擷取並校正得到一矩陣影像；一運算模組，於該矩陣影像上辨識出多個所述第一圖案單元及多個所述第二圖案單元，並根據所述第一圖案單元及所述第二圖案單元，計算出所述鏡頭相對於該圖案板上之一方位。
如申請專利範圍第1項所述之影像系統，其中，該校正模組係擷取該局部影像之中央部分並加以攤平校正，以得到該矩陣影像。
如申請專利範圍第1項所述之影像系統，其中，該至少一鏡頭係包含複數個鏡頭，該運算模組根據各該鏡頭的該方位，將各該鏡頭之各該局部影像，拼接成該標的物周圍之該環景影像。
如申請專利範圍第3項所述之影像系統，其中，所述鏡頭為魚眼鏡頭。
如申請專利範圍第1項所述之影像系統，其中，該方位包含所述鏡頭相對於該圖案板之一位置參數及一視角參數。
一種影像校正方法，用於取得一標的物周圍之一環景影像，該影像校正方法包含下列步驟：提供一圖案板，其中，該圖案板具有複數個第一圖案單元及複數個第二圖案單元，所述第一圖案單元係以矩陣方式彼此相鄰排列，各該第一圖案單元呈現一第一顏色及一第二顏色之其中之一，且相鄰的所述第一圖案單元彼此顏色相異，所述第二圖案單元係以一虛擬隨機陣列(Pseudo Random Array,PRA)編碼排列的方式分別設置於所述第一圖案單元中，各所述第二圖案單元分別具有一形狀特徵及一顏色特徵，且該顏色特徵為該第一顏色及該第二顏色其中之一；將該標的物設置於該圖案板上，其中該標的物上設有複數個鏡頭；經由各該鏡頭取得一局部影像；自該局部影像中擷取並校正得出一矩陣影像；根據該矩陣影像，計算出各該鏡頭相對於該圖案板上之一方位。
如申請專利範圍第6項所述之影像校正方法，其中，該計算出各該鏡頭相對於該圖案板上之一方位之步驟，係於該矩陣影像上辨識出多個所述第一圖案單元及多個所述第二圖案單元，並根據所述第一圖案單元及所述第二圖案單元，計算出所各該鏡頭相對於該圖案板上之一位置參數及一視角參數。
如申請專利範圍第7項所述之影像校正方法，其中，自該局部影像中擷取並校正得出一矩陣影像之步驟，係擷取該局部影像之中央部分並加以攤平校正，以得到該矩陣影像。
如申請專利範圍第6項所述之影像校正方法，更包含下列步驟：根據各該鏡頭的該方位，將各該鏡頭之各該局部影像，拼接成該標的物周圍之該環景影像。