TWI528325B - 影像處理方法及應用影像處理方法之系統 - Google Patents

Description

影像處理方法及應用影像處理方法之系統

本發明提供一種影像處理方法，特別是關於一種將二維影像轉換為三維影像的影像處理方法及其應用系統。

影像輔助駕駛的技術已行之有年，然而習用的影像輔助駕駛的技術中，通常是將行車紀錄器所擷取影像直接顯示給使用者觀看。雖然有可取之處，但是隨著行車紀錄器的數量增加，同時於一顯示器顯示複數個影像，對於駕駛者而言反而是一種視覺負擔。因此，鳥瞰影像(Bird’s Eye view image)的重組技術便應運而生。以架設於載具周遭的相機發展影像式的全周鳥瞰輔助駕駛系統，為近年來各車廠及車輛系統商在先進安全車輛的設計上的主要研發技術。詳細而言，藉由影像轉換與處理，將行車紀錄器所擷取的影像進行鳥瞰轉換，再予以拼接組合以形成的全周鳥瞰影像(full aerial image)，可以提供駕駛者參考，進而提升駕駛的安全性。

然而，目前將複數個行車紀錄器擷取的複數個影像進行鳥瞰轉換產生的全周鳥瞰影像仍存在著許多缺陷。請參閱圖1A與圖1B，圖1A為傳統以複數個行車紀錄器擷取影像的自動車輛監視系統(Automatic Vehicle Monitoring，AVM)的示意圖。圖1B為傳統自動車輛監視系統產生的全周鳥瞰影像示意圖。舉例來說，如圖1A所示，車體10上分別設有複數個行車紀錄器101~104，其中行車紀錄器101~104分別設於車體10的右側、前方、左側以及後方。行車紀錄器101~104分別擷取車體10四周之多張影像101a ~104a。隨後，如圖1B所示，自動車輛監視系統會透過影像轉換與處理，將影像101a~104a以鳥瞰轉換技術進行拼接組合以形成全周鳥瞰影像11。但是，透過自動車輛監視系統將行車紀錄器101~104所擷取之影像是以二維平面影像的方式呈現，具有高度的路面物體(例如，行人、樹或障礙物)會在影像轉換的過程失真。因此，駕駛者即便藉可由觀看對應車體10周圍的全周鳥瞰影像亦無法準確判斷出應車體10與具高度的路面物體的之間的距離。在此架構下，當駕駛者正進行停車之動作時，容易因判斷錯誤而發生擦撞情形。總而言之，在影像輔助駕駛的技術領域中，仍然存在許多問題尚待解決。

本發明實施例提供一種影像處理方法，包括下列步驟。首先，利用複數個影像擷取模組擷取對應一物件周圍的複數張影像，以產生二維影像平面。其次，提供三維投影曲面。其後，將三維投影曲面劃分為複數個第一網格，及將二維影像平面劃分為複數個第二網格，每一第一網格分別對應至每一第二網格。接著，根據該二維影像平面的一第一法向量與每一該第一網格的一第二法向量之間的夾角大小，將第一網格與第二網格同時劃分成複數個第一重劃網格與複數個第二重劃網格，每一第一重劃網格分別對應至每一第二重劃網格。隨後，將重新劃分後的第二重劃網格上之影像資料對應投影至第一重劃網格上，以產生三維影像。

本發明實施例提供一種應用影像處理方法之影像處理系統，包括複數個影像擷取模組以及影像處理模組。影像擷取模組用以擷取對應物件周圍的複數張影像。影像處理模組用以與所述影像擷取模組進行影像資料傳輸。影像處理模組另包括影像重組單元、計算單元以及投影轉換單元。影像重組單元耦接於影像擷取單元，計算單元耦接於影像重組單元，投影轉換單元耦接於計算 單元。影像重組單元用以接收複數張影像並對應組成二維影像平面。計算單元用以將三維投影曲面與二維影像平面分別對應劃分為複數個第一網格與複數個第二網格，且每一第二網格對應每一第一網格。計算單元並將三維投影曲面與二維影像平面上的第一網格與第二網格根據二維影像平面的第一法向量與每一個第一網格的第二法向量之間的夾角大小同時劃分成複數個第一重劃網格與複數個第二重劃網格，且每一第一重劃網格對應至每一第二重劃網格。投影轉換單元用以將重新劃分後的第二重劃網格上之影像資料對應投影至第一重劃網格上，以產生三維影像。

據此，透過本發明實施例提供之影像處理方法與系統，可適應性依據影像需求所使用的不同的三維投影模型，動態地調整投影轉換過程中的網格劃分處理程序，精確地將二維影像轉換為三維影像，以提升現行技術的視覺效果同時兼顧運算時間。本發明實施例提供之影像處理方法與系統可在現有的二維影像監視系統架構下透過演算流程之改進而不需要改變原本的硬體架構或額外增加硬體設備，以簡易方式取代現行技術。同時，有效的提升在車輛安全與居家安全監控或其他環境影像資訊監控系統能夠降低成像的失真情況。

為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

10、40‧‧‧車體

101~104‧‧‧行車紀錄器

101a~104a‧‧‧影像

11‧‧‧全周鳥瞰影像

2‧‧‧影像處理系統

20‧‧‧影像處理模組

21‧‧‧影像擷取模組

22‧‧‧顯示模組

201a、201b‧‧‧通訊單元

202‧‧‧影像重組單元

203‧‧‧投影轉換單元

204‧‧‧計算單元

205‧‧‧記憶單元

31、41、71、91‧‧‧三維投影曲面

32、72、92‧‧‧二維影像平面

311、711、712、713、714、911、912‧‧‧第一網格

321、721、722、723、724、921、922‧‧‧第二網格

311a~311d、321a~321d‧‧‧頂點

312、322‧‧‧法向量

710a‧‧‧共邊

71a、91a、72a~72e、92a~92e‧‧‧方向

712a、912a~912d‧‧‧第一重劃網格

722a、922a~922d‧‧‧第二重劃網格

S111~S116、S211~S221、S311~S318、S411~S418‧‧‧步驟流程

圖1A為傳統以複數個影像擷取模組擷取影像的自動車輛監視系統的示意圖；圖1B為傳統自動車輛監視系統產生的全周鳥瞰影像示意圖；圖2為本發明實施例之影像處理系統方塊圖；圖3A為本發明實施例之二維影像平面與三維投影曲面轉換 示意圖；圖3B為本發明實施例之第一網格的相對位置示意圖；圖3C為本發明實施例之第二網格的相對位置示意圖；圖3D為本發明實施例之第一網格與第二網格的法向量所形成之夾角示意圖；圖4為本發明實施例之車體於三維投影曲面位置示意圖；圖5為本發明實施例之影像處理方法流程圖；圖6為本發明實施例之影像處理方法之網格合併子程序的流程圖；圖7A~7C為本發明實施例之影像處理方法之網格合併子程序流程說明的示意圖；圖8為本發明實施例之影像處理方法之網格分割子程序的流程圖；圖9為本發明實施例之影像處理方法之網格分割子程序流程說明的示意圖；及圖10為本發明另一實施例之影像處理方法流程圖。

在下文將參看隨附圖式更充分地描述各種例示性實施例，在隨附圖式中展示一些例示性實施例。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。確切而言，提供此等例示性實施例使得本發明將為詳盡且完整，且將向熟習此項技術者充分傳達本發明概念的範疇。在諸圖式中，可為了清楚而誇示層及區之大小及相對大小。類似數字始終指示類似元件。

應理解，雖然本文中可能使用術語第一、第二、第三等來描述各種元件，但此等元件不應受此等術語限制。此等術語乃用以區分一元件與另一元件。因此，下文論述之第一元件可稱為第二 元件而不偏離本發明概念之教示。如本文中所使用，術語「或」視實際情況可能包括相關聯之列出項目中之任一者或者多者之所有組合。

〔影像處理系統之實施例〕

請參閱圖2，圖2為本發明實施例之影像處理系統方塊圖。影像處理系統2包括複數個影像擷取模組21、影像處理模組20以及顯示模組22。影像處理模組20用以接收影像擷取模組21所擷取之影像，並將所述影像進行影像處理後傳送至顯示模組22。

影像處理系統2可應用於行車監視、社區監視或校園等所需監視環境。在以下實施例描述中將以行車監視作為說明，但本發明之技術概念並不以此作為限定。

影像擷取模組21可以依照使用者之需求設置，提供擷取對應物件周圍的複數張影像，其中所述影像為二維影像。影像擷取模組21於本實施例中，是設置於一個移動載具(例如汽車)上不同位置，以擷取移動載具周圍的複數張影像。

影像處理系統2是應用於移動載具，影像擷取模組21可如圖1A所示為複數個行車紀錄器101~104實現，且是依序分別位於車體10的右側、前方、左側以及後方，舉例來說，行車紀錄器101~104可以設置在車體10的引擎蓋、後車箱蓋、車頂等等，據以擷取車體10四周之影像101a~104a。

如前述，影像處理系統2亦可應用於社區監視或校園等監視環境。故於其他實施方式中，當影像處理系統2監視社區或校園環境時，影像擷取模組21可設置於一建築物上，以擷取對應該建築物四周的環境。換言之，該些影像擷取模組21可備用以擷取對應一物件周圍的多張影像，以供分析該物件的周圍環境。

影像擷取模組21可以是由一般錄相機、行車紀錄器或大廈監視器來實現，任何該領域通常知識者可輕易思及且替換之影像擷取裝置，本發明並不以此做為限制。

影像處理模組20包括通訊單元201a與201b、影像重組單元202、投影轉換單元203、計算單元204以及記憶單元205。通訊單元201、影像重組單元202、投影轉換單元203以及記憶單元205分別耦接於計算單元204。影像重組單元202耦接於通訊單元201a。記憶單元205耦接於計算單元204。投影轉換單元203耦接於計算單元204與通訊單元201b。

影像處理模組20用以接收影像擷取模組21所擷取之複數張影像，並對所接收之影像進行影像處理程序，以將該些影像組合形成一三維影像，例如全周鳥瞰影像。

通訊單元201a具無線或有線之傳輸功能，用以提供影像處理模組20接收影像。通訊單元201b具無線或有線之傳輸功能，用以提供投影轉換單元203傳送影像至顯示模組22。例如，在本發明實施例中，影像擷取模組21具有有線通訊單元(圖未示)，可以有線的方式(例如USB通訊介面)連接至影像處理模組20的通訊單元201a，將其所擷取之該些影像傳輸至影像處理模組20。另外在本發明另一實施例中，影像擷取模組21更具有無線通訊單元(圖未示)，更可以無線傳輸的方式與影像處理模組20的通訊單元201a做資料傳輸，將影像擷取模組21所擷取之複數個影像傳輸至影像處理模組20，本發明並不以有線或無線的傳輸方式做為限制。

影像重組單元202用以將通訊單元201a所接收到之多張影像進行影像處理，以影像拼接重組技術組成二維影像平面，且二維影像平面係用以提供影像處理模組20進行後續之影像處理程序。影像重組單元202可以是為具有影像處理或演算能力之運算單元，在該領域具通常知識者應了解可透過任何運算程式、編碼等方式實施或替換，本發明並不以此做為限制。

上述對多張影像進行影像處理的方式可包括灰階轉換、影像強化、濾波處理、影像二值化(image binarization)、邊緣擷取、特徵區域定位、特徵擷取、影像壓縮等影像處理技術。

計算單元204用以作為影像處理模組20中運算核心。計算單元204可預先根據二維影像平面設定複數個模型參數建立一三維投影模型，以產生三維投影曲面。值得一提的是，三維投影曲面亦可以任意之三維投影模型直接產生使用，本發明並不以此做為限制。

計算單元204更用以執行複數個計算程序，如初始化程序、網格化程序、網格調整程序、網格分割子程序以及網格合併子程序等計算處理。且計算單元204用以控制通訊單元201接收或傳送影像資訊之指令，使影像處理模組20與影像擷取模組21或顯示模組22進行資料傳輸。上述該些計算程序會於後續實施例中加以說明，故不在此贅述。

投影轉換單元203用以接收計算單元204所執行複數個計算程序後的之影像結果，進行二維影像平面投影至三維投影曲面的動作，並產生三維影像。例如二維影像平面之第二網格投影至三維投影曲面之第一網格。另外，投影轉換單元203可以是為具有影像處理或演算能力之運算單元，在該領域具通常知識者應了解可透過任何運算程式、編碼等方式實施或替換，本發明並不以此做為限制。

記憶單元205係用以儲存計算單元204執行計算程序的過程中所需儲存的資訊，例如影像重組單元202所產生的二維影像平面資料，計算單元204根據二維影像平面產生三維投影曲面。接著，計算單元204將二維影像平面與三維投影曲面資料儲存於記憶單元205中，以便後續執行網格化程序或其他影像處理程序的計算之用。另外，記憶單元205亦可預先儲存多個三維投影模型，用以提供計算單元204選擇直接產生使用，並不一定需根據二維影像平面來產生三維投影曲面，本發明並不以此做為限制。

影像重組單元202、計算單元204以及投影轉換單元203可以是透過微控制器(microcontroller)或嵌入式控制器(embedded controller)等處理晶片透過韌體設計來實現。所述記憶單元205於此實施例中可以是利用快閃記憶體晶片、唯讀記憶體晶片或隨機存取記憶體晶片等揮發性或非揮發性記憶晶片來實現，但本實施例並不以此為限。

顯示模組22用以顯示三維影像。更仔細地說，顯示模組22用以將影像擷取模組21擷取之複數個影像進行處理後所產生的三維影像提供顯示給使用者。在本發明實施例中，顯示模組22具有有線通訊單元(圖未示)，可透過通訊單元201b以有線的方式連接並接收三維影像。在本發明另一實施例中，顯示模組22具有無線通訊單元(圖未示)，顯示模組22更可以無線傳輸的方式與影像處理模組20的通訊單元201b做資料傳輸，透過通訊單元201b以無線的方式連接並接收三維影像，本發明並不以有線或無線的傳輸方式做為限制。顯示模組22可由一影像顯示器或來實現。

總而言之，在本發明影像處理系統2中，藉由影像擷取模組21提供擷取對應物件周圍的複數張影像。接著，由影像處理模組20對所接收之影像進行影像處理程序，以將該些影像組合形成三維影像後傳送至影像模組22顯示。

更仔細地說，在影像處理模組20中之影像重組單元202接收所述複數張影像後並組成二維影像平面。接著，將所述二維影像平面交由所述計算單元204進行影像處理程序。

所述計算單元24依序執行初始化程序、網格化程序、網格調整程序、網格分割子程序以及網格合併子程序。所述初始化程序為計算單元24根據二維影像平面產生三維投影曲平面。網格化程序為將三維投影曲面與二維影像平面分別對應劃分為複數個第一網格與複數個第二網格，且第二網格之數目等於第一網格之數目。網格調整程序為調整三維投影曲面與二維影像平面對應之位置，使兩者之中心點對應，且每一第一網格對應至每一第二網格。網格分割子程序與網格合併子程序為將三維投影曲面與二維影像 平面上的第一網格與第二網格根據二維影像平面的法向量與每一第一網格的法向量之間的夾角大小，對三維投影曲面與二維影像平面上的第一網格與第二網格重新劃分之計算程序，並形成複數個第一重劃網格與複數個第二重劃網格，且每一第一重劃網格對應至每一第二重劃網格。

然後，投影轉換單元203用以將重新劃分後的所述第二重劃網格上之影像資料對應投影至所述第一重劃網格上，以產生所述的三維影像。最後，影像處理模組20將該些影像組合形成三維影像後傳送至影像模組22顯示。

〔影像處理方法之實施例〕

為方便說明影像處理方法之實施例，請同時參閱圖2、圖3A~3D、圖4與圖5。圖3A為本發明實施例之二維影像平面與三維投影曲面轉換示意圖；圖3B為本發明實施例之第一網格的相對位置示意圖；圖3C為本發明實施例之第二網格的相對位置示意圖；圖3D為本發明實施例之第一網格與第二網格的法向量所形成之夾角示意圖；圖4為本發明實施例之車體於三維投影曲面位置示意圖；圖5為本發明實施例之影像處理方法流程圖。在本發明之影像處理方法的實施例中包括初始化程序S111、網格化程序S112、執行網格調整程序S113、網格分割子程序S114、網格合併子程序S115以及執行成像程序S116。

請同時參閱圖3A與圖4。在初始化程序S111中，計算單元204所執行之初始化程序為根據二維影像平面32產生三維投影曲平面31。也就是說，計算單元204在獲得二維影像平面32後，將會進一步地根據二維影像平面32產生一個投影面積小於二維影像平面32之三維投影曲面31。然而，三維投影曲面亦可依照記憶單元205所預先儲存之三維投影模型選擇直接產生使用，本發明並不以此做為限制。

在本發明實施例中，三維投影曲面31是根據二維影像平面32 所產生，且此三維投影曲面31以碗型的投影物件(如前述由底部為一個平面以及封閉曲面41所組成的)做實施與說明。但在其他實施方式中，亦可以車體40或其他監視系統及裝置為中心點，向外、向上延伸形成一個開口向上之封閉曲面41。所述平面係用以表示車體40所在之位置。三維投影曲面31之高度須與其開口半徑成正比。所述三維投影曲面31是由一個三維投影模型產生，所述三維投影模型須滿足的空間限制，其中X、Y與Z為三維空間之軸向。

在網格化程序S112中，計算單元204將三維投影曲面31與二維影像平面32分別對應劃分為複數個第一網格311與複數個第二網格321，且第二網格321之數目等於第一網格311之數目。在本發明實施例中，僅以四邊形之網格作為說明，在本領域據通常知識者應了解亦可替換為三邊形或其他多邊形之網格來做實施，本發明並不以此做為限制。

接著，在執行網格調整程序S113中，計算單元204調整三維投影曲面31與二維影像平面32對應之位置，使兩者之中心點對應，且每一第一網格311對應至每一第二網格321。另外，計算單元204可以調整三維投影曲面31，以使三維投影曲面31之正投影面積可以完全被二維影像平面32之正投影面積所覆蓋。

在計算單元204執行網格調整程序S113之後，接著選擇所欲執行之網格重劃的計算方式，如網格分割子程序S114與網格合併子程序S115。網格分割子程序S114與網格合併子程序S115為將三維投影曲面31與二維影像平面32上的第一網格311與第二網格321根據二維影像平面32的法向量322與每一第一網格的法向量312之間的夾角∠θ大小，對三維投影曲面31與二維影像平面32上的第一網格311與第二網格321重新劃分之計算程序。

請參閱圖6，圖6為本發明實施例之影像處理方法之網格合併子程序的流程圖。更仔細地說，在本發明實施例之影像處理方法 中，在執行完網格調整程序S113後，可選擇網格合併子程序S115，網格合併子程序S115的網格重劃計算方式中更包括複數個判斷步驟S211~S221。

請同時參閱圖6與圖7A~7C，圖7A~7C為本發明實施例之影像處理方法之網格合併子程序流程說明的示意圖。三維投影曲面71的第一網格711~713分別對應至二維影像平面32的第二網格721~723。在步驟S211中，計算單元204從三維投影曲面71開始執行網格合併的計算(亦可從二維影像平面72開始執行，本發明並不以此做為限制)。在本發明實施例中，計算單元204之演算可以螺旋方式由內而外或者由外而內由三維投影曲面71上的該些網格進行掃描。另外，亦可以縱向或橫向的順序方式依序進行掃描。舉例來說，圖7A係以從最外圍的第一網格711開始往第一網格712、713的方向做計算。更仔細地說，其可對應參考方向72a~72e之由外而內的螺旋方式，從第一網格711開始計算。

接著，在步驟S212中，計算單元204判斷第一網格711往方向71a是否有共邊(collinear)的第一網格。在圖7A的例子中，假設第一網格711與第一網格712不具有共邊710a，因此計算單元204執行步驟S214。反之，當第一網格711與第一網格712具有共邊711a，則執行步驟S213。

在步驟S214中，計算單元204將沒有共邊711a或不滿足預設條件(將於後續說明)的第一網格711定義為第一重劃網格，且同時定義第二網格721為第二重劃網格。具體地說，如圖7所示，第一網格711於計算後即規劃為第一重劃網格。在完成第一網格711的重新規劃程序後，計算單元204執行步驟S217。

而在步驟S213中，請復參閱圖3D，計算單元204會更將第一網格711與其具有共邊711a的第一網格712做進一步計算。計算單元204計算第一網格711上的法向量(如圖3B中法向量312)與第二網格上的法向量(如圖3C中法向量322)之間的夾角∠θ(如 圖3D中的θ)與具有共邊711a的第一網格712上的法向量與第二網格722上的法向量之間的夾角∠θ的大小。

值得注意的是，習知第一網格與第二網格可依據所選取的法向量的方向而形成兩種大小之夾角∠θ以及180° -∠θ。因此，於其他實施方式中，上述∠θ亦可以是由第一網格712之法向量的反向量與第二網格722之法向量之間的夾角來計算獲取，其中夾角∠θ會等於180°減去所計算的夾角，以獲取∠θ。

在計算完共邊的兩個夾角∠θ大小後(例如第一網格711、712分別與第二網格721、722所形成之夾角)，在步驟S215中，接著判斷兩個夾角∠θ是否同時滿足預設條件。預設條件為小於一個預設範圍的下限值，所述預設範圍例如為30°~60°的範圍區間。更仔細地說，計算單元204係判斷兩個夾角∠θ是否同時小於預設範圍的下限值。若共邊的兩個夾角∠θ同時小於預設範圍的下限值時，則執行步驟S216，若共邊的兩個夾角∠θ不同時小於所述下限值時，則執行步驟S214。也就是說，若兩個夾角∠θ同時在30°~60°的預設範圍內，則計算單元204判斷為不執行網格合併之動作，並直接定義所述第一網格711為第一重劃網格，且第二網格721為第二重劃網格。

值得一提的是，所述預設條件亦可以為小於一個預設值。所述預設值例如為45°之實數值，即為判斷兩個夾角∠θ是否同時小於所述預設值，若判斷兩個夾角∠θ小於預設值時，則執行步驟S216，若判斷兩個夾角∠θ的其中之一不小於預設值時，則執行步驟S214。也就是說，若兩個夾角∠θ同時等於所述預設值，則計算單元204判斷為不執行網格合併子程序，並直接定義所述第一網格711為第一重劃網格，且第二網格721為第二重劃網格。

在步驟S216中，計算單元204將小於預設範圍下限值之第一網格712與其具有共邊的第一網格713進行合併，並定義為第一重劃網格712a，且同時合併第一網格712與其共邊的第一網格713 所分別對應的第二網格722與第二網格723為第二重劃網格722a。

接著，在步驟S217中，計算單元204判斷是否完成所有的第一網格在網格合併子程序S115的計算。若計算單元204判斷為完成所有的第一網格的計算，即結束網格合併子程序S115。若計算單元204判斷尚未完成所有的第一網格的計算，則進一步執行步驟S218自動接續下一個第一網格712之分析判斷。

請參閱圖7C，在步驟S218中，計算單元204以步驟S216所產生之第一重劃網格712a計算並且判斷其是否有共邊的第一網格714。若否，則重複執行步驟S211。若是，則進一步執行步驟S219。

在步驟S219中，計算單元204將第一重劃網格712a與其共邊的第一網格714進一步執行計算。計算單元204計算第一重劃網格712a上的法向量(如圖3B中法向量312)與第二重劃網格上的法向量(如圖3C中法向量322)之間的夾角∠θ(如圖3D之∠θ)與共邊的第一網格714上的法向量與第二網格724上的法向量之間的夾角∠θ的大小。

在計算完共邊的兩個夾角∠θ大小後，在步驟S220中，如同步驟S215之判斷方式，計算單元204接著判斷兩個夾角∠θ是否同時小於預設範圍的下限值。若判斷兩個夾角∠θ小於預設範圍的下限值時，則執行步驟S221，若判斷兩個夾角∠θ不小於預設範圍的下限值時，則執行步驟S211進行下一個第一網格之判斷計算。

在步驟S221中，計算單元204將同時小於預設範圍下限值之第一重劃網格712a與其共邊的第一網格714進行合併，並重新定義為新的第一重劃網格(圖未示)，且同時合併第一重劃網格712a與其共邊的第一網格714所分別對應的第二重劃網格722a與第二網格724為新的第二重劃網格722a，並接著執行步驟S217直到完成網格合併子程序S115。

請參閱圖8，圖8為本發明實施例之影像處理方法之網格分割子程序的流程圖。更仔細地說，在本發明實施例之影像處理方法 中，在執行完網格調整程序S113後，可選擇網格分割子程序S114，網格分割子程序S114的網格重劃計算方式中更包括複數個判斷步驟S311~S318。

請同時參閱圖8與圖9，圖9為本發明實施例之影像處理方法之網格分割子程序流程說明的示意圖。三維投影曲面91的第一網格911與912分別對應至二維影像平面92的第二網格921與922。在步驟S311中，計算單元204從三維投影曲面91開始執行網格合併的計算，但於實務上計算單元204亦可以是由二維影像平面92開始執行，本發明並不以此做為限制。在本發明實施例中，計算單元204之演算可以螺旋方式由內而外或者由外而內進行掃描。另外，亦可以縱向或橫向的順序方式進行掃描。圖9係以從最外圍的第一網格911開始往第一網格912的方向做計算。更仔細地說，其可對應參考方向92a~92e之由外而內的螺旋方式，從第一網格911開始計算。

在步驟S312中，計算單元204執行三維投影曲面91的第一網格911之計算並以方向91a依序計算。接著，開始執行步驟S312。在步驟S312中，計算單元204計算第一網格911上的法向量(如圖3B中法向量312)與第二網格上的法向量(如圖3C中法向量322)之間的夾角∠θ(如圖3D中∠θ)。

在步驟S313中，計算單元204接著判斷夾角∠θ是否滿足預設條件。預設條件為大於一個預設範圍之上限值，所述預設範圍例如為30°~60°的範圍區間。更仔細地說，若夾角∠θ大於預設範圍的上限值時，則執行步驟S315，若夾角∠θ不大於所述上限值時，則執行步驟S314。也就是說，若夾角∠θ在預設範圍內或小於預設範圍之下限值，則計算單元204不執行網格分割之動作。值得一提的是，所述預設條件亦可以為一個預設值。例如為45°之實數值，係判斷兩個夾角∠θ是否同時大於所述預設值，若大於預設值時，則執行步驟S315，若等於或小於預設值時，則執 行步驟S314。

在步驟S314中，計算單元204將不大於預設範圍上限值的第一網格911定義為第一重劃網格，並同時定義第二網格921為第二重劃網格，並執行步驟S318。在本發明實施例中，圖9中的第一網格911計算後即為第一重劃網格，第二網格921即為第二重劃網格。

請復參閱圖9，在步驟S315中，計算單元204所執行的第一網格912大於預設範圍上限值時，計算單元204則將第一網格912分割為四個第一重劃網格912a~912d，同時對應分割第二網格922為四個的二重劃網格922a~922d。在本發明實施例中，僅以分割為四個的數量作為說明，在本領域具通常知識者應了解亦可以其他數量作為分割的實施方式，本發明並不以此做為限制。

在分割完第一網格912後，在步驟S316中更進一步判斷所述分割的四個第一重劃網格912a~912d與其所對應的四個第二重劃網格922a~922d間的法向量夾角大小是否大於預設範圍之上限值。若分割的四個第一重劃網格912a~912d與其所對應的四個第二重劃網格922a~922d間的法向量夾角大小仍大於預設範圍之上限值，則執行步驟S317，若分割的四個第一重劃網格912a~912d與其所對應的四個第二重劃網格922a~922d間的法向量夾角大小小於預設範圍之上限值，則執行步驟S318。

在步驟S317中，計算單元204計算將大於預設範圍上限值的第一重劃網格912a~912d再次執行分割為新的第一重劃網格(圖未示)，同時分割對應的第二重劃網格922a~922d為新的第二重劃網格，接著持續執行步驟S316繼續判斷是否滿足預設條件。舉例來說，若第一重劃網格912a~912d都滿足預設條件，則會個別再次分成四個新的第一重劃網格，也就是4×4個新的第一重劃網格。

在步驟S318中，計算單元204判斷是否完成所有的第一網格在網格分割子程序S114的計算。若計算單元204判斷為完成所有 的第一網格的計算，即結束網格分割子程序S114。若計算單元204判斷尚未完成所有的第一網格的計算，則進一步重複執行步驟S311，接續下一個第一網格912之計算。

在選擇執行網格合併子程序S115或網格分割子程序S114後，計算單元204將計算後之影像結果提供至投影轉換單元203進一步執行成像程序S116。在執行成像程序S116中，投影轉換單元203將重劃後的二維影像平面上的第二重劃網格投影至三維投影曲面的第一重劃網格上，並產生三維影像。

復同時參閱圖3B與3C，例如二維影像平面32之第二網格321投影至三維投影曲面31之第一網格311。舉例來說，其投影的方式為以第二網格321的四個頂點321a~321d對應至第一網格311的四個頂點311a~311d的方式，將每一第二網格321之影像資訊投影至對應的每一第一網格311。接著，將所產生的三維影像透過通訊單元201傳送至顯示模組22顯示所述三維影像給使用者，並完成二維影像平面投影至三維投影曲面之影像處理。

接著，請參閱圖10，圖10為本發明另一實施例之影像處理方法流程圖。在本實施例中，影像處理方法包括初始化程序S411、網格化程序S412、執行網格調整程序S413、網格分割子程序S414與S417、網格合併子程序S415與S416以及執行成像程序S418。所述初始化程序S411、網格化程序S412、執行網格調整程序S413、網格分割子程序S414與S417、網格合併子程序S415與S416以及執行成像程序S418與圖5之影像處理方法中之流程步驟相同。在本發明實施例中，與前一實施例的差別在於，在執行網格調整程序S413後所選擇的網格分割子程序S414或網格合併子程序S415，更分別接著執行網格合併子程序S416與網格分割子程序S417。換句話說，在前一影像處理方法的實施例中，僅僅選擇網格分割子程序S114或網格合併子程序S115其中之一。但於此影像處理方法的實施例中分割與合併的動作都會執行。

舉例來說，當圖10的影像處理方法在選擇執行完網格分割子程序S414後會接著執行網格合併子程序S416。或者，在選擇執行完網格合併子程序S415後會接著執行網格分割子程序S417。總而言之，本發明可以執行單一網格合併子程序或單一網格分割子程序做實施，亦可網格合併子程序與網格分割子程序都執行。更值得一提的是，網格合併子程序與網格分割子程序之順序亦可隨使用者進行調整，本發明並不以此做為限制。

〔本發明可能之功效〕

據此，透過本發明實施例提供之影像處理方法與系統，可適應性依據影像需求所使用的不同的三維投影模型，動態地調整投影轉換過程中的網格劃分處理程序，精確地將二維影像轉換為三維影像，以提升現行技術的視覺效果同時兼顧運算時間。本發明實施例提供之影像處理方法與系統可在現有的二維影像監視系統架構下透過演算流程之改進而不需要改變原本的硬體架構或額外增加硬體設備，以簡易方式取代現行技術。同時，有效的提升在車輛安全與居家安全監控或其他環境影像資訊監控系統能夠降低成像的失真情況。

以上所述，僅為本發明最佳之具體實施例，惟本發明之特徵並不侷限於此，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾，皆可涵蓋在以下本案之專利範圍。

S111~S116‧‧‧為步驟流程

Claims (24)

1. 一種影像處理方法，包括：(a)利用複數個影像擷取模組擷取對應一物件周圍的複數張影像，以產生一二維影像平面；(b)提供一三維投影曲面，將該三維投影曲面劃分為複數個第一網格，及將該二維影像平面劃分為複數個第二網格，每一該些第一網格分別對應至每一該些第二網格；(c)根據該二維影像平面的一第一法向量與每一該第一網格的一第二法向量之間的夾角大小，將該些第一網格與該些第二網格同時劃分成複數個第一重劃網格與複數個第二重劃網格，每一該些第一重劃網格分別對應至每一該些第二重劃網格；以及(d)將重新劃分後的該些第二重劃網格上之影像資料對應投影至該些第一重劃網格上，以產生一三維影像。
2. 如申請專利範圍第1項之影像處理方法，其中在(c)步驟之前更包括：選取該三維投影曲面或該二維影像平面的其中之一進行掃描，以檢測該二維影像平面的該第一法向量與其所對應的該第一網格的該第二法向量之間的夾角大小。
3. 如申請專利範圍第2項之影像處理方法，其中(c)步驟更包括：分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；判斷該第一夾角與該第二夾角是否同時小於一預設值；當該第一夾角與該第二夾角同時小於該預設值，將該兩個共邊的該第一網格合併形成該第一重劃網格，並將該二維影像平面上相對應的兩個該第二網格合併形成該第二重劃網格。
4. 如申請專利範圍第2項之影像處理方法，其中(c)步驟更包括： 計算該三維投影曲面中該第一網格的該第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角；判斷該第一夾角是否大於一預設值；當判斷該第一夾角大於該預設值時，將該第一網格劃分為複數個第一重劃網格，並將該二維影像平面上相對應的該第二網格劃分複數個第二重劃網格。
5. 如申請專利範圍第2項之影像處理方法，其中(c)步驟更包括：分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；判斷該第一夾角與該第二夾角是否同時等於一預設值；當該第一夾角與該第二夾角同時等於該預設值時，定義該第一網格為該第一重劃網格，同時將相對應的該第二網格定義為該第二重劃網格。
6. 如申請專利範圍第2項之影像處理方法，其中(c)步驟更包括：分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；判斷該第一夾角與該第二夾角是否同時介於一預設範圍；當該第一夾角與該第二夾角同時介於該預設範圍時，定義該第一網格為該第一重劃網格，同時將相對應的該第二網格定義為該第二重劃網格。
7. 如申請專利範圍第6項之影像處理方法，其中(c)步驟更包括：當該第一夾角與該第二夾角同時小於該預設範圍的一下限值，將該兩個共邊的該第一網格合併形成該第一重劃網格，並將該二維影像平面上相對應的兩個該第二網格合併形成該第二重劃網格。
8. 如申請專利範圍第6項之影像處理方法，其中(c)步驟更包括： 當判斷該第一夾角大於該預設範圍的一上限值時，將該第一網格劃分為複數個第一重劃網格，並將該二維影像平面上相對應的該第二網格劃分複數個第二重劃網格。
9. 如申請專利範圍第2項之影像處理方法，其中(c)步驟更包括：由所選取的該三維投影曲面或該二維影像平面中心的該些第一網格或該些第二網格以螺旋方式由內至外進行掃描。
10. 如申請專利範圍第1項之影像處理方法，其中該三維投影曲面為開口向上的一封閉曲面。
11. 如申請專利範圍第1項之影像處理方法，其中(c)步驟更包括：依照每一該第一重劃網格的四個頂點(vertex)對應至每一該第二重劃網格的四個頂點進行投影。
12. 如申請專利範圍第1項之影像處理方法，其中該三維投影曲面是由一三維投影模型產生，且該三維投影模型滿足下列公式， 其中X,Y,Z為三維空間軸向。
13. 一種應用影像處理方法之系統，包括：複數個影像擷取模組，用以擷取對應一物件周圍的複數張影像；一影像處理模組，用以與該些影像擷取模組進行一影像資料傳輸，該影像處理模組包括：一影像重組單元，耦接於該些影像擷取模組，用以接收該些影像，以產生一二維影像平面；一計算單元，耦接於該影像重組單元，用以將一三維投影曲面與該二維影像平面分別對應劃分為複數個第一網格與複數個第二網格，且每一該第二網格對應每一該第一網格，該計算單元並將該三維投影曲面與該二維影像平面上該些第一網格與該些第二網格根據該二維影像平面的一第一法向量與每一該第一網格的一第二法向量之間的夾角大 小同時劃分成複數個第一重劃網格與複數個第二重劃網格，且每一該第一重劃網格對應至每一該第二重劃網格；以及一投影轉換單元，耦接於該計算單元，用以將重新劃分後的該些第二重劃網格上之影像資料對應投影至該些第一重劃網格上，以產生一三維影像。
14. 如申請專利範圍第13項之應用影像處理方法之系統，其中在該計算單元是透過選取該三維投影曲面或該二維影像平面的其中之一進行掃描，以檢測該二維影像平面的該第一法向量與其所對應的該第一網格的該第二法向量之間的夾角大小。
15. 如申請專利範圍第14項之應用影像處理方法之系統，其中該計算單元分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；當該計算單元判斷該第一夾角與該第二夾角同時小於一預設值時，該計算單將該兩個共邊的該第一網格合併形成該第一重劃網格，並將該二維影像平面上相對應的兩個該第二網格合併形成該第二重劃網格。
16. 如申請專利範圍第14項之應用影像處理方法之系統，其中該計算單元計算該三維投影曲面中該第一網格的該第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角；當該計算單元判斷該第一夾角大於一預設值時，該計算單元將該第一網格劃分為複數個第一重劃網格，並將該二維影像平面上相對應的該第二網格劃分複數個第二重劃網格。
17. 如申請專利範圍第14項之應用影像處理方法之系統，其中該計算單元分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；當該計算單元判斷該第一夾角與該第二夾角同時等於一預設值時，該計算單元定義 該第一網格為該第一重劃網格，同時將相對應的該第二網格定義為該第二重劃網格。
18. 如申請專利範圍第14項之應用影像處理方法之系統，其中該計算單元分別計算該三維投影曲面中任兩個共邊的該第一網格的該兩個第二法向量與該二維影像平面的該第一法向量之間所形成之一第一夾角以及一第二夾角；當該計算單判斷該第一夾角與該第二夾角同時介於一預設範圍時，該計算單定義該第一網格為該第一重劃網格，同時將相對應的該第二網格定義為該第二重劃網格。
19. 如申請專利範圍第18項之應用影像處理方法之系統，其中當該計算單元判斷該第一夾角與該第二夾角同時小於該預設範圍的一下限值，該計算單元將該兩個共邊的該第一網格合併形成該第一重劃網格，並將該二維影像平面上相對應的兩個該第二網格合併形成該第二重劃網格。
20. 如申請專利範圍第18項之應用影像處理方法之系統，其中當該計算單元判斷該第一夾角大於該預設範圍的一上限值時，該計算單元將該第一網格劃分為複數個第一重劃網格，並將該二維影像平面上相對應的該第二網格劃分複數個第二重劃網格。
21. 如申請專利範圍第14項之應用影像處理方法之系統，其中該計算單元由所選取的該三維投影曲面或該二維影像平面中心的該些第一網格或該些第二網格以螺旋方式由內至外進行掃描。
22. 如申請專利範圍第13項之應用影像處理方法之系統，其中該三維投影曲面為開口向上的一封閉曲面。
23. 如申請專利範圍第13項之應用影像處理方法之系統，其中該計算單元將每一該第一重劃網格的多個頂點(vertex)對應投影至每一該第二重劃網格的多個頂點。
24. 如申請專利範圍第13項之應用影像處理方法之系統，其中該 三維投影曲面是由一三維投影模型產生，且該三維投影模型滿足下列公式， 其中X,Y,Z為三維空間軸向。