TWI657409B - 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 - Google Patents

Abstract

一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置、一處理器、一影像處理單元以及一顯示裝置。影像擷取裝置用以擷取包括即時場景的一真實影像。處理器接收真實影像並取得一高度變化資訊。影像處理單元對真實影像進行一影像校正處理，以得到一已校正影像，依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，將一虛擬導引圖示疊合在鳥瞰影像上，以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。顯示裝置顯示疊合虛擬導引圖示於真實影像的三維導航影像。

Description

虛擬導引圖示與真實影像之疊合裝置及其相關疊 合方法

本揭露係有關於虛擬導引圖示與真實影像之疊合裝置及其虛擬導引圖示與真實影像之疊合方法。

近年來，全球定位系統(Global Positioning System，GPS)被廣泛運用在各種電子裝置例如行動電話或是汽車的導航系統上，其係接收衛星訊號，並根據與各顆衛星的相對位置對擁有全球定位系統接收器的電子裝置作定位，以判定電子裝置的位置。使用者亦可以利用電子裝置中的導航軟體進行路徑規劃與導航作業。一般而言，當使用者欲從一起點前往一目的地時，導航軟體可依據一特定演算法，規劃出一路徑，引導使用者知道行進方向。

隨著擴增實境技術的發展越來越成熟，目前也已有研發出擴增實境(Augmented Reality，AR)的導航系統。具有擴增實境導航功能的導航系統可利用衛星定位、影像辨識及圖資，搭配手機鏡頭所擷取之真實影像，讓導航螢幕上虛擬世界能夠與現實世界場景進行結合與互動，產生虛擬導引圖示於真實影像中進 行方向導引，提供駕駛者更直觀的導引資訊。

然而，擴增實境導航系統雖然能提供駕駛者更直觀的導引資訊，但現有的擴增實境導航系統其虛擬導引圖示疊合於真實影像時，並未考慮到車輛前方狀態，當前方有車時，其導引圖示可能會遮蔽前車，反而造成使用者在觀看導引資訊時忽略了車輛前方狀態進而造成碰撞事故發生。此外，一些擴增實境導航系統並未針對可行駛區域進行識別，因此當車輛行駛於多車道、立體道路等複雜道路環境下，將無法提供正確的導引方向。另一方面，現有的擴增實境導航系統在將導引圖示疊合於真實影像時，也未考慮導引圖示與真實影像像素間的比例關係，使其導引圖示猶如往天空指引。舉例來說，當車輛在有高度變化的道路時，其用以導航的導引圖示所顯示的導引線會出現猶如往天空或往地面下的導引方向，因而無法真正呈現正確的三維(3D)導引圖示，與實景有所落差，故易使車輛駕駛者無法即時清楚理解欲指引之方向，導致與欲導航之路線有所出入，而無法順利地實現導航的目的。

有鑑於此，本揭露提供一種虛擬導引圖示與真實影像之疊合裝置及其相關虛擬導引圖示與真實影像之疊合方法。

本揭露的一實施例提供一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置、一處理器、一影像處理單元以及一顯示裝置。影像擷取裝置設置於一車輛前方，用以擷取包括即時場景的一真實影像。處理器連接於該影 像擷取裝置，接收真實影像並取得一高度變化資訊，其中高度變化資訊包括車輛之一目前海拔高度與車前道路之一海拔高度。影像處理單元連接於處理器，對真實影像進行一影像校正處理，以得到一已校正影像，依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，再根據一路徑規劃資訊，產生一虛擬導引圖示，並將虛擬導引圖示疊合在鳥瞰影像上，以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。顯示裝置連接於處理器，顯示疊合虛擬導引圖示於真實影像的真實路況下的三維導航影像。

本揭露另一實施例提供一種虛擬導引圖示與真實影像之疊合方法，適用於一裝設於一車輛的一疊合裝置，並由疊合裝置所實施。方法包括下列步驟：擷取一即時場景的真實影像並取得一高度變化資訊，其中高度變化資訊包括疊合裝置之一目前海拔高度與車前道路之一海拔高度；對真實影像進行一影像校正處理，以得到一已校正影像；依據高度變化資訊，產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，產生已校正影像之一鳥瞰影像，其中逆透視投影轉換係將已校正影像轉換為鳥瞰影像；根據一路徑規劃資訊，產生一虛擬導引圖示，並將虛擬導引圖示疊合在鳥瞰影像上；以及對鳥瞰影像進行一透視投影轉換，以將鳥瞰影像轉換為一三維導航影像，其中三維導航影像包括虛擬導引圖示。

本揭露之上述方法可經由本揭露之裝置或系統來 實作，其為可執行特定功能之硬體或韌體，亦可以透過程式碼方式收錄於一紀錄媒體中，並結合特定硬體來實作。當程式碼被電子裝置、處理器、電腦或機器載入且執行時，電子裝置、處理器、電腦或機器變成用以實行本揭露之裝置或系統。

100‧‧‧虛擬導引圖示與真實影像之疊合裝置

110‧‧‧影像擷取裝置

120‧‧‧處理器

130‧‧‧影像處理單元

140‧‧‧儲存單元

141、142‧‧‧記憶體

150‧‧‧顯示裝置

162‧‧‧影像輸入介面

164‧‧‧影像輸出介面

172‧‧‧全球衛星定位單元

174‧‧‧高度資訊產生單元

176‧‧‧地理資訊系統單元

410、420‧‧‧影像

610‧‧‧虛擬導引圖示

620‧‧‧影像

710‧‧‧影像

810‧‧‧虛擬導引圖示

820‧‧‧影像

S902、S904、S906、...、S912‧‧‧步驟

S1002、S1004、S1006、...、S1024‧‧‧步驟

第1圖顯示本揭露一實施例所述之虛擬導引圖示與真實影像之疊合裝置的示意圖。

第2圖係顯示本揭露一實施例所述之影像擷取裝置之相機模型示意圖。

第3圖係顯示本揭露一實施例之相機座標系與世界座標系之關係示意圖。

第4圖係顯示本揭露一實施例之將扭曲校正後之影像經逆透視投影轉換至鳥瞰影像之示意圖。

第5圖係顯示本揭露一實施例之具有道路高度資訊下的車輛座標系與相機座標系之關係示意圖。

第6圖顯示本揭露一實施例之將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像之示意圖。

第7圖顯示本揭露一實施例之將虛擬導引圖示疊合於原始真實影像之示意圖。

第8A圖顯示本揭露一實施例之未考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖，第8B圖顯示本揭露一實施例之考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖。

第9圖顯示本揭露一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。

第10圖顯示本揭露另一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。

為讓本揭露之目的、特徵、和優點能更明顯易懂，特舉出下文實施例，並配合所附圖式，作詳細說明如下。注意的是，本章節所敘述的實施例目的在於說明本揭露之實施方式而非用以限定本揭露之保護範圍，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。應理解下列實施例可經由軟體，硬體，韌體，或上述任意組合來實現。

本揭露實施例提供一種虛擬導引圖示與真實影像之疊合裝置及其相關虛擬導引圖示與真實影像之疊合方法，可根據道路的高度變化資訊進行透視投影轉換與逆透視投影轉換，考量虛擬導引圖示與真實影像畫面疊合的視覺真實感，事先將虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣以對應至高度變化之鳥瞰(俯視)影像座標系上，再藉由透視投影轉換對應回真實影像座標上，藉此可使虛擬導引圖示於真實影像中具有正確的像素比例關係，同時避免導引圖示直接疊合真實影像時出現猶如飄浮往天空指向的錯誤顯示，從而能提供駕駛者更正確且直觀的三維導引圖示，實現導航的目的。

第1圖係顯示本揭露一實施例所述之虛擬導引圖 示與真實影像之疊合裝置的示意圖。虛擬導引圖示與真實影像之疊合裝置100可以為一電子裝置，如電腦系統與可攜式裝置如行動裝置(例如，平板電腦、行動電話，或穿戴式計算裝置)、能夠處理影像或資料的筆記型電腦、或者虛擬導引圖示與真實影像之疊合裝置100可以由複數個裝置來提供。虛擬導引圖示與真實影像之疊合裝置100可用以提供導航功能。虛擬導引圖示與真實影像之疊合裝置100也可由複數個晶片或單晶片來實現，例如，片上系統或在行動設備中放置的行動處理器。舉例來說，虛擬導引圖示與真實影像之疊合裝置100包含多個影像擷取裝置110、處理器120、影像處理單元(graphics processing unit,GPU)130、儲存單元140、顯示裝置150、影像輸入介面162、影像輸出介面164、全球衛星定位單元172、地理資訊系統(GIS)單元174以及高度資訊產生單元174。影像處理單元130、儲存單元140、顯示裝置150、影像輸入介面162、以及影像輸出介面164、全球衛星定位單元172、高度資訊產生單元174以及地理資訊系統(GIS)單元176可連接至處理器120，以經由處理器120控制其操作執行各項操作。影像擷取裝置110可為包含一或多個影像感測器的相機模組，該影像感測器可為單一感測器，或包含複數個獨立的或分開的感測單元的感測陣列。舉例來說，影像擷取裝置110可為具有魚眼鏡頭(fisheye lens)的相機模組，用以擷取包括即時路況的一真實影像。在一實施例中，多個影像擷取裝置110可設置於車輛前方，用以擷取/拍攝即時的路況影像。

處理器120可為中央處理單元(central processing unit,CPU)、通用處理器、數位訊號處理器、或任意等效電路，但是本揭露並非限於此。

儲存單元140可以包含揮發性記憶體(volatile memory)141、以及非揮發性記憶體142。舉例來說，揮發性記憶體141可為動態隨機存取記憶體、或靜態隨機存取記憶體，以及非揮發性記憶體142可為快閃記憶體、硬碟、固態硬碟等。

舉例來說，在虛擬導引圖示與真實影像之疊合裝置100上使用的應用的程式碼可預先儲存於非揮發性記憶體142中。處理器110可自非揮發性記憶體142下載程式至揮發性記憶體141，並執行應用的程式碼。處理器110也可傳輸影像資料至影像處理單元130，以及影像處理單元130可決定將呈現在顯示裝置150上的影像資料。需要注意的是，揮發性記憶體141以及非揮發性記憶體142可描述為儲存單元，並且可分別作為不同的儲存單元。顯示裝置150可為包括顯示電路或被耦接以用於控制一顯示螢幕(圖未示)的硬體，例如：液晶顯示器(LCD)。顯示裝置150可包含驅動電路、顯示面板中的一個或組合，以及顯示裝置150可置於虛擬導引圖示與真實影像之疊合裝置100中或之外。於一些實施例中，顯示裝置150係結合觸碰感應裝置(未顯示)之螢幕。觸控感應裝置係具有一觸控表面，其包括至少一維度的感測器以偵測靠近或在觸控表面上的一輸入工具如手指或觸控筆等在其表面上的接觸及動作。因此，使用者可透過顯示裝置150來進行觸控輸入命令或訊號。

儲存單元140可更儲存包括相應至少一特定區域，如地區或國家之圖資資料。其中，圖資資料可以包括門牌 地址、地標、景點、與/或道路及道路資訊等。顯示裝置150用以顯示相關資料，如使用者操作介面、路徑規劃結果、與相關導航資訊。處理器110可包括具有路徑規劃能力之一導航引擎。使用者可以透過使用者操作介面輸入導航情況，如一起點、一目的地、與/或至少一行經點等。處理器110可以依據輸入之起點、經過點以及目的地，進行路徑規劃，從而得到一規劃路徑資訊。使用者可以依據規劃路徑資訊進行導航至目的地。

全球衛星定位單元(GPS)172用以接收衛星接收訊號。全球衛星定位單元可用以取得裝置100所在位置的位置座標資訊。舉例來說，全球衛星定位單元172可為全球定位系統(GPS)感測器(例如：GPS接收器)，可接收衛星訊號來得到一GPS訊號，根據所得到的GPS訊號產生一GPS位置，據此取得裝置100所在位置的GPS座標資訊。處理器110可以依據接收之訊號計算出車輛的目前位置。

影像輸入介面162可獲得影像擷取裝置110所擷取到的原始影像(例如，魚眼影像)並提供原始影像至處理器110。影像輸出介面164可獲得處理器120接收自影像處理單元130的顯示影像資料並提供顯示影像資料至顯示裝置150進行顯示。全球衛星定位單元172用以提供並輸出車輛的即時位置。地理資訊系統單元176提供上述圖資資訊與地形相關資訊如高度。高度資訊產生單元174為可用以取得車輛目前海拔高度、與車前道路之海拔高度之裝置，例如：全球衛星定位單元、高度計等，但本揭露並不限於此。

在一些實施例中，儘管圖中未示，虛擬導引圖示與真實影像之疊合裝置100可包含其他功能單元，例如鍵盤、滑鼠、觸控板、或通訊單元(例如，乙太網卡或晶片組)、無線網卡或晶片組、基帶晶片組以及射頻晶片組以用於蜂窩通訊。

處理器110可控制執行本發明提供之用於虛擬導引圖示與真實影像之疊合方法，其細節將於下文中進一步描述。明確來說，多個影像擷取裝置110可設置於車輛前方，用以擷取/拍攝即時的路況影像。處理器110係連接於影像擷取裝置110、全球衛星定位單元172、地理資訊系統單元176及高度資訊產生單元174，可控制影像擷取裝置110、全球衛星定位單元172、高度資訊產生單元174以及地理資訊系統單元176的操作，作為資料傳輸橋梁。影像處理單元130係連接於處理器110，可根據路徑規劃資訊產生一虛擬導引圖示，且比對車輛的即時位置、高度，並取得行車路徑。影像處理單元130可使用一考慮高度變化的逆透視投影演算法，根據高度變化資訊，在真實影像中產生一虛擬導引影像。在一些實施例中，其中影像處理單元130產生之虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣，以對應高度變化之鳥瞰(俯視)影像坐標系，再藉由透視投影轉換對應回真實影像座標以將虛擬導引圖示疊合於真實路況之中並在真實影像中產生上述虛擬導引影像。

顯示裝置150連接於處理器110，用以顯示疊合於真實路況下的虛擬導引影像。在一些實施例中，其中虛擬導引影像為一三維影像，隨高度變化貼合於地面。顯示裝置150可 更提供一使用者介面(未繪示)，以透過使用者介面直觀的顯示路況資訊、真實路況導引影像以供使用者如車輛駕駛者進行行車路徑參考。

在一些實施例中，其中地理資訊系統單元176與全球衛星定位單元172比較，以取得前方路況之坡度。在一些實施例中，其中顯示裝置150可設置於車輛駕駛位旁，且用以顯示前方道路與虛擬導引圖示疊合之一導航影像。在一些實施例中，顯示裝置150的使用者介面可顯示目前車輛的實際海拔高度以及車前道路影像之海拔高度。

可理解的是，上述各元件或模組係為一具有對應功能的裝置，可具有適當的硬體電路或元件以執行對應功能，然而，該裝置並不以具有實體為限，其亦得為一虛擬的具有對應功能的程式、軟體，或是具有處理、運行該程式、軟體能力的裝置。而上述各元件運作的方式，可進一步的參閱以下對應之方法之說明。

在本發明實施例中，影像處理單元130可根據道路的高度變化資訊進行透視投影轉換與逆透視投影轉換，將虛擬導引圖示依照高度變化以更新逆透視投影轉換矩陣以對應至高度變化之鳥瞰(俯視)影像座標系上，再藉由透視投影轉換對應回真實影像座標上，其細節與演算法介紹於下。

首先，在本揭露實施例使用之影像擷取裝置110的相機模型為針孔相機模型，影像處理單元130透過該相機模型可將相機座標轉換至影像座標。之後，影像處理單元130可再進行後續影像扭曲校正及逆透視投影轉換之動作。

第2圖係顯示本揭露一實施例所述之影像擷取裝置之相機模型示意圖。如第2圖所示，Π為影像平面，C點為成像中心點，由C點延伸垂直至影像平面之向量方向稱之為光軸，p點為相機座標系統任意點P投影至影像平面之投影點，f為相機焦距，相機座標系統之座標原點即為成像中心點C，X軸與Y軸分別平行於影像平面之x軸與y軸，Z軸為光軸。

根據相似三角形之定理，影像處理單元130可透過下式公式(1)將相機座標系統轉換至影像座標系統： 其中S _x ,S _y 為x與y方向的刻度轉換比例因子，f為焦距。由於影像平面的單位為像素，而焦距f的單位為毫米，因此需透過一刻度轉換比例因子使其能相互轉換，而f,S _x ,S _y 稱之為相機內部參數(intrinsic parameters)。

一般而言，影像處理中影像原點皆定義於影像左上角，而上述之相機模型定義其影像原點為影像中心點，故在本實施例中將公式(1)改寫成以下公式(2)：

另外，由於影像擷取裝置110(例如：相機)常搭載鏡頭增加單位時間進入影像平面的光線總量，以減短曝光所需之時間，但搭載的鏡頭通常具有魚眼(廣角)特性，其將對於影像造成扭曲形變(distortion)之問題，影像扭曲形變的問題將造成後續影 像真實比例關係錯誤，故需要針對原始影像進行影像扭曲校正。在本揭露實施例中，將影像扭曲變形分為枕狀變形與筒狀變形兩種情況，因此影像處理單元130可透過以下公式(3)(又稱扭曲校正方程式)對原始影像進行影像扭曲校正： 其中公式(3)中的k ₁,k ₂,k ₃,k ₄,k ₅,k ₆為相機的桶狀形變參數，而p ₁,p ₂為相機的枕狀形變參數，r ²=x ²+y ²，上述參數可於使用的相機決定時得到。

再者，由於相機的鏡頭是安裝於車前位置，因此需要定義其相機座標系與世界座標系之關係式。

第3圖係顯示本揭露一實施例之相機座標系與世界座標系之關係示意圖。如第3圖所示，在此實施例中，鏡頭被放置於車輛前檔玻璃位置且距平坦地面高H的位置，相機座標系統定義為X _C ,Y _C ,Z _C ,O _C 為攝影機座標原點及相機成像中心，光軸與Z_C之傾斜角度為θ。

可理解的是，任何在真實世界中的三維座標系均可稱為世界座標系(world coordinate system)，亦即為第3圖之車輛座標系，如第3圖中的車輛座標系與相機座標系，僅座標原點位置與座標軸方向有所不同。因此，可透過一轉換矩陣將在車輛座標系上的任一點P _V (X _V ,Y _V ,Z _V )轉換成相機座標系上的一點P _C (X _C ,Y _C ,Z _C )，其關係式(4)如下： 其中M _V,C 為轉換矩陣，其可表示為M _V,C =R _X,-θ T _Y,-H ，其中且R _X,-θ 與T _Y,-H 稱為相機外部參數，分別為

透過上述之關係式(4)，影像處理單元130可將在車輛座標系中位於平面道路(X _V -Z _V )中任一點P _V (X _V ,0,Z _V )藉由轉換矩陣M _V,C 轉換到相機座標系之一點P _C (X _C ,Y _C ,Z _C )，上述藉由轉換矩陣M _V,C 轉換到相機座標系的關係式(5)如下：

接著，影像處理單元130可以根據前述的相機針孔成像原理，利用相機內部參數如焦距、與x與y方向的刻度轉換比例因子等，將相機座標系轉換為影像平面座標系，如以下公式(6)所示： 其中f,S _x ,S _y 為相機內部參數，分別指焦距、與x與y方向的刻度轉換比例因子。上述將世界座標系轉換至影像平面座標系的過程即稱為透視投影轉換(perspective projection)。

相反地，影像處理單元130也可以利用逆透視投影轉換(inverse perspective projection)將影像平面上任一點(x _i ,y _i )轉換至道路平面(X _V -Z _V )上，其轉換公式(7)可表示如下：

也就是說，影像處理單元130透過上述之逆透視投影轉換過程，可將經扭曲校正後之影像轉換至鳥瞰影像上，亦即為道路平面(X _V -Z _V )，如第4圖所示。第4圖係顯示本揭露一實施例之將扭曲校正後之影像經逆透視投影轉換至鳥瞰影像之示意圖。如第4圖所示，其中扭曲校正後之影像410經由逆透視投影轉換操作後轉換為鳥瞰影像420。

在本揭露實施例中，為了增加擴增實境在疊合虛擬導引圖示於真實影像的正確性，先將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像上，亦即為道路平面(X _V -Z _V )，接著再將其疊合有虛擬導引圖示的鳥瞰影像，藉由一反向的透視投影轉換還原於原始真實影像中，之後便可產生具有正確比例關係的導引影像並輸出包含導引影像的畫面。藉此，虛擬導引圖示能以相對於真實影像像素的正確比例關係進行疊合，提供使用者更正確的擴增實境三維方向導引，可使導引圖示以正確比例疊合於真實影像的可行駛區域中，並以半透明效果呈現。請參閱第6圖與第7圖。第6圖顯示本揭露一實施例之將虛擬導引圖示透過逆透視投影轉換疊合於鳥瞰影像之示意圖，第7圖則顯示將虛擬導引圖示疊合於原始真實影像之示意圖。如第6圖所示，其中虛擬導引圖示610透過逆透視投影轉換疊合於鳥瞰影像620。如第7圖所示，其中虛擬導引圖示610係被疊合於疊合於鳥瞰影像620對應的真實影像710上。

由於前述導引圖示與真實影像的疊合例子中係以透視投影轉換方法使虛擬圖示以正確比例關係疊合於真實影像上，然而，上述方法假設將影像投影在一水平道路上，亦即車輛所行駛路面與鏡頭彼此的距離是保持不變。當車輛行駛於有高度變化的路面時，此方式會造成有錯誤疊合的效果。當道路有高度變化時，影像處理單元130需額外將道路高度資訊(海拔高度)考量進去，以避免產生於疊圖時產生漂浮現象。因此，在一些實施例中，影像處理單元130於虛擬導引圖示與真實影像的疊合過程中進一步考慮路面的高度變化，將路面海拔高度資料當做一座標軸向的旋轉角度，並依據該旋轉角度使相機座標系對應至該高度變化下的世界座標系道路平面，最終便可取得該高度變化下之逆透視投影轉換關係而達到正確的擴增實境疊合效果。

第5圖係顯示本揭露一實施例之具有道路高度資訊下的車輛座標系與相機座標系之關係示意圖。如第5圖所示，車輛座標系與相機座標系可改變如下所示。其中(X _c ,Y _c ,Z _c )表示相機座標系，(X _V ,Y _V ,Z _V )表示不具高度變化的水平道路下之車輛座標系(世界座標系)，()為因道路高度變化而改變之車輛座標系。

接著，影像處理單元130考慮道路的海拔高度，亦即為第5圖中的角度，此時道路平面將變為()；因此新的車輛座標系中位於道路平面()中任一點皆仍可透過上述公式(4)的轉換矩陣轉換至相機座標系P _C (X _C ,Y _C ,Z _C )。

詳細而言，首先，影像處理單元130先考慮將當前 車輛座標系轉換至世界座標系中，如以下公式(8)所示：

接著，影像處理單元130根據以下公式(9)，將世界座標系轉換為鏡頭座標系：

藉由上述公式(8)及公式(9)，影像處理單元130可以得知其關係式(10)為

接著，影像處理單元130可以根據相機針孔成像原理，將相機座標系轉換為影像平面座標系，如以下公式(11)所示： 其中=sin及=cos。公式(11)式即為具高度變化道路下的透視投影轉換(perspective projection)關係。反之，影像處理單元130可以利用上述公式(11)計算出逆透視投影轉換(inverse perspective projection)關係，即可將影像平面上任一點(x _i ,y _i )轉換至道路平面()上。因此，影像處理單元130可透過上述方法將虛擬導引圖示以相對於真實影像像素的正確比例關係進行疊合，提供使用者更正確的擴增實境三維方向導引。

請參閱第8A圖與第8B圖。第8A圖顯示本揭露一實施例之未考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖，第8B圖則顯示本揭露一實施例之考慮路面的高度變化下之虛擬導引圖示與真實影像之疊合效果之示意圖。由第8A圖可知，虛擬導引圖示810在真實影像820中因路面有高度變化而於疊合出現錯誤疊合的效果，使虛擬導引圖示810偏離路面，猶如往天空指引。由第8B圖可知，在本案中，影像處理單元130可將路面海拔高度資料當做一座標軸向的旋轉角度，並依據該旋轉角度使相機座標系對應至該高度變化下的世界座標系道路平面，最終便可取得該高度變化下之逆透視投影轉換關係，使虛擬導引圖示810可依像素正確比例關係貼合於真實影像820中，而達到正確的擴增實境疊合效果。

第9圖顯示本揭露一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。請同時參照第1圖與第9圖。依據本揭露實施例之虛擬導引圖示與真實影像之疊合方法可以適用於一虛擬導引圖示與真實影像之疊合裝置，其中，疊合裝置係裝設於一車輛上。舉例來說，可適用於第1圖的虛擬導引圖 示與真實影像之疊合裝置100並由處理器120加以執行。

首先，如步驟S902，處理器120透過影像擷取裝置110擷取真實影像以及透過全球衛星定位單元172、高度資訊產生單元174與地理資訊系統單元176擷取一高度變化資訊，並如步驟S904，透過影像處理單元130將擷取影像進行一影像校正處理，以取得一已校正影像。具體來說，在一些實施例中，影像處理單元130可透過全球衛星定位單元172提供的車輛位置資訊、地理資訊系統單元的GIS資訊所提供道路坡度資訊以及高度資訊產生單元174提供的高度資訊進行比對，以得到對應於行駛路徑的海拔高度資訊，藉此判斷是否有高度變化，取得上述高度變化資訊。其中，上述擷取影像為一場景扭曲影像，而上述已校正影像則為扭曲校正後的未扭曲影像。在一些實施例中，上述影像校正處理至少包括一相機參數校正操作及一影像扭曲校正操作。明確來說，真實影像可為前方路況的場景影像，其係為場景扭曲影像，因此影像處理單元130先進行相機參數校正操作，經由相機參數測定使用相機的內部參數(例如：前述x與y方向的刻度轉換比例因子S _x ,S _y 與焦距f)來調整場景扭曲影像中的相機參數不同所造成的失真，得到一調整後的影像及並對調整後的影像進行一扭曲校正操作，使用一扭曲校正演算法例如上述公式(3)，將場景扭曲影像轉換成未扭曲場景影像。此未扭曲場景影像即為上述已校正影像。

於取得上述已校正影像之後，接著如步驟S906，影像處理單元130根據高度變化資訊產生一更新轉換矩陣，並利用更新轉換矩陣對已校正影像進行一逆透視投影轉換，使用 逆透視投影轉換技術，產生已校正影像之一鳥瞰影像，將三維的真實影像轉換至二維的鳥瞰影像，並如步驟S908，將導引圖示疊合於轉換後的鳥瞰影像上。其中，虛擬導引圖示係根據一路徑規劃資訊產生且將虛擬導引圖示疊合於鳥瞰影像係將虛擬導引圖示貼合於鳥瞰影像中的道路平面。

詳細而言，如前述，由於道路的海拔高度變化會導致逆透視投影轉換的錯誤，因此在本實施例中，影像處理單元130在進行疊圖時，依照道路的海拔高度變化，更新原先用於平面道路的轉換矩陣，產生一更新轉換矩陣(例如利用前述公式8-10)，再利用更新轉換矩陣進行逆透視投影轉換例如利用前述公式(11)以將虛擬導引圖示繪製在高度變化下的鳥瞰影像上，繪製的虛擬導引圖示會貼合於真實影像對應的鳥瞰影像，藉此使得虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時會出現猶如飄浮往天空指向的錯誤顯示。在一些實施例中，影像處理單元130可根據路面車道線的寬度，決定虛擬導引圖示的寬度，以使虛擬導引圖示與真實影像中的一車道線成比例關係，例如車道線的寬度的一半或三分之一，但本揭露並不限於此。舉例來說，當車道線的寬度為30公分時，影像處理單元可將虛擬導引圖示的最大寬度設定為15公分或10公分，並且根據虛擬導引圖示的最大寬度來繪製虛擬導引圖示於鳥瞰影像上。虛擬導引圖示的寬度會隨著距離遠近呈現愈來愈縮短或愈來愈伸長的視覺效果，接近於真實場景所看到的情形。

將虛擬導引圖示貼合於高度變化下的鳥瞰影像之 後，接著，如步驟S910，影像處理單元130進行一透視投影轉換，透過透視投影轉換技術，將鳥瞰影像轉換為一三維導航影像。具體來說，影像處理單元130將鳥瞰影像藉由對應的透視投影如利用前述公式轉換對應回真實影像的影像座標系上，產生包括三維虛擬導引圖示的三維導航影像，使虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時，出現猶如飄浮往天空指向的錯誤。

接著，如步驟S912，處理器120將影像處理單元130所產生的包括三維導引圖示的三維導航影像透過影像輸出介面164輸出至顯示裝置150，使顯示裝置150顯示包括虛擬導引圖示的三維導航影像，其中三維導航影像顯示虛擬導引圖示於真實影像中，以提供擴增實境影像。由於產生的三維導航影像係已貼合於路面，因此不會出現猶如飄浮往天空指向的錯誤，可以提供使用者更正確的擴增實境3D導引圖示。在一些實施例中，顯示裝置150可設置於車輛的駕駛位旁，例如：可為設置於車子擋風玻璃的抬頭式顯示裝置，用以顯示前方道路與虛擬導引圖示疊合之影像，可增加使用便利性。

第10圖顯示本揭露另一實施例之虛擬導引圖示與真實影像之疊合方法之流程圖。請同時參照第1圖與第10圖。依據本揭露實施例之虛擬導引圖示與真實影像之疊合方法可以適用於一虛擬導引圖示與真實影像之疊合裝置，舉例來說，可適用於第1圖的虛擬導引圖示與真實影像之疊合裝置100並由處理器120加以執行。

首先，處理器120透過影像擷取裝置110擷取真實 影像(步驟S1002)，接著透過影像處理單元130進行擷取場景影像的相機參數校正(步驟S1004)及影像扭曲校正(步驟S1006)，將場景扭曲影像轉換成未扭曲影像。

之後，處理器120透過影像處理單元130進行逆透視投影轉換(步驟S1008)，將真實影像轉換至鳥瞰影像(如第4圖所示)，並將導引圖示繪製於其上(步驟S1010)，再藉由透視投影轉換對應回真實影像座標上(步驟S1012)。

另一方面，處理器120持續透過全球衛星定位單元172、高度資訊產生單元174與地理資訊系統單元176取得海拔高度資訊變化(步驟S1020)並且接著判斷是否有高度變化(步驟S1022)，亦即前方係為平面或有坡度的路面，若否則無須更新逆透視投影轉換的轉換矩陣。反之，若有高度變化，便依照高度變化更新轉換矩陣(步驟S1024)，再利用更新後的轉換矩陣以路面海拔高度資料當做一座標軸向的旋轉角度進行逆透視投影轉換(步驟S1008)，將真實影像轉換至鳥瞰影像(如第4圖所示)，並將導引圖示繪製於其上(步驟S1010)，再藉由透視投影轉換對應回真實影像座標上(步驟S1012)，最後再透過顯示裝置150輸出包含虛擬導引圖示的導航影像，使輸出的虛擬導引圖示於真實影像中具有更正確的像素比例關係，同時也可避免導引圖示直接疊合原始影像時，會出現猶如飄浮往天空指向的錯誤顯示，因此能提供駕駛者更正確且直觀的3D導引圖示(步驟S1014)。

因此，依據本揭露之虛擬導引圖示與真實影像之疊合裝置及其方法可將路面海拔高度資料當做一座標軸向的 旋轉角度，並依據該旋轉角度使相機座標系對應至高度變化下的世界座標系道路平面，最後可取得高度變化下的逆透視投影轉換關係而達到正確的擴增實境疊合效果，達成導航資訊實境化及安全監控之功效，以解決目前傳統導航提供之路況資訊不足與不準。此外，依據本揭露之虛擬導引圖示與真實影像之疊合裝置及其方法可有效解決傳統導航方法在路口處提供之導航資訊不足，而導致駕駛人錯過預定的路線，甚至可能造成危險駕駛的行為的問題，也有效解決先前技術中因道路的高度起伏造成突兀的導航圖示以及貼合問題。

本揭露之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本揭露之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本揭露之裝置。當在一般用途影像處理單元實作時，程式碼結合影像處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中包括通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾。舉例來說，本揭露實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本揭露之保護 範圍當視後附之申請專利範圍所界定者為準。

Claims (16)

1. 一種虛擬導引圖示與真實影像之疊合裝置，包括至少一影像擷取裝置，設置於一車輛前方，用以擷取包括即時場景的一真實影像；一處理器，連接於該影像擷取裝置，接收該真實影像並取得一高度變化資訊，其中該高度變化資訊包括該車輛之一目前海拔高度與車前道路之一海拔高度；一影像處理單元，連接於該處理器，對該真實影像進行一影像校正處理，以得到一已校正影像，依據該高度變化資訊，產生一更新轉換矩陣，並利用該更新轉換矩陣對該已校正影像進行一逆透視投影轉換，產生該已校正影像之一鳥瞰影像，再根據一路徑規劃資訊，產生一虛擬導引圖示，並將該虛擬導引圖示疊合在該鳥瞰影像上，以及對該鳥瞰影像進行一透視投影轉換，以將該鳥瞰影像轉換為一三維導航影像，其中該三維導航影像包括該虛擬導引圖示；以及一顯示裝置，連接於該處理器，顯示該三維導航影像。
2. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，更包括：一全球衛星定位單元，提供並輸出該車輛之一即時位置；一地理資訊系統單元，儲存一圖資資訊；以及一高度資訊單元，提供該車輛之該目前海拔高度與車前道路之該海拔高度。
3. 如申請專利範圍第2項所述之虛擬導引圖示與真實影像之疊合裝置，其中該高度資訊單元係為一高度計。
4. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該虛擬導引圖示為一三維圖示，隨高度變化與距離等比例並以半透明方式貼合於地面。
5. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中一地理資訊系統單元之高度資訊與該全球衛星定位單元之高度資訊比較，以取得表示前方路況之坡度之該高度變化資訊。
6. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該顯示裝置係為設置於該車輛之駕駛位旁之一抬頭式顯示裝置，用以顯示包括前方道路與該虛擬導引圖示疊合之該導航影像。
7. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該影像處理單元產生之該虛擬導引圖示依該更新轉換矩陣進行該逆透視投影轉換，以對應高度變化之鳥瞰影像坐標系，再藉由該透視投影轉換對應回真實影像座標，以將該虛擬導引圖示疊合於該真實影像中。
8. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該顯示裝置包括一使用者介面，用以顯示該車輛之目前海拔高度以及車前道路影像之海拔高度。
9. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該影像處理單元使用考慮高度變化的逆透視投影演算法進行該逆透視投影轉換，以在該真實影像中產生該虛擬導引圖示。
10. 如申請專利範圍第1項所述之虛擬導引圖示與真實影像之疊合裝置，其中該虛擬導引圖示與該真實影像中之一車道線成比例關係。
11. 一種虛擬導引圖示與真實影像之疊合方法，適用於一裝設於一車輛的一疊合裝置，並由該疊合裝置所實施，該方法包括下列步驟：擷取一即時場景的真實影像並取得一高度變化資訊，其中該高度變化資訊包括該疊合裝置之一目前海拔高度與車前道路之一海拔高度；對該真實影像進行一影像校正處理，以得到一已校正影像；依據該高度變化資訊，產生一更新轉換矩陣，並利用該更新轉換矩陣對該已校正影像進行一逆透視投影轉換，產生該已校正影像之一鳥瞰影像；根據一路徑規劃資訊，產生一虛擬導引圖示，並將該虛擬導引圖示疊合在該鳥瞰影像上；以及對該鳥瞰影像進行一透視投影轉換，以將該鳥瞰影像轉換為一三維導航影像，其中該三維導航影像包括該虛擬導引圖示。
12. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，其中該已校正影像係為一非扭曲影像且該影像校正處理包括一相機參數校正處理以及一扭曲校正處理。
13. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：接收一地理資訊系統單元之一高度資訊與一全球衛星定位單元之一高度資訊比較；以及比較該地理資訊系統單元之該高度資訊與該全球衛星定位單元之該高度資訊，以取得表示前方路況之坡度之該高度變化資訊。
14. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，其中該虛擬導引圖示為一三維圖示，隨高度變化與距離等比例並以半透明方式貼合於地面。
15. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：使用考慮高度變化的逆透視投影演算法進行該逆透視投影轉換，以在該真實影像中產生該虛擬導引圖示。
16. 如申請專利範圍第11項所述之虛擬導引圖示與真實影像之疊合方法，更包括：顯示該三維導航影像。