[go: up one dir, main page]

TWI831445B - 影像擷取裝置參數取得方法及系統 - Google Patents

影像擷取裝置參數取得方法及系統 Download PDF

Info

Publication number
TWI831445B
TWI831445B TW111140936A TW111140936A TWI831445B TW I831445 B TWI831445 B TW I831445B TW 111140936 A TW111140936 A TW 111140936A TW 111140936 A TW111140936 A TW 111140936A TW I831445 B TWI831445 B TW I831445B
Authority
TW
Taiwan
Prior art keywords
image
vertex
image capture
capture device
traffic sign
Prior art date
Application number
TW111140936A
Other languages
English (en)
Other versions
TW202418219A (zh
Inventor
任庭緯
Original Assignee
新馳科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新馳科技股份有限公司 filed Critical 新馳科技股份有限公司
Priority to TW111140936A priority Critical patent/TWI831445B/zh
Application granted granted Critical
Publication of TWI831445B publication Critical patent/TWI831445B/zh
Publication of TW202418219A publication Critical patent/TW202418219A/zh

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種影像擷取裝置參數取得方法及系統，其中該方法包括下列步驟：取得一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各連續街景影像皆包括至少一交通標誌影像；取得複數至少一交通標誌影像之頂點影像位置；從一高精地圖系統中取得影像擷取地點對應該至少一交通標誌影像之至少一交通標誌之一頂點地圖位置；比對頂點影像位置及該頂點地圖位置以取得影像擷取裝置之複數內部參數及複數徑向畸變係數；以及，藉由複數內部參數及複數徑向畸變係數計算影像擷取裝置之參數。

Description

影像擷取裝置參數取得方法及系統
本發明關於一種影像擷取裝置參數取得之方法與系統，特別關一種由複數影像中取得擷取該複數影像之影像擷取裝置之參數之方法與系統。
傳統上，所取得的街景影像若用於定位或建圖演算時，需先取得相機內部參數如：焦距(focal length)、主點(principle point)、徑向畸變(radial distortion)、切向畸變(tangential distortion)方可使用。而取得相機參數的方式為，先利用相機已取得的基準影像(此影像並非用於定位或建圖演算的影像)為基準，使用盤格(chess board)做相機標定，透過棋盤格上的直線與直線相交的呈直角的幾何關係，以及事先量測好棋盤格內格子真實尺度大小，即可計算出相機內部參數，日後當完成標定的相機擷取街景影像後，便可將該些街影影像搭配所對應的相機內部參數用於定位或建圖的演算中。
然，因為用於定位或建圖演算的街景影像必須正式進行建圖或定位取像前，就先利用棋盤格校正好相機內部參數，若於影像拍攝過程中，擷取影像的相機的內部參數改變，則利用基準影棋盤格定位的取得相機內部參數無法用於相機的內部參數改所取的影像資料，造成該些影像資料(如：影片或圖片)因為沒有相機內部參數而無法用於做定位或是建圖相關演算的情況。舉例來說，如果想利用街景車隊上沒有相機內參的行車紀錄器來達成眾包成圖，但又沒辦法把街景車隊裡所有車子叫回工廠進行相機標定工作，則街景車隊上沒有相機內參的行車紀錄器取得影像資訊就無法用於定位或是建圖相關演算，因此有改進之必要。
本發明之主要目的係在提供一種由複數影像中取得擷取該複數影像之影像擷取裝置之參數之方法。
本發明之另一主要目的係在提供一種由複數影像中取得擷取該複數影像之影像擷取裝置之參數之系統。
為達成上述之目的，本發明之影像擷取裝置參數取得方法，包括下列步驟：取得一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各連續街景影像皆包括至少一交通標誌影像；取得複數至少一交通標誌影像之頂點影像位置；從一高精地圖系統中取得影像擷取地點對應該至少一交通標誌影像之至少一交通標誌之一頂點地圖位置；比對頂點影像位置及該頂點地圖位置以取得影像擷取裝置之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)；以及，藉由複數內部參數K及複數徑向畸變係數D計算影像擷取裝置之參數。
本發明另提供一種影像擷取裝置參數取得系統，包括記憶體、影像資訊取得模組、高精地圖圖資取得模組、比對模組及計算模組。記憶體儲存由一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各連續街景影像皆包括至少一交通標誌影像。影像資訊取得模組訊號連接記憶體，影像資訊取得模組取得複數至少一交通標誌影像之頂點影像位置。高精地圖圖資取得模組訊號連接一高精地圖系統，高精地圖圖資取得模組從一高精地圖系統中取得影像擷取地點對應該至少一交通標誌影像之至少一交通標誌之一頂點地圖位置。比對模組訊號連接影像資訊取得模組及高精地圖圖資取得模組，比對模組比對頂點影像位置及頂點地圖位置以取得影像擷取裝置之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)。計算模組訊號連接比對模組，計算模組藉由複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)計算影像擷取裝置之參數。
本方法利用高精地圖中的路牌標誌以及對圖像中的相對應的路牌標誌進行投影比對運算找出標牌在圖像中的頂點，即可進行配對，透過高精地圖所提供的尺度資訊，即可計算出相機內部參數。因此本方法可以解決無法使用沒有事先取得機內部參數的取像裝置所擷取的影像資料的問題。
本案利用矩形之路牌標誌的四邊為直線，且同一個路牌標誌同邊的頂點兩兩間的水平距離或垂直距離相同的特點，利用影像擷取裝置 取得多個複數連續街景影像，可找出路牌標誌影像與該路牌標誌於高精地圖中(真實世界)位置的對應關係，也就是相同位置之相同路牌標誌於高精地圖系統中的經緯度位置，藉此找出拍攝該些連續街景影像的影像擷取裝置800的複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)。藉此於取得街景影像後，再由比對影像中矩形之路牌標誌之影像位置與該矩形之路牌標於高精地圖系統中對應之位置可算出取得該街景影像的相機的內部參數，增加了建圖所需街景影像的取得來源，讓由未知內部參數的相機(如：行車紀錄器)取得之街景影像也可被使用，解決了先前技術中，僅能使用已知相機內部參數之影像擷取裝置所取得之街景影像的侷限。
1:影像擷取裝置參數取得系統
10:記憶體
20:影像資訊取得模組
30:高精地圖圖資取得模組
40:比對模組
50:計算模組
60:優化模組
700:高精地圖系統
710、710a、710b、710c:頂點地圖位置
911:交通標誌影像
21、21a、21b、21c:頂點影像位置
930:交通標誌
800:影像擷取裝置
900:影像擷取地點
910、910a:連續街景影像
圖1係本發明之影像擷取裝置參數取得系統之一實施例之硬體架構示意圖。
圖2A係影像擷取裝置於影像擷取地點擷取之複數連續街景影像之其中之一。
圖2B係影像擷取裝置於影像擷取地點擷取之複數連續街景影像之其中之二。
圖3係高精地圖系統中該影像擷取地點之圖之地圖資訊。
圖4係本發明之影像擷取裝置參數取得方法之一實施例之步驟流程圖。
為能更瞭解本發明之技術內容，特舉較佳具體實施例說明如下。以下請一併參考圖1、圖2A、圖2B、圖3與圖4關於本發明之影像擷取裝置參數取得系統之一實施例之硬體架構示意圖、影像擷取裝置於影像擷取地點擷取之複數連續街景影像及高精地圖系統中該影像擷取地點之圖之地圖資訊。
如圖1、圖2A與圖2B所示，在本實施例中，本發明之影像擷取裝置參數取得系統1包括記憶體10、影像資訊取得模組20、高精地圖圖資取得模組30、比對模組40、計算模組50及優化模組60，其中記憶體10儲存由一影像擷取裝置800於一影像擷取地點900擷取之複數連續街景影像910、910'，其中各連續街景影像910、910'皆包括至少一交通標誌影像911、912、913、911'、912'、913'。在本實施例中，影像擷取裝置800可以相機、行車紀錄器、或其他可用於擷取影像之光學或電子裝置，交通標誌影像911、912、913、911'、912'、913'為矩形路牌標誌之影像，連續影像指的是，影像擷取裝置800沿某一方向持續移動，也可理解成，取景車在車道上持續移動，而車上的影像擷取裝置800於取景車移動過程中持續拍攝街景影像(如圖2A與圖2B)。影像資訊取得模組20訊號連接記憶體10，影像資訊取得模組20取得複數交通標誌影像911、912、913、911'、912'、913'之頂點影像位置，在本實施例中，交通標誌影像911、912、913、911'、912'、913'呈矩形，交通標誌影像911具有四個頂點影像位置911a、911b、911c、911d；交通標誌影像912具有四個頂點影像位置912a、912b、912c、912d；交通標誌影像913具有四個頂點影像位置913a、913b、913c、913d；交通標誌影像911'具有四個頂點影像位置911a'、911b'、911c'、911d'；交通標誌影 像912'具有四個頂點影像位置912a'、912b'、912c'、912d'；交通標誌影像913'具有四個頂點影像位置913a'、913b'、913c'、913d'。在本實施例中，交通標誌影像911、912、913、911'、912'、913'之頂點影像位置(如頂點影像位置911a、912a、913a、911a'、912a'、913a'...)為該些頂點於所屬街景影像910、910'中使用盤格(chess board)或者像素(pixel)位置所標出的該些頂點在各自所屬之影像的影像位置。
如圖1與圖3所示，高精地圖圖資取得模組30訊號連接一高精地圖系統700，以便高精地圖圖資取得模組30從高精地圖系統700中取得影像擷取地點900對應交通標誌影像911、912、913之交通標誌711、712、713之一頂點地圖位置710，其中頂點地圖位置710包括交通標誌711具有四個頂點地圖位置711a、711b、711c、711d、交通標誌712具有四個頂點地圖位置712a、712b、712c、712d、及交通標誌713具有四個頂點地圖位置713a、713b、713c、713d，其中高精地圖系統700所提供之頂點地圖位置710包括各交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置，換句話說，也就是該些頂點在真實世界中的位置。
比對模組40訊號連接影像資訊取得模組20及高精地圖圖資取得模組30，比對模組40比對頂點影像位置911a、911b、911c、911d、12a、912b、912c、912d、913a、913b、913c、913d、911a'、911b'、911c'、911d'、912a'、912b'、912c'、912d'、913a'、913b'、913c'、913d'及頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d以取得影像擷取裝置800之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)。高精地圖系統700之頂點地圖位置(如：711a、711b、711c、...)與交通標誌影像(如：911、912、913、911'、912'、913之頂點影像位置911a、911b、911c、911d、12a、912b、912c、...)間之對應關係為：
Figure 111140936-A0305-02-0009-1
，其中
Figure 111140936-A0305-02-0009-27
、
Figure 111140936-A0305-02-0009-28
為各該交通標誌影像911、912、913、911'、912'、913之四個頂點位置於各該街景影像910、910a之頂點影像位置，如：頂點影像位置911a、911b、911c、911d、...於所屬街景影像910、910'中使用盤格(chess board)所標出的位置；x、y為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置，[h1 h2 h3]為交通標誌影像911之頂點位置與高精地圖系統700之頂點地圖尺度資訊(如：經緯度位置)的轉換關係。
計算模組50訊號連接比對模組40，計算模組50藉由複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)計算影像擷取裝置800之參數，其中複數內部參數
Figure 111140936-A0305-02-0009-2
，複數徑向畸變係數D=[k1 k2 k3 p1 p2]。本實施例之複數內部參數K(intrinsic parameter)及該複數徑向畸變係數D(radial distortion coefficient)由單應性矩陣(homography matrix)計算比對得出，其中內部參數K與h1、h2、h3的關係為：
Figure 111140936-A0305-02-0009-16
、
Figure 111140936-A0305-02-0009-17
Figure 111140936-A0305-02-0009-4
，藉由奇異值分解(SVD decomposition)與前述對應關係，即 可算出內部參數K。畸變係數D之k1、k2、k3係由下列算式取得：
Figure 111140936-A0305-02-0010-23
=x+x[k 1×(x 2+y 2)+k 2×(x 2+y 2)2+k 3×(x 2+y 2)3]、
Figure 111140936-A0305-02-0010-24
=y+y[k 1×(x 2+y 2)+k 2×(x 2+y 2)2+k 3×(x 2+y 2)3]。
Figure 111140936-A0305-02-0010-25
、
Figure 111140936-A0305-02-0010-26
為各該交通標誌影像911、912、913、911'、912'、913之四個頂點位置於各街景影像910、910a之頂點影像位置，x、y為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置。
優化模組60訊號連接計算模組50，優化模組60用來最佳化投影誤差(projection error)並用藉由萊文伯格-馬夸特演算法(Levenberg-Marquardt algorithm)來最小化代價函數
Figure 111140936-A0305-02-0010-6
以算出畸變係數D之p1、p2，其中F為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d於街景影像910或街景影像910'中的投影，其中i為第i張影像，如：i=1代表街景影像910，i=2代表街景影像910'。b ij 為頂點影像位置911a、911b、911c、911d、12a、912b、912c、912d、913a、913b、913c、913d、911a'、911b'、911c'、911d'、912a'、912b'、912c'、912d'、913a'、913b'、913c'、913d'的於各自所屬影像(街景影像910或街景影像910')之畫素點(pixel point)，也就是各頂點於所屬影像中的位置，R i ,t i 為從單應性矩陣擷取之第i張影像街景影像之相機姿態(camera pose)。通常來說，會先給予代價函數
Figure 111140936-A0305-02-0010-8
F(K,D,R i ,t i ,M j )∥2至3個起始值讓代價函數進行運算以找出畸變係數D之p1、p2。至此，複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)可全部計算得出，供建圖或定位使用。由先前段所列算式可知，若影像擷取裝置800連續取得包括相同交通標誌的影像愈多，則所取得之畸變係數D越準確。在本實施例中，影像擷取裝置800之參數亦可包括焦距(focal point)、主點(principle point)、徑向畸變(radial distortion)及切向畸變(tangential distortion)，而當複數連續街景影像910、910'做為利用視覺同時定位與地圖建構技術重建或更新高精地圖時使用之影像時，前述的內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)係用於校正複數連續街景影像910、910'中各項物件的位置。
如圖1所示，本發明之影像擷取裝置參數取得系統1譬如是一台或數台電腦伺服器。需注意的是，上述各個模組除可配置為硬體裝置、軟體程式、韌體或其組合外，亦可藉電路迴路或其他適當型式配置；並且，各個模組除可以單獨之型式配置外，亦可以結合之型式配置。一個較佳實施例是各模組皆為軟體程式儲存於記憶體上，藉由影像擷取裝置參數取得系統1中的一處理器(圖未示)執行各模組以達成本發明之功能。此外，本實施方式僅例示本發明之較佳實施例，為避免贅述，並未詳加記載所有可能的變化組合。然而，本領域之通常知識者應可理解，上述各模組或元件未必皆為必要。且為實施本發明，亦可能包含其他較細節之習知模組或元件。各模組或元件皆可能視需求加以省略或修改，且任兩模組間未必不存在其他模組或元件。
如圖4所示，本發明之影像擷取裝置參數取得方法用於重建或精確高經地圖統，該方法包括步驟S1至步驟S5，以下將詳細說明各步驟。
步驟S1：取得一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各該連續街景影像皆包括至少一交通標誌影像。
在本實施例中，影像擷取裝置800可以相機、行車紀錄器、或其他可用於擷取影像之光學裝置或電子裝置，用於一影像擷取地點900擷取之複數連續街景影像910、910'，其中各連續街景影像910、910'皆包括至少一交通標誌影像911、912、913、911'、912'、913'，且交通標誌影像911、912、913、911'、912'、913'為矩形之路牌標誌。連續影像指的是，影像擷取裝置800沿某一方向持續移動，也可理解成，取景車在車道上持續移動，而車上的影像擷取裝置800於取景車移動過程中持續拍攝街景影像(如圖2A與圖2B)。
步驟S2：取得複數該至少一交通標誌影像之頂點位置資料。
取得各連續街景影像910、910'中複數交通標誌影像911、912、913、911'、912'、913'之頂點影像位置，在本實施例中，交通標誌影像911、912、913、911'、912'、913'呈矩形，故交通標誌影像911具有四個頂點影像位置911a、911b、911c、911d；交通標誌影像912有四個頂點影像位置912a、912b、912c、912d；交通標誌影像913有四個頂點影像位置913a、913b、913c、913d；交通標誌影像911'有四個頂點影像位置911a'、911b'、911c'、911d'；交通標誌影像912'有四個頂點影像位置912a'、912b'、912c'、912d'；交通標誌影像913'有四個頂點影像位置913a'、913b'、913c'、913d'。在本實施例中，交通標誌影像911、912、913、911'、912'、 913'之頂點影像位置(如頂點影像位置911a、912a、913a、911a'、912a'、913a'...)為該些頂點於所屬街景影像910、910'中使用盤格(chess board)或者像素(pixel)位置所標出的該些頂點在各自所屬之影像的影像位置。
步驟S3：從一高精地圖系統中取得該影像擷取地點之該至少一交通標誌之一頂點地圖資訊。
從高精地圖系統700中取得影像擷取地點900對應交通標誌影像911、912、913之交通標誌711、712、713之一頂點地圖位置710，其中頂點地圖位置710包括交通標誌711之頂點地圖位置711a、711b、711c、711d、交通標誌712之頂點地圖位置712a、712b、712c、712d、及交通標誌713之頂點地圖位置713a、713b、713c、713d，其中高精地圖系統700所提供之頂點地圖位置710包括各交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置，換句話說，也就該些頂點在真實世界中的位置。
步驟S4：比對該頂點位置資料及該頂點地圖資訊以取得該影像擷取裝置之複數內部參數K及複數徑向畸變係數D。
比對頂點影像位置911a、911b、911c、911d、12a、912b、912c、912d、913a、913b、913c、913d、911a'、911b'、911c'、911d'、912a'、912b'、912c'、912d'、913a'、913b'、913c'、913d'及頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d以取得影像擷取裝置800之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)。高精地圖系統700之 頂點地圖位置(如：711a、711b、711c、711d、...)與交通標誌影像911、912、913、911'、912'、913之頂點影像位置(如：911a、911b、911c、911d、12a、912b、912c、912d、913a、913b、913c、913d、911a'...)間之對應關係為：
Figure 111140936-A0305-02-0014-9
，其中
Figure 111140936-A0305-02-0014-20
、
Figure 111140936-A0305-02-0014-21
為各該交通標誌影像911、912、913、911'、912'、913之四個頂點位置於各該街景影像910、910a之頂點影像位置，如：頂點影像位置911a、911b、911c、911d、12a、912b、912c、912d、913a...於所屬街景影像910、910'中使用盤格(chess board)所標出的位置；x、y為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置，[h1 h2 h3]為交通標誌影像911之頂點位置與高精地圖系統700之頂點地圖尺度資訊(如：經緯度位置)的轉換關係。
藉由複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)計算影像擷取裝置800之參數，其中複數內部參數
Figure 111140936-A0305-02-0014-10
，複數徑向畸變係數D=[k1 k2 k3 p1 p2]。本實施例之複數內部參數K(intrinsic parameter)及該複數徑向畸變係數D(radial distortion coefficient)由單應性矩陣(homography matrix)計算比對得出，其中內部參數K與h1、h2、h3的關係為：
Figure 111140936-A0305-02-0014-11
、
Figure 111140936-A0305-02-0014-13
，藉由奇異值分解(SVD decomposition)與前述對應關係，即可算出內部參數K。畸變係數D之k1、k2、k3係由下列算式取得：
Figure 111140936-A0305-02-0014-22
=x+x[k 1×(x 2+y 2)+k 2×(x 2+y 2)2+k 3× (x 2+y 2)3]、
Figure 111140936-A0305-02-0015-29
=y+y[k 1×(x 2+y 2)+k 2×(x 2+y 2)2+k 3×(x 2+y 2)3]。
Figure 111140936-A0305-02-0015-18
、
Figure 111140936-A0305-02-0015-31
為各該交通標誌影像911、912、913、911'、912'、913之四個頂點位置於各街景影像910、910a之頂點影像位置，x、y為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d之經緯度位置。
步驟S5：藉由該複數內部參數K及該複數徑向畸變係數D計算該影像擷取裝置之參數。
此步驟為最佳化投影誤差(projection error)並用藉由萊文伯格-馬夸特演算法(Levenberg-Marquardt algorithm)來最小化代價函數
Figure 111140936-A0305-02-0015-14
以算出畸變係數D之p1、p2，其中F為高精地圖系統700中於影像擷取地點900對應交通標誌影像911、912、913、911'、912'、913之交通標誌711、712、713對應之各該頂點地圖位置711a、711b、711c、711d、712a、712b、712c、712d、713a、713b、713c、713d於街景影像910或街景影像910'中的投影，其中i為第i張影像，如：i=1代表街景影像910，i=2代表街景影像910'。b ij 為頂點影像位置911a、911b、911c、911d、12a、912b、912c、912d、913a、913b、913c、913d、911a'、911b'、911c'、911d'、912a'、912b'、912c'、912d'、913a'、913b'、913c'、913d'的於各自所屬影像(街景影像910或街景影像910')之畫素點(pixel point)，也就是各頂點於所屬影像中的位置，R i ,t i 為從單應性矩陣擷取之第i張影像街景影像之相機姿態(camera pose)。通常來說，會先給予代價函數
Figure 111140936-A0305-02-0015-32
2至3個起始值讓代價函數進行運算以找出 畸變係數D之p1、p2。至此，複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)可全部計算得出，供建圖或定位使用。由先前段所列算式可知，若影像擷取裝置800連續取得包括相同交通標誌的影像愈多，則所取得之畸變係數D越準確，此外，根據本發明之另一實施例，若影像擷取裝置800連續取得矩形(如不同交通標誌)的影像(不需要是相同一個交通標誌)越多，則所取得之畸變係數D也會越準確。在本實施例中，影像擷取裝置800之參數亦可包括焦距(focal point)、主點(principle point)、徑向畸變(radial distortion)及切向畸變(tangential distortion)，而當複數連續街景影像910、910'做為利用視覺同時定位與地圖建構技術重建或更新高精地圖時使用之影像時，前述的內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)係用於校正複數連續街景影像910、910'中各項物件的位置。
本案利用矩形之路牌標誌的四邊為直線，且同一個路牌標誌同邊的頂點兩兩間的水平距離或垂直距離相同的特點，利用影像擷取裝置800取得多個複數連續街景影像，可找出路牌標誌與該路牌標誌於真實世界位置的對應關係，也就是相同位置之相同路牌標誌於高經地圖系統中的經緯度位置，藉此找出拍攝該些連續街景影像的影像擷取裝置800的複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)。藉此於取得街景影像後，再由比對影像中矩形之路牌標誌之影像位置與該矩形之路牌標於高精地圖系統中對應之位置可算出取得該街景影像的相機的內部參數，增加了建圖所需街景影像的取得來源，讓由未 知內部參數的相機(如：行車紀錄器)取得之街景影像也可被使用，解決了先前技術中，僅能使用已知取像相機內部參數所取得之街景影像的侷限。
應注意的是，上述諸多實施例僅係為了便於說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。
步驟S1至步驟S5

Claims (10)

  1. 一種影像擷取裝置參數取得方法，包括下列步驟：取得一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各該連續街景影像皆包括至少一交通標誌影像；取得複數該至少一交通標誌影像之頂點影像位置；從一高精地圖系統中取得該影像擷取地點對應該至少一交通標誌影像之該至少一交通標誌之一頂點地圖位置；比對該頂點影像位置及該頂點地圖位置以取得該影像擷取裝置之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)；以及藉由該複數內部參數K及該複數徑向畸變係數D計算該影像擷取裝置之參數。
  2. 如請求項1所述之影像擷取裝置參數取得方法，其中該至少一交通標誌影像呈一矩形，且於該複數連續街景影像中取得該矩形之四個頂點位置於各該街景影像之頂點影像位置。
  3. 如請求項2所述之影像擷取裝置參數取得方法，其中該頂點地圖位置為四個頂點地圖位置，該四個頂點地圖位置分別對應該高精地圖系統中該影像擷取地點，與該至少一交通標誌影像對應之該至少一交通標誌之四個頂點之頂點地圖位置。
  4. 如請求項3所述之影像擷取裝置參數取得方法，其中該複數內部參數K(intrinsic parameter)及該複數徑向畸變係數D(radial distortion coefficient)由單應性矩陣(homography matrix)計算得出。
  5. 如請求項1至請求項4任一項所述之影像擷取裝置參數取得方法，更包括藉由萊文伯格-馬夸特演算法(Levenberg-Marquardt algorithm)優化該影像擷取裝置之參數。
  6. 一種影像擷取裝置參數取得系統，包括：一記憶體，儲存由一影像擷取裝置於一影像擷取地點擷取之複數連續街景影像，其中各該連續街景影像皆包括至少一交通標誌影像；一影像資訊取得模組，訊號連接該記憶體，該影像資訊取得模組取得複數該至少一交通標誌影像之頂點影像位置；一高精地圖圖資取得模組，訊號連接一高精地圖系統，該高精地圖圖資取得模組從一高精地圖系統中取得該影像擷取地點對應該至少一交通標誌影像之該至少一交通標誌之一頂點地圖位置；一比對模組，訊號連接該影像資訊取得模組及該高精地圖圖資取得模組，該比對模組比對該頂點影像位置及該頂點地圖位置以取得該影像擷取裝置之複數內部參數K(intrinsic parameter)及複數徑向畸變係數D(radial distortion coefficient)；以及一計算模組，訊號連接該比對模組，該計算模組藉由該複數內部參數K(intrinsic parameter)及該複數徑向畸變係數D(radial distortion coefficient)計算該影像擷取裝置之參數。
  7. 如請求項6所述之影像擷取裝置參數取得系統，其中該至少一交通標誌影像呈一矩形，且該影像資訊取得模組於該複數連續街景影像中取得該矩形之四個頂點位置於各該街景影像之頂點影像位置。
  8. 如請求項7所述之影像擷取裝置參數取得系統，其中該頂點地圖位置為四個頂點地圖位置，該四個頂點地圖位置分別對應該高精地圖系統中該影像擷取地點，與該至少一交通標誌影像對應之該至少一交通標誌之四個頂點之頂點地圖位置。
  9. 如請求項8所述之影像擷取裝置參數取得系統，其中該複數內部參數K(intrinsic parameter)及該複數徑向畸變係數D(radial distortion coefficient)由比對模組利用單應性矩陣(homography matrix)計算比對得出。
  10. 如請求項6至請求項9任一項所述之影像擷取裝置參數取得系統，更包括一優化模組，訊號連接該計算模組，該優化模組藉由萊文伯格-馬夸特演算法(Levenberg-Marquardt algorithm)優化該影像擷取裝置之參數。
TW111140936A 2022-10-27 2022-10-27 影像擷取裝置參數取得方法及系統 TWI831445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111140936A TWI831445B (zh) 2022-10-27 2022-10-27 影像擷取裝置參數取得方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111140936A TWI831445B (zh) 2022-10-27 2022-10-27 影像擷取裝置參數取得方法及系統

Publications (2)

Publication Number Publication Date
TWI831445B true TWI831445B (zh) 2024-02-01
TW202418219A TW202418219A (zh) 2024-05-01

Family

ID=90824610

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111140936A TWI831445B (zh) 2022-10-27 2022-10-27 影像擷取裝置參數取得方法及系統

Country Status (1)

Country Link
TW (1) TWI831445B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统
TWI705292B (zh) * 2020-02-14 2020-09-21 致伸科技股份有限公司 判斷相機模組之組裝品質的方法
JP2021517680A (ja) * 2018-04-03 2021-07-26 モービルアイ ビジョン テクノロジーズ リミテッド ナビゲーションパラメータを決定するためのシステム及び方法
CN114187339A (zh) * 2021-12-09 2022-03-15 中国科学院自动化研究所 神经导航辅助方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统
JP2021517680A (ja) * 2018-04-03 2021-07-26 モービルアイ ビジョン テクノロジーズ リミテッド ナビゲーションパラメータを決定するためのシステム及び方法
TWI705292B (zh) * 2020-02-14 2020-09-21 致伸科技股份有限公司 判斷相機模組之組裝品質的方法
CN114187339A (zh) * 2021-12-09 2022-03-15 中国科学院自动化研究所 神经导航辅助方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW202418219A (zh) 2024-05-01

Similar Documents

Publication Publication Date Title
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
CN111243033B (zh) 一种优化双目相机外参数的方法
CN103517041B (zh) 基于多相机旋转扫描的实时全景监控方法和装置
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
JP4268206B2 (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
CN103501409B (zh) 一种超高分辨率全景高速球一体机系统
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
EP2923484A1 (en) A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object
JP2008048443A (ja) 魚眼レンズカメラ装置及びその画像抽出方法
CN109255819B (zh) 基于平面镜的Kinect标定方法及装置
CN113259642B (zh) 一种影片视角调节方法及系统
CN112734860A (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN105335977B (zh) 摄像系统及目标对象的定位方法
CN113516719B (zh) 一种基于多单应性矩阵的相机标定方法、系统及存储介质
JP2004228824A (ja) スタックプロジェクション装置及びその調整方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN103500471A (zh) 实现高分辨率增强现实系统的方法
CN117853329A (zh) 一种基于轨道摄像机多视角融合的图像拼接方法及系统
CN110211220A (zh) 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
TWI831445B (zh) 影像擷取裝置參數取得方法及系統
CN107945109B (zh) 基于卷积网络的图像拼接方法及装置
CN114494445A (zh) 一种视频合成方法、装置及电子设备
CN109801339B (zh) 图像处理方法、装置和存储介质
CN115134569B (zh) 图像显示方法和投影仪