TWI320756B - - Google Patents

Description

1320756 九、發明說明： 【發明所屬之技術領域】 本發明係一種倒車雷達系統，且特別是一種顯示鳥瞰車輛影 像的倒車雷達系統。 【先前技術】 - a車行駿k ’常因駕驶者不小心、視線死角、或外在環境的 變化造成非預期的事件發生。隨著電子資訊技術的發展，許多研 # 究人員正透過行車電腦的強大運算力結合取像技術研發停車輔助 糸統，冀能事先警示意外的發生，有效地在行車過程中輔助駕之 者。停早減助系統(如常見的倒車雷達系統)多以超音波感測器感測 . 與後方障礙物距離，再以聲響大小或頻率區分障礙物遠近。隨著 - 影像感測器普及化。部分倒車雷達系統更拍攝實際景物影像，供 .駕駛者直覺感受車輛與四周障礙物的空間關係。駕車技巧較生疏 的駕駛者透過此類停車輔助系統輔助駕駛者進行倒車動作，可避 Φ 免擦撞車輛四周障礙物，讓車輛免於碰撞損壞。 然叩，目前提供車輛後方拍攝影像的倒車雷達系統仍存在使 用缺fe。第1A圖」為倒車示意圖，而第1B圖為習知技術之倒 -車雷達糸統拍攝影像示意圖。請合併參照「第1A圖」及「第1B 圖」^例來5兄’駕敬者欲將車輛110停泊在牆壁120前方停車線 、s車麵110開始倒早時’倒車雷運系統拍攝後方景物，並將 拍攝之影像顯示於倒車雷達系統的螢幕。然而車輛110後方的障 礙物140 因為拍攝死角的問題無法顯示於拍攝之影像，例如「第 1Α圖」中的障礙物14〇即無法被顯示於如「第出圖」之影像，

T能與障礙物J40 達系統拍攝多角 、位置之景物影 瓦而讓駕駛者疲 於觀看、造成駕歇者無法專注行車。 【發明内容】 心等5上達系統切換絲之多景物縣造成駕敬者分 '之目的在於提出一種顯示烏蛾車輛影像的倒車 “减，藉由設置在車輛四_魚眼鏡頭減車知周景物， 亚这過=像處理方法將多張扭㈣拍攝影像還原紅常影像，並 組合為早7i烏瞰車姉像而顯示於倒車#達系賴絲 者易於判斷車輛與Gg周障礙物之轉。 一 為^上上之目的，本發明之顯示鳥瞰車輔影像的甸車雷達系 統包括多台魚眼鏡頭、—台行車電腦以及—台螢幕：魚眼鏡頭分 散設置於車輛四周並拍攝錄景物影像；行車電腦讀取這些景物 影像，並執行内建的多個影像處理手段，將這些景物影像合成為 早張鳥瞰車姉像，並於車輛倒車時，將此烏瞰車贿像顯示於 赏幕。其中，前述的影像處理手段包括有： 變形影像校正手段：讀取放射狀扭曲的景物影像’並依據這 些景物影像中心處的多個像素計算景物影像的中心形變率，進而 修正這些景物影像。 平面轉移手段：根據這些魚限鏡頭設置位置設定景物影像的 旋轉量，並依據此旋轉量轉置校正後的景物影像，以產生投影景 物影像。 影像合成手段··依據 位置，取出這些投影景物影景物影像所屬的魚眼鏡頭設置 依照本發明的較佳每h、化任區域而合成為鳥败車细影像。 頭分散設置於車麵，其包^所奴倒車雷達纽，其巾魚眼鏡 依照本發明的較佳實施保險桿=左、右後視鏡。 像校正手段紐以下辣 以倒旱技减，料變形影 ^ I先，讀取放射狀扭曲的景物与# 之伍’依據所拍攝的多張景物影像t心處的多個中心二： 平面=數來計算拍攝的多個景物影像的中心形變率二:用 以這些厅、物影的中心像素為基淮， ^ …、铋， 正這些景物影像中所有像♦的二/収°异之心形變率修 未扭曲之影像。 ^位原組景物影像為正常 其中，平面校正函數^下舰學式表示： P-E=(Q-E)/L(rd5k)； 在此舁式巾，P為校轉景物f彡像的巾心 正後景物f彡像的巾心像素彳 、，Q ^ 的距離—數；—

L(rd，khm, ά 形變常數 依照本發_較佳實施例所述之倒車f達系統，其中平面錄 移手段包括以下轉：首先，讀取修正叙景物錄。接著，: 據魏鏡碩設置位置決定修正後之景物影像的旋轉量。續，J 另外，所述景物影像的形變程度函數可表為： —4 ° " Δ rd ..·+作；其中W及〜為 據此㈣嶋，啦鳩繼影像。另 外，、丁&更包括為拍攝之景物影像設置特徵點，並以此 特徵點絲毕，轉置這些景物影像為投影景物影像。 將 依照本發_較佳實施例所述之解雷達m仲像乂、 成手段綠町倾：首先，爾這錢影景物影像關的魚眼 鏡頭設讀置，取出投影景物影像之信任區域。接著，分析這些 投影景物影像中信㈣域内的多個特触。錄，找出與鄰接: 投影景物影像相似的特徵點。最後，依據這些特徵點的位置 這些投影景物影像貼合為車輛烏瞰圖。 由上所述，本發明之倒車雷達系統利用多個魚眼鏡頭來拍攝 多張實景影像，並將㈣的影像還原為正常影像，之後再將校正 後的景物影像轉置為娜角度之鄕景物縣，並藉甴影像合成 手段，以鄰接兩張投影景物影像中相似的特徵點位置為基準，將 k H?’y ,?、物W像貼合為早柄鳥峨圖’並顯示於倒車雷達系統的 _螢幕上，«敬者易於判斷車柄四周與障礙物的距離關係。 有關本發明之詳細特徵與實作，茲配合圖示在實施方式中詳 細說明如下’其内容足以使任何熟習相關技藝者了解本發明之技 術内容亚據以實施，且根據本說明書所揭露之内容及圖式，任何 熟習相關技藝者可輕易地理解本發明_之目的及優點。 【實施方式】 本發明之目的及其執行方法在下列較佳實施例中詳細說明 之。然而本發明之概念亦可闬於其他範圍。以下列舉之實施例僅 用方；说明本發明之目的與執行方法，並非用以限制其範圍。 丄獨/56 「第2A圖」為本發明較佳實施例之顯示烏瞰車輛影像的倒 車雷達系統的魚眼鏡頭裝設位置及拍攝範圍示意圖，「第2B圖」 為本發明較佳實施例之倒車雷達系統的鳥瞰示意圖。請參照「第 2B圖」，請合併參照「第2A圖」及「第2B圖」，在本實施例中， - 魚眼鏡頭分散設置於車輛，例如，將魚眼鏡頭設置於前保險桿、 - 後保險桿、左後視鏡、及右後視鏡各設置一顆魚眼鏡頭(112、114、 116、118)。利用魚眼鏡頭的廣角特性，拍攝車輛四周的景物影像， # 例如對拍攝區域112a、U4a、116a、118a透過魚眼鏡頭(112、1M、 116、118)進行拍攝。之後’利用拍攝之數張景物影像產生烏瞰車 輛影像，並將此鳥瞰車輛影像顯現於螢幕中。駕駛人於倒車時， ' 透過此鳥瞰車輛影像可快速判斷車輛與四周障礙物距離。所述顯 •不鳥歐車輛影像的倒車雷達系統(以下簡稱為倒車系統）包括多個 魚眼鏡頭(112、rn、n6、n8)、-台行車電腦】1〇a、以及螢幕 no千b。當這些魚眼鏡頭(112、114、116、118)拍攝景物影像後，行 • 車包知110a 5買取這些景物影像，並執行内建的多個影像處理手段 將多張景㈣像合成為單張鳥瞰車姉像m彡像處理手段包 括.¾:形影像校正手段、平面轉移$段以及影像合成手段： 像％C正手段：倒車I統讀取魚輯頭減的放射狀 扭曲之景物影像，並依據這些景物影像中心處的多個像素， 計算景物影像的中心形變率，進而修正這些景物影像。 二、平面轉移手段：根據這些魚眼鏡頭設置位置，設定拍攝的 景物影像的旋轉量，並依據此旋轉量，轉置這些景物影像為 投影景物影像。 9 1320756 三、影像合成手段：依據這些投影景物影像所屬.的魚眼鏡頭設 置位置，取出這些投影景物影像的信任區域，而合成為鳥峨 車輛影像。 在接續段落分段敘述影像處理手段的細部流程。「第3A圖」 為本發明較佳實施例之變形影像校正手段的方法流程圖。請參照 「第3A圖」，變形影像校正手段包括以下步驟：首先，讀取放射 狀扭曲的數張景物影像(步驟S310)。接著，依據這些景物影像中 心處的多個中心像素，套用一個平面校正函數來計算這些景物影 像的中心形變率(步驟S320)。然後，以這些景物影的中心像素為 基準，依據計算之中心形變率，修正這些景物影像中的所有像素 位置，以還原這些景物影像為正常未扭曲的影像(步驟S330)。 「第3B圖」為本發明較佳實施例之顯示烏瞰車輛影像的倒車 雷達系統所拍攝之景物影像。請參照「第3B圖」，魚眼鏡頭所拍 攝之景物影像的特性為中心區域的像素間隔較大，而距離拍攝影 像的中心點越遠，像素間距越小。整體影像觀感就如同由影像中 心點，放射狀的向影像周圍扭曲，中心區域所包含較少像素(影像 資訊亦少）而影像邊緣處所包含的像素較多（包含較多影像資訊）。 在本實施例中，倒車系統載入景物影像後，採用平面校正函數來 計算景物影像的中心變形率。平面校正函數系表為： P-E=(Q-E)/L(rd,k)，其中： P為校正前之中心像素位置；Q為校正後之多個中心像素位 置；E為景物影像中心點；:^為Q到E的距離；k為形變常數； 以及L(rd，k)為景物影像的形變程度函數。在本實施例中，變形程 10

UZU/DO 度函數為·· 及/5· η 係為形變常數。 ，d ，、中^ 此形變程度函數可握 二 .施例中以形變程度函數月^ ^分魚眼鏡頭的變形，在本實 •可物===__設定，其 函數’倒車系統可計算出載人之景物影像校正 的中心像素之距離。 各與/7、物影像 :雷:==='—的倒車 3B圖」及「第3C圖」，不1圖。lf合併參照「第 鏡頭拍攝得到如「 又r寸距線段必ϋ，以魚眼 不等__\ Γ」之影像，影料的該銳段則扭曲為 不等距之曲線二Cf形影像校正手段可產生如同將 .♦效杲。景物:、⑶)投影為等距之直線線段(3、巧、 形的像f舍^十=中所有像素，即是依據前逑原理，將扭曲變 .素的的中心像素之距離，而修正所有像 正後的景物^ 糾未她W」之校 程圖:=圖:t明較纖例之平面轉移手段的方法流 S4io) m π s」’曹凡’ sw取修正後之景物影像(步驟 ，、眼鏡頭設置位置決定修正後的多張景物影像之旋轉 1320756 量(步驟S420);以及根據此旋轉量，轉置這些景物影像以產生複 數張t 物影像設置特 徵點’並以這些特徵點為基準轉置景物影像為投影景物影像。 「第4B圖」為本發明較佳實施例之平面轉移手段原理說明示 意圖。請參照「第4B圖」，魚眼鏡頭所拍攝得的景物影像碰 在校正為不扭曲之正常影像後，尚g轉置影像角度使苴切八於烏 瞰車輛之角度。在本實施财，例如透解㈣触陣(ρι眶 h刪-神hyma㈣將於某一位置之魚眼鏡頭拍攝到的平面景物 影像mb ’ *考_座標I統相對於世界座標之位移量轉置為相 較於地表的景物影像114e，之後再依拍攝該景物影像的魚眼鏡頭 之擺设位置，乘上-轉移轉難為在另—位 物影像I14d。 a urn ^例=’ H3x4切述景物影像之矩障，^為相機内部參 :3X丨及3X3為相機座標系統相對於世界座標(〇w，Xw,Yw,Zw) =立移量《锻（㈣前述根⑽、眼辆設置位置奴之旋轉 體座从1」則分別為景物影像114e在世界座標的立 影像二2維度點座標。所述之投影景物 下： ，，」矩陣，此矩陣之計算關係式其可表如

第4B圖」，相較於地表的景 根據上述計料，請再次參考到 1320756 物影像me中的黑點稱之為黑色特徵點。由於黑色特徵點以地 面為共平面，因此可以下式之平面方程式表示該些黑色特 群之間的關係：

經過上述之數學算式運算後，我們可以得到―個3χ3的矩陣。

之後’將相較☆地表的景物影像冑相機鏡頭拍攝之影像平 面與虛擬的烏瞰鏡頭拍攝之成像相互關連： ur u ν' = V J 1 其中：

M3x3= ^3x3 R 3x3 Κ ώ + Κ '3χ3Τ3χ j [c b cf K 若我們知道—矩陣，則任何時間點拍攝得到的地面影像便i 以轉換為一鳥瞰角度的成像(overhead view imagej。

當取得投影景师像後，解㈣的行車電腦⑽接續執行 ，合成手段’以將位於車輛不同位置所拍攝的景物影‘成: 單-張鳥目敢車輛影像。「第5A圖」為本發明較佳實施例之影像合 成手段的方法流程圖。請參照「第5A圖」，首先，依據這些^ 景物影像所屬之,#、眼鏡頭的設置位置，各自取出投影景物影= 信任區域(步驟S510)。 < 接著，分析投影景物影像中信任區域内的多個特徵 S)20)。然後，找出與鄰接之投影景物影像中相似的特徵二 S530)。最後，㈣舰齡置將投料物影像齡騎輛鳥敬 (步驟 S540)。「望 段所合成之鳥心輛f」為本發明較佳實施例之透過影像合成手 5B圖」，㈣^ 象不意圖。請合併參照，第2B圖」及「第 系統的行轉Γ執彳ui、114、116、118拍攝⑼_透過倒車 產生投影景㈣雜紅手奴平面轉移手段， 龄旦物^ Γ 】14d、n6d、】18d。讀，找出鄰接之 it梗語笙物：，相：的寺徵點’例如拍攝的障礙物、或路面的交 ⑤T g ,界疋出投影景物影像中的選取範圍，並將各個投 =景物影像的選取部分_對舰域，如投影景物影像㈣貼於 函式的早輛左趣塊，以形成鳥瞰車麵影像。舉例來說，投影景 为:像ΙΙ-d具们寸徵點511、512及513且投影景物影像购亦 具^相同，之特徵點511、512及513，則進-步以此特徵點511 ' ^一及山接合投影景物影像與投影景物影像⑽；其他投 『景物影像，如投影景物影像U6d及投影景物影像_，亦透過 相同方式接合’如透過特徵點別、仍接合投影景物影像㈣ 及投影景物影像118d、透過特徵點516、爪接合投影景物影像 U4d及设影景物彩像i16d、以及透過特徵點518、519接合投影 厅、物影像116d及投影景物影像ll8d。之後再將各個投影景物影像 貼入圖式巾的相應部分而形成鳥_車輛影像。#形成鳥嗽車輔影 像後，進一步將此鳥瞰車輛影像顯示於螢幕。藉以讓駕駛者便於 觀祭到早輛與四周物體的距離，避免倒車時車輛碰撞到障礙物或 人員，造成車韩甚或人員之損傷。 雖然本發明以前述之較佳實施例揭露如上，然其並非用以限 疋本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍 14 1320756 内，所為之更動與潤飾，均屬本發明之專利保護範圍，因此本發 明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為 56 〇 【圖式簡單說明】 第1A圖為倒車示意圖。 第1B圖為習知技銜之倒車雷達系統所拍攝的景物影像。 第2A圖為本發明較佳實施例之顯示鳥瞰車輛影像的倒車雷 達系統的魚眼鏡頭裝設位置及拍攝範圍示意圖。 第2B圖為本發明較佳實施例之倒車雷達系統的鳥瞰示意圖。 第3A圖為本發明較佳實施例之變形影像校正手段的方法流 程圖。 第3B圖為本發明較佳實施例之顯示鳥瞰車輛影像的倒車雷 達系統所拍攝之景物影像。 第3C圖為本發明較佳實施例之顯示鳥瞰車輛影像的倒車雷 達系統的變形影像校正手段原理說明示意圖。 第3D圖為第3B圖校正後之景物影像。 第4A圖為本發明較佳實施例之平面轉移手段的方法流程圖。 第4B圖為本發明較佳實施例之平面轉移手段原理說明示意 圖。 第5A圖為本發明較佳實施例之影像合成手段的方法流程圖。 第5B圖為本發明較佳實施例之透過影像合成手段所合成之 鳥敏車輛影像示意圖。 【主要元件符號說明】 15 1320756 110 車輛 110a 行車電腦 110b 螢幕 112、114、116、118 魚眼鏡頭 112a、114a、116a、118a 拍攝區域 112d、114d、116d、118d 投影景物影像 120- 牆壁

130 停車擋板 140 障礙物 AB ' BC ^ CD 曲線線段 ab、be、cd 直線線段 114b 攝得的景物影像 114c 相較於地表的景物影像 114d 投影景物影像 511-519 特徵點

16

Claims (1)

1. '申請專利範圍： 每旦示鳥目敢車輛影像的倒車雷達系統，係用以拍攝車輛四周 車斤、並產生鳥瞰車輛影像而顯示於螢幕’以用於輔助駕駛者倒 員示鳥瞰車輛影像的倒車雷達系統包括： 设數個魚眼鏡頭’分散設置於該車輛四周拍攝景物影像； …―订車電腦，該行車電腦讀取該些景物影像，並執行内建 之<數個影像處理手段將該些景物影像合成為一鳥瞰車輛影 $ ’該些影像處理手段包括： —變形影像校正手段，讀取放射狀扭曲的該些景物影 像’並依據該些景物影像中心處之複數個像素計算中心形 變率’而修正該些景物影像； —平面轉移手段，根據該些魚眼鏡頭設置位置設定一 旋轉量，並依據該旋轉量，轉置該些景物影像為投影景物 影像；以及 衫像合成手段’依據該些投影景物影像所肩之該些 魚目艮鏡頭設置位置，取該些投影景物影像的信任區域而合 成為邊鳥嗽車輛影像，以及 螢幕’當該車輛倒車％ ’顯示該鳥目敢車輛影像於該螢幕。 2·如申請專利範圍第1項所述之倒車雷達系統，其中該些魚眼鏡 碩分散設置於該車輛，其設置位置包括：前保險桿、後保險桿、 左後視鏡、及右後視鏡。 3.如申請專利範圍第1項所述之倒車雷達系統，其中該變形影像 校正手段包括： 1320756 之一旋轉量；以及 根據該旋轉量轉置該些景物影像以產生複數張投影景物 影像。 7. 如申請專利範圍第1項所述之倒車雷達系統，其中該平面轉移 手段更包括設置該些景物影像之'一4¾'徵點’並以該特徵點為基 準轉置該些景物影像為該些投影景物影像。 8. 如申請專利範圍第1項所述之倒車雷達系統，其中轉置該些景 物影像為該些投影景物影像係藉由以下計异式完成. έ cfKi ;其中 為該投影景物影像， K;,3係為相機内部參數矩陣； RL係為相機座標系統相對於世界座標的旋轉量； 1，係為相機座標系統相對於世界座標的位移量；以及 b έ cT係為相較於地表的景物影像中複數個特徵點的關係 矩陣。 9. 如申請專利範圍第1項所述之倒車雷達系統，其中該影像合成 手段包括： 依據該些投影景物影像所屬之該魚眼鏡頭的設置位置，各 自取出該些投影景物影像之一信任區域； 分析該些投影景物影像中該信任區域内的複數個特徵點； 找出與鄰接之該些投影景物影像令相似的該些特徵點；以 及 依據該些特徵點之位置將該些投影景物影像貼合為該車 19 1320756 轴鳥峨圖。 m

   20