TW201103787A - Obstacle determination system and method utilizing bird's-eye images - Google Patents

Description

201103787 六、發明說明： 【發明所屬之技術領域】 本發明係有關障礙物_系統，尤其是—種·於駕驶車㈣所使用 的障礙物偵測系統。 【先前技術】 , 按，攝影機的成本日漸下降，攝影器材現已普遍應用於車輛行車輔助 上，然大多鶴單純被_提供車_圍之影像_助驗者避免事故之 鲁發生。由於駕驶者難關時雜複數個攝影畫面且傳統平面影像應用於 停車辅助時之視覺死角仍大，因此目前«業者w出可透過安置於車身 周圍之複數攝影機，將其所取得的複數影像整合並轉換其㈣而成為一由 車頂俯視的虛擬環場鳥_料統，此係㈣符合人眼視覺且亦能進 一步克服視覺死角之技術手段。 但’-般環場鳥敞系統在轉換平面影像為環場烏峨影像時，因需同時 複合多張影像’因此若於影像重#區域出現具有高度的物體時，則會因為 _景腺縫合之死角而無法顯示此有高度的障礙物於環場影像上，故此，習知 環場影像技術仍有其須改善之處。 有鑑於此’為能夠偵測影像縫合處的障礙物且佐以畫兩警示或聲音警 示提醒辅助駕駛者該處有障礙物，_統技術多使用雷達或超音波裝置來 _障礙物再與攝影影像結合，以毅習知環場烏峨影像技術的缺失。如 專利公開號JP2007041791 (A)之申請專利所揭示，一種顯示鳥瞰影像之系統 及方法，其先以複數個攝影機擷取車輛四周的影像，將其影像縫合成一環 場鳥嗽影像，以影像得知車輛前、後、左、右附近是否存在障礙物，而為 3 201103787 克服在影像縫合處難以顯示具有高度障礙物之問題該專利則以四個超音 波裝置偵測該死角區域轉決之。但是此種方式雖射克服上述問題，但 相對會增加超音波裝置之成本。 再者，習知技射二維烏_場錢多將麵視點設定在車辆上 方，然而，在車柄前進、後退或卿移動時，駕駛者所需要移動方向的影 像區域視野大小亦自㈣’㈣知娜峨用—㈣觸之鳥峨晝 面，難以符合駕駛者需求。 因此’本發賴出-種利用烏瞰影像判斷障礙物系統及方法可有效 解決先前技術之缺點。 【發明内容】 、本發明之主要目的係提出一種利用鳥峨影像判斷障礙物之系統及方 法’其係齡具有重複區域的兩張鳥_像，並比較其重複區域影像之相 關性以判斷具高度之障礙物出現位置。 、本發明之另-目的係提出一種利用鳥瞰影像判斷障礙物之系統及方 、、系乂鳥蛾影像直接判斷障礙物位置，無須增添雷達或超音波其他障礙 物偵測儀器，可降低生產/組裝成本。 本發明之再-目的係提出一種利用鳥峨影像判斷障礙物之系統及方 法’在影像訊號輸人時藉由映射表的使⑽達到快速轉換以節省系統運算 時間。 本發明之又-目的係提出一種利用鳥峨影像判斷障礙物之系統及方 法其藉由車輛行歇狀況來搭配一組對應方向盤角度與虛擬攝影機俯視角 度之映射表’而輸出不同的環場鳥峨影像，以提供不同視覺肖度之鳥瞰影 201103787 像給駕歇者。 本發明之再—目的係提出一種利用鳥蛾影像判斷障礙物之系統及方 、、其結合可變換視角的環場烏峨影像與利用烏瞰影像判斷障礙物技術， 、σ ##或倒車a!：提供更具彈性的障礙物偵測區域以及鳥瞰視野給駕 欲者參考。 為_上述之目的本發_示—麵用鳥_像觸障礙物之系統係 由架叹於車輛上之複數影像擷取^娜影像，並透過影像處理器將該等影 •像轉換為複數個獨立烏蛾影像’再由障礙物計算單元比對計算二相鄰之獨 立烏峨影像的重複區域以獲得重複區域之相關係數，加以判斷該區域是否 有障礙物出現；同時影像處理器結合該複數鳥峨影像為一車輛環場烏嗽影 像’於攝影區域偵測出障礙物時，將障礙物標示於該環場鳥嗽影像上，藉 以提醒駕駛人。 曰 ’此外’本發明亦揭示—種利用鳥瞰影像判斷障礙物之方法，1係先操. 取車身訊號以及車身周圍複數影像，其中相鄰之影像包含一重複區域，並 #根據方向盤轉角訊號挑選出有關空間轉換資訊的映射表，進行環場鳥f 像轉換·，再將該等影像分別轉換為獨立鳥瞰影像；接續，判斷相鄰之= 立鳥嗽影像之重複區域的相關性；根據該相關性大小判斷該重複區域0否 有_轉在；最後，若重《轉辦_時翁此障崎標示= .my ’瞒絲㈣㈣制峨機鳥瞰雜視肖崎變障礙物 底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解 之目的、技術内容、特點及其所達成之功效。 务明 201103787 【實施方式】 本發明主要的技術手段係將不同攝影機所擷取的影像轉換為二獨立鳥 峨影像’再對此二獨立之烏峨影像的重複區域作相關性比對，而比對結果 若其相關性高者則判斷該區域未存纟具高度之障礙物；反之，若相關性低 者則判斷存在具高度之障礙物。以此方法來準確满是否存有障礙物與其 位置與距離。 首先凊參考第1圖，係為本發明之一實施例之系統架構圖在本實施 例中，以六個辦車上的f彡像娜g 1G來娜料關的影像其中每相 鄰的影像嫩器1G所練之影像均存在部份重疊之同一區域影像此區域 影像底下統-縣重舰域，而職1G域荷齡元件(cc顺影 機或互補式金魏化半導體(CMOS)·娥。本實關魏合有車身訊號操 取1§ 12轉得行車狀況，物_含方向盤肖度、車軌號或排播 訊號再域像處理II M接收原始影像以及車身訊賴提供的資料。本實 施例中係主要以方向盤轉角訊號來判斷車輛轉彎情況，因此根據車身的方 向盤轉角訊號，影像處理器14選擇正私適的映射表141進行影像空間轉 換其中映射表⑷在本實施例執行前已先建立有相關攝影機位置以及方 向盤㈣間轉換資訊’同時映射表⑷亦紀錄有扭曲校正、透本 轉換與影像縫σ等資訊，是簡始影像透過映射表即可快速轉換成為多毛 視角之環場_像，像處· 14__人映射表⑷中朋 U擬視角㈣場鳥關，再將其輸出於—顯示器丨6,該顯示器則 顯示該車輛卵之行相輯或料輔助線。 為了進订車身周圍障礙物侧，本發明之影像處理器14除了轉換一智 201103787 體的環場烏關之外，必驗六張原始影像_轉換為獨立鳥卿像進而 獲得六_立鳥瞰影像後並比對其重龍域再判斷二社烏哪像的重複 區域之影像相義，錢作為_障礙物之手段。其巾如果相關性高，表 示重複區縣存在具高度之障礙物；反之，如果_性低，則表示^區 域存在具高度之障礙物。而本實施例將所測得的障礙物顯示其位置於環場 鳥瞰影像上，進-步可域㈣妓μ，崎出警錢號提醒駕驶者= 障礙物。 接續’進-步料制本發明係如何藉由比對二獨立鳥嗽影像之重複 區域以判斷㈣補陳術手段。習知技術係先轉車輛_至少四張原 始影像，再經由影像處理合成後可得—張俯視的環場驗影像，惟在影像 計算處理過程中需將地面視為—平坦平面，亦即只能㈣高度之物體=為 平面物體錢行影像處理ϋ高度之物體在進行鳥瞰影像轉換時將會 發生扭曲現象導致無法獲得有效的環場鳥哪像，此為習知技術之缺點。 而本發卿颜鳥瞰影像發生扭曲的特難，來實施本發明制障礙物之 技術。 本發明係由六個影賴取n 1G來擷取車身觸六個區域的影像，再透 過影像處理S 14轉換為—環場鳥瞰影像22，其中該影像掏取器a係為攝 影機。請參考第2刚，本發明係、由安置於車輛Μ上的第_攝影機與第二 攝影機分賴取車身前、後之A輯與B區域；第三攝影顯第四攝影機 分別擁取車身24左、右之C區域以及D區域，如第2削所示；以及第五 攝影機與第六攝影機分賴取車身24左、右之E區軸及F輯，如2⑹ 圖所示。其中上述每兩個相鄰區域之影像皆具有—重複區域，即如第· 201103787 圖中的斜線區域21卜212、213'214、215、216所示，此亦為障礙物偵測 的區域，而邊些重複區域經過影像處理縫合後的環場影像範圍則為車身24 附近區域22，即如第2(e)圖所示》 接續，影像處理器14將上述a、B、c、D、E ' F六個區域的原始影 像各自轉換為獨立鳥峨景多像後再由障礙物計算單元18分別比對兩張相鄰鳥 蛾影像的重複區域，並判斷其相關性。再以第2⑻圖中的A區域之獨立鳥 嗽影像與與第2_中的E區域之獨立鳥瞰影像為例，此A區域與e區域 會包含如帛2(e)圖所示的相同重複區域犯。請接續參考第3圖，圖中細) 代表A區域之重複區域灰階值，w(s，t)錄E區域之重複區域灰階值，影像 處理器Μ將重複區域切割為九個子區域，計算兩區域的相對子區域灰階值 之相關係數厂’而相關係數之計算公式係為 Σ Σ [八·5, 〇 - /] [w(v) - η γ --- S t_________ {Σ Σ [瓜，)-7]2 Σ Σ h以)-;]2}1/2 — Λ 1 s 1 其中’與冰係為A區域與E區域重複區域影像的平均灰階值。此公式的意 義係叶算兩張鳥蛾影像同個區域的每—單點差異並累積每單點的差異值， 進而獲传賴驗影像的相職數”倘若兩張烏瞰影賴重複區域的影 像為完全㈣為丨；若兩重舰域的影像完蝴目關，其相 關係數則為G。以判斷障礙物相_數之閥值設定為Μ為例，若相關係數 小於該閥值，代表此子區域存在障勝如第3圖中的_8，__ 數7小於〇·5，以此即可判定此區域28有障礙物存在。是以，當重複區域 為平坦表科烏嗽影像不會扭曲失真，而所得的相關係財大於閥值. 則表示重複區域沒有障礙物存在。， 201103787 請接續參閱第4圖，用以朗本發明判斷無障礙物之示賴。如圖所 不，圖中車輛觸未有障礙物存在，車柄42側邊為兩條於地面的車道線％ 以及圖中具有四條鳥瞰影像縫合線η。她觸有無障礙物時，位於車 輛前側的攝__輛42前梅職％，以及右__取車 輛42右规姆像34，再透過處職14 _轉換為獨立之烏嗽影像 38、40’在第4 ϋ中可見前方與右側轉換後的驗影像之重複區域如、· 並經由障礙物計算單元觸此處_影像之重複區域之相·大小，由於 本例之重複區域38卜4G1係為平坦的路面，因此判斷結果為相關性大，則 代表此處無障礙物存在。 而第5圖縣本發明判斷獅礙物之示_，職以車輛Μ前方影像 與側方影像為例，當車輛44右前方出現一圓筒型障礙物#，影像操取器 10掘取之原始影像48、50轉換為二獨立鳥嗎像52、54後，由於此圓筒 型障礙物你具有高度’因此在進行影像轉換為鳥哦影像後，圓筒型障礙物 46形體會扭曲失真’導致兩張鳥峨影像52及54之重複區域52ι、⑷的相 鲁 關性低，對此即可辨別該區域具有障礙物存在。 故經由上述的影像處理過程，本發明可將重複區域設定在駕驶者的視 覺死角處’透過本發明判斷重複區域的結果即可知是否存在障礙物。 另外’本發财可彻重複區域的糊係數變化來判轉礙物位置。 以本發明之上述實施例為例，先分別計算兩張鳥瞰影像之重複區域中九個 子區域的侧雜，假使若有-障礙物位機重複區域巾的部分子區域 裡’其相嶋數會呈現小值；反之，在該重複區域巾障礙物未落入的其他 部份子區域’其相關係數則呈現大值。換言之，在該重複區域中的無障礙 201103787 物之子區域與有障礙物之子區域交界處，其相關係數因為障礙物出現而發 生驟減，進而利用此特性本發明可計算獲得該障礙物離車身最近之距離。 以上為本發明主要特徵技術，針對攝影機的死角以及鳥峨影像轉換後晝面 失真的缺點，本發明比對轉換鳥瞰影像後的相關性，以精確地獲得障礙物 位置。相較於習知技術，本發明更能增強烏瞰影像技術有關障礙物侧的 力效另外為了使鳥峨影像輸出更貼近人性，本發明亦對環場鳥峨影像 的處理方法提出新的改進。 接續針對本發明環場鳥哪像的麟進—步說明，本發明的特徵在於 增添了 -組映射表’在此實施例巾，映射表係在整體祕裝置架設完畢後， 先設定每個攝影機位於車體的空間資訊，並建立每__間隔的方向盤角郎 度10度、15度…)所對應的虛擬視點變換之座標轉換資訊，故映射表記錄 了原始影像的-單位點對應到鳥峨影像的另—單位點的轉換過程。因此， 影像掏取器10齡晰彡斜，會配合當時财峨㈣職_選擇出所 對應的映射表’再縣得影像套人該映射表即可將影像訊號快速處理，其 中本發明鳥__換計算方法侧_嫩標㈣轉、虛擬視點座 標轉換矩陣、透視觀公式錢反魏轉換進行影㈣換，進而獲得一張 二維車輛環場鳥瞰圖。 以下舉-實例說明：當駕駛者控制車麵右轉料，如第6圖所示， 影像處理ϋ接彳《車身6G訊號，將影像透過事前已設定好的映射表轉換， 以提供偏向左後㈣虛擬姻64所呈現車頭右前最遞域的環場鳥嗽影像 範圍62給駕驶者，並對存在於該鳥嗽影像範圍之障礙物％進行_。上 述為本發_-項優點’乃由於車__障礙物並非錢都會對車輛造 201103787 成威脅，而本發明的障礙物計算單元亦不需監控車輛周圍的全部範圍，本 發明可僅針對車輛行_方向而調辦礙物_區域，使障礙物偵測範圍 與方法更為為智慧。 請參照第7圖為本發明之步驟流程圖並同時參考第丨圖。首先，步驟 S1G係為車身訊賴㈣車身織，其巾此車身城.車輛方 向盤轉角訊號；排檔訊號或車速訊號，以及步驟Sl2係由設置在車輛上的 影像榻取裝置10操取車輛四周之六個原始影像，且其中相鄰的影像掏取裂 鲁置10所擷取之影像具有至少一重疊區域；取得影像及車身訊號後如步驟 S14’影像處理器14根據車身訊號選擇所對應之映射表141，其中選出的映 射表對影像進行扭曲校正、透視轉換以及縫合影像以產生一環場鳥峨影 像；獲得該環場鳥敞影像，如步驟820;顯示器16輸出該環場烏败影像〜 如步驟S22;接續，影像處理器14分別將六個原始影像轉換為個別的獨立 鳥瞰影像’如步驟S24 ;根據步驟S26所示，障礙物計算單元W判斷二相 鄰的獨立鳥峨影像其重複區域之相關性，本實施例係先將重複區域切割為 Φ複數個子區域’並什算出子區域之相關係數其中相關係數之公式係為 — Σ Σ 〇 - 7] [Mi, 〇 - w] ^ΣΣΐ/(ί,ο -7ι2ΣΣ η2}ι/2 5 ^ St 其中’加)與_，0分別為二相鄰之該獨立鳥蛾影像之該重複區域之該子區 域灰1¾值7與w系為分別為二相鄰之該獨立鳥嗽影像之該重複區域之該^ 品域平句灰p自值，根據相關係數是否丨、於閥值來判斷障礙物是否存在，其 中相關係數大於閥值，則代表無障礙物出現，相關係數小於閥值’則表示 物存在如步驟S28 ;若有障礙物存在則在該環場鳥瞰影像中標示障 201103787 如步驟S30 ;如無障礙物 礙物位置，並透過警示裝置2〇警報提醒駕驳者 存在’則本流程結束作業。 可見本發微善習知技術在影像縫合處發錢影像死

並分析細部的子_來精销定辑礙物位置，由此，本發明省去安裝超 音波或雷達等其他侧設備，純粹利用影像技術即可測得障礙物最近距 離。除此之外，為了加強驗者行車轉㈣後退時的偵聰圍在影像轉 換技術中，本發明以複數個映射表進行環場鳥嗽影像轉換，其中每一張映 經由上述說明，可見本養 角而無法顯示障礙物之缺點，

虛擬視角會錢行車狀況而變化，且本系統顯轉礙物侧細也因虛擬 視角的變動而改變’係较人性化的行車輔助裝置，因此驗者在使用本

峨影像’因而能夠更安全地駕駛上路。 以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使 熟習此項技藝之人士能_解本發明之内容並據以實施，當不能以之限定 本發明之專職S1 ’即大凡依本發明所揭示之精神所作之均等變化或修 飾’仍應涵蓋在本發明之專利範圍内。 【圖式簡單說明】 第1圖係為本發明一實施例之系統示意圓。 201103787 第2⑷至⑽圖係為本發明影像攝影範園之示意圖。 第3圖係為計算重複區域之相闕係數之示意圖。 第4 _本發簡斷無障礙物的環場烏哪像之示意圖 第5圖係為本發_斷謂崎_場鳥哪像之示意圖 第6圖麵本侧可_虛擬視角之環場鳥哪像示意圖 第7圖係為本發明一實施例之步驟流程圖。 【主要元件符號說明】 12車身訊號擷取器 14ι映射表 10影像擷取器 I4影像處理器 16顯示器 18障礙物計算單元& 20警示裝置 211〜216重複區域 22環場鳥瞰影像 24車身 28相關係數γ小於〇·5的區域 3〇車道線 34,36原始影像 381,401重複區域 46圓筒型障礙物 52,54獨立鳥瞰影像 60車身 64虛擬視角 32鳥峨影像縫合線 38,40獨立鳥瞰影像 42,44車輛 48,50原始影像 521,541重複區域 62環場鳥瞰影像範圍 66障礙物

Claims (1)

1. 201103787 七、申請專利範圍： 1、 一種利用鳥瞰影像判斷障礙物之系統，其包含： 複數個影像擷取器，其係設於一車輛上，該等影像擷取器取得複數個該 車輛周圍之影像； 一影像處理器，係將該等影像分別轉換成複數個獨立鳥瞰影像，其中二 相鄰之該獨立鳥峨影像包含一重複區域；以及 一障礙物計算單元，係比較二相鄰之該獨立鳥瞰影像之該重覆區域之相 關性，由該相關性來判斷是否有障礙物。 2、 如申請專利範圍第1項所述之利用鳥瞰影像判斷障礙物之系統，更包含 車身訊號娜器’其係擷取該車輛之方向盤㈣峨 '車速訊號或排檔 訊號，該影像處理器該車身訊號榻取器所掏取之訊號，轉換該環場鳥峨 影像’該環場鳥《彡像之虛擬視㈣隨著該車輛之方向盤轉角訊號變 = 換。 3、 如申請專利範圍第2項所述之利用鳥_像判斷障礙物之系統，其中該 影像處理器更包含複數個映射表，該映射表係將該影像進行影像扭曲校 正、影像透視轉換以及影像縫合，而轉換為該環場鳥蛾影像。 4、 如申請專利細第2項所述之糊烏陬影像判斷障働之系統，其中該 影像處理器更包含複數個映射表，其係為有關該車輛的方向盤轉角角度 以及該等影像摘取器的位置的空間轉換資訊。 5、 如申請專利1_ 2項所述之輯鴨判斷障礙物之祕，更包括 顯示器，係電性連接該影像處理器， 該顯示器係輸出該環場烏瞰影 像’且將該障礙物的位置顯示於該環場烏峨影像中 201103787 6、 如申請專利範圍第5項所述之利用鳥瞰影像判斷障礙物之系統，其中該 顯示器係顯示該車輛周圍之行車輔助線或停車輔助線。 7、 如申請專利範圍第丨項所述之利用鳥瞰影像判斷障礙物之系統，其中該 障礙物計算單元將二相鄰之該獨立鳥瞰影像之該重複區域分別切割成 複數個子區域，並計算二相鄰之該獨立鳥瞰影像之該重複區域之該子區 域二者之相關餘，⑽相_數欺解賊是否有鱗礙物，進而 獲得該車輛與該障礙物之距離。

   8、 如申請專利範圍第7項所述之利用鳥嗽影像判斷障礙物之系統，其中計 算該相關係數之公式係㈣，〇、] ’ /Μ 與 ,. t 咖，〇分別為二相鄰之該齡鳥像之該+區域灰階值，7與；係為分 別為二相鄰之該獨立烏瞰影像之該子區域平均灰階值。 9、 如申請專利細第7項所述之顧鳥_像判斷障礙物之•，更包含 一警報裝置’其係可為發光二極體 '蜂或你，以警示駕驶 該障礙物》 如申清專利範’丨項所述之利用鳥哪像判斷障礙物系統，其中該 等影像掏取益係為係電荷搞合元件(cc聰影機或互補式金屬氧化 導體(CMOS)攝影機。 種和用鳥嗽影射请障礙物之方法，其步驟包含： 操取-車輔之車身訊號，並選擇所對應之映射表，鋪取該車輛附近之 、個❼像根據該映射表建立一環場烏瞰影像，其中二相鄰之該 像包含一影像重疊區域； 〜 15 201103787 分別將該等影像轉換為複數個獨立烏瞰影像； 判斷相鄰之該獨立鳥瞰影像之該重複區域之相關性； 判斷該重複區域是否有障礙物；以及 若有該障礙物，將該障礙物標示於該環場鳥瞰影像中。 12、 如中請專利範圍第u項所述之利用鳥瞰影像判斷障礙物之方法其中 該環場鳥瞰影像之虛擬視點係根據該方向盤轉角訊號變換。 13、 如申請專利範圍第„項所述之利用鳥嗽影像判斷障礙物之方法，其中 判斷一相鄰之δ亥獨立烏峨影像之該重複區域之該相關性之步驟，更包 含將一相鄰之該獨立鳥瞰影像之該重複區域分別切割成複數個子區 域，並计算二相鄰之該獨立鳥瞰影像之該重複區域之該子區域二者之 相關係數，以該相_數判定該子區域是否有轉礙物，進而獲得該 車輛與該障礙物之距離。 14、 如申請專利範圍第13項所述之利用鳥嗽影像判斷障礙物之方法，其中 計算該相關係數之公式係為r=__ΣΣ[/(^ο-7]Κ5,〇-νν] Λ 1 S f /(〇)與H^，〇分別為二相鄰之該獨立鳥瞰影像之該重複區域之該子區 域灰階值’ 7與W係為分別為二相鄰之該獨立鳥瞰影像之該重複區域之 該子區域平均灰階值》 15如申δ月專利範圍第u項所述之利用鳥眼影像判斷障礙物之方法，其中 該映射表係為根據該車身職與該料細取驗置崎立的空間轉 換資訊。 16、如巾睛專利範圍第u項所述之湘鳥瞰影像判斷障礙物之方法其中 201103787 該車身訊號包含方向盤轉角訊號、排檔訊號或車速訊號。

   17