[go: up one dir, main page]

TWI702577B - 行車輔助影像產生方法及系統 - Google Patents

行車輔助影像產生方法及系統 Download PDF

Info

Publication number
TWI702577B
TWI702577B TW108124209A TW108124209A TWI702577B TW I702577 B TWI702577 B TW I702577B TW 108124209 A TW108124209 A TW 108124209A TW 108124209 A TW108124209 A TW 108124209A TW I702577 B TWI702577 B TW I702577B
Authority
TW
Taiwan
Prior art keywords
processing module
vehicle
dimensional projection
projection model
driving assistance
Prior art date
Application number
TW108124209A
Other languages
English (en)
Other versions
TW202103118A (zh
Inventor
陳育菘
Original Assignee
中華汽車工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華汽車工業股份有限公司 filed Critical 中華汽車工業股份有限公司
Priority to TW108124209A priority Critical patent/TWI702577B/zh
Application granted granted Critical
Publication of TWI702577B publication Critical patent/TWI702577B/zh
Publication of TW202103118A publication Critical patent/TW202103118A/zh

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一種行車輔助影像產生方法,包含以下步驟:(A)判定障礙物偵測結果是否指示出存在障礙物;(B)當判定障礙物偵測結果中的障礙物距離是否大於距離閥值;(C)當判定出障礙物距離小於等於距離閥值時,選擇第一三維投影模型;(D)當判定出障礙物距離大於該距離閥值時,選擇第二三維投影模型;(E)將周遭影像映射至所選之第一三維投影模型或第二三維投影模型;及(F)根據步驟(E)結果轉換成對應的第一視野行車輔助影像或第二視野行車輔助影像。

Description

行車輔助影像產生方法及系統
本發明是有關於一種影像產生方法,特別是指一種用於車輛的行車輔助影像產生方法。
汽車環景顯示(around-view)系統是先進駕駛輔助系統(ADAS)技術的一種,能夠即時為駕駛者顯示一車輛及其周圍環境的鳥瞰360度全景影像,以確保在停車或其他低速行駛情況下的駕駛安全。現有的汽車環景顯示系統係藉由分別設置於車輛前後及兩側的數個廣角攝影機來獲得該車輛之周遭環境的影像,接著根據固定的三維投影模型透過一逆透視投影轉換來將該等廣角攝影機所獲得之影像轉換為一三維投影模型,之後在透過一虛擬的攝影機以不同視角對該三維投影模型進行一透視投影轉換來獲得不同觀察視角的二維影像。
然而,現有的汽車環景顯示系統所採用之三維投影模型之形狀與尺寸皆是固定的,無法依駕駛情境之改變而動態調整,故在使用上無法提供良好的使用體驗。
因此,本發明的目的,即在提供一種能依駕駛情境之改變而動態調整三維投影模型之函式與參數,以提供較佳之使用體驗的行車輔助影像產生方法及其系統。
於是,本發明行車輔助影像產生方法,適用於一車輛,並藉由一處理模組來實施,該處理模組電連接一拍攝單元,及一障礙物偵測模組,該拍攝單元用於拍攝並傳送該車輛之至少一周遭影像至該處理模組,該障礙物偵測模組用於產生並傳送相關於該車輛所對應之一障礙物的一障礙物偵測結果至該處理模組,該方法包含以下步驟:
(A)該處理模組判定該障礙物偵測結果是否指示出存在該障礙物;
(B)當該處理模組判定出存在該障礙物時,其中該障礙物偵測結果包括該障礙物與該車輛間之一障礙物距離,該處理模組判定該障礙物距離是否大於一距離閥值;
(C)當該處理模組判定出該障礙物距離小於等於該距離閥值時,該處理模組選擇具有一橢圓弧線的一第一三維投影模型;
(D)當該處理模組判定出該障礙物距離大於該距離閥值時,該處理模組選擇具有一圓弧線的一第二三維投影模型;
(E)該處理模組根據所選擇的該第一三維投影模型或該第二三維投影模型,利用一逆透視投影轉換法,將該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型;及
(F) 該處理模組利用一透視投影轉換法將步驟(E)結果轉換成對應的一第一視野行車輔助影像或一第二視野行車輔助影像。
於是,本發明行車輔助影像產生系統,可用於執行上述行車輔助影像產生方法。
本發明的功效在於:藉由該處理模組根據該障礙物與該車輛間之障礙物距離或車速來採用不同的三維投影模型,藉此達成因應駕駛情境之改變而動態調整三維投影模型之函式與參數,而分別對應情境提供不同視野行車影像,進而提供駕駛者較佳之使用體驗。此外,更能根據車輛資訊預測車輛下一行駛位置,提供預判之行車輔助影像。
參閱圖1,本發明行車輔助影像產生系統的實施例,適用於一車輛。該行車輔助影像產生系統包含一拍攝單元11、一障礙物偵測模組12、一感測模組13、一電連接該拍攝單元11的車道線偵測模組14,及一電連接該拍攝單元11、該障礙物偵測模組12、該感測模組13與該車道線偵測模組14的處理模組15。
該拍攝單元11包含四個分別設置於該車輛之一前方保險桿、一後方保險桿、一左後照鏡,與一右後照鏡的拍攝模組(圖未示),每一拍攝模組例如為一魚眼攝影機,該等拍攝模組用於拍攝該車輛四周之環境,以分別產生並傳送四張相關於該車輛之周遭環境的周遭影像至該處理模組15。
該障礙物偵測模組12用於產生並傳送一相關於該車輛所對應之一障礙物的障礙物偵測結果至該處理模組15。其中,該障礙物偵測模組12係利用一習知的障礙物偵測技術來判定是否存在對應於該車輛的該障礙物,當判定出存在該障礙物時,還偵測出該障礙物與該車輛間之一障礙物距離,及該障礙物相對於該車輛之一障礙物方位角,並產生指示出存在該障礙物,且包含該障礙物距離與該障礙物方位角的該障礙物偵測結果;而當判定出不存在該障礙物時,產生指示出不存在該障礙物的該障礙物偵測結果。在本實施方式中,該障礙物偵測模組12包含一雷達偵測器(圖未示),藉由該雷達偵測器來偵測出該障礙物與該車輛間之該障礙物距離,及該障礙物相對於該車輛之該障礙物方位角;然而,在其他實施方式中,該障礙物偵測模組12也可根據該拍攝單元11所拍攝之對應於該車輛之前方環境的周遭影像,來獲得該障礙物與該車輛間之該障礙物距離,及該障礙物相對於該車輛之該障礙物方位角,但不以此為限。
該感測模組13用於感測並傳送相關於該車輛的一車輛資訊至該處理模組15,其中該車輛資訊包含該車輛的一車速、指示出該車輛之多個方向燈是否開啟的一方向燈參數組,及該車輛的一轉角訊號。由於本發明之特徵並不在於熟知此技藝者所已知的該感測模組13如何獲得該車輛資訊之方式,為了簡潔,故在此省略了他們的細節。
該車道線偵測模組14用於根據該拍攝單元11所拍攝之對應於該車輛之前方環境的周遭影像,產生並傳送相關於該車輛所行駛之車道的一車道線偵測結果至該處理模組15。其中,該車道線偵測模組14利用一習知的車道線辨識技術,來判定對應於該車輛之前方環境的周遭影像中是否存在對應於該車道的至少一車道線,當判定出存在該至少一車道線時,產生指示出存在該至少一車道線且包含所辨識出之該至少一車道線的該車道線偵測結果;而當判定出不存在該障礙物時,產生指示出不存在該至少一車道線的該車道線偵測結果。
以下將配合本發明行車輔助影像產生方法之實施例,來說明該行車輔助影像產生系統中各元件的運作細節,本實施例依序包含有一投影模型決定程序及一行車輔助影像產生程序。
參閱圖1與圖2,該行車輔助影像產生系統實施本發明行車輔助影像產生方法之投影模型決定程序與行車輔助影像產生程序,並包含下列步驟。該投影模型決定程序說明了如何因應駕駛情境之不同來選擇不同的三維投影模型,該行車輔助影像產生程序說明了如何獲得不同的視野行車輔助影像。
在步驟201中,該障礙物偵測模組12持續地產生並傳送相關於該車輛所對應之該障礙物的該障礙物偵測結果至該處理模組15。
在步驟202中,該感測模組13持續地產生並傳送相關於該車輛的該車輛資訊至該處理模組15。
在步驟203中,該車道線偵測模組14持續地產生並傳送相關於該車輛所行駛之車道的該車道線偵測結果至該處理模組15。
在步驟204中,該處理模組15判定所接收的該障礙物偵測結果是否指示出存在該障礙物。當該處理模組15判定出該障礙物偵測結果指示出存在該障礙物時,流程進行步驟205;當該處理模組15判定出該障礙物偵測結果指示出不存在該障礙物時,流程進行步驟208。
在步驟205中,該處理模組15判定該障礙物偵測結果中的該障礙物距離是否大於一距離閥值。當該處理模組15判定出該障礙物距離小於等於該距離閥值時,流程進行步驟206;當該處理模組15判定出該障礙物距離大於該距離閥值時,流程進行步驟207。值得一提的是,該距離閥值為該車輛的該車速與一預設時間之乘積,該預設時間可以為抵達一最後煞車點的時間(time to last point to brake),在本實施方式中,該預設時間為2.5秒。該處理模組15係先根據該感測模組13所感測到的該車速與該預設時間獲得該距離閥值後,再判定該障礙物距離是否大於該距離閥值。
在步驟206中,該處理模組15選擇具有一橢圓弧線的一第一三維投影模型(見圖3),該第一三維投影模型在一由一X軸及一Z軸構成之第一平面上的投影如圖4所示,該第一三維投影模型在一由一Y軸及該Z軸構成之第二平面上的投影如圖5所示,該第一三維投影模型在一由該X軸及該Y軸構成之第三平面上的投影如圖6所示。其中,該第一三維投影模型之曲面在該第一平面上投影出之曲線501(見圖4),與在該第二平面上投影出之曲線502 (見圖5)皆為一橢圓弧線。其中,該第一三維投影模型之函式可被表示為以下公式(1)。
Figure 02_image001
…(1)
其中,
Figure 02_image003
為車輛之長度,H為對應於該第一三維投影模型之一虛擬相機701的高度,
Figure 02_image005
Figure 02_image007
Figure 02_image009
為該車輛之寬度,
Figure 02_image011
為一預設距離。在本實施方式中該預設距離
Figure 02_image011
設定為2公尺,然而,
Figure 02_image011
之值可視使用需求而調整,並不以此為限,
Figure 02_image011
之值越大,該第一三維投影模型之曲面在該第一平面上投影出之橢圓弧線,與在該第二平面上投影出之橢圓弧線皆越扁平;
Figure 02_image011
之值越小,該第一三維投影模型之曲面在該第一平面上投影出之橢圓弧線,與在該第二平面上投影出之橢圓弧線皆越接近圓弧線。當
Figure 02_image011
之值設為0時,該第一三維投影模型之曲面在該第一平面上投影出之曲線,與在該第二平面上投影出之曲線即為圓弧線。
在步驟207中,該處理模組15選擇具有一圓弧線的一第二三維投影模型(見圖7),該第二三維投影模型在該第一平面上的投影如圖8所示,該第二三維投影模型在該第二平面上的投影如圖9所示,該第二三維投影模型在該第三平面上的投影如圖10所示。其中,該第二三維投影模型之曲面在該第一平面上投影出之曲線503(見圖8),與在該第二平面上投影出之曲線504 (見圖9)皆為一圓弧線。其中,該第二三維投影模型之函式可被表示為以下公式(2)。
Figure 02_image013
...(2)
其中,H’對應於該第二三維投影模型之一虛擬相機701的高度,
Figure 02_image015
,在本實施方式中,該第一三維投影模型之該虛擬相機701的高度與該第二三維投影模型之該虛擬相機701的高度相同,亦即H’= H。類似地,該第二三維投影模型中的
Figure 02_image011
之值亦可視使用需求而調整,並不以此為限,
Figure 02_image011
之值越大,該第二三維投影模型之曲面在該第一平面上投影出之圓弧線,與在該第二平面上投影出之圓弧線皆越接近直線。當
Figure 02_image011
之值趨近無窮大時,該第二三維投影模型概呈圓柱型。
在步驟208中,該處理模組15判定所接收的該車輛資訊中的該車速是否大於一速度閥值。當該處理模組15判定出該車速不大於該速度閥值時,流程進行步驟209;當該處理模組15判定出該車速大於該速度閥值時,流程進行步驟210。
在步驟209中,該處理模組15選擇該第一三維投影模型(見圖3)。
在步驟210中,該處理模組15選擇該第二三維投影模型(見圖7)。
在步驟211中,該處理模組15根據所選擇的該第一三維投影模型或該第二三維投影模型,利用一逆透視投影轉換法,將該等周遭影像映射至該第一三維投影模型或該第二三維投影模型。
當該障礙物距離小於等於該距離閥值時,選擇該第一三維投影模型之優點在於,根據該第一三維投影模型所獲得的第一視野行車輔助影像(見圖14)具有較大近處可視範圍;當該障礙物距離大於該距離閥值時,選擇該第二三維投影模型之優點在於,根據該第二三為投影模型所獲得的第二視野行車輔助影像(見圖15)具有將遠處物體放大的效果。若不存在該障礙物時,由於基於該第一三維投影模型所獲得的第一視野輔助行車影像具有較大近處可視範圍,故在該車速低時,採用該第一三維投影模型會有較佳的視覺體驗;由於基於該第二三維投影模型所獲得的第二視野行車輔助影像具有將遠處物體放大效果,故在該車速高時,採用該第二三維投影模型會有較佳的視覺體驗。因此,由圖11、圖14及圖15可知,採用該第一三維投影模型(見圖11實線處102)的成像會具有較大近處可視範圍,採用該第二三維投影模型(見圖11虛線處101)的成像會具有將遠處物體放大效果,因而因應不同的障礙物距離切換不同的三維投影模型可提供駕駛者較佳之視覺體驗。
在步驟212中,該處理模組15利用一透視投影轉換法將該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果轉換成對應的一第一視野行車輔助影像或一第二視野行車輔助影像。
以下將配合所附圖示說明該行車輔助影像產生程序之細節,該行車輔助影像產生程序可因應駕駛情境之不同將所產生的三維投影模型投影成視角不同的行車輔助影像,其中,因應於該障礙物偵測結果是否指示出存在該障礙物,該行車輔助影像產生程序可進一步細分為一第一產生流程,與一第二產生流程。
參閱圖1與圖12,當該障礙物偵測結果指示出存在該障礙物時,該行車輔助影像產生系統利用該第一產生流程來獲得不同的視野行車輔助影像,並包含以下步驟。
在步驟301中,該處理模組15根據該障礙物偵測結果的該障礙物距離,與該虛擬相機701(見圖3、圖7)之高度,計算一相關於該虛擬相機701俯向拍攝的第一俯攝角度。
在步驟302中,該處理模組15根據該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、該第一俯攝角度及該障礙物方位角,利用透視投影轉換以轉換出對應之二維的一第一視野行車輔助影像或一第二視野行車輔助影像。
值得一提的是,該透視投影轉換之運算公式如以下公式(3)。
Figure 02_image017
…(3)
其中,(
Figure 02_image019
)為該第一三維投影模型或該第二三維投影模型中待投影至該第一視野行車輔助影像或該第二視野行車輔助影像的點,(u,v)為(
Figure 02_image019
)經投影後的二維點,[R]=
Figure 02_image021
Figure 02_image023
=0,
Figure 02_image025
為該第一俯攝角度,
Figure 02_image027
為該障礙物方位角,[T]=
Figure 02_image029
,(
Figure 02_image031
)為該虛擬相機701的位置,
Figure 02_image033
Figure 02_image035
表示該虛擬相機701在對應二維點(u,v)之U、V軸的焦距,
Figure 02_image037
Figure 02_image039
表示第一視野行車輔助影像或該第二視野行車輔助影像的圖像中心點。
參閱圖1與圖13,當該障礙物偵測結果指示出不存在該障礙物時,該行車輔助影像產生系統利用該第二產生流程來獲得不同的視野行車輔助影像,並包含以下步驟。
在步驟304中,該處理模組15根據該車輛資訊的該方向燈參數組判定該車輛之其中一方向燈是否開啟。當該處理模組15判定出該方向燈被開啟時,流程進行步驟305;當該處理模組15判定出該等方向燈皆未被開啟時,流程進行步驟307。
在步驟305中,該處理模組15根據該方向燈參數組所指示之開啟的該方向燈,計算對應於被開啟之該方向燈的一轉向方位角。
在步驟306中,該處理模組15根據該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、一預設的第二俯攝角度及該轉向方位角,利用該透視投影轉換以轉換出對應之二維的該第一視野行車輔助影像或該第二視野行車輔助影像。其中,該透視投影轉換之運算公式與公式(3)相同,且
Figure 02_image023
=0,
Figure 02_image025
為該第二俯攝角度,
Figure 02_image027
為該轉向方位角。
在步驟307中,該處理模組15判定該車道線偵測結果是否指示出至少一車道線。當該處理模組15判定該車道線偵測結果指示出該至少一車道線時,流程進行步驟308;當該處理模組15判定出該車道線偵測結果不指示出任一車道線時,流程進行步驟314。
在步驟308中,該處理模組15根據該至少一車道線判定該車道是否為一交叉路口。當該處理模組15判定出該車道為該交叉路口時,流程進行步驟309;當該處理模組15判定出該車道非為該交叉路口時,流程進行步驟311。
在步驟309中,該處理模組15根據該車道的該至少一車道線,利用習知的巷弄視角取得方式,計算對應該交叉路口的一巷弄視角(Alley View)。
在步驟310中,該處理模組15根據該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果,與該巷弄視角,利用該透視投影轉換以轉換出對應之二維的該第一視野行車輔助影像或該第二視野行車輔助影像。
在步驟311中,該處理模組15根據該車輛資訊的該車速,與該至少一車道線,預測該車輛的一下一行駛位置。
在步驟312中,該處理模組15根據該下一行駛位置,與該虛擬相機701(見圖3、圖7)的高度,計算一相關於該虛擬相機701俯向拍攝的第三俯攝角度,並根據該下一行駛位置計算該下一行駛位置相對於該車輛之一第一行駛方位角。
在步驟313中,該處理模組15根據該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果,與該第三俯攝角度及該第一行駛方位角,利用該透視投影轉換以轉換出對應之二維的該第一視野行車輔助影像或該第二視野行車輔助影像。其中,該透視投影轉換之運算公式與公式(3)相同,且
Figure 02_image023
=0,
Figure 02_image025
為該第三俯攝角度,
Figure 02_image027
為該第一行駛方位角。
在步驟314中,該處理模組15根據該車速及該轉角訊號,預測該車輛的一下一行駛位置。值得一提的是,本實施方式係利用如,卡爾曼濾波器(Kalman Filter)來追蹤預測該車輛的該下一行駛位置。
在步驟315中,該處理模組15根據該下一行駛位置,與該虛擬相機701的高度,計算一相關於該虛擬相機701俯向拍攝的第四俯攝角度,並根據該下一行駛位置計算該下一行駛位置相對於該車輛之一第二行駛方位角。
在步驟316中,該處理模組15根據該等周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果,與該第四俯攝角度及該第二行駛方位角,利用該透視投影轉換以轉換出對應之二維的該第一視野行車輔助影像或該第二視野行車輔助影像。其中,該透視投影轉換之運算公式與公式(3)相同,且
Figure 02_image023
=0,
Figure 02_image025
為該第四俯攝角度,
Figure 02_image027
為該第二行駛方位角。
本實施方式之行車輔助影像產生程序在產生該行車輔助影像時係依據不同的駕駛情境來決定該虛擬相機701的觀察視角,當存在障礙物時,至少根據該障礙物方位角來轉換出對應之視野行車輔助影像,藉此來提醒該駕駛留意障礙物以免碰撞,當駕駛有轉向之舉動時,至少根據該轉向方位來轉換出對應之視野行車輔助影像,藉此來協助該駕駛注意轉彎時之道路情況。此外,該處理模組15可依該駕駛之行車軌跡或車身訊號,來預測該車輛的下一行駛位置,提前將觀察視角設為該下一行駛位置,以讓該駕駛可預先得知路況,提前因應。然而,在本發明之其他實施方式中,步驟304與307的優先次序可依駕駛之需求進行調整,並不以此為限。
綜上所述,本發明行車輔助影像產生方法,藉由該處理模組15根據該障礙物位置與該車速選擇不同的三維投影模型,使得成像因應駕駛情境之不同更為真實地呈現,此外,藉由該處理模組15因應不同的駕駛情境來決定該虛擬相機701的觀察視角,以產生更符合駕駛情境之行車輔助影像,該處理模組15還可預測該車輛的下一行駛位置,提前將觀察視角設為該下一行駛位置,以讓該駕駛提前得知路況,作出因應,進而提供駕駛者較佳之使用體驗,故確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
11:拍攝單元 12:障礙物偵測模組 13:感測模組 14:車道線偵測模組 15:處理模組 501~502:橢圓弧線 503~504:圓弧線 701:虛擬相機
Figure 02_image041
:車輛之長度
Figure 02_image043
:車輛之寬度 H、H’:虛擬相機的高度
Figure 02_image045
:預設距離 15:處理模組
Figure 02_image047
:橢圓弧線所對應之橢圓的長軸
Figure 02_image049
:橢圓弧線所對應之橢圓的短軸
Figure 02_image051
:圓弧線所對應之圓的半徑 101:第二三維投影模型 102:第一三維投影模型 201~212:步驟 301~302:步驟 304~316:步驟
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中: 圖1是一方塊圖,說明本發明一行車輔助影像產生系統之實施例; 圖2是一流程圖,說明本發明行車輔助影像產生方法之實施例; 圖3是一立體示意圖,說明一第一三維投影模型; 圖4是一前視示意圖,說明該第一三維投影模型在一第一平面之投影; 圖5是一側視示意圖,說明該第一三維投影模型在一第二平面之投影; 圖6是一俯視示意圖,說明該第一三維投影模型在一第三平面之投影; 圖7是一立體示意圖,說明一第二三維投影模型; 圖8是一前視示意圖,說明該第二三維投影模型在該第一平面之投影; 圖9是一側視示意圖,說明該第二三維投影模型在該第二平面之投影; 圖10是一俯視示意圖,說明該第二三維投影模型在該第三平面之投影; 圖11是一示意圖,說明不同障礙物距離與該第一及第二三維投影模型之關係; 圖12是一流程圖,說明本發明行車輔助影像產生方法之實施例的一行車輔助影像產生程序之一第一產生流程; 圖13是一流程圖,說明本發明行車輔助影像產生方法之實施例的該行車輔助影像產生程序之一第二產生流程; 圖14是一實驗示意圖,顯示應用本發明第一三維投影模型後所呈現之第一視野行車輔助影像;及 圖15是一實驗示意圖,顯示應用本發明第二三維投影模型後所呈現之第二視野行車輔助影像。
201~212:步驟

Claims (11)

  1. 一種行車輔助影像產生方法,適用於一車輛,並藉由一處理模組來實施,該處理模組電連接一拍攝單元,及一障礙物偵測模組,該拍攝單元用於產生並傳送相關於該車輛之周遭環境的至少一周遭影像至該處理模組,該障礙物偵測模組用於產生並傳送相關於該車輛所對應之一障礙物的一障礙物偵測結果至該處理模組,該行車輔助影像產生方法包含以下步驟: (A)該處理模組判定該障礙物偵測結果是否指示出存在該障礙物; (B)當該處理模組判定出存在該障礙物時,其中該障礙物偵測結果包括該障礙物與該車輛間之一障礙物距離,該處理模組判定該障礙物距離是否大於一距離閥值; (C)當該處理模組判定出該障礙物距離小於等於該距離閥值時,該處理模組選擇具有一橢圓弧線的一第一三維投影模型; (D)當該處理模組判定出該障礙物距離大於該距離閥值時,該處理模組選擇具有一圓弧線的一第二三維投影模型; (E)該處理模組根據所選擇的該第一三維投影模型或該第二三維投影模型,利用一逆透視投影轉換法,將該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型;及 (F)該處理模組利用一透視投影轉換法將步驟(E)結果轉換成對應的一第一視野行車輔助影像或一第二視野行車輔助影像。
  2. 如請求項1所述的行車輔助影像產生方法,該處理模組還電連接一感測模組,該感測模組用於感測並傳送相關於該車輛的一車輛資訊至該處理模組,其中,在該步驟(B)中,該車輛資訊包括該車輛的一車速,該距離閥值為該車速與一預設時間之乘積。
  3. 如請求項1所述的行車輔助影像產生方法,其中,在該步驟(C)中,該第一三維投影模型之函式表示如下:
    Figure 03_image001
    , 其中,
    Figure 03_image053
    為車輛之長度,H為對應於該第一三維投影模型之一虛擬相機的高度,
    Figure 03_image055
    Figure 03_image057
    Figure 03_image059
    為該車輛之寬度,
    Figure 03_image061
    為一預設距離。
  4. 如請求項1所述的行車輔助影像產生方法,其中,在該步驟(D)中,該第二三維投影模型之函式表示如下:
    Figure 03_image063
    , 其中,
    Figure 03_image053
    為車輛之長度,H為對應於該第二三維投影模型之一虛擬相機的高度,
    Figure 03_image065
    Figure 03_image059
    為該車輛之寬度,
    Figure 03_image061
    為一預設距離。
  5. 如請求項1所述的行車輔助影像產生方法,其中,該步驟(F)包含以下子步驟: (F-1)該處理模組根據該障礙物偵測結果的該障礙物距離,與對應於所選擇之該第一三維投影模型或該第二三維投影模型的一虛擬相機之高度,計算相關於該虛擬相機俯向拍攝的一俯攝角度,其中該障礙物偵測結果還包括該障礙物相對於該車輛之一障礙物方位角;及 (F-2) 該處理模組根據該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、該俯攝角度及該障礙物方位角,獲得對應的該第一視野行車輔助影像或該第二視野行車輔助影像。
  6. 如請求項1所述的行車輔助影像產生方法,該處理模組還電連接一感測模組,該感測模組用於感測並傳送相關於該車輛的一車輛資訊至該處理模組,該行車輔助影像產生方法在步驟(A)之後還包含以下步驟: (G)當該處理模組判定出不存在該障礙物時,其中該車輛資訊包括該車輛的一車速,該處理模組判定該車速是否大於一速度閥值; (H)當該處理模組判定出該車速小於等於該速度閥值時,該處理模組選擇該第一三維投影模型;及 (I)當該處理模組判定出該車速大於該速度閥值時,該處理模組選擇該第二三維投影模型。
  7. 如請求項1所述的行車輔助影像產生方法,該處理模組還電連接一感測模組,該感測模組用於感測並傳送相關於該車輛的一車輛資訊至該處理模組,其中,該步驟(F)包含以下子步驟: (F-1)該車輛資訊包括指示出該車輛之多個方向燈是否開啟的一方向燈參數組,該處理模組根據該方向燈參數組判定該車輛之其中一方向燈是否開啟; (F-2)當該處理模組判定出該方向燈被開啟時,計算對應於該方向燈的一轉向方位角;及 (F-3) 該處理模組根據該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、預設的一俯攝角度及該轉向方位角,獲得對應的該第一視野行車輔助影像或該第二視野行車輔助影像。
  8. 如請求項1所述的行車輔助影像產生方法,該處理模組還電連接一車道線偵測模組,該車道線偵測模組用於產生並傳送相關於該車輛所行駛之一車道的一車道線偵測結果至該處理模組,其中,該步驟(F)包含以下子步驟: (F-1)該處理模組判定該車道線偵測結果是否指示出至少一車道線; (F-2)當該處理模組判定該車道線偵測結果指示出該至少一車道線時,該處理模組根據該至少一車道線判定該車道是否為一交叉路口; (F-3)當步驟(F-2)的判定結果為是時,該處理模組根據該至少一車道線計算對應該交叉路口的一巷弄視角;及 (F-4)該處理模組根據該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果,及該巷弄視角,獲得對應的該第一視野行車輔助影像或該第二視野行車輔助影像。
  9. 如請求項8所述的行車輔助影像產生方法,該處理模組還電連接一感測模組,該感測模組用於感測並傳送相關於該車輛的一車輛資訊至該處理模組,其中,在步驟(F-2)後,還包含以下子步驟: (F-5)當步驟(F-2)的判定結果為否時,該車輛資訊包括該車輛的一車速,該處理模組根據該至少一車道線,及該車速,預測該車輛的一下一行駛位置; (F-6) 該處理模組根據該下一行駛位置,與對應於所選擇之該第一三維投影模型或該第二三維投影模型的一虛擬相機之高度,計算相關於該虛擬相機俯向拍攝的一俯攝角度,並根據該下一行駛位置計算該下一行駛位置相對於該車輛之一行駛方位角;及 (F-7)該處理模組根據該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、該俯攝角度及該行駛方位角,獲得對應的該第一視野行車輔助影像或該第二視野行車輔助影像。
  10. 如請求項8所述的行車輔助影像產生方法,該處理模組還電連接一感測模組,該感測模組用於感測並傳送相關於該車輛的一車輛資訊至該處理模組,其中,在步驟(F-1)後,還包含以下子步驟: (F-8)當該處理模組判定出該車道線偵測結果不指示出任一車道線時,該車輛資訊包括該車輛的一車速,與該車輛的一轉角訊號,該處理模組根據該車速及該轉角訊號,預測該車輛的一下一行駛位置; (F-9) 該處理模組根據該下一行駛位置,與對應於所選擇之該第一三維投影模型或該第二三維投影模型的一虛擬相機之高度,計算相關於該虛擬相機俯向拍攝的一俯攝角度,並根據該下一行駛位置計算該下一行駛位置相對於該車輛之一行駛方位角;及 (F-10)該處理模組根據該至少一周遭影像映射至該第一三維投影模型或該第二三維投影模型之結果、該俯攝角度及該行駛方位角,獲得對應的該第一視野行車輔助影像或該第二視野行車輔助影像。
  11. 一種行車輔助影像產生系統,用於執行如請求項1~10所述之行車輔助影像產生方法。
TW108124209A 2019-07-10 2019-07-10 行車輔助影像產生方法及系統 TWI702577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108124209A TWI702577B (zh) 2019-07-10 2019-07-10 行車輔助影像產生方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108124209A TWI702577B (zh) 2019-07-10 2019-07-10 行車輔助影像產生方法及系統

Publications (2)

Publication Number Publication Date
TWI702577B true TWI702577B (zh) 2020-08-21
TW202103118A TW202103118A (zh) 2021-01-16

Family

ID=73003288

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108124209A TWI702577B (zh) 2019-07-10 2019-07-10 行車輔助影像產生方法及系統

Country Status (1)

Country Link
TW (1) TWI702577B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
JP2012239157A (ja) * 2011-05-10 2012-12-06 Harman Becker Automotive Systems Gmbh 外因パラメータのみのサラウンドビューカメラ自動較正
CN103809876A (zh) * 2012-11-13 2014-05-21 义晶科技股份有限公司 车用影像系统及其影像的显示控制方法
TWM524490U (zh) * 2016-01-20 2016-06-21 Hua Chuang Automobile Information Technical Ct Co Ltd 行車環景輔助裝置
TW201739647A (zh) * 2016-05-05 2017-11-16 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
JP2018139107A (ja) * 2017-01-20 2018-09-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の周辺を表示する方法
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
JP2012239157A (ja) * 2011-05-10 2012-12-06 Harman Becker Automotive Systems Gmbh 外因パラメータのみのサラウンドビューカメラ自動較正
CN103809876A (zh) * 2012-11-13 2014-05-21 义晶科技股份有限公司 车用影像系统及其影像的显示控制方法
TWM524490U (zh) * 2016-01-20 2016-06-21 Hua Chuang Automobile Information Technical Ct Co Ltd 行車環景輔助裝置
TW201739647A (zh) * 2016-05-05 2017-11-16 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
JP2018139107A (ja) * 2017-01-20 2018-09-06 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の周辺を表示する方法
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶系统及方法

Also Published As

Publication number Publication date
TW202103118A (zh) 2021-01-16

Similar Documents

Publication Publication Date Title
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
JP6675448B2 (ja) 車両位置検出方法及び装置
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
CN108496178B (zh) 用于估计未来路径的系统和方法
US9151626B1 (en) Vehicle position estimation system
JP6819681B2 (ja) 撮像制御装置および方法、並びに車両
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
KR100414708B1 (ko) 화상합성장치 및 방법
JP6819680B2 (ja) 撮像制御装置および方法、並びに車両
JP6690559B2 (ja) 車両の制御装置
CN103991448B (zh) 动态车道线检测系统及方法
US20170096106A1 (en) Video synthesis system, video synthesis device, and video synthesis method
WO2020061794A1 (zh) 车辆辅助驾驶装置、车辆以及信息处理方法
CN104802710B (zh) 一种智能汽车倒车辅助系统及辅助方法
WO2010067770A1 (ja) 立体物出現検知装置
JP6981377B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
WO2015156821A1 (en) Vehicle localization system
CN114572113B (zh) 拍摄系统、拍摄装置及驾驶支援装置
WO2022062000A1 (zh) 一种基于透明a柱的辅助驾驶方法
CN108528337A (zh) 一种基于视频投影的内轮差智能预警系统及预警方法
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
CN103673977B (zh) 车辆后方盲区检测的方法和装置
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
TWI702577B (zh) 行車輔助影像產生方法及系統