[go: up one dir, main page]

TW201433482A - 泊車輔助系統及方法 - Google Patents

泊車輔助系統及方法 Download PDF

Info

Publication number
TW201433482A
TW201433482A TW102101016A TW102101016A TW201433482A TW 201433482 A TW201433482 A TW 201433482A TW 102101016 A TW102101016 A TW 102101016A TW 102101016 A TW102101016 A TW 102101016A TW 201433482 A TW201433482 A TW 201433482A
Authority
TW
Taiwan
Prior art keywords
wide
fisheye
image
fpga
cameras
Prior art date
Application number
TW102101016A
Other languages
English (en)
Inventor
Kang-Bin Wang
Original Assignee
Hon Hai Prec Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Prec Ind Co Ltd filed Critical Hon Hai Prec Ind Co Ltd
Publication of TW201433482A publication Critical patent/TW201433482A/zh

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一種泊車輔助系統,包括多個廣角攝像頭及一顯示器,所述多個廣角攝像頭分別安裝於一汽車之前側、後側及左右側,每一廣角攝像頭拍攝之圖像均為魚眼圖,所述泊車輔助系統還包括一與所述多個廣角攝像頭相連之FPGA及一與所述FPGA相連之DSP,所述FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理,所述DSP將魚眼矯正處理後之圖像合併拼接為一幅全景圖像,該全景圖像全方位之顯示所述汽車四周之景象。本發明還揭示一種泊車輔助方法。

Description

泊車輔助系統及方法
本發明涉及一種泊車輔助系統及方法。
目前,市售之泊車輔助產品一般是於汽車尾部設置單個之倒車後視攝像頭,以便於倒車時看到汽車後方之狀況,或藉由幾個攝像頭分幾個圖形畫面顯示車輛周邊之狀況。但此種情況顯示之幾個畫面是獨立需要駕駛員從幾個不同之畫面提取資訊判斷車輛周邊之安全狀況,因此,對於泊車時車輛周邊出現複雜狀況時容易造成安全隱患。
鑒於以上內容,有必要提供一種可將不同圖像拼接為一幅全景圖之泊車輔助系統及方法。
一種泊車輔助系統,包括多個廣角攝像頭及一顯示器,所述多個廣角攝像頭分別安裝於一汽車之前側、後側及左右側,每一廣角攝像頭拍攝之圖像均為魚眼圖,所述泊車輔助系統還包括一與所述多個廣角攝像頭相連之FPGA及一與所述FPGA相連之DSP,所述FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理,所述DSP將魚眼矯正處理後之圖像合併拼接為一幅全景圖像,該全景圖像全方位之顯示所述汽車四周之景象。
一種泊車輔助方法,包括以下步驟:將多個廣角攝像頭安裝於一汽車之前側、後側及左右側;所述多個廣角攝像頭從不同之方位拍取所述汽車四周之之圖像,每一廣角攝像頭拍攝之圖像均為魚眼圖;利用一FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理;利用一DSP將魚眼矯正後之圖像合併拼接為一幅圖像;所述DSP將拼接後之圖像輸出至一顯示器;及所述顯示器顯示拼接後之圖像以顯示所述汽車四周之交通狀態。
相較於習知技術,所述泊車輔助系統及方法利用多個攝像頭攝取車輛周邊不同方位之圖像,並對不同方位之圖像進行拼接處理,方便用戶查看車輛周圍之狀況,有助於提高行車安全度。
11...第一廣角攝像頭
12...第二廣角攝像頭
13...第三廣角攝像頭
14...第四廣角攝像頭
21...第一ADC
22...第二ADC
31...第一filter
32...第二filter
40...FPGA
51...第一SRAM
52...第二SRAM
60...SDRAM
70...DSP
80...數位類比轉換模組
90...顯示器
100...汽車
圖1是本發明泊車輔助系統一較佳實施方式之組成框圖。
圖2是圖1中泊車輔助系統中攝像頭之安裝位置示意圖。
圖3是本發明泊車輔助方法一較佳實施方式之流程圖。
請參閱圖1及圖2,於本發明一較佳實施方式中,一泊車輔助系統包括一第一廣角攝像頭11、一第二廣角攝像頭12、一第三廣角攝像頭13、一第四廣角攝像頭14、一第一ADC(Analog to Digital Converter,類比數位轉換器)21、第二ADC 22、一第一filter(濾波器)31、一第二filter 32、一FPGA(Field-Programmable Gate Array,現場可編程閘陣列)40、一第一SRAM(靜態記憶體)51、一第二SRAM 52、一SDRAM(動態記憶體)60、一DSP(Digital Signal Processor)70、一數位類比轉換模組80及一顯示器90。所述第一SRAM 51、一第二SRAM 52與所述FPGA 40相連,用於擴展所述FPGA 40之靜態存儲空間。所述SDRAM 60與所述FPGA 40及所述DSP 70相連,用於擴展所述FPGA 40及所述DSP 70之動態存儲空間。
於一實施方式中,所述第一ADC 21、第二ADC 22均為TVP5150晶片;所述第一filter 31及第二filter 32均為MDIN221晶片;所述FPGA 40之型號為XC6SLX45;所述DSP 70之型號為TMS320DM643。
於一實施方式中,所述第一廣角攝像頭11、第二廣角攝像頭12、第三廣角攝像頭13、第四廣角攝像頭14可分別安裝於一汽車100前側、後側及左右兩側之後視鏡上(見圖2),每一攝像頭均為170度廣角攝像頭,從而可全方位之攝取所述汽車100四周之圖像。
所述第一廣角攝像頭11及第二廣角攝像頭12與所述第一ADC 21相連,所述第一ADC 21分為兩個區,分別用於接收及處理所述第一廣角攝像頭11及第二廣角攝像頭12輸出之視頻信號。所述第三廣角攝像頭13及第四廣角攝像頭14與所述第二ADC 22相連,所述第二ADC 22分為兩個區,分別用於接收及處理所述第三廣角攝像頭13及第四廣角攝像頭14輸出之視頻信號。所述第一filter 31分兩個區,分別從所述第一ADC 21之兩個區接收來源於所述第一廣角攝像頭11及第二廣角攝像頭12輸出之視頻資料。所述第二filter 32分兩個區,分別從所述第二ADC 22之兩個區接收來源於所述第三廣角攝像頭13及第四廣角攝像頭14輸出之視頻資料。
所述第一廣角攝像頭11、第二廣角攝像頭12、第三廣角攝像頭13、第四廣角攝像頭14攝取之圖像均為魚眼圖,每一幅魚眼圖以一幀類比信號之形式發送至對應之類比數位轉換晶片ADC,每一類比數位轉換晶片ADC將其接收到之一幀類比信號轉換為一幀數位信號並輸出至對應之濾波晶片Filter,每一濾波晶片Filter對其接收到之數位信號進行濾波處理並輸出至所述FPGA 40,所述FPGA 40將接收到之每一幀數位信號存儲至對應之SRAM,然後對2個SRAM中存儲之4幀數位信號進行魚眼矯正處理,將每幅魚眼圖對應之數位信號轉換為平面圖對應之數位信號,從而將魚眼圖轉換為普通之平面圖像。所述FPGA 40對所述4幀數位信號進行魚眼矯正處理後,再將魚眼矯正處理後之4幀圖像輸出至所述DSP 70,所述DSP 70對所述4幀數位信號進行合併處理,使所述4幀數位信號對應之4幅圖融合拼接為一幅全景圖。所述DSP 70將該全景圖對應之一幀數位信號輸出至所述數位類比轉換模組80,所述數位類比轉換模組80將接收到之數位信號轉換為一幀類比信號,並將該幀類比信號輸出至所述顯示器90,所述顯示器90顯示該幀類比信號對應之全景圖,用戶可藉由該全景圖查看車輛四周之狀況。
請參閱圖3,一種利用上述泊車輔助系統之泊車輔助方法包括以下步驟。
S01:所述第一廣角攝像頭11、第二廣角攝像頭12、第三廣角攝像頭13、第四廣角攝像頭14均在其被安裝之位置攝取圖像。
S02:所述第一廣角攝像頭11及第二廣角攝像頭12將其攝取之圖像輸出至所述第一ADC 21;所述第三廣角攝像頭13及第四廣角攝像頭14將其攝取之圖像輸出至所述第二ADC 22。
S03:所述第一ADC 21將從所述第一廣角攝像頭11及第二廣角攝像頭12接收之2幅圖像對應之2幀類比信號輸出至所述第一filter 31;所述第二ADC 22將從所述第一廣角攝像頭11及第二廣角攝像頭12接收之2幅圖像對應之2幀類比信號輸出至所述第二filter 32。
S04:所述第一filter 31及第二filter 32對所述4幀數位信號進行濾波處理。
S05:所述第一filter 31及第二filter 32將濾波處理後之4幀數位信號輸出至所述FPGA 40。
S06:所述FPGA 40將接收到之4幀數位信號分別存儲至對應之SRAM;具體之方式為,將所述第一filter 31輸出之2幀數位信號輸出至SRAM1,將所述第二filter 32輸出之2幀數位信號輸出至SRAM2。
S07:所述FPGA 40對所述4幀數位信號進行魚眼矯正處理;於此步驟中,所述FPGA 40將每一幅魚眼圖之各個圖元點對應之立體座標轉換為平面座標,使魚眼圖之球面被拉伸為平面,從而將魚眼圖轉換為適於觀看之平面圖。
S08:所述FPGA 40將魚眼矯正後之4幀數位信號輸出至所述DSP 70。
S09:所述DSP 70將魚眼矯正處理後之4幀數位信號合併處理為一幅全景圖,該全景圖全方位之顯示使用該泊車輔助系統之車輛四周之景象;於此合併處理圖像之步驟中,所述DSP 70可將各攝像頭攝取之景象之重疊部分進行取平均值之運算,從而避免產生重影之現象。
S10:所述DSP 70將該全景圖對應之一幀數位信號輸出至所述數位類比轉換模組80。
S11:所述數位類比轉換模組80將該幀數位信號轉換為類比信號,並將轉換出之一幀類比信號輸出至所述顯示器90。
S12:所述顯示器90根據接收到之信號顯示相應之圖像。
綜上所述,本發明確已符合發明專利要求,爰依法提出專利申請。惟,以上所述者僅為本發明之較佳實施方式,舉凡熟悉本發明技藝之人士,爰依本發明之精神所作之等效修飾或變化,皆應涵蓋於以下之申請專利範圍內。
11...第一廣角攝像頭
12...第二廣角攝像頭
13...第三廣角攝像頭
14...第四廣角攝像頭
21...第一ADC
22...第二ADC
31...第一filter
32...第二filter
40...FPGA
51...第一SRAM
52...第二SRAM
60...SDRAM
70...DSP
80...數位類比轉換模組
90...顯示器

Claims (10)

  1. 一種泊車輔助系統,包括多個廣角攝像頭及一顯示器,所述多個廣角攝像頭分別安裝於一汽車之前側、後側及左右側,每一廣角攝像頭拍攝之圖像均為魚眼圖,所述泊車輔助系統還包括一與所述多個廣角攝像頭相連之FPGA及一與所述FPGA相連之DSP,所述FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理,所述DSP將魚眼矯正處理後之圖像合併拼接為一幅全景圖像,該全景圖像全方位之顯示所述汽車四周之景象。
  2. 如申請專利範圍第1項所述之泊車輔助系統,其中所述泊車輔助系統還包括一連接於所述多個攝像頭及所述FPGA之間之類比數位轉換模組,所述類比數位轉換模組包括分別與所述多個廣角攝像頭相連之兩個類比數位轉換晶片,以將所述多個攝像頭攝取之圖像對應之類比視頻信號轉換為數位視頻信號。
  3. 如申請專利範圍第2項所述之泊車輔助系統,其中項所述之泊車輔助系統還包括一濾波模組,所述濾波模組包括分別與所述兩個類比數位轉換晶片之輸出端相連之兩個濾波晶片,每一濾波晶片將對應之類比數位轉換晶片輸出之數位視頻信號進行濾波處理後再輸出至所述FPGA。
  4. 如申請專利範圍第3項所述之泊車輔助系統,其中項所述之泊車輔助系統還包括一與所述FPGA相連之兩個靜態記憶體,用於存儲所述兩個濾波晶片輸出之四幀數位視頻信號。
  5. 如申請專利範圍第1項所述之泊車輔助系統,其中所述多個攝像頭均為170度廣角攝像頭。
  6. 一種泊車輔助方法,包括以下步驟:
    將多個廣角攝像頭安裝於一汽車之前側、後側及左右側;
    所述多個廣角攝像頭從不同之方位拍取所述汽車四周之之圖像,每一廣角攝像頭拍攝之圖像均為魚眼圖;
    利用一FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理;
    利用一DSP將魚眼矯正後之圖像合併拼接為一幅圖像;
    所述DSP將拼接後之圖像輸出至一顯示器;及
    所述顯示器顯示拼接後之圖像以顯示所述汽車四周之交通狀態。
  7. 如申請專利範圍第6項所述之泊車輔助方法,其中所述FPGA將所述多個廣角攝像頭拍攝之圖像進行魚眼矯正處理之步驟包括將每一幅魚眼圖之各個圖元點對應之立體座標轉換為平面座標,使魚眼圖之球面被拉伸為平面,從而將魚眼圖轉換為對應之平面圖。
  8. 如申請專利範圍第6項所述之泊車輔助方法,其中所述DSP將魚眼矯正後之圖像合併拼接為一幅圖像之步驟包括將所述多個攝像頭攝取之景象之重疊部分進行取平均值之運算之子步驟。
  9. 如申請專利範圍第6項所述之泊車輔助方法,其中所述泊車輔助方法還包括於將所述魚眼圖轉換為平面圖之步驟之前將所述魚眼圖對應之類比視頻信號轉換為數位視頻信號及對所述數位視頻信號進行濾波處理之步驟。
  10. 如申請專利範圍第9項所述之泊車輔助方法,其中所述泊車輔助方法還包括於將所述魚眼圖轉換為平面圖之步驟之前將所述濾波處理後之每一幀數位視頻信號存儲至一對應之靜態記憶體之步驟。
TW102101016A 2012-12-27 2013-01-11 泊車輔助系統及方法 TW201433482A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210577480.9A CN103895573A (zh) 2012-12-27 2012-12-27 汽车泊车辅助系统及方法

Publications (1)

Publication Number Publication Date
TW201433482A true TW201433482A (zh) 2014-09-01

Family

ID=50987270

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102101016A TW201433482A (zh) 2012-12-27 2013-01-11 泊車輔助系統及方法

Country Status (3)

Country Link
US (1) US20140184737A1 (zh)
CN (1) CN103895573A (zh)
TW (1) TW201433482A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
CN105516624A (zh) * 2015-12-10 2016-04-20 合肥师范学院 一种基于多核dsp的多通道图像采集处理系统
CN105730439B (zh) * 2016-03-15 2018-06-19 北京理工大学 一种机电复合传动履带车辆功率分配方法
TWI613106B (zh) * 2016-05-05 2018-02-01 威盛電子股份有限公司 車輛周圍影像處理方法及裝置
CN106101584A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 一种星载模块化智能成像系统
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
CN107529017A (zh) * 2017-10-12 2017-12-29 长沙全度影像科技有限公司 一种全景相机的多拼接模式的系统及方法
CN110381260A (zh) * 2019-08-26 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于硬件加速的全景图像生成方法及工具

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6638230B2 (en) * 2001-07-31 2003-10-28 Koninklijke Philips Electronics N.V. Apparatus and method of frequency compounding to perform contrast imaging
US7324794B2 (en) * 2004-09-29 2008-01-29 Tzero Technologies, Inc. Phase combining diversity
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
KR20080109905A (ko) * 2006-04-04 2008-12-17 배 시스템즈 인포메이션 앤드 일렉트로닉 시스템즈 인티크레이션, 인크. 군인 보호를 위한 방법 및 장치
US20120242828A1 (en) * 2011-03-24 2012-09-27 Lmk Enterprises, Inc. Method and apparatus for aligning a component with a target

Also Published As

Publication number Publication date
CN103895573A (zh) 2014-07-02
US20140184737A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
TW201425106A (zh) 泊車輔助系統及方法
TW201433482A (zh) 泊車輔助系統及方法
TW201425105A (zh) 泊車輔助系統及方法
JP2022111151A (ja) 撮像装置及び撮像装置の制御方法
US8736680B1 (en) Method and system for split-screen video display
JP2008149764A (ja) 車両周辺監視装置
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
IT201800009792A1 (it) Obstacle detection in vehicle using wide angle camera and radar sensor fusion
US8994825B2 (en) Vehicle rear view camera system and method
CN202038230U (zh) 全景行车辅助监录器
JPWO2020090511A1 (ja) 撮影装置、画像処理方法、及び、プログラム
TWM524490U (zh) 行車環景輔助裝置
CN204367998U (zh) 一种新型电子后视系统
CN104554009A (zh) 双视角倒车摄像方法及系统
JP5519479B2 (ja) 運転支援表示装置
US20200128215A1 (en) Hitch assist backup camera system
JP2023046930A (ja) カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム
JP6815926B2 (ja) 撮像装置、撮像システム、移動体、チップ
WO2020003630A1 (ja) 画像処理装置、画像処理方法、ドライブレコーダー
TWM541406U (zh) 車用影像整合系統
CN105667399A (zh) 一种倒车系统及其实现方法
CN102291573A (zh) 一种工程机械全景作业监视方法及系统
JP4611898B2 (ja) 画像表示システム
TWM448405U (zh) 適用於大客車之全景顯影裝置
KR20050023600A (ko) 자동차용 주변 감지시스템