[go: up one dir, main page]

JP3627914B2 - 車両の周囲監視システム - Google Patents

車両の周囲監視システム Download PDF

Info

Publication number
JP3627914B2
JP3627914B2 JP2000152208A JP2000152208A JP3627914B2 JP 3627914 B2 JP3627914 B2 JP 3627914B2 JP 2000152208 A JP2000152208 A JP 2000152208A JP 2000152208 A JP2000152208 A JP 2000152208A JP 3627914 B2 JP3627914 B2 JP 3627914B2
Authority
JP
Japan
Prior art keywords
image
vehicle
display
monitoring system
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000152208A
Other languages
English (en)
Other versions
JP2001331789A (ja
Inventor
清 熊田
徹 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18657663&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3627914(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000152208A priority Critical patent/JP3627914B2/ja
Priority to US09/846,298 priority patent/US6693518B2/en
Priority to KR10-2001-0028145A priority patent/KR100486012B1/ko
Priority to EP01304561A priority patent/EP1158473B2/en
Priority to DE60104599T priority patent/DE60104599T3/de
Publication of JP2001331789A publication Critical patent/JP2001331789A/ja
Application granted granted Critical
Publication of JP3627914B2 publication Critical patent/JP3627914B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、人や貨物を輸送する自動車や電車等、車両の周囲監視に好適に用いられる車両の周囲監視システムに関する。
【０００２】
【従来の技術】
近年における交通事故の増大は、大きな社会問題となっている。特に、四つ角等ので人の飛び出しや車両同士の出合い頭の衝突、車両同士の追突等による事故が多い。これら四つ角等での事故の原因は、運転者および歩行者共に視界が狭くなり、十分な注意を払っていないために危険の認識が遅れることによると考えられる。よって、車両自体の改良および運転者の注意、道路環境の整備等がさらに強く望まれている。
【０００３】
従来から、道路環境の整備のために、四つ角等の視界が遮られているところにミラーを設置することなどが行われているが、視界が狭く、設置数もまだ十分ではないため、万全とは言えない。また、車両の安全、特に後方確認等を目的として、監視カメラを車両後部に設置し、ケーブルを通じて運転席の横または前方パネル部に設置したモニターに、監視カメラの画像を表示するシステムが、バス等の大型車両や一部の乗用車において普及している。しかし、この場合でも、側方の確認は運転者の視覚によるところが大きく、四つ角等の視界が遮られているところでは危険の認識が遅れることが多かった。さらに、この種のカメラは視界が狭く、一方向に対する障害物の有無や衝突の危険については確認することができるが、広範囲に障害物の有無や衝突の危険について確認するためには、カメラの角度を変化させる等の操作が必要であった。
【０００４】
すなわち、従来の車両周囲監視装置においては、一方向の監視のみを重視しており、車両の周囲３６０゜に対する確認を行うためには、複数台（前後左右計４台以上）のカメラが必要であった。
【０００５】
一方、表示手段については、車室内の前部に位置する運転席から運転者が見やすい位置に設置する必要があり、その位置は非常に限られている。
【０００６】
最近では、ＧＰＳ等を利用して地図上に自分の車両位置を表示する車両位置表示手段（カーナビゲーションシステム）の普及により、画像を表示する表示手段を備えた車両が増えている。しかし、従来の車両位置表示手段と監視カメラのモニターとは別々に設置されており、狭い運転席のスペースをさらに狭くすると共に、操作も繁雑であり、運転者から見やすい位置に設置できていない場合が多かった。
【０００７】
【発明が解決しようとする課題】
車の用途からは当然のことながら、車を利用する際には安全を確認して対応する必要がある状況が多々ある。例えば、前方の確認は言うに及ばず、出発時の周囲の確認、左折や右折時、駐車場や車庫からの入出庫時など、左右後方の確認等が必要である。運転者にとってはこれらの確認が非常に重要であるが、車の構造上、運転席からの死角部分では安全性の確認が難しく、運転者にとっては多大な負担になる。
【０００８】
さらに、従来の車両周囲監視装置を用いて車両の周囲３６０゜に対する確認を行うためには、複数台のカメラを必要とする。そして、運転者がそのときの状況に応じて表示装置にカメラを切り替え、またはカメラの向きを替えて安全を確認する必要があり、運転者に非常に大きな負担をかけることになっていた。
【０００９】
本発明は、このような従来技術の課題を解決するためになされたものであり、車両の周囲を容易に確認して運転者の負担を減らすことができ、安全性を高めることができる車両の周囲監視システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の車両の周囲監視システムは、周囲３６０゜の全方位にわたる視野領域の映像が得られ、該映像に対して中心射影の変換が可能な光学系と、該光学系を通して得られる光学像を第１の画像データに変換する撮像手段とからなる全方位視覚センサーと、該第１の画像データを極座標から直交座標へと座標変換することにより、パノラマ画像および透視画像に変換して第２の画像データを得る画像処理手段と、該第２の
画像データを表示する表示手段と、該第２の画像データを選択および制御する表示制御手段とを備え、 該表示手段は、車両周辺の安全性を高めるべく、該表示制御手段の選択お
よび制御によりパノラマ画像と透視画像を同時に表示すると共に、該第２の画像データの周囲３６０゜の視野領域における前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示する全方位視覚システムを搭載しており、そのことにより上記目的が達成される。
【００１３】
前記表示手段で表示された画像の１つを前記表示制御手段に備わった選択手段で選択し、選択された画像に対して、前記画像処理手段により外部からのキー操作に対応して上下左右への移動および拡大縮小を行い、該表示手段に処理後の画像を表示可能な構成としてもよい。
【００１４】
前記表示手段が、地図画面上に車両の位置を表示する位置表示手段を兼ねており、前記表示制御手段により車両周囲画像と車両位置表示とを切り替え可能な構成としてもよい。
【００１５】
前記車両が自動車であってもよく、電車であってもよい。
【００１６】
前記全方位視覚センサーが自動車のルーフ上に設置されていてもよく、自動車の前後のバンパー上に設置されていてもよい。または、前記全方位視覚センサーが、前方バンパーの左端部および右端部のいずれか一方の上に設置されていると共に、後方バンパーでは該前方バンパーの設置位置と対角位置の端部上に設置されていてもよい。
【００１８】
なお、本明細書において、中心射影の変換が可能であるとは、撮像手段で撮影した画像を光学系の一方の焦点位置を視点とする画像と見なすことができるということを言う。
【００１９】
以下、本発明の作用について説明する。
【００２０】
本発明にあっては、全方位視覚センサーを構成する光学系によって、車両周囲３６０゜の視野領域の映像が得られ、その映像に対して中心射影の変換が可能である。そして、光学系を通して得られる光学像を撮像手段により第１の画像データに変換し、これを画像処理手段によりパノラマ画像や透視画像に変換して、表示手段に表示する。表示画像の選択や画像サイズ等の制御は、表示選択手段により行う。一方向の監視のみを重視した従来の車両監視装置のように、運転者が表示装置に複数のカメラを切り替えたり、カメラの向きを替えたりする必要がなく、容易に周囲の確認を行うことが可能である。
【００２１】
例えば自動車の場合、ルーフ上や前後のバンパー上に全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。或いは、電車等の車両にも有効である。
【００２２】
さらに、表示手段により、パノラマ画像と透視画像を同時に、または切り替えて表示することができる。或いは、前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示することができる。後方視覚については、必要に応じて表示可能である。さらに、表示制御手段で選択された画像に対して、画像処理手段により外部からのキー操作に対応して上下左右への移動（パン・チルト動作）および画像の拡大縮小を行うことが可能である。このように、表示画像、表示方向や画像サイズを任意に選択および制御することができるので、安全確認を容易に行うことが可能である。
【００２３】
さらに、表示手段がＧＰＳ等を利用して地図画面上に車両の位置（自分の車両位置）を表示する位置表示手段を兼ね、表示制御手段により車両の周囲画像と車両の位置表示とを切り替え可能とすることにより、車両位置表示手段と監視カメラのモニターを別々に設置した従来技術のように運転席のスペースが狭くなったり、操作が繁雑になるのを防ぐことができ、表示手段がさらに見やすくなる。
【００２５】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２６】
（実施形態１）
図１（ａ）は本発明の一実施形態である移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１（ｂ）はその側面図である。この図１および以下の図において、１は車両であり、２はフロントバンパーであり、３はリアバンパーであり、４は全方位視覚センサーである。
【００２７】
本実施形態では、車両１のルーフ（天井部）上に全方位視覚センサー４を設置してあり、１つのセンサーにより自身を中心として略水平方向３６０゜の視野が得られる。
【００２８】
図２は本実施形態における移動体周囲監視システムの構成を説明するためのブロック図である。この全方位視覚センサーは、周囲３６０゜の視野領域の映像が得られ、その映像に対して中心射影の変換が可能な光学系４ａと、光学系４ａを通して得られる光学像を画像データに変換する撮像手段４ｂとからなる全方位視覚センサー４を備えている。また、撮像手段４ｂにより得られた画像データをパノラマ画像や透視画像等に変換する画像変換部５ａと、全方位視覚センサー４ａからの画像信号について一定時間の前後の画像を比較することにより車両１周囲の物体を検出すると共に、その物体の画像上の位置の変化量と車両の速度信号から物体との距離および相対速度、移動方向等を検出する画像比較距離検出部５ｂと、出力バッファメモリー５ｃとを含む画像処理手段５を備えている。また、ＧＰＳ等を利用して地図画面上の自分の車両位置を検出する車両位置検出手段９を備え、画像処理手段５からの出力６ａと車両位置検出手段９からの出力６ｂとを切り替えて表示する表示手段５を備えている。さらに、表示される車両周囲画像の選択やサイズ等を制御すると共に、車両周囲画像と車両位置表示とを切り替え制御するための制御信号７ａを表示手段６に出力する表示制御手段７と、他の物体が一定距離範囲内に近づいたときに警報情報を発する警報発生手段８とを備えている。
【００２９】
表示手段６は、運転者が見やすく、また、操作しやすい位置、すなわち、運転席前部ダッシュボード内で運転者の前方視界を妨げず、運転者の手の届く範囲に設置されるのが好ましい。その他の手段（画像処理手段５、表示制御手段７、警報発生手段８、車両位置検出手段９）については、特に設置位置の指定はないが、温度変化および振動の少ない場所が好ましい。例えば、後方貨物室（トランクルーム）の一部またはエンジンルームであればエンジンからできるだけ離れた位置が好ましい。
【００３０】
以下に、各部分について、詳細に説明する。
【００３１】
中心射影の変換が可能な光学系４ａとしては、例えば図３に示すようなものを用いることができる。ここでは、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラー２２を用いて、双曲面ミラー２２の回転軸（Ｚ軸）が撮像手段４に備わった撮像レンズの光軸に一致し、撮像レンズの第１主点が双曲面ミラー２２の片方の焦点位置（焦点位置▲２▼）に配されている。これにより、中心射影の変換（撮像手段４で撮影した画像を双曲面ミラー２２の一方の焦点位置▲１▼を視点とする画像と見なすこと）が可能になる。このような光学系は、例えば特開平６−２９５３３３号公報に詳述されているので、特徴点のみを以下に説明する。
【００３２】
図３において、双曲面ミラー２２とは、双曲線をＺ軸を中心として回転して得られる曲面（２葉双曲面）のうちの一方（Ｚ＞０の領域）の曲面の凸状面に鏡面を形成したものである。この２葉双曲面は、
（Ｘ２＋Ｙ２）／ａ２−Ｚ２／ｂ２＝−１
ｃ２＝（ａ２＋ｂ２）
で表される。なお、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。
【００３３】
この双曲面ミラー２２は２つの焦点▲１▼と▲２▼とを有し、外部から一方の焦点に向かう光は双曲面ミラー２２で反射され、全て他方の焦点に向かうという特徴を有する。従って、双曲面ミラー２２の回転軸と撮像レンズの光軸とを一致させると共に、他方の焦点位置▲２▼に撮像レンズの第１主点を配置することにより、撮像手段４で撮影された画像が、一方の焦点▲１▼を視点中心として視野方向によって視点位置が変わらない画像となる。
【００３４】
撮像手段４はビデオカメラ等であり、図３における双曲面ミラー２２を介して得られる光学像を、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用して画像データに変換する。変換された画像データは、図４に示す画像処理手段５の第１の入力バッファメモリー１１に入力される。なお、撮像手段のレンズは、一般的な球面レンズであっても非球面レンズであってもよく、第一主点が焦点位置▲２▼にあればよい。
【００３５】
画像処理手段５は、図４および図５に示すように、Ａ／Ｄ変換器１０と第１の入力バッファメモリー１１とＣＰＵ１２とルックアップテーブルＬＵＴ１３と画像変換ロジック１４を有する画像変換部５ａを備え、図４および図６に示すように、Ａ／Ｄ変換器１０と第１の入力バッファメモリー１１とＣＰＵ１２とＬＵＴ１３を画像変換部５ａと共用し、画像比較距離変換ロジック１６と第２の入力バッファメモリー１７と遅延回路１８とを有する画像比較距離検出部５ｂを備え、さらに、出力バッファメモリー５ｃを備えており、各々がバスライン４３で接続されている。
【００３６】
画像処理手段５では、撮像手段４ｂにて撮像された画像を入力とし、画像データがアナログ信号の場合には、Ａ／Ｄ変換器１０によりデジタル信号に変換された後で第１の入力バッファメモリー１１に入力されると共に遅延回路１８を介して第２の入力バッファメモリー１７に入力される。また、画像データがデジタル信号の場合には、直接第１の入力バッファメモリー１１に入力されると共に遅延回路１８を介して第２の入力バッファメモリー１７に入力される。
【００３７】
図５に示す画像変換部５ａでは、上記第１の入力バッファメモリー１１からの出力を、画像変換ロジック１４によりＬＵＴ１３を用いてパノラマ画像にしたり、透視画像に変換したり、画像の上下左右への移動や拡大縮小を行ったり、必要に応じてその他の画像処理が施される。そして、画像変換処理後の画像データが図４に示す出力バッファメモリー５ｃに入力される。これらの制御は、ＣＰＵ１２により制御される。このとき、並列演算機能を有するＣＰＵ１２を用いることにより、さらに高速に処理を行うことができる。
【００３８】
次に、上記画像変換ロジック１４による画像変換の原理について、説明する。画像変換としては、３６０゜のパノラマ画像に変換するためのパノラマ画像変換および透視画像に変換するための透視変換がある。また、透視変換には横回転移動（左右移動、いわゆるパン動作）および縦回転移動（上下移動、いわゆるチルト動作）がある。
【００３９】
まず、３６０゜のパノラマ画像変換について、図７を用いて説明する。図７（ａ）の１９は撮像手段４ｂで得られた円形入力画像であり、図７（ｂ）の２０はドーナツ状に切り出して切り開く途中を示し、図７（ｃ）の２１は引き伸ばして直交座標に変換した後のパノラマ画像である。
【００４０】
図７（ａ）に示すように、円形入力画像をその中心を原点とした極座標で表すと、各画素Ｐの座標は（ｒ，θ）で表わされる。図７（ｂ）に示すように、この画像をドーナツ状に切り出して、ＰＯ（ｒｏ，θｏ）を基準に切り開いて引き伸ばし、四角いパノラマ画像に変換する座標変換式は、点Ｐのパノラマ画像上の座標を（ｘ，ｙ）とすると、
ｘ＝θ−θｏ
ｙ＝ｒ−ｒｏ
で表される。図７（ａ）の入力円形画像上の点Ｐの座標を（Ｘ，Ｙ）とし、その中心Ｏの座標を（Ｘｏ，Ｙｏ）とすると、
Ｘ＝Ｘｏ＋ｒ×ｃｏｓθ
Ｙ＝Ｙｏ＋ｒ×ｓｉｎθ
であるので、
Ｘ＝Ｘｏ＋（ｙ＋ｒｏ）×ｃｏｓ（ｘ＋θｏ）
Ｙ＝Ｙｏ＋（ｙ＋ｒｏ）×ｓｉｎ（ｘ＋θｏ）
と表される。
【００４１】
パノラマ画像のパン動作については、基準点ＰＯ（ｒｏ，θｏ）の座標θｏを所定のキー操作に対応して一定角度θだけ増減した点を基準に変換することにより、左右にパンした後のパノラマ画像を入力画像から直接生成することができる。なお、パノラマ画像ではチルト動作を行わない。
【００４２】
次に、透視変換について、図８を用いて説明する。透視変換の座標変換については、空間上の点から、その点が入力画像上のどの位置に対応するかを計算し、その点の画像情報を透視変換後の画像上の対応する座標位置に割り当てる方法を採用する。
【００４３】
図８に示すように、空間上の点の座標をＰ（ｔｘ，ｔｙ，ｔｚ）とし、撮像手段受光部４ｃに形成される円形入力画像上の対応する点の座標をＲ（ｒ，θ）とし、撮像手段４の撮像レンズの焦点距離をＦとし、さらに、ミラー定数を（ａ，ｂ，ｃ）（上記図３のａ、ｂ、ｃと同じ）とし、αを物点から双曲面ミラーの焦点▲１▼へ向かう入射光の焦点から見た入射角（水平面からの上下振れ角）、βを物点から双曲面ミラーの焦点▲１▼へ向かう光が双曲面ミラーで反射され、撮像手段に入射する入射角（但し、光軸からの角度ではなく、光軸に垂直なレンズ平面からの角度）とし、Ｆをレンズ主点と受光素子の距離とし、受光面上の入射点の座標を（ｒ、θ）とすると、
ｒ＝Ｆ×ｔａｎ（（π／２）−β） ・・・（１）
但し、
β＝ａｒｃｔａｎ（（（ｂ２＋ｃ２）×ｓｉｎα−２×ｂ×ｃ）／（ｂ２−ｃ２） ×ｃｏｓα）
α＝ａｒｃｔａｎ（ｔｚ／ｓｑｒｔ（ｔｘ２＋ｔｙ２））
θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ）
となる。
【００４４】
上記式（１）を整理すると、
ｒ＝Ｆ×（（（ｂ２−ｃ２）×ｓｑｒｔ（ｔｘ２＋ｔｙ２））／（（ｂ２＋ｃ２）
×ｔｚ−２×ｂ×ｃ×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２）））
である。さらに、円形画像上の点の座標を直交座標に変換してＰ（Ｘ，Ｙ）とすると、
Ｘ＝ｒ×ｃｏｓθ
Ｙ＝ｒ×ｓｉｎθ
であるので、
Ｘ＝Ｆ×（（（ｂ２−ｃ２）×ｔｘ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２））） ・・・（２）
Ｙ＝Ｆ×（（（ｂ２−ｃ２）×ｔｙ／（（ｂ２＋ｃ２）×ｔｚ−２×ｂ×ｃ
×ｓｑｒｔ（ｔｘ２＋ｔｙ２＋ｔｚ２））） ・・・（３）
となる。
【００４５】
以上の計算により、空間上の点Ｐ（ｔｘ，ｔｙ，ｔｚ）を透視したときの直交座標系への透視変換がなされる。
【００４６】
ここで、双曲面ミラー５４の焦点から距離Ｒ、俯角φ（図８のαと同じ）、Ｚ軸周りの回転角θの空間上に、図８に示すような幅Ｗ、高さｈの画像平面を考える。このとき、平面上の点、例えば左上コーナーの点Ｑの座標（ｔｘｑ，ｔｙｑ，ｔｚｑ）は、
Figure 0003627914
で表される。
【００４７】
よって、上記式（４）、（５）および（６）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。ここで、透視画面サイズをピクセル（画素）単位で幅ｄおよび高さｅとすると、上記式（４）、（５）および（６）においてＷをＷ／ｄステップでＷ〜−Ｗ、ｈをｈ／ｅステップでｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより透視画像が得られる。
【００４８】
次に、透視変換における横回転移動と縦回転移動（パン・チルト動作）について説明する。まず、上述のようにして得られた点Ｐが横回転移動（左右移動）した場合について説明する。横回転移動（Ｚ軸回りの回転）については、移動角度をΔθとすると、移動後の座標（ｔｘ’，ｔｙ’，ｔｚ’）は、
Figure 0003627914
で表される。
【００４９】
よって、横回転移動については、上記式（７）、（８）および（９）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。他の平面上の点についても同様である。よって、上記式（７）、（８）および（９）においてＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより回転画像が得られる。
【００５０】
次に、上述のようにして得られた点Ｐが縦回転移動（上下移動）した場合について説明する。縦回転移動（Ｚ軸方向の回転）については、移動角度をΔφとすると、移動後の座標（ｔｘ”，ｔｙ”，ｔｚ”）は、
Figure 0003627914
で表される。
【００５１】
よって、縦回転移動については、上記式（１０）、（１１）および（１２）を上記式（２）および（３）に代入することにより、入力画像面上の対応する点の座標ＸとＹとを求めることができる。他の平面上の点についても同様である。よって、上記式（１０）、（１１）および（１２）をＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力画像面上の対応する点の画像データを並べることにより回転画像が得られる。
【００５２】
透視画像のズームイン・ズームアウト機能については、上記と同様に所定のキー操作に対応して、上記変換式（４）〜（１２）のＲを一定量ΔＲだけ増減することにより、ズームイン・ズームアウト後の透視画像を入力画像から直接生成することができる。
【００５３】
変換領域を選択する機能については、入力画像からパノラマ画像への変換に際し、変換領域（半径方向）の範囲を所定のキー操作により指定できるようにする。すなわち、変換領域指定モードにおいて、パノラマ画像への変換幅を２つの円で表示し、内側の円を基準点ＰＯ（ｒｏ，θｏ）の座標ｒｏを半径とする円とし、外側の円をパノラマの上側の円として、円形入力画像の最大径をｒｍａｘ、撮像手段自身の画像半径をｒｍｉｎとして、この２つの円の半径をｒｍｉｎとｒｍａｘの間で所定のキー操作により自由に指定できるようにする。透視画面のサイズ（透視変換領域）についても、上記と同様に、透視変換式においてＷとｈを自由に設定できるようにしてもよい。
【００５４】
一方、図６に示す画像比較距離検出部５ｂでは、上記第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータを、画像比較距離検出ロジック１６により比較し、対象物体の角度データと自分の車両の速度情報、および第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータの時間差から、対象物体までの距離が計算される。
【００５５】
以下に、距離検出の原理について、図９を用いて説明する。図９（ａ）の２３は第２の入力バッファメモリー１７に記憶されている任意の時刻ｔｏにおける入力画像を示し、図９（ｂ）の２４は第１の入力バッファメモリー１１に記憶されている任意の時刻ｔｏからｔ秒後の入力画像を示す。
【００５６】
撮像手段４から取り込まれた任意の時刻ｔｏにおける画像情報は第１の入力バッファメモリー１１に入力されると共に、遅延回路１８を介してｔ秒後に第２の入力バッファメモリー１７に入力される。このとき、第１の入力バッファメモリー１１にはｔ秒後の画像情報が入力されるため、第１の入力バッファメモリー１１のデータと第２の入力バッファメモリー１７のデータを比較することにより、任意の時刻ｔｏにおける入力画像と任意の時刻ｔｏからｔ秒後の入力画像の比較が可能になる。図９（ａ）では、物体Ａ、Ｂの任意時刻ｔｏにおける入力画像上での位置がＡ（ｒ１，θ１）、Ｂ（ｒ２，ψ１）であることを示している。また、図９（ｂ）では、物体Ａ、Ｂの任意時刻ｔｏからｔ秒後の入力画像上での位置がＡ（Ｒ１，θ２）、Ｂ（Ｒ２，ψ２）であることを示している。
【００５７】
画像比較距離検出ロジック１６は、図示しない自分の車両の速度計からの速度情報によりｔ秒間に動いた距離が
Ｌ＝ｖ×ｔ
であることから、上記２つの画像情報を用いて三角測量の原理により自分の車両と対象物体との距離を計算することが可能である。例えば、任意時刻ｔｏからｔ秒後のＡとの距離をＬａ、Ｂとの距離をＬｂとすると、
Ｌａ＝Ｌθ１／（π−（θ１＋θ２））
Ｌｂ＝Ｌψ１／（π−（ψ１＋ψ２））
で求められる。
【００５８】
このようにして得られた計算結果が表示手段６に送られ、表示される。さらに、物体が画像面上で一定の範囲内に入ってくると、警報信号がスピーカー等からなる警報発生手段８に送られ、警報発生手段８から警報音が発される。それと共に、警報信号が表示制御手段７にも送られ、表示手段６の画面上で該当物体が表示されている透視画面表示が点滅するなど、警報表示がなされる。なお、画像比較距離検出ロジック１６の出力１６ａは警報発生手段８への警報信号出力であり、１６ｂは表示制御手段７への警報信号出力である。
【００５９】
表示手段６はブラウン管、ＬＣＤやＥＬ等のモニター等であり、画像処理手段５の出力バッファメモリー５ｃからの出力を入力として、画像を表示する。このとき、表示制御手段７の制御によって、上記パノラマ画像と透視画像を同時に表示したり、または切り替えて表示することができる。また、透視画像を表示する場合、少なくとも前方視覚の透視画像と左右視覚の透視画像を同時に表示し、さらに必要に応じて後方視覚の透視画像も表示することができる。さらに、これらの画像の１つを選択して、画像処理手段５により上下左右への移動や拡大縮小を行い、表示手段６に表示することもできる。
【００６０】
さらに、運転席前方パネル上に設置された図示しない切り替えスイッチからの信号により、表示制御手段７によって車両周囲画像と車両位置表示とを切り替え表示することができる。例えば、切り替えスイッチが車両位置表示側にオンになっているときには、ＧＰＳ等の車両位置検出手段９により得られた車両位置情報が表示手段６に表示される。また、切り替えスイッチが車両周囲画像表示側にオンになっているときには、表示制御手段７によって画像処理手段５からの車両周囲画像情報（画像処理手段５の出力バッファメモリー５ｃの出力）が表示手段６に送られ、画像表示される。
【００６１】
表示制御手段７は専用のマイクロコンピューター等であり、表示手段６に表示する画像の種類（例えば画像処理手段５により変換されたパノラマ状の画像や透視変換された画像等）、画像の向きや画像のサイズ等を選択して制御する。
【００６２】
図１０に、表示形態の例を示す。この図において、２５は表示画面であり、２６はすぐ下の第１の透視画像表示部２７を説明するための第１の説明表示部であり、２７は第１の透視画像表示部（ここではデフォルト値は車両正面の透視画像）であり、２８はすぐ下の第２の透視画像表示部２９を説明するための第２の説明表示部であり、２９は第２の透視画像表示部（ここではデフォルト値は車両左正面の透視画像）であり、３０はすぐ下の第３の透視画像表示部３１を説明するための第３の説明表示部であり、３１は第３の透視画像表示部（ここではデフォルト値は車両右正面の透視画像）である。３２はすぐ下のパノラマ画像表示部３３を説明するための第４の説明表示部であり、３３はパノラマ画像表示部（ここでは３６０゜パノラマ画像）である。３４は上下左右移動のための方向キーであり、３５は画像の拡大キーであり、３６は画像の縮小キーである。
【００６３】
ここで、説明表示部２６、２８、３０、３２は各々その下の画像表示部２７、２９、３１、３３のアクティブスイッチになっており、利用者が操作することにより画像表示部２７、２９、３１、３３の上下左右移動および拡大縮小が可能になると共に、表示色が変わって画像表示部２７、２９、３１、３３がアクティブになっていることを示す。画像表示部２７、２９、３１、３３は、方向キー３４、拡大キー３５、縮小キー３６を操作することにより上下左右移動および拡大縮小することができる。但し、パノラマ画像表示部３３については拡大縮小は行われない。
【００６４】
例えば、利用者が説明表示部２６を押すと、その信号が表示制御手段７に送られ、表示制御手段７によって説明表示部２６の表示色がアクティブ状態を示す色に変更されるか、または点滅する。それと共に透視画像表示部２７がアクティブ状態になり、方向キー３４、拡大キー３５、縮小キー３６からの信号に応じて表示制御手段７から画像処理手段５の画像変換部５ａに信号が送られる。そして、各キーに対応して変換された画像が表示手段６に送られ、画面に表示される。
【００６５】
（実施形態２）
図１１（ａ）は実施形態２の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１１（ｂ）はその側面図である。
【００６６】
本実施形態では、車両１のフロントバンパー２の中央部上とリアバンパー３の中央部上に全方位視覚センサー４を設置してあり、各センサーは自身を中心として略水平方向３６０゜の視野を有する。
【００６７】
しかし、フロントバンパー２上の全方位視覚センサー４の視野は、後方視野略１８０゜が車両１にふさがれるため、略側方から前方１８０゜である。また、リアバンパー３上の全方位視覚センサー４の視野は、前方視野略１８０゜が車両１にふさがれるため、略側方から後方１８０゜である。よって、２つの全方位視覚センサー４を合わせて略３６０゜の視野が得られる。
【００６８】
上記実施形態１では車両の天井に設置されているので、１台の全方位視覚センサーで周囲３６０゜のパノラマ画像が得られるが、天井が邪魔をして車両の直ぐそばが死角となる。また、四辻等、左右が死角となっているようなところでは、全方位視覚センサーに左右の辻が映る位置まで車両を突き出す必要がある。これに対して、実施形態２では車両の前後に栗間の全方位視覚センサーを設置するので、四辻等の左右が死角になっているような所での左右視覚を得るための車両の突き出し量が少しでよい。また、天井が邪魔をすることがないので、車両の前後直ぐそばの画像を得ることができる。
【００６９】
（実施形態３）
図１２（ａ）は実施形態３の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１２（ｂ）はその側面図である。
【００７０】
本実施形態では、車両１のフロントバンパー２のコーナー上とリアバンパー３のコーナー上に全方位視覚センサー４を設置してあり、各センサーは自身を中心として略水平方向３６０゜の視野を有する。
【００７１】
しかし、フロントバンパー２上の全方位視覚センサー４の視野は、斜め後方視野略９０゜が車両１にふさがれるため、略２７０゜である。また、リアバンパー３上の全方位視覚センサー４の視野は、斜め前方視野略１８０゜が車両１にふさがれるため、略９０゜である。よって、２つの全方位視覚センサー４を合わせて、運転者の死角となりやすい車両のすぐそばで略３６０゜の視野が得られる。
【００７２】
なお、上記実施形態１〜実施形態３では乗用車を例に示したが、バス等の大型車や貨物用車両についても同様に、本発明を適用可能である。特に、貨物用車両では、貨物室によって運転車の後方視界が遮られることが多いため、本発明が特に有効である。さらに、車両としては、自動車（乗用車の他、バス等の大型車や貨物用自動車も含む）だけではなく、本発明は電車等の車両に搭載しても有効である。
【００７３】
この実施形態３でも、四辻等の左右が死角になっているような所での左右視覚を得るための車両の突き出し量が少しでよく、また、実施形態１のように天井が邪魔をすることがないので、車両の前後左右を含め、直ぐそばの画像を得ることができる。
【００７４】
（実施形態４）
図１３（ａ）は実施形態４の移動体周囲監視システムを備えた車両の構成を示す平面図であり、図１３（ｂ）はその側面図である。この図において、３７は電車の車両である。
【００７５】
本実施形態では、電車の先頭車両と最後部車両において連結部通路上部に移動体周囲監視システムの全方位視覚センサー４を設置してあり、前方１８０゜、後方１８０゜ずつの視野が得られる。
【００７６】
なお、上記実施形態１〜実施形態４では車両を例に示したが、本発明は航空機や船舶等、有人、無人を問わず、本発明は全ての移動体に対して有効である。
【００７７】
上記実施形態では、３６０゜の視野領域の映像が得られ、中心射影の変換が可能な光学系４ａとして図３に示すような光学系を用いたが、本発明はこれに限られず、例えば特開平１１−３３１６５４号公報に記載の光学系等を用いてもよい。
【００７８】
【発明の効果】
以上詳述したように、本発明によれば、例えば車両の上部や端部等に全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。従来の車両監視装置のように運転者が表示装置に複数のカメラを切り替えたり、カメラの向きを替えたりしなくてもよいので、出発時の周囲確認、左折時や右折時、駐車場や車庫からの入出庫時の安全確認等、左右後方確認を行って安全運転を確実に行うことができる。
【００７９】
さらに、任意の表示画像、表示方向や画像サイズを切り替えて表示することができるので、例えば後退時に表示を切り替えること等により、安全確認を容易に行って接触事故等を防ぐことができる。
【００８０】
さらに、車両の周囲画像と位置表示とを切り替えて表示することができるので、従来のように運転席のスペースが狭くなったり、操作が繁雑になることもなく、見やすい表示が得られる。
【図面の簡単な説明】
【図１】（ａ）は本発明の一実施形態である移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図２】実施形態１の移動体周囲監視システムの構成を説明するためのブロック図である。
【図３】実施形態１における光学系の構成例を示す斜視図である。
【図４】実施形態１における画像処理手段の構成例を示すブロック図である。
【図５】実施形態１における画像変換部の構成例を示すブロック図である。
【図６】実施形態１における画像比較距離検出部の構成例を示すブロック図である。
【図７】実施形態１における３６０゜のパノラマ画像変換について説明するための平面図であり、（ａ）は撮像手段で得られた円形入力画像であり、（ｂ）はドーナツ状に切り出して切り開く途中であり、（ｃ）は引き伸ばして直交座標に変換した後のパノラマ画像である。
【図８】実施形態１における透視変換について説明するための斜視図である。
【図９】（ａ）および（ｂ）は実施形態１における距離検出について説明するための模式図である。
【図１０】実施形態１における表示手段の表示形態の例を示す図である。
【図１１】（ａ）は実施形態２の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図１２】（ａ）は実施形態３の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【図１３】（ａ）は実施形態４の移動体周囲監視システムを備えた車両の構成を示す平面図であり、（ｂ）はその側面図である。
【符号の説明】
１ 車両
２ フロントバンパー
３ リアバンパー
４ 全方位視覚センサー
４ａ 光学系
４ｂ 撮像手段
４ｃ 撮像手段受光部
５ 画像処理手段
５ａ 画像変換部
５ｂ 画像比較距離検出部
５ｃ 出力バッファメモリー
６ 表示手段
６ａ 画像処理手段５からの出力
６ｂ 車両位置検出手段からの出力
７ 表示制御手段
７ａ 車両周囲画像と車両位置表示とを切り替え制御するための制御信号
８ 警報発生手段
９ 車両位置検出手段
１０ Ａ／Ｄ変換器
１１ 第１の入力バッファメモリー
１２ ＣＰＵ
１３ ＬＵＴ
１４ 画像変換ロジック
１６ 画像比較距離検出ロジック
１６ａ、１６ｂ 画像比較距離検出ロジックの出力
１７ 第２の入力バッファメモリー
１８ 遅延回路
１９ 円形入力画像
２０ ドーナツ状に切り出し、切り開く途中の状態
２１ 引き伸ばし後のパノラマ画像
２２ 双曲面ミラー
２３ 第２の入力バッファメモリーに記憶されている任意の時刻ｔｏにおける入力画像
２４ 第１の入力バッファメモリー１１に記憶されている任意の時刻ｔｏからｔ秒後の入力画像
２５ 表示画面
２６ 第１の説明表示部
２７ 第１の透視画像表示部
２８ 第２の説明表示部
２９ 第２の透視画像表示部
３０ 第３の説明表示部
３１ 第３の透視画像表示部
３２ 第４の説明表示部
３３ パノラマ画像表示部
３４ 方向キー
３５ 拡大キー
３６ 縮小キー
３７ 電車の車両
４３ バスライン

Claims (8)

  1. 周囲３６０゜の全方位にわたる視野領域の映像が得られ、該映像に対して中心射影の変換が可能な光学系と、該光学系を通して得られる光学像を第１の画像データに変換する撮像手段とからなる全方位視覚センサーと、
    該第１の画像データを極座標から直交座標へと座標変換することにより、パノラマ画像および透視画像に変換して第２の画像データを得る画像処理手段と、
    該第２の画像データを表示する表示手段と、
    該第２の画像データを選択および制御する表示制御手段とを備え、
    該表示手段は、車両周辺の安全性を高めるべく、該表示制御手段の選択および制御によりパノラマ画像と透視画像を同時に表示すると共に、該第２の画像データの周囲３６０゜の視野領域における前方視覚、後方視覚および左右視覚のうち、少なくとも前方視覚の透視画像データと左右視覚の透視画像データを同時に表示する全方位視覚システムを搭載した車両の周囲監視システム。
  2. 前記表示手段で表示された画像の１つを前記表示制御手段に備わった選択手段で選択し、選択された画像に対して、前記画像処理手段により外部からのキー操作に対応して上下左右への移動および拡大縮小を行い、該表示手段に処理後の画像を表示可能である請求項１に記載の車両の周囲監視システム。
  3. 前記表示手段が、地図画面上に車両の位置を表示する位置表示手段を兼ねており、前記表示制御手段により車両周囲画像と車両位置表示とを切り替え可能である請求項１または２に記載の車両の周囲監視システム。
  4. 前記車両が自動車である請求項１乃至請求項３のいずれかに記載の車両の周囲監視システム。
  5. 前記全方位視覚センサーが自動車のルーフ上に設置されている請求項４に記載の車両の周囲監視システム。
  6. 前記全方位視覚センサーが自動車の前後のバンパー上に設置されている請求項４に記載の車両の周囲監視システム。
  7. 前記全方位視覚センサーが、前方バンパーの左端部および右端部のいずれか一方の上に設置されていると共に、後方バンパーでは該前方バンパーの設置位置と対角位置の端部上に設置されている請求項６に記載の車両の周囲監視システム。
  8. 前記車両が電車である請求項１乃至請求項３のいずれかに記載の車両の周囲監視システム。
JP2000152208A 2000-05-23 2000-05-23 車両の周囲監視システム Expired - Fee Related JP3627914B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000152208A JP3627914B2 (ja) 2000-05-23 2000-05-23 車両の周囲監視システム
US09/846,298 US6693518B2 (en) 2000-05-23 2001-05-02 Surround surveillance system for mobile body, and mobile body, car, and train using the same
KR10-2001-0028145A KR100486012B1 (ko) 2000-05-23 2001-05-22 이동체의 주위감시시스템, 및 이를 이용한 이동체,자동차, 및 전차
EP01304561A EP1158473B2 (en) 2000-05-23 2001-05-23 Surround surveillance system for mobile body such as car or train
DE60104599T DE60104599T3 (de) 2000-05-23 2001-05-23 Umgebungs-Überwachungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000152208A JP3627914B2 (ja) 2000-05-23 2000-05-23 車両の周囲監視システム

Publications (2)

Publication Number Publication Date
JP2001331789A JP2001331789A (ja) 2001-11-30
JP3627914B2 true JP3627914B2 (ja) 2005-03-09

Family

ID=18657663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000152208A Expired - Fee Related JP3627914B2 (ja) 2000-05-23 2000-05-23 車両の周囲監視システム

Country Status (5)

Country Link
US (1) US6693518B2 (ja)
EP (1) EP1158473B2 (ja)
JP (1) JP3627914B2 (ja)
KR (1) KR100486012B1 (ja)
DE (1) DE60104599T3 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002326540A (ja) * 2001-04-28 2002-11-12 Setsuo Kuroki 視認カメラ装着車

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US20050140785A1 (en) * 1999-03-16 2005-06-30 Mazzilli Joseph J. 360 degree video camera system
TW468283B (en) 1999-10-12 2001-12-11 Semiconductor Energy Lab EL display device and a method of manufacturing the same
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3773433B2 (ja) 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
WO2006124682A2 (en) 2005-05-16 2006-11-23 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
AU2002251807A1 (en) 2001-01-23 2002-08-19 Donnelly Corporation Improved vehicular lighting system for a mirror assembly
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
JP2002334322A (ja) 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
DE10131196A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP2003054316A (ja) * 2001-08-21 2003-02-26 Tokai Rika Co Ltd 車両用撮像装置、車両用監視装置及びドアミラー
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
DE10253378B4 (de) * 2001-11-16 2010-07-01 AutoNetworks Technologies, Ltd., Nagoya Visuelles Fahrzeugumgebungs-Erkennungssystem, Kamera und Fahrzeugumgebungs-Überwachungsvorrichtung sowie Fahrzeugumgebungs-Überwachungssystem
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
EP1961614A3 (en) * 2001-12-03 2009-01-14 Joseph J. Mazzilli 360 degree automobile video camera system
JP3979522B2 (ja) * 2002-02-21 2007-09-19 シャープ株式会社 カメラ装置及び監視システム
JP2003269969A (ja) * 2002-03-13 2003-09-25 Sony Corp ナビゲーション装置、地点情報の表示方法およびプログラム
US7145519B2 (en) 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
EP1359553B1 (en) 2002-05-02 2012-10-10 Sony Corporation Monitoring system, monitoring method, computer program and storage medium
DE60320169T2 (de) * 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
JP3925299B2 (ja) 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
US20040001091A1 (en) * 2002-05-23 2004-01-01 International Business Machines Corporation Method and apparatus for video conferencing system with 360 degree view
AU2003237424A1 (en) 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
DE10227221A1 (de) * 2002-06-18 2004-01-15 Daimlerchrysler Ag Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera
US7697025B2 (en) 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
DE10303013A1 (de) * 2003-01-27 2004-08-12 Daimlerchrysler Ag Fahrzeug mit einer katadioptrischen Kamera
WO2004076235A1 (de) * 2003-02-25 2004-09-10 Daimlerchrysler Ag Spiegel zur optoelektronischen umgebungserfassung an einem fahrzeug
JP4273806B2 (ja) * 2003-03-31 2009-06-03 マツダ株式会社 車両用監視装置
JP3979330B2 (ja) 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US7046259B2 (en) * 2003-04-30 2006-05-16 The Boeing Company Method and system for presenting different views to passengers in a moving vehicle
US6866225B2 (en) 2003-04-30 2005-03-15 The Boeing Company Method and system for presenting moving simulated images in a moving vehicle
US7088310B2 (en) * 2003-04-30 2006-08-08 The Boeing Company Method and system for presenting an image of an external view in a moving vehicle
JPWO2004102479A1 (ja) * 2003-05-14 2006-07-13 株式会社ローラン 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
US20050062845A1 (en) * 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
DE10346484B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346507B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346483B4 (de) * 2003-10-02 2007-11-22 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346482B4 (de) * 2003-10-02 2008-08-28 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
DE10346511B4 (de) * 2003-10-02 2008-01-31 Daimler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
DE10346510B4 (de) * 2003-10-02 2007-11-15 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
BRPI0511299A (pt) * 2004-05-21 2007-12-04 Pressco Tech Inc interface de preparação de usuário para re-inspeção gráfica
JP2006069367A (ja) * 2004-09-02 2006-03-16 Nippon Seiki Co Ltd 車両用撮像装置
JP2006197034A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、撮像装置及び画像認識方法
US7656172B2 (en) * 2005-01-31 2010-02-02 Cascade Microtech, Inc. System for testing semiconductors
US7535247B2 (en) 2005-01-31 2009-05-19 Cascade Microtech, Inc. Interface for testing semiconductors
DE202006020618U1 (de) * 2005-01-31 2009-03-12 Cascade Microtech, Inc., Beaverton Mikroskopsystem zum Testen von Halbleitern
GB0507869D0 (en) * 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
KR100716338B1 (ko) * 2005-07-04 2007-05-11 현대자동차주식회사 영상인식을 이용한 후측방 접근 차량 경보 방법 및 시스템
JP2007124483A (ja) * 2005-10-31 2007-05-17 Aisin Seiki Co Ltd 移動体通信装置
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
US8339526B2 (en) 2006-03-09 2012-12-25 Gentex Corporation Vehicle rearview mirror assembly including a high intensity display
JP2007288354A (ja) * 2006-04-13 2007-11-01 Opt Kk カメラ装置、画像処理装置および画像処理方法
US20070278421A1 (en) * 2006-04-24 2007-12-06 Gleason K R Sample preparation technique
US20080136914A1 (en) * 2006-12-07 2008-06-12 Craig Carlson Mobile monitoring and surveillance system for monitoring activities at a remote protected area
US20080266397A1 (en) * 2007-04-25 2008-10-30 Navaratne Dombawela Accident witness
DE102007024752B4 (de) 2007-05-26 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
EP2070774B1 (en) * 2007-12-14 2012-11-07 SMR Patents S.à.r.l. Security system and a method to derive a security signal
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
EP2289243A4 (en) 2008-05-16 2014-05-14 Magna Electronics Inc SYSTEM FOR PROVIDING AND DISPLAYING VIDEO INFORMATION BASED ON MULTIPLE VIDEO SOURCES
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
DE102010004095A1 (de) * 2010-01-07 2011-04-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung zur dreidimensionalen Umfelderfassung
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
CN102591014B (zh) * 2011-01-07 2015-04-08 北京航天万方科技有限公司 一种全景视觉观察系统及其工作方法
WO2013032371A1 (en) * 2011-08-30 2013-03-07 Volvo Technology Corporation Vehicle security system and method for using the same
JP5780083B2 (ja) * 2011-09-23 2015-09-16 日本電気株式会社 検品装置、検品システム、検品方法及びプログラム
US20130215271A1 (en) 2012-02-22 2013-08-22 Magna Electronics, Inc. Indicia and camera assembly for a vehicle
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
US9365162B2 (en) 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
KR101406212B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 후사경의 분할 뷰 제공 장치 및 방법
KR101406211B1 (ko) 2012-12-20 2014-06-16 현대오트론 주식회사 차량용 avm 영상 제공 장치 및 방법
KR101406232B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 도어 열림 경보 장치 및 방법
WO2014109016A1 (ja) * 2013-01-09 2014-07-17 三菱電機株式会社 車両周辺表示装置
JP6403750B2 (ja) 2013-03-15 2018-10-10 ジェンテックス コーポレイション 表示ミラーアセンブリ
WO2014147621A1 (en) * 2013-03-21 2014-09-25 Zeev Erlich Aversion of covert pursuit
WO2014206406A1 (de) * 2013-06-26 2014-12-31 Conti Temic Microelectronic Gmbh Spiegelersatzvorrichtung und fahrzeug
DE102013214368A1 (de) 2013-07-23 2015-01-29 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Wiedergabe eines seitlichen und/oder rückwärtigen Umgebungsbereichs eines Fahrzeugs
CN105555612B (zh) 2013-09-24 2018-06-01 金泰克斯公司 显示镜组件
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
CN106061794B (zh) 2014-03-21 2019-06-07 金泰克斯公司 三态显示镜组件
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
KR102214604B1 (ko) * 2014-09-05 2021-02-10 현대모비스 주식회사 운전 보조 영상 표시 방법
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
JP6505839B2 (ja) 2014-11-07 2019-04-24 ジェンテックス コーポレイション 全画面表示ミラーアクチュエータ
US10071689B2 (en) 2014-11-13 2018-09-11 Gentex Corporation Rearview mirror system with a display
US10131279B2 (en) 2014-12-03 2018-11-20 Gentex Corporation Display mirror assembly with an RF shield bezel
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
KR102050326B1 (ko) 2015-04-20 2019-11-29 젠텍스 코포레이션 어플리케를 갖춘 후면뷰 조립체
EP3297870B1 (en) 2015-05-18 2020-02-05 Gentex Corporation Full display rearview device
WO2016209877A1 (en) 2015-06-22 2016-12-29 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
EP3368374B1 (en) 2015-10-30 2023-12-27 Gentex Corporation Toggle paddle
CN108349436B (zh) 2015-10-30 2019-12-20 金泰克斯公司 后视装置
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
CN106855999A (zh) * 2015-12-09 2017-06-16 宁波芯路通讯科技有限公司 汽车环视图像的生成方法及装置
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
JP2020505802A (ja) 2016-12-30 2020-02-20 ジェンテックス コーポレイション オンデマンドスポッタービューを備えた全画面表示ミラー
CN110312641A (zh) 2017-03-17 2019-10-08 金泰克斯公司 双显示倒车摄像系统
JP7332445B2 (ja) * 2019-11-25 2023-08-23 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
CN111526337B (zh) * 2020-05-08 2021-12-17 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
US12097815B2 (en) 2021-08-12 2024-09-24 Toyota Connected North America, Inc. Protecting living objects in transports
US11608030B2 (en) * 2021-08-12 2023-03-21 Toyota Connected North America, Inc. Vehicle surveillance system and early vehicle warning of potential threat
US12190733B2 (en) 2021-08-12 2025-01-07 Toyota Connected North America, Inc. Message construction based on potential for collision
US12214779B2 (en) 2021-08-12 2025-02-04 Toyota Motor North America, Inc. Minimizing airborne objects in a collision
US11894136B2 (en) 2021-08-12 2024-02-06 Toyota Motor North America, Inc. Occupant injury determination
US12030489B2 (en) 2021-08-12 2024-07-09 Toyota Connected North America, Inc. Transport related emergency service notification
US11887460B2 (en) 2021-08-12 2024-01-30 Toyota Motor North America, Inc. Transport-related contact notification
EP4388243A4 (en) 2021-08-20 2024-12-04 Gentex Corporation LIGHTING ASSEMBLY AND LIGHTING SYSTEM HAVING A LIGHTING ASSEMBLY
JP2023148909A (ja) * 2022-03-30 2023-10-13 株式会社日立製作所 列車走行支援装置及び列車走行支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
JP3419103B2 (ja) 1994-09-16 2003-06-23 日産自動車株式会社 車両用監視装置
JP3453960B2 (ja) * 1995-10-24 2003-10-06 日産自動車株式会社 車両周囲モニタ装置
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
US6064428A (en) * 1996-08-05 2000-05-16 National Railroad Passenger Corporation Automated track inspection vehicle and method
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3943674B2 (ja) * 1996-10-25 2007-07-11 キヤノン株式会社 カメラ制御システム並びにカメラサーバ及びその制御方法
JP3976368B2 (ja) 1997-03-18 2007-09-19 富士通テン株式会社 車載用多チャンネル画像処理装置
JP3327255B2 (ja) 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6421081B1 (en) * 1999-01-07 2002-07-16 Bernard Markus Real time video rear and side viewing device for vehicles void of rear and quarter windows
US6333759B1 (en) * 1999-03-16 2001-12-25 Joseph J. Mazzilli 360 ° automobile video camera system
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002326540A (ja) * 2001-04-28 2002-11-12 Setsuo Kuroki 視認カメラ装着車

Also Published As

Publication number Publication date
EP1158473A2 (en) 2001-11-28
DE60104599D1 (de) 2004-09-09
EP1158473A3 (en) 2002-08-14
EP1158473B1 (en) 2004-08-04
KR20010107655A (ko) 2001-12-07
DE60104599T3 (de) 2008-06-12
JP2001331789A (ja) 2001-11-30
KR100486012B1 (ko) 2005-05-03
DE60104599T2 (de) 2005-08-04
US6693518B2 (en) 2004-02-17
US20020005896A1 (en) 2002-01-17
EP1158473B2 (en) 2007-11-21

Similar Documents

Publication Publication Date Title
JP3627914B2 (ja) 車両の周囲監視システム
JP3773433B2 (ja) 移動体の周囲監視装置
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
JP2005167638A (ja) 移動体周囲監視装置、移動体および画像変換方法
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP3327255B2 (ja) 安全運転支援システム
KR100414708B1 (ko) 화상합성장치 및 방법
JP3652678B2 (ja) 車両周囲監視装置およびその調整方法
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
US8131429B2 (en) Driver observation and security system and method therefor
US8477191B2 (en) On-vehicle image pickup apparatus
US20100033570A1 (en) Driver observation and security system and method therefor
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2006044596A (ja) 車両用表示装置
JP2004026012A (ja) 車輌周辺視認装置
KR102457633B1 (ko) 차량 외부 측전방 상태 확인 장치
JP3655119B2 (ja) 状況情報提供装置及びその方法
US20160129838A1 (en) Wide angle rear and side view monitor
JP2024050334A (ja) 移動体及び撮像装置の設置方法
JP2003125396A (ja) 車両周囲表示装置、車両周囲表示方法及び車両周囲表示プログラム
JP2024050331A (ja) 移動体及び撮像装置の設置方法
JP2023007676A (ja) 撮像装置及び撮像システム
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置
JP2023178051A (ja) 移動体、移動体の制御方法、及びコンピュータプログラム
WO2024257338A1 (ja) 画像処理装置、画像処理装置の制御方法、車両、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111217

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees