[go: up one dir, main page]

JP6816436B2 - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP6816436B2
JP6816436B2 JP2016196357A JP2016196357A JP6816436B2 JP 6816436 B2 JP6816436 B2 JP 6816436B2 JP 2016196357 A JP2016196357 A JP 2016196357A JP 2016196357 A JP2016196357 A JP 2016196357A JP 6816436 B2 JP6816436 B2 JP 6816436B2
Authority
JP
Japan
Prior art keywords
image
peripheral
vehicle
virtual
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016196357A
Other languages
English (en)
Other versions
JP2018061113A (ja
Inventor
渡邊　一矢
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2016196357A priority Critical patent/JP6816436B2/ja
Priority to PCT/JP2017/031652 priority patent/WO2018066282A1/ja
Priority to US16/338,886 priority patent/US11302076B2/en
Priority to CN201780060990.XA priority patent/CN109792509B/zh
Priority to EP17858121.1A priority patent/EP3525455B1/en
Publication of JP2018061113A publication Critical patent/JP2018061113A/ja
Application granted granted Critical
Publication of JP6816436B2 publication Critical patent/JP6816436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、周辺監視装置に関する。
撮像画像から生成された車両等の移動体の周辺の画像とともに、移動体の画像を合成した表示画像を表示する周辺監視装置が知られている。このような周辺画像装置は、例えば、１枚の撮像画像から生成された周辺画像内で、移動体の移動に合わせて移動体の画像が移動する表示画像を表示する。
国際公開第２０１４／１５６２２０号
しかしながら、上述の周辺監視装置は、表示画像内で移動体の画像を移動させるので、乗員が当該表示画像を見難いといった課題がある。
本発明は、上記に鑑みてなされたものであって、乗員が見易い表示画像を表示できる周辺監視装置を提供する。
上述した課題を解決し、目的を達成するために、本発明の周辺監視装置は、移動体の周辺を撮像して撮像画像を生成する撮像部と、前記移動体の移動に伴って前記移動体の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を前記撮像画像から生成して、前記周辺画像に前記移動体の位置を示す移動体画像を重畳させた表示画像を生成して、前記表示画像を表示装置に表示する制御部と、を備える。そして、前記制御部は、前記現在位置とは異なる撮像位置において前記撮像部により過去に撮像された過去の撮像画像を予め設定された仮想投影面に投影することにより前記周辺画像を生成し、前記表示画像を更新するとき、前記移動体の前記現在位置に基づく新たな周辺画像を生成し、更新すべき表示画像の前記移動体画像の位置を前記表示装置の画面内で変更することなく、前記移動体画像を前記新たな周辺画像に重畳することにより、更新された表示画像を生成する。
このように、周辺監視装置は、表示画像内で移動体画像の位置を固定するので、乗員に見易い表示画像を表示できる。
本発明の周辺監視装置では、前記制御部は、前記制御部は、第１仮想面と前記第１仮想面と交差する第２仮想面とを含む三次元の仮想投影面に投影した前記撮像画像を前記仮想視点から見た前記周辺画像を生成してもよい。これにより、周辺監視装置は、二次元の仮想投影面に投影した撮像画像から周辺画像を生成する場合に比べて、鉛直方向に延びる移動体の周辺の物体（例えば、電柱等）の画像の延びを表示画像内で抑制して、乗員が見易い周辺画像を生成できる。
本発明の周辺監視装置では、前記制御部は、前記制御部は、前記仮想視点をユーザからの入力に基づいて移動させてもよい。これにより、周辺監視装置は、ユーザの所望の仮想視点から見た周辺画像を含む表示画像を提供できる。
本発明の周辺監視装置では、前記移動体の三次元の形状モデルである三次元移動体形状モデルを記憶する記憶部を備え、前記移動体画像は、前記記憶部に予め記憶された前記三次元移動体形状モデルから生成してもよい。これにより、周辺監視装置は、三次元の移動体画像を重畳させることによって、より見易い表示画像を提供できる。
図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、車両の例示的な平面図である。 図３は、車両の構成を説明するブロック図である。 図４は、ＥＣＵの機能を示すブロック図である。 図５は、制御部が実行する画像表示処理のフローチャートである。 図６は、過去の撮像画像を投影する投影面を含む仮想空間を説明する図である。 図７は、仮想投影面を側方から見た側面図である。 図８は、画像生成部による周辺画像の生成を説明する図である。 図９は、画像生成部によって生成された周辺画像を含む表示画像の一例である。 図１０は、図８から車両が移動した状態での画像生成部による表示画像の生成を説明する図である。 図１１は、画像生成部によって更新された表示画像の一例である。 図１２は、第１変形例の仮想投影面の側面図である。 図１３は、第１変形例の仮想投影面の側面図である。 図１４は、第２実施形態における仮想視点と仮想投影面との関係を示す図である。 図１５は、仮想視点を車両の内側に設定した周辺画像に三次元の車両画像を重畳させた表示画像の一例である。 図１６は、仮想視点を車両の外側に設定した周辺画像に三次元の車両画像を重畳させた表示画像の一例である。
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
＜第１実施形態＞
図１は、第１実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１とを備える。
車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７、表示装置８、音声出力装置９、操作入力部１０等が設けられている。車体２は、前端部の下部に設けられたフロントバンパー及び後端部の下部に設けられたリアバンパー等を含む。
操舵部４は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、及び、変速操作部７は、これらには限定されない。
モニタ装置１１は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置１１は、表示装置８、音声出力装置９、及び、操作入力部１０を有する。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。
表示装置８は、画像情報に基づいて画像を表示する。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）、または、ＯＥＬＤ（Organic Electroluminescent Display）等である。
音声出力装置９は、音声データに基づいて音声を出力する。音声出力装置９は、例えば、スピーカである。音声出力装置９は、モニタ装置１１以外の異なる車室２ａ内の位置に設けられていてもよい。
操作入力部１０は、乗員の入力を受け付ける。操作入力部１０は、例えば、タッチパネルである。操作入力部１０は、表示装置８の表示画面に設けられている。操作入力部１０は、表示装置８が表示する画像を透過可能に構成されている。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることができる。操作入力部１０は、表示装置８の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。
図２は、車両１の例示的な平面図である。図１及び図２に示すように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。四つの車輪３の全てまたは一部は、転舵可能である。
車両１は、複数の撮像部１５を備える。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）、または、ＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを画像のデータとして出力できる。例えば、撮像部１５は、車両１の周辺を撮像した静止画を撮像画像として生成し、当該撮像画像のデータを出力する。撮像画像は、動画または静止画であってよい。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮影することができる。撮像部１５の光軸は、斜め下方に向けて設定されている。従って、撮像部１５は、車両１が移動可能な路面を含む車両１の周辺の外部の環境を撮像した撮像画像データを出力する。
本実施形態では、４個の撮像部１５ａ、１５ｂ、１５ｃ、１５ｄが車両１に設けられている。車両１は、３個以下または５個以上の複数の撮像部１５を有してもよい。撮像部１５ａは、例えば、車両１の前部の中央部に設けられている。撮像部１５ａは、車両１の前方の周辺の環境を撮影する。撮像部１５ｂは、例えば、車両１の後部の中央部に設けられている。撮像部１５ｂは、車両１の後方の周辺の環境を撮影する。撮像部１５ｃは、車体２の左側の端部、例えば、左側のドアミラー２ｇに設けられている。撮像部１５ｃは、車両１の左側の周辺の環境を撮影する。撮像部１５ｄは、車体２の右側の端部、例えば、右側のドアミラー２ｈに設けられている。撮像部１５ｄは、車両１の右側の周辺の環境を撮影する。
図３は、車両１の構成を説明するブロック図である。図３に示すように、車両１は、車輪速センサ２２と、ＥＣＵ（Electronic Control Unit）２４と、車内ネットワーク２５とを更に備える。例えば、モニタ装置１１、撮像部１５、及び、ＥＣＵ２４は、周辺監視装置５０として機能する。
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成される。
ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、撮像部１５から撮像画像データを受信する。ＥＣＵ２４は、出力させる画像または音声に関するデータをモニタ装置１１へ送信する。ＥＣＵ２４は、ＣＰＵ（Central Processing Unit）２４ａと、ＲＯＭ（Read Only Memory）２４ｂと、ＲＡＭ（Random Access Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid State Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる周辺監視用の画像等の画像処理を実行する。
ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１５で得られた画像の画像処理、表示装置８に表示させる表示用の画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを維持する。
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１の制御全般を司る。例えば、ＥＣＵ２４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動距離及び車速などを演算し、各種制御を実行する。ＥＣＵ２４は、撮像部１５が撮像した周辺の画像を含む撮像画像に基づいて、周辺画像を含む表示画像を生成して、表示装置８に表示させる。これにより、ＥＣＵ２４は、周辺監視装置５０としての機能を実現している。
車内ネットワーク２５は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク２５は、ＥＣＵ２４と、操作入力部１０と、車輪速センサ２２とを互いに制御信号及び操作信号等の情報を送受信可能に電気的に接続する。
図４は、ＥＣＵ２４の機能を示すブロック図である。図４に示すように、ＥＣＵ２４は、制御部３０と、記憶部３２とを有する。制御部３０は、ＣＰＵ２４ａ、表示制御部２４ｄ、及び、音声制御部２４ｅの機能として実現される。記憶部３２は、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ、及び、ＳＳＤ２４ｆの機能として実現される。
制御部３０は、車両１の移動に伴って車両１の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を撮像画像から生成する。制御部３０は、生成した周辺画像に車両１の位置を示す車両画像（移動体画像の一例）を重畳させた表示画像を生成する。制御部３０は、車両画像の位置を表示画像内で固定して表示させる。制御部３０は、判定部５２と、画像生成部５４とを有する。制御部３０は、例えば、記憶部３２に格納された画像表示用のプログラムを読み込むことによって、判定部５２及び画像生成部５４として機能する。尚、判定部５２及び画像生成部５４の一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成してもよい。
判定部５２は、画像表示において必要な判定を実行する。具体的には、判定部５２は、周辺画像を含む表示画像を表示するか否かを判定する。例えば、判定部５２は、車両１の速度（即ち、車速）によって、周辺画像を含む表示画像を表示するか否かを判定する。尚、判定部５２は、変速操作部７のシフト位置等の他の状況によって、周辺画像を含む表示画像を表示するか否かを判定してもよい。また、判定部５２は、周辺画像を含む表示画像を更新するか否かを判定する。例えば、判定部５２は、車両１の移動距離に応じて、表示画像を更新するか否かを判定する。また、判定部５２は、周辺画像を含む表示画像の表示を終了するか否かを判定する。例えば、判定部５２は、車両１が停止したか否かに応じて、周辺画像を含む表示画像の表示を終了するか否かを判定する。
画像生成部５４は、表示装置８に表示させる表示画像を生成する。具体的には、画像生成部５４は、撮像部１５が撮像した撮像画像を取得する。画像生成部５４は、車両１の移動に伴って車両１の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を撮像画像から生成する。例えば、画像生成部５４は、予め設定された仮想投影面に投影した撮影画像を仮想視点から見た画像を周辺画像として生成する。尚、画像生成部５４は、仮想投影面に撮影画像を投影した中間画像を作成せずに、ＧＰＵ（Graphics Processing Unit）等を使用して、上述の仮想投影面に投影した撮影画像を仮想視点から見た画像と同等の画像を周辺画像として生成してもよい。画像生成部５４は、生成した周辺画像に車両画像を重畳させた表示画像を生成する。ここで、画像生成部５４は、車両画像の位置を表示画像内で固定する。尚、車両画像は、例えば、予め記憶部３２に格納されている。画像生成部５４は、生成した表示画像を順次表示装置８に表示させる。
記憶部３２は、制御部３０が実行するプログラム及びプログラムの実行に必要なデータ等を格納する。例えば、記憶部３２は、画像表示用のプログラムを記憶する。記憶部３２は、周辺画像を含む表示画像を表示するか否かを判定するための閾値車速、撮像画像を投影する仮想投影面、及び、車両画像に関するデータを、画像表示用のプログラムの実行に必要なデータとして記憶する。記憶部３２は、ネットワーク上に設けられた記憶装置（例えば、クラウド）等であってもよい。
図５は、制御部３０が実行する画像表示処理のフローチャートである。制御部３０は、画像表示用のプログラムを読み込むことによって、判定部５２及び画像生成部５４として機能して、画像表示処理を実行する。
画像表示処理では、制御部３０の判定部５２は、周辺画像を含む表示画像を表示するか否かを判定する（Ｓ１０２）。例えば、判定部５２は、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満か否かによって、周辺画像を含む表示画像を表示するか否かを判定する。閾値車速の一例は、１０ｋｍ／ｈである。この場合、判定部５２は、車速が閾値車速未満の場合、周辺画像を含む表示画像を表示すると判定する。一方、判定部５２は、車速が閾値車速以上の場合、周辺画像を含む表示画像を表示しないと判定する。尚、判定部５２は、操作入力部１０を介して受け付けた乗員の操作指示に基づいて、当該表示画像を表示するか否かを判定してもよい。
判定部５２は、周辺画像を含む表示画像を表示しないと判定すると（Ｓ１０２：Ｎｏ）、待機状態となる。一方、判定部５２は、周辺画像を含む表示画像を表示すると判定すると（Ｓ１０２：Ｙｅｓ）、表示指示を画像生成部５４へ出力する。
画像生成部５４は、判定部５２から表示指示を取得すると、周辺画像を生成する（Ｓ１０４）。例えば、画像生成部５４は、撮像部１５が撮像した過去の撮像画像を記憶部３２から取得して、仮想投影面に投影した当該撮像画像を仮想視点から見た画像を周辺画像として生成する。
図６は、過去の撮像画像を投影する仮想投影面６０を含む仮想空間６６を説明する図である。図７は、仮想投影面６０を側方から見た側面図である。図６に矢印で示すＸＺをＸ方向及びＺ方向とする。図７に矢印で示すＹをＹ方向とする。図６は、仮想空間６６における車両１及び車両１の周辺の概略の平面図である。
例えば、画像生成部５４は、撮像画像が撮像されたときの車両１の位置である撮像位置ＰＴ０に存在した車両１の撮像部１５が撮像した過去の撮像画像を記憶部３２から取得する。画像生成部５４は、予め設定された仮想投影面６０に関する情報（例えば、仮想投影面６０の大きさ及び位置等の情報）を記憶部３２から取得する。画像生成部５４は、図６に示す三次元の仮想空間６６内において、撮像位置ＰＴ０の進行方向側（例えば、前方側）に三次元の仮想投影面６０を設定する。仮想投影面６０は、第１仮想面６２と、第１仮想面６２と連続する第２仮想面６４とを含む。第１仮想面６２は、ＸＺ面（即ち、水平面）と平行な面である。第２仮想面６４は、ＹＺ面（即ち、鉛直面）と平行な面である。即ち、第２仮想面６４は、第１仮想面６２と交差する。第１仮想面６２の進行方向側の端部は、第２仮想面６４の下端部と連結されている。画像生成部５４は、三次元の仮想投影面６０に投影した過去の撮像画像を仮想視点から見た画像を周辺画像として生成する。
具体的に画像生成部５４による周辺画像７２ａの生成について説明する。図８は、画像生成部５４による周辺画像７２ａの生成を説明する図である。図８は、仮想空間６６において、図６の撮像位置ＰＴ０から太線矢印ＡＲ１に沿って仮想位置ＰＴ１まで移動した状態における車両１及び車両１の周辺の概略の平面図である。尚、図８では、撮像位置ＰＴ０の車両１を点線で示す。
画像生成部５４は、図８に示すように、実空間（例えば、ワールド座標）における車両１の現在位置に応じた車両１の仮想位置ＰＴ１を仮想空間６６内に設定する。画像生成部５４は、仮想投影面６０に投影した撮像画像を、車両１の仮想位置ＰＴ１に基づいて設定された仮想視点ＶＶ１から見た画像を周辺画像７２ａとして生成する。例えば、画像生成部５４は、仮想視点ＶＶ１を起点とし、当該起点から進行方向（例えば、前方）に沿った方向として定められる仮想視線の両側の領域から予め定められた設定角度の領域（例えば、図８のドット領域）で見える画像を周辺画像７２ａとして生成する。尚、画像生成部５４は、仮想視点ＶＶ１の位置を車両１の現在位置または仮想位置ＰＴ１に応じて任意で設定してよい。本実施形態の画像生成部５４は、車両１の現在位置または仮想位置ＰＴ１に対する仮想視点ＶＶ１の相対位置を固定して、車両１の移動に伴って仮想視点ＶＶ１の位置を移動させている。例えば、画像生成部５４は、仮想視点ＶＶ１の位置を平面視における車両１の中心軸の後方１ｍ及び高さ２ｍとしている。本実施形態では、仮想視点ＶＶ１が仮想位置ＰＴ１と一致しているが、これに限定されない。
次に、画像生成部５４は、生成した周辺画像７２ａに車両１の画像である車両画像７４を重畳させて、表示画像を生成する（Ｓ１０６）。
図９は、画像生成部５４によって生成された周辺画像７２ａを含む表示画像７０ａの一例である。画像生成部５４は、生成した周辺画像７２ａ内の車両１の仮想位置ＰＴ１に車両１の画像である車両画像７４を重畳させて、図９に示す表示画像７０ａを生成する。尚、図９において、車両画像７４はドット領域及び点線の枠で示すが、これに限定されない。画像生成部５４は、第２仮想面６４に投影された撮像画像上に水平線７６を付与した表示画像７０ａを生成してもよい。
画像生成部５４は、生成した図９に示す表示画像７０ａを表示装置８に表示させる（Ｓ１０８）。
判定部５２は、表示画像７０ａを更新するか否かを判定する（Ｓ１１０）。例えば、判定部５２は、車輪速センサ２２から取得したセンサ値から算出した車速に基づいて、車両１の移動距離を算出する。判定部５２は、移動距離が予め定められた閾値距離以上か否かによって、表示画像７０ａを更新するか否かを判定する。判定部５２は、移動距離が閾値距離未満の場合、表示画像７０ａを更新しないと判定する。一方、判定部５２は、移動距離が閾値距離以上の場合、表示画像７０ａを更新すると判定する。
判定部５２は、表示画像７０ａを更新しないと判定すると（Ｓ１１０：Ｎｏ）、表示画像７０ａの表示を終了するか否かを判定する（Ｓ１１２）。例えば、判定部５２は、車両１が停止したか否かに基づいて、表示画像７０ａの表示を終了するか否かを判定する。判定部５２は、表示画像７０ａの表示を終了しないと判定すると（Ｓ１１２：Ｎｏ）、ステップＳ１１０を繰り返す。
判定部５２は、表示画像７０ａを更新すると判定すると（Ｓ１１０：Ｙｅｓ）、更新指示を画像生成部５４へ出力する。
画像生成部５４は、更新指示を取得すると、上述した表示画像７０ａの生成方法によって新たな周辺画像７２ｂを生成して、表示画像７０ｂを更新する（Ｓ１０４、Ｓ１０６）。例えば、画像生成部５４は、毎回異なる撮像画像を用いて周辺画像のみを変化させてもよい。また、画像生成部５４は、同じ仮想空間６６の仮想投影面６０に投影した同じ撮像画像を、車両１の移動に伴って移動させた仮想視点から見た画像を新たな周辺画像７２ｂとして生成して表示画像７０ｂを更新してもよい。換言すれば、画像生成部５４は、１枚の撮像画像から複数の周辺画像７２ａ、７２ｂを生成してもよい。
具体的に画像生成部５４による表示画像７０ｂの生成及び更新について説明する。図１０は、図８から車両１が移動した状態での画像生成部５４による表示画像７０ｂの生成を説明する図である。図１１は、画像生成部５４によって更新された表示画像７０ｂの一例である。以下の説明で、表示画像７０ａ、７０ｂを区別する必要がない場合、表示画像７０と記載する。同様に、周辺画像７２ａ、７２ｂを区別する必要がない場合、周辺画像７２と記載する。
図１０に示すように、車両１が矢印ＡＲ２に沿って仮想位置ＰＴ２まで移動した場合でも、画像生成部５４は、移動した車両１の現在位置に基づいて移動させた仮想視点ＶＶ２から、同じ仮想空間６６の仮想投影面６０に投影された同じ撮像画像を見た画像を、周辺画像７２ｂとして生成してよい。画像生成部５４は、生成した周辺画像７２ｂ内の車両１の仮想位置ＰＴ２に対応する位置に車両画像７４を重畳させて、図１１に示す表示画像７０ｂを生成して更新する。ここで、図１１に示すように、画像生成部５４は、車両画像７４の位置を表示画像７０ｂ内で移動させずに固定する。即ち、図９及び図１１の表示画像７０ａ、７０ｂ内において、車両画像７４の位置及び形状は同じである。換言すれば、画像生成部５４は、表示画像７０ａ、７０ｂ内において、周辺画像７２ａ、７２ｂのみを変化させている。
画像生成部５４は、更新した表示画像７０ｂを表示装置８に表示させる（Ｓ１０８）。これにより、画像生成部５４は、判定部５２から更新指示を取得する限り、車両画像７４が固定された表示画像７０を生成して更新する。
判定部５２は、ステップＳ１１２において、表示画像７０の表示を終了すると判定すると（Ｓ１１２：Ｙｅｓ）、表示画像７０の表示を終了して、画像表示処理を終了する。
上述したように、周辺監視装置５０では、制御部３０が、表示画像７０内で車両画像７４の位置を固定した表示画像７０を生成している。これにより、周辺監視装置５０は、車両１が移動して、周辺画像７２が変化しても、車両画像７４の位置が固定された乗員が見易い表示画像７０を提供できる。
周辺監視装置５０は、画像生成部５４が移動する仮想視点ＶＶから見た複数の周辺画像７２を仮想投影面６０に投影された一の撮像画像から生成する場合、周辺画像７２を生成するための制御部３０の処理の負荷を低減することができる。
周辺監視装置５０では、制御部３０が、連続する第１仮想面６２及び第２仮想面６４を有する三次元の仮想投影面６０に投影した撮像画像を仮想視点ＶＶから見た画像を周辺画像７２として生成している。これにより、周辺監視装置５０は、二次元の仮想投影面に投影した撮像画像から周辺画像を生成する場合に比べて、乗員が見易い周辺画像７２を生成できる。特に、車両１の周辺に鉛直方向に延びる物体（例えば、電柱）が存在する場合、二次元に投影した物体の画像は実際の物体に比べて延びる。一方、制御部３０は、第２仮想面６４を有する仮想投影面６０に投影することにより、当該物体の画像の延びを抑制して、見易い周辺画像７２を生成できる。
＜第１変形例＞
次に、上述した第１実施形態の仮想投影面６０を変形した第１変形例の仮想投影面６０ｂについて説明する。図１２は、第１変形例の仮想投影面６０ｂの側面図である。図１２に示すように、仮想投影面６０ｂは、お椀型であって、第１仮想面６２と、第２仮想面６４ｂとを有する。第２仮想面６４ｂは、鉛直方向に沿って曲がる曲面状に形成されている。例えば、第２仮想面６４ｂは、進行方向（図１２に示す例では、＋Ｚ方向）に突出した曲面状に形成されている。第２仮想面６４ｂの下端部は、第１仮想面６２の進行方向側の端部と連結されている。制御部３０は、同じ仮想投影面６０ｂに投影した撮像画像を、車両１の移動に伴って移動させる仮想視点から見た複数の画像を複数の周辺画像として生成してもよい。
＜第２変形例＞
次に、上述した第１実施形態の仮想投影面６０を変形した第２変形例の仮想投影面６０ｃについて説明する。図１３は、第２変形例の仮想投影面６０ｃの側面図である。図１３に示すように、仮想投影面６０ｃは、第２仮想面６４を有する。換言すれば、仮想投影面６０ｃは、第１実施形態の仮想投影面６０から第１仮想面６２を省略した構成となる。制御部３０は、仮想投影面６０ｃに投影した撮像画像を、車両１の移動に伴って移動させる仮想視点から見た複数の画像を複数の周辺画像として生成してもよい。
＜第２実施形態＞
周辺画像７２の生成方法が第１実施形態と異なる第２実施形態について説明する。図１４は、第２実施形態における仮想視点と仮想投影面との関係を示す図である。第２実施形態の表示画像処理を図５のフローチャートに沿って説明する。
図１４に示すように、制御部３０の画像生成部５４は、車両１の現在位置に基づいて、仮想視点ＶＶ３を設定する。画像生成部５４は、当該仮想視点ＶＶ３に基づいて、平面状の仮想投影面６０ｄを設定する。画像生成部５４は、図６に示す過去の撮像位置ＰＴ０で撮像した撮像画像を仮想投影面６０ｄに投影した視点画像を周辺画像７２として生成する（Ｓ１０４）。画像生成部５４は、当該周辺画像７２及び車両画像７４を含む表示画像７０を生成して、表示する（Ｓ１０６、Ｓ１０８）。
この後、車両１の移動に伴って表示画像を更新する場合（Ｓ１１０：Ｙｅｓ）、画像生成部５４は、図５に示すようにステップＳ１０４以降の処理を繰り返すことにより、仮想視点及び仮想投影面を新たに設定して、同じ撮像画像から表示画像７０を生成して更新する。換言すれば、画像生成部５４は、車両１の移動に伴って移動させる仮想視点ＶＶ３、・・のそれぞれに基づいて設定された複数の仮想投影面６０ｄ、・・に撮像画像を投影して生成した複数の視点画像を複数の周辺画像７２として生成する。尚、本実施形態においても、画像生成部５４は、車両画像７４の位置を表示画像内で固定する。
上述の実施形態の各構成の機能、接続関係、配置、及び、個数等は適宜変更してよい。また、各実施形態または変形例を組み合わせてもよい。
例えば、上述の実施形態では、画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・の位置を、平面視における車両１の中心軸の後方１ｍ及び高さ２ｍとして設定したが、これに限定されない。画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・を起点とする仮想視線の方向を車両１の進行方向としたが、これに限定されない。例えば、画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・を起点とする仮想視線の方向を撮像部１５の向き（例えば、撮像部１５のレンズの光軸方向）としてもよい。これにより、制御部３０は、上述の表示画像７０を見た乗員の違和感を低減できる。特に、制御部３０は、撮像部１５が現在撮像している周辺画像と、上述の表示画像７０とを切り替えて表示する場合、視点及び視線がずれないので、乗員の違和感をより低減できる。
上述の実施形態では、画像生成部５４が、１つの撮像部１５が撮像した撮像画像から生成した周辺画像７２を含む表示画像７０を生成する例を示したが、これに限定されない。例えば、画像生成部５４は、複数の撮像部１５が撮像した複数の撮像画像から生成した周辺画像を含む表示画像を生成してもよい。
上述の実施形態では、画像生成部５４が設定した仮想視点ＶＶから見た周辺画像７２を含む表示画像７０を表示する例を示したが、これに限定されない。例えば、画像生成部５４は、ユーザがタッチパネル等の操作入力部１０によって入力した指示による、車両１の現在位置を基準とした仮想視点から見た周辺画像を含む表示画像を生成して表示させてもよい。この場合、画像生成部５４は、車両１の現在位置を基準として設定された仮想視点であって、１つの注視点の方向を見る仮想視点をユーザの入力に合わせて、例えば円周上で移動させて周辺画像を含む表示画像を生成してよい。また、画像生成部５４は、車両１の現在の位置を基準として設定された複数の仮想視点の中からユーザが選択した仮想視点から見た周辺画像を生成してもよい。これにより、画像生成部５４はユーザの所望の仮想視点から見た周辺画像を含む表示画像を提供できる。
上述の実施形態では、二次元の車両画像７４を例に挙げて説明したがこれに限定されない。例えば、画像生成部５４は、記憶部３２に予め記憶された三次元移動体形状モデルから車両画像を生成してもよい。三次元移動体形状モデルは、車両１の三次元の形状モデルである。
図１５は、仮想視点ＶＶを車両１の内側に設定した周辺画像２７２に三次元の車両画像２７４を重畳させた表示画像２７０の一例である。画像生成部５４は、例えば、図１５に示すように、仮想視点ＶＶを車両１の内側に設定して、進行方向（例えば、前方）を見た周辺画像２７２に三次元の車両画像２７４（点線参照）を重畳させて、表示画像２７０を生成してもよい。これにより、画像生成部５４は、より見易い表示画像２７０を提供できる。
図１６は、仮想視点ＶＶを車両１の外側に設定した周辺画像３７２に三次元の車両画像３７４を重畳させた表示画像３７０の一例である。画像生成部５４は、例えば、図１６に示すように、仮想視点ＶＶを車両１の外側（例えば、車両１の左側）に設定して、進行方向（例えば、前方）を見た周辺画像３７２に三次元の車両画像３７４（点線参照）を重畳させて、表示画像３７０を生成してもよい。これにより、画像生成部５４は、より見易い表示画像３７０を提供できる。また、車両画像２７４、３７４を半透明にて重畳することで、車両画像２７４、３７４と撮像部１５に写る対象物との位置関係を把握しやすくすることができる。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…車両
１５…撮像部
３０…制御部
３２…記憶部
５０…周辺監視装置
６０…仮想投影面
６２…第１仮想面
６４…第２仮想面
６６…仮想空間
７０…表示画像
７２…周辺画像
７４…車両画像
２７０…表示画像
２７２…周辺画像
２７４…車両画像
３７０…表示画像
３７２…周辺画像
３７４…車両画像
ＡＲ１…太線矢印
ＡＲ２…矢印
ＰＴ０…撮像位置
ＰＴ１…仮想位置
ＰＴ２…仮想位置
ＶＶ１…仮想視点
ＶＶ２…仮想視点
ＶＶ３…仮想視点

Claims (6)

  1. 移動体の周辺を撮像して撮像画像を生成する撮像部と、
    前記移動体の移動に伴って前記移動体の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を前記撮像画像から生成して、前記周辺画像に前記移動体の位置を示す移動体画像を重畳させた表示画像を生成して、前記表示画像を表示装置に表示する制御部と、を備え、
    前記制御部は、前記現在位置とは異なる撮像位置において前記撮像部により過去に撮像された過去の撮像画像を予め設定された仮想投影面に投影することにより前記周辺画像を生成し、前記表示画像を更新するとき、前記移動体の前記現在位置に基づく新たな周辺画像を生成し、更新すべき表示画像の前記移動体画像の位置を前記表示装置の画面内で変更することなく、前記移動体画像を前記新たな周辺画像に重畳することにより、更新された表示画像を生成する、周辺監視装置。
  2. 前記制御部は、第１仮想面と前記第１仮想面と交差する第２仮想面とを含む三次元の仮想投影面に投影した前記撮像画像を前記仮想視点から見た前記周辺画像を生成する
    請求項１に記載の周辺監視装置。
  3. 前記制御部は、前記仮想視点をユーザからの入力に基づいて移動させる
    請求項１または２に記載の周辺監視装置。
  4. 前記移動体の三次元の形状モデルである三次元移動体形状モデルを記憶する記憶部を備え、
    前記移動体画像は、前記記憶部に予め記憶された前記三次元移動体形状モデルから生成する
    請求項１から３のいずれか１項に記載の周辺監視装置。
  5. 前記制御部は、前記移動体の移動距離が予め設定された閾値以上か否かを判定し、前記閾値以上の場合に前記周辺画像を更新する、
    請求項１から４のいずれか１項に記載の周辺監視装置。
  6. 前記制御部は、一の前記過去の撮像画像に基づいて複数の前記仮想視点のそれぞれに対応する複数の前記周辺画像を生成する、
    請求項１から５のいずれか１項に記載の周辺監視装置。
JP2016196357A 2016-10-04 2016-10-04 周辺監視装置 Active JP6816436B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016196357A JP6816436B2 (ja) 2016-10-04 2016-10-04 周辺監視装置
PCT/JP2017/031652 WO2018066282A1 (ja) 2016-10-04 2017-09-01 周辺監視装置
US16/338,886 US11302076B2 (en) 2016-10-04 2017-09-01 Periphery monitoring apparatus
CN201780060990.XA CN109792509B (zh) 2016-10-04 2017-09-01 周边监控装置
EP17858121.1A EP3525455B1 (en) 2016-10-04 2017-09-01 Periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016196357A JP6816436B2 (ja) 2016-10-04 2016-10-04 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2018061113A JP2018061113A (ja) 2018-04-12
JP6816436B2 true JP6816436B2 (ja) 2021-01-20

Family

ID=61832003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016196357A Active JP6816436B2 (ja) 2016-10-04 2016-10-04 周辺監視装置

Country Status (5)

Country Link
US (1) US11302076B2 (ja)
EP (1) EP3525455B1 (ja)
JP (1) JP6816436B2 (ja)
CN (1) CN109792509B (ja)
WO (1) WO2018066282A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962036B2 (ja) 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
DE112019007695B4 (de) * 2019-10-07 2024-06-20 Mitsubishi Electric Corporation Virtuelle-kamera-steuerungseinrichtung, virtuelle-kamera-steuerungsverfahren und virtuelle-kamera-steuerungsprogramm
JP7542940B2 (ja) * 2019-11-25 2024-09-02 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
KR20230144042A (ko) * 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
JP7626080B2 (ja) * 2022-02-08 2025-02-04 トヨタ自動車株式会社 周辺監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP2010274813A (ja) 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
JP5716389B2 (ja) * 2010-12-24 2015-05-13 日産自動車株式会社 車両用表示装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6014442B2 (ja) 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
JP6095985B2 (ja) * 2013-01-09 2017-03-15 富士通テン株式会社 再生装置、再生システム、再生方法及びプログラム
JP6060910B2 (ja) 2013-03-28 2017-01-18 アイシン精機株式会社 周辺監視装置、及びプログラム
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Also Published As

Publication number Publication date
EP3525455A1 (en) 2019-08-14
WO2018066282A1 (ja) 2018-04-12
JP2018061113A (ja) 2018-04-12
US11302076B2 (en) 2022-04-12
CN109792509A (zh) 2019-05-21
CN109792509B (zh) 2021-08-27
EP3525455A4 (en) 2019-08-14
EP3525455B1 (en) 2020-10-21
US20210279959A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
EP2974909B1 (en) Periphery surveillance apparatus and program
JP6816436B2 (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
JP6958163B2 (ja) 表示制御装置
JP2020120327A (ja) 周辺表示制御装置
CN110945558B (zh) 显示控制装置
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
CN110997409B (zh) 周边监控装置
US11669230B2 (en) Display control device
CN111066319B (zh) 图像处理装置
JP7013751B2 (ja) 画像処理装置
JP2020127171A (ja) 周辺監視装置
JP7056034B2 (ja) 周辺監視装置
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP2018076019A (ja) 画像処理装置
JP6772716B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151