JP2023061207A - 車両用視認装置 - Google Patents

Abstract

【課題】乗員に煩わしさを感じさせることなく、乗員の視認を補助する。
【解決手段】車両用視認装置１０では、リアカメラ１４及びサイドカメラ１４Ｌ、１４Ｒの撮影画像に応じた表示画像をモニタ１６に表示する。検出部３６は、後方車両を検出し、進行方向の相対速度及び車幅方向の相対速度を検出する。境界設定部４２は、後方車両の画像に対する画像境界の位置が予め設定された条件を満たすと、後方車両の座標位置、進行方向の相対速度及び車幅方向の相対速度に基づいて画像境界を設定する。これにより、乗員が煩わしいと感じるのを抑制しながらモニタ１６に表示される後方画像により乗員の視認を補助できる。
【選択図】図１

Description

本発明は、車両の乗員の視認を補助する車両用視認装置に関する。

特許文献１には、自車後方が撮影された画像の画像データＣ、及び自車の両側部から後方が撮像された画像の画像データＬ、Ｒの各々をトリミングし、境界ＢＬ、ＢＲで合成してディスプレイに表示する車載用画像表示装置が開示されている。車載用画像表示装置では、画像データＣ、Ｌ、Ｒの合成方法として標準の合成方法が設定されていると共に、標準よりも画像データＣのサイズが大きい最大撮像範囲Ｃmaxが設定されており、境界ＢＬ、ＢＲを移動して画像データＣの表示サイズを変更する。また、車載用画像表示装置では、センサーによって後方車両を検出し、検出した後方車両の距離やその方向を算出して、自車に対する後方車両の相対速度を算出する。

ここで、車載用画像表示装置では、隣の車線を走行する後方車両の相対速度が速い場合、左右の画像データＬ、Ｒが優先的に表示されるように境界ＢＬ、ＢＲを変更して、左右の画像データＬ、Ｒを拡張している。また、車載用画像表示装置では、隣の車線を走行する後方車両の相対速度が遅い場合、画像データＣの最大撮像範囲Ｃmaxまで後方車両を追従するように連続的又は多段的に境界ＢＬを変更している。

特開２０１０－２８７１６３号公報

ところで、複数車線の道路を走行する際、後方車両が車線変更を行ったり、走行速度を変更したりすることがある。このため、後方車両の走行状態によっては、モニタに表示される画像では、二つの撮影画像の境界位置が頻繁に変更されることがあり、境界位置の変化が乗員に煩わしいと感じさせてしまうことがある。

本発明は、上記事実を鑑みて成されたものであり、乗員に煩わしさを感じさせてしまうのを抑制して、乗員の視認を補助できる車両用視認装置を提供することを目的とする。

上記目的を達成するための本発明の第１の態様の車両用視認装置は、車両後方を撮像した第１撮影画像を出力する第１撮像手段、及び撮像領域の一部が前記第１撮像手段の撮像領域に重なるように車両側方から車両後方を撮像した第２撮影画像を出力する第２撮像手段を含む撮像部と、前記第１撮影画像と前記第２撮影画像との重なり領域に設定された画像境界を境界とし、該画像境界に応じて前記第１撮影画像から抽出した第１表示画像と前記第２撮影画像から抽出した第２表示画像とを前記画像境界において繋げて、乗員が視認可能に表示媒体に表示する表示部と、前記第１撮像手段及び前記第２撮像手段の少なくとも一方により撮像される自車の後方を走行する後方車両を検出し、該後方車両の自車に対する進行方向の相対位置、及び車幅方向の相対位置を検出する検出手段と、前記後方車両の画像に対する前記画像境界の位置が予め設定された条件を満たしたときに前記画像境界の位置を設定する際、前記後方車両の前記進行方向の相対位置の変化及び前記車幅方向の相対位置の変化に基づいて前記画像境界の位置を設定する設定手段と、を含む。

第２の態様の車両用視認装置は、第１の態様において、前記設定手段は、前記表示媒体に表示される前記第１表示画像上の前記後方車両の画像サイズの前記第１撮影画像上の前記後方車両の画像サイズに対する割合、又は前記表示媒体に表示される前記第２表示画像上の前記後方車両の画像サイズの前記第２撮影画像上の前記後方車両の画像サイズに対する割合が予め設定している割合以下となった場合、前記画像境界の位置の設定変更を行う。

第３の態様の車両用視認装置は、第１の態様において、前記設定手段は、前記表示媒体に表示される前記後方車両の画像と前記画像境界との間隔が予め設定された間隔以下となったときに、前記画像境界の位置の設定変更を行う。

第４の態様の車両用視認装置は、第１から第３の何れか１の態様において、前記検出手段は、前記第１撮影画像及び前記第２撮影画像を用いて前記後方車両を検出して、該後方車両の前記進行方向の相対位置及び前記車幅方向の相対位置を検出する。

本発明の第１の態様の車両用視認装置では、第１撮像手段が車両後方を撮像して撮影画像とする第１撮影画像を出力し、第２撮像手段が撮像領域の一部が第１撮像手段の撮像領域に重なるように車両側方から車両後方を撮像して撮影画像とする第２撮影画像を出力する。表示部は、第１撮影画像と第２撮影画像との重なり領域に設定された画像境界を境界とし、画像境界に応じて第１撮影画像から抽出された第１表示画像と第２撮影画像から抽出された第２表示画像とを画像境界において繋げて乗員が視認可能となるように表示媒体に表示する。

自車の後方を走行する後方車両は、第１撮像手段及び第２撮像手段の少なくとも一方により撮像される。検出手段は、自車の後方を走行する後方車両を検出する。また、検出手段は、検出された後方車両の自車に対する進行方向の相対位置、及び車幅方向の相対位置を検出する。

ここで、設定手段は、第１撮影画像と第２撮影画像との重なり領域内に画像境界を設定する。この際、設定手段は、後方車両の画像に対する画像境界の位置が予め設定された条件を満たしたときに、後方車両の進行方向の相対位置の変化及び車幅方向の相対位置の変化に基づいて画像境界の位置を設定する。

これにより、後方車両の画像の位置を予測した位置に画像境界を設定することができ、表示媒体に表示される画像に対して乗員が煩わしいと感じるのを抑制して、乗員の視認を補助できる。

第２の態様の車両用視認装置では、後方車両の画像に対する画像境界の位置についての予め設定された条件として、第１撮影画像及び第２撮影画像における後方車両の画像サイズに対する第１表示画像又は第２表示画像における後方車両の画像サイズの割合を適用している。

設定手段は。第１撮影画像上の後方車両の画像サイズに対する第１表示画像上の後方車両の画像サイズの割合、又は第２撮影画像上の後方車両の画像サイズに対する第２表示画像上の後方車両の画像サイズの割合が予め設定している割合以下となった場合、画像境界の位置の設定変更を行う。これにより、効果的に画像境界の設定変更ができて、乗員に煩わしさを感じさせてしまうのを抑制しながら、乗員の視認を補助できる。

第３の態様の車両用視認装置では、後方車両の画像に対する画像境界の位置についての予め設定された条件として、後方車両の画像と画像境界との間隔を適用している。設定手段は、表示媒体に表示される後方車両の画像と画像境界との間隔が予め設定された間隔以下となったときに、画像境界の位置の設定変更を行う。これにより、効果的に画像境界の設定変更ができて、乗員に煩わしさを感じさせてしまうのを抑制しながら、乗員の視認を補助できる。

第４の態様の車両用視認装置では、検出手段が第１撮影画像及び第２撮影画像から後方車両を検出する。また、検出手段は、第１撮影画像及び第２撮影画像から後方車両の進行方向の相対位置、及び後方車両の車幅方向の相対位置を顕出する。

これにより、画像を撮像するための第１撮像手段及び第２撮像手段を用いて後方車両を検出できると共に、後方車両の進行方向の相対位置及び幅方向の相対位置を検出できるので、効率的に乗員の視認を補助できる。

本実施形態に係る車両用視認装置の概略構成図である。 車両の上方視の概略を示す平面図である。 撮影画像とモニタの表示画像とを模式的に示す概略図である。 後方車両の検出の一例を示す概略図である。 表示処理の一例を示す流れ図である。 画像境界設定処理の一例を示す流れ図である。 （Ａ）～（Ｃ）は、各々同じ車線で接近する後方車両の表示の一例を示す概略図であり、（Ａ）、（Ｂ）、（Ｃ）の順に接近している後方車両を示している。 （Ａ）～（Ｄ）は、各々同じ車線から隣接する車線に車線変更しながら接近する後方車両の表示の一例を示す概略図であり、（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に接近している後方車両の車両画像を示している。 （Ａ）～（Ｄ）は、各々隣接する車線から同じ車線に車線変更しながら接近する後方車両の表示の一例を示す概略図であり、（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に接近している後方車両の車両画像を示している。 （Ａ）～（Ｃ）は、各々自車の隣の車線を遠ざかりながら離れる方向に車線変更する後方車両の表示の一例を示す概略図であり、（Ａ）、（Ｂ）、（Ｃ）の順に離れる後方車両の車両画像を示している。

以下、図面を参照して本発明の実施形態について詳細に説明する。
本実施形態に係る車両用視認装置１０は、車両１２（自車）に設けられて、運転者などの乗員の車両後方の視認を補助する。図１には、本実施形態に係る車両用視認装置１０の概略構成がブロック図にて示され、図２には、車両用視認装置１０が設けられた車両１２の概略が上方視の平面図にて示されている。なお、図面では、車両前側が矢印ＦＲにて示され、車幅方向右側が矢印ＲＨにて示されている。

図１に示すように、車両用視認装置１０は、撮像部を構成する撮像手段としての複数のカメラ１４、表示部を構成する表示媒体としてのモニタ１６、及びカメラ１４の撮影画像に応じた画像をモニタ１６に表示するための視認処理装置１８を備えている。

カメラ１４には、第１撮像手段としてのリアカメラ１４Ａ、及び第２撮像手段としてのサイドカメラ１４Ｌ、１４Ｒが用いられており、カメラ１４は撮像素子により画像（映像）を撮像する。図２に示すように、リアカメラ１４Ａは、車両１２の後部かつ車幅方向中央部（例えば、リアバンパの車幅方向中央部）に配置され、車両１２の後方を所定の画角（撮像領域）で撮像する。

サイドカメラ１４Ｌ、１４Ｒは、サイドカメラ１４Ｌが車両１２の車幅方向左側のドア１２Ｌに取り付けられ、サイドカメラ１４Ｒが車両１２の車幅方向右側のドア１２Ｒに取り付けられている。なお、車両１２がドアミラーを備えている場合、サイドカメラ１４Ｌ、１４Ｒは、車両１２のドアミラー（図示省略）に取付けられてもよい。また、サイドカメラ１４Ｌ、１４Ｒは、車両１２において、フロントフェンダーなどの車体側面側に取り付けられてもよい。

サイドカメラ１４Ｌ、１４Ｒは、各々車両１２側方から車両後方を所定の画角（撮影領域）で撮像する。サイドカメラ１４Ｌ、１４Ｒは、各々の撮影領域の一部がリアカメラ１４Ａの撮影領域と重なるように配置されている。このため、車両１２の後方は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒにより車体の左斜め後方から右斜め後方の範囲に渡って広角に撮像される。

モニタ１６は、薄型で車幅方向に長い矩形状とされており、モニタ１６は、車室内において車両前側のフロントウインドシールドガラスの上部付近（インナーミラーに対応する位置）に配置されている。また、モニタ１６は、表示面が車両後方に向けられて車室内の乗員に視認可能とされており、モニタ１６は、カメラ１４の撮影画像が表示されることでインナーミラーとして機能する。なお、モニタ１６は、インストルメントパネルに設けられてもよく、モニタ１６は、乗員の視認を妨げることなく、かつ乗員が容易に視認可能な任意の位置に設けることができる。

視認処理装置１８は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像を合成して（繋ぎ合わせて）、車両後方を広角で映した後方画像（車外後方画像）を生成し、生成した後方画像をモニタ１６に表示するように制御する。なお、車両用視認装置１０は、室内カメラにより撮像された車室内の画像を後方画像に重ねてモニタ１６に表示するようにしてもよい。

視認処理装置１８には、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性の記憶媒体としてのストレージ、及び入出力インターフェース等がそれぞれバスによって相互に接続されたマイクロコンピュータ（図示省略）を備えている。視認処理装置１８では、ＲＯＭやストレージ等に記憶されたプログラムがＣＰＵにより読み出されて、ＲＡＭに展開されながら実行されることで、プログラムに応じた機能が実現される。なお、視認処理装置１８には、ＣＰＵに限らずＧＰＵ（Graphic Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などを用いることもできる。

図１に示すように、視認処理装置１８には、画像処理部２０、視点変換部２２、画像抽出部２４及び表示処理部２６が含まれている。視認処理装置１８では、ＣＰＵにより所定のプログラムが実行されることで、画像処理部２０、視点変換部２２、画像抽出部２４及び表示処理部２６として機能する。

視認処理装置１８には、リアカメラ１４Ａ、サイドカメラ１４Ｌ、１４Ｒ及びモニタ１６の各々が接続されており、視認処理装置１８では、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像からモニタ１６に表示する表示画像（後方画像）を生成する。図３には、撮影画像及びモニタ１６に表示される後方画像の概略が模式図にて示されている。なお、モニタ１６には、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像が左右反転されると共に、左右のサイドカメラ１４Ｌとサイドカメラ１４Ｒの撮影画像が入れ代えられて（全体として左右反転されて）表示される。

図３に示すように、画像処理部２０は、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像を読み込んで、所定の画像処理を実行することでリアカメラ１４Ａにより撮像された第１撮影画像としての撮影画像（画像データ）２８Ａ、サイドカメラ１４Ｌ、１４Ｒの各々により撮像された第２撮影画像としての撮影画像（画像データ）２８Ｌ、２８Ｒを出力する。なお、画像処理部２０では、同一の対象物の画像サイズが、撮影画像２８Ａ、２８Ｌ、２８Ｒの間で同様となるように処理される。

リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの各々の間では、撮影画像の視点位置が異なっている。ここから、視点変換部２２では、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像２８Ａ、２８Ｌ、２８Ｒに対して視点変換処理を行う。視点変換処理では、例えば、モニタ１６の中心位置（車幅方向及び上下方向の中心位置）よりも車両前側に仮想視点が設定され、リアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像２８Ａ、２８Ｌ、２８Ｒが仮想視点から見た画像に変換される。

また、視点変換処理においては、仮想視点と共に、車両１２の後方の所定位置における仮想面とされる仮想スクリーンが設定される。仮想スクリーンは平面であってもよく湾曲面であってもよく、モニタ１６が車両後方に向けて凸状に湾曲されている場合、仮想スクリーンは、車両後方に凸状とされた湾曲面（車両１２から見て凹状の湾曲面）とされることが好ましい。視点変換処理では、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々を仮想視点から見て仮想スクリーン上に投影された画像に変換する任意の手法を適用できる。

これにより、撮影画像２８Ａ、２８Ｌ、２８Ｒは、視点変換部２２において同一の仮想視点及び仮想スクリーンが適用されて視点変換処理が行われることで、撮影画像２８Ａ、２８Ｌ又は撮影画像２８Ａ、２８Ｒに映っている同一の対象物が重なるように見える。

画像抽出部２４では、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々からモニタ１６に表示するための第１表示画像としての表示画像３０Ａ及び第２表示画像としての表示画像３０Ｌ、３０Ｒを抽出する。この際、画像抽出部２４では、撮影画像２８Ａと撮影画像２８Ｌとの重なり領域内に画像境界３２Ｌが設定され、撮影画像２８Ａと撮影画像２８Ｒとの重なり領域内に画像境界３２Ｒが設定されることで、画像境界３２Ｌ、３２Ｒ及びモニタ１６における表示領域に応じて撮影画像２８Ａ、２８Ｌ、２８Ｒの各々に対してトリミング処理を行う。これにより、画像抽出部２４は、撮影画像２８Ａから表示画像３０Ａを抽出し、撮影画像２８Ｌから表示画像３０Ｌを抽出し、撮影画像２８Ｒから表示画像３０Ｒを抽出する。また、画像抽出部２４は、画像境界３２Ｌ、３２Ｒの位置が車幅方向に移動（設定変更）されることで、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々におけるトリミング位置を変更して表示画像３０Ａ、３０Ｌ、３０Ｒを抽出する。画像境界３２Ｌ、３２Ｒは、各々仮想スクリーン上における表示画像３０Ａ、３０Ｌ、及び表示画像３０Ａ、３０Ｒの境界に相当し、画像境界３２Ｌ、３２Ｒが移動されることで仮想スクリーン上における表示画像３０Ａ、３０Ｌ及び表示画像３０Ａ、３０Ｒの境界が移動される。

画像境界３２Ｌ、３２Ｒには、標準位置（原位置、デフォルト位置、例えば、図３に示される位置）Ｌ０、Ｒ０が設定されている。画像境界３２Ｌは、撮影画像２８Ａと撮影画像２８Ｌとの重なり領域内において、車幅方向内側の位置３２Ｌinから車幅方向外側の位置３２Ｌoutまでの範囲で設定される。また、画像境界３２Ｒは、撮影画像２８Ａと撮影画像２８Ｒとの重なり領域内において、車幅方向内側の位置３２Ｒinから車幅方向外側の位置３２Ｒoutまでの範囲で設定される。さらに、通常、画像境界３２Ｌは、位置３２Ｌin～３２Ｌoutの間の標準位置Ｌ０に配置され、画像境界３２Ｒは、位置３２Ｒin～３２Ｒoutの間の標準位置Ｒ０に配置される。

表示画像３０Ａは、画像境界３２Ｌ、３２Ｒが位置３２Ｌin、３２Ｒinとされることで、車幅方向に最も狭めされ、画像境界３２Ｌ、３２Ｒが位置３２Ｌout、３２Ｒoutとされることで、車幅方向に最も広げられる。したがって、画像境界３２Ｌ、３２Ｒが設定さることで、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々における表示画像３０Ａ、３０Ｌ、３２Ｒのトリミング位置（範囲）が定まる。なお、画像境界３２Ｌ、３２Ｒは、別々に設定されてもよく、同様に設定されてもよい（一方が、車幅方向内側に移動される場合、他方も車幅方向内側に移動される）。以下では、画像境界３２Ｌ、３２Ｒを特に区別せずに説明する。

表示処理部２６は、表示画像３０Ａ、３０Ｌ、３０Ｒを繋ぎ合せてモニタ１６に表示する後方画像（後方画像の画像データ）を生成する。これにより、モニタ１６に表示される後方画像は、表示画像３０Ａ、３０Ｌ、３０Ｒが画像境界３２Ｌ、３２Ｒにおいて繋ぎ合わせられた合成画像となっている。

一方、車両用視認装置１０では、車両１２の後方を走行する車両（対象物）としての後方車両３４が撮像されると、撮像された後方車両３４の車両画像３４Ａがモニタ１６に表示される。車両用視認装置１０では、後方車両３４の車両画像３４Ａがモニタ１６上での位置の変化を予測し、予測した後方車両３４の位置に応じてモニタ１６上の画像境界３２Ｌ、３２Ｒを設定することで、モニタ１６に表示された後方車両３４（車両Ａ）の視認性向上が図られるようにしている。

図４には、車両１２と後方車両３４の概略が上方視の平面図にて示されている。車両１２に対する後方車両３４の相対位置は、車両１２の中心を原点とし、車両１２の車幅方向をＸ軸方向、車両１２の進行方向をＺ軸方向としたＸ-Ｚ座標（Ｘ、Ｚ）で示される。

車両用視認装置１０には、後方車両３４を検出するための検出手段が設けられている。検出手段は、車両１２の後方を走行する後方車両３４を検出し、検出した後方車両３４の車両１２に対する進行方向の相対位置、及び車両１２に対する車幅方向の相対位置を検出する。

検出手段には、ミリ波と呼ばれる周波数が３０ＧＨｚ～３００ＧＨｚの電波を使用し、対象物の位置や距離を測ることができるミリ波レーダ方式を適用できる。また、検出手段には、赤外光などの光（レーザ光）を用いて光の照射方向及び対象物で反射した光が受光されるまでの時間を計測するＬｉＤＡＲ（Light Detection Ranging）方式などの公知の方式を適用できる。

また、車両用視認装置１０では、撮像手段としてリアカメラ１４Ａ、及びサイドカメラ１４Ｌ、１４Ｒが設けられており、リアカメラ１４Ａとサイドカメラ１４Ｌ、１４Ｒとの間では、一部の撮像領域が重複している（重なり合っている）。また、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒは、車体への取付位置が定まっている（固定されている）と共に、車体に対する撮影方向の角度（例えば、車体前後方向に沿う中心線に対する角度）が定まっている。ここから、検出手段には、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒを用いる構成も適用できる。なお、検出手段には、複数の方式が適用されてもよく、例えば、撮像手段を適用する構成とミリ波レーダ方式、又は、撮像手段を適用する構成とＬｉＤＡＲ方式が併用されてもよく、これにより、検出精度を向上できる。

検出手段として撮像手段を適用する構成には、複数台のカメラを用いる一般的な方法としてステレオカメラ方式があり、検出手段には、ステレオカメラ方式を適用できる。また、検出手段として撮像手段を適用する構成には、一つの撮影画像を用いる検出システムがあり、一つの撮影画像であれば１台のカメラで構成できる。

一つの撮影画像を用いる検出システムでは、例えば、ＨＯＧ（Histogram of Oriented Gradients）特徴量などを用いて撮影画像上の対象物（後方車両３４）を検出し、検出した撮影画像上の対象物の座標から投影法を用いて距離を特定する。ＨＯＧ特徴量は、局所領域における輝度値の勾配とその方向をヒストグラム化した量である。算出した特徴量は、機械学習により統計的な識別に有効な特徴を抽出でき、これにより、撮影画像における対象物の検出に適用できる識別器が得られる。

車両１２のカメラ１４の路面からの取付け高さは、車両１２ごとに定まる。また、カメラ１４の光軸と路面とが平行であれば、撮影画像上において後方車両３４が接地している路面の高さは、後方車両３４までの距離、画像の縦幅、ピクセル単位での焦点距離から得られ、後方車両３４が接地している路面の高さは撮影画像上から得ることができる。ここから、検出した対象物の座標から距離を特定する投影法においては、一つの撮影画像から後方車両３４、及び後方車両３４までの距離を取得できるので、自車に対する実際の後方車両３４の位置座標（路面をＸ－Ｚ座標面とした場合のＸ－Ｚ座標）を取得できる。

車両用視認装置１０には、検出手段として一つの撮影画像から後方車両３４を検出して、後方車両３４までの距離を取得することで、後方車両３４の位置座標を取得する構成が適用されている。視認処理装置１８には、検出手段を構成する検出部３６及び位置演算部３８が形成されている。また、視認処理装置１８には、位置予測部４０及び境界設定部４２が形成されており、境界設定部４２は、画像境界３２Ｌ、３２Ｒを設定する設定手段として機能する。視認処理装置１８では、ＣＰＵにより所定のプログラムが実行されることで、検出部３６、位置演算部３８、位置予測部４０及び境界設定部４２としての機能が実現される。

検出部３６では、リアカメラ１４Ａの撮影画像２８Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ｌ、２８Ｒを読込み、撮影画像２８Ａ、２８Ｌ、２８Ｒの各々に対して後方車両３４の検出のための所与の画像処理、及び演算処理を行う。また、検出部３６では、所与の処理が行われた撮影画像２８Ａ、２８Ｌ、２８Ｒから後方車両３４を検出し、後方車両３４の車両１２に対する距離Ｄ及び角度θ（車両１２に対する後方車両３４の方位に相当する角度）を特定する。

位置演算部３８では、後方車両３４の距離Ｄ及び角度θから車両１２に対する後方車両３４の位置情報としての位置座標（Ｄｚ、Ｄｘ）を演算する。位置座標（Ｄｚ、Ｄｘ）は、Ｚ軸成分（Ｄｚ）が車両１２（後方車両３４）の進行方向の相対位置を示し、Ｘ軸成分（Ｄｘ）が車両１２（後方車両３４）の車幅方向の相対位置を示す。位置座標（Ｄｚ、Ｄｘ）により、後方車両３４について進行方向に対する相対位置（Ｄｚ）、及び車幅方向に対する相対位置（Ｄｘ）が得られる。

検出部３６及び位置演算部３８は、所定の時間間隔で後方車両３４の検出、及び検出した後方車両３４の位置座標（Ｄｚ、Ｄｘ）を取得する。位置予測部４０は、後方車両３４の位置座標（Ｄｚ、Ｄｘ）におけるＺ軸成分（Ｄｚ）の変化を検出し、後方車両３４が車両１２に接近しているか、車両１２から離れているか、又は車両１２との間隔が保たれているか否かを示せる相対速度Ｖｚを検出する。また、位置予測部４０は、後方車両３４の位置座標におけるＸ軸成分（Ｄｘ）及びＸ軸成分の変化を検出し、後方車両３４が車幅方向において車両１２に接近しているか、車両１２から離れているか等を示せる相対速度Ｖｘを検出する。

すなわち、位置予測部４０は、車両１２に対する後方車両３４の相対速度Ｖｚ及び相対速度Ｖｘを取得する。また、位置予測部４０は、後方車両３４の位置座標（Ｄｚ、Ｄｘ）及び相対速度Ｖｚ、Ｖｘに基づき後方車両３４が車両１２と同様の車線を走行しているか、別の車線（右側車線又は左側車線）を走行しているか、車線変更しているかなどを判定する。さらに、位置予測部４０は、後方車両３４が車線変更している場合、位置座標（Ｄｚ、Ｄｘ）及び相対速度Ｖｘに基づき、後方車両３４が車両１２とは異なる車線に移動しているか、又は車両１２と同様の車線に移動しているかなどを判定する。

境界設定部４２は、撮影画像２８Ａと撮影画像２８Ｌとの重なり領域内において画像境界３２Ｌを設定する共に、撮影画像２８Ａと撮影画像２８Ｒとの重なり領域内において画像境界３２Ｒを設定する。また、境界設定部４２では、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ、３２Ｒの位置が予め設定された条件を満たしたときに、後方車両３４の車両画像３４Ａの画像サイズ及び位置（撮影画像２８Ａ、２８Ｌ、２８Ｒ上の位置）、及び後方車両３４の相対速度Ｖｚ、Ｖｘに応じて画像境界３２Ｌ、３２Ｒの設定変更を行う。なお、後方車両３４の車両画像３４Ａの画像サイズや位置は、後方車両３４の位置座標（Ｄｚ、Ｄｘ）によって定まることから、後方車両３４の車両画像３４Ａの画像サイズ及び位置に換えて後方車両３４の位置座標（Ｄｚ、Ｄｘ）を適用してもよい。

境界設定部４２では、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ、３２Ｒの位置について予め設定された条件に達すると、後方車両３４の相対速度Ｖｚ、Ｖｘ等に基づいて画像境界３２Ｌ、３２Ｒの設定（設定変更）を行う。

境界設定部４２では、相対速度Ｖｚ、Ｖｘ等に基づき画像境界３２Ｌ、３２Ｒの位置を設定（設定変更）する際、画像境界３２Ｌ、３２Ｒが後方車両３４に対して相対位置の変化する方向とは反対側となるように設定する。

また、境界設定部４２は、後方車両３４が検出されていない場合のように、予め設定された条件が満たされない場合や予め設定された条件から大きく離れる場合、予め設定された条件を満たさない範囲で画像境界３２Ｌ、３２Ｒを標準位置Ｌ０、Ｒ０に向けて移動するように設定する。

次に本実施形態の作用を説明する。
車両用視認装置１０は、例えば、車両１２のイグニッションスイッチ（ＩＧスイッチ）がオンされるなどして、モニタ１６への画像表示の開始が指示されると動作を開始し、ＩＧスイッチがオフされるなどして画像表示の終了が指示されると、所定時間の経過後などの予め定められたタイミングで動作を終了する。

車両用視認装置１０では、動作の開始が指示されるとリアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒが動作されると共に、視認処理装置１８が動作されて、モニタ１６に後方画像を表示させる。図５には、視認処理装置１８が動作されることで実行される表示処理の概略が流れ図にて示されている。

図５のフローチャートにおいて視認処理装置１８は、最初のステップ１００で各カメラ１４（リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒ）の撮影画像を読込んで所定の画像処理を実行する（ステップ１０２）。これにより、車両後方の撮影画像２８Ａ及び車両側方から後方の撮影画像２８Ｌ、２８Ｒが生成される。次のステップ１０４において視認処理装置１８は、撮影画像２８Ａ、２８Ｌ、２８Ｒに対して所定の視点変換処理を行う。

この後、視認処理装置１８では、ステップ１０６において画像境界３２Ｌ、３２Ｒを設定し、ステップ１０８において、視点変換処理された撮影画像２８Ａ、２８Ｌ、２８Ｒの各々に対し、画像境界３２Ｌ、３２Ｒに合せてトリミング処理を行って表示画像３０Ａ、３０Ｌ、３０Ｒを抽出する。

次に、視認処理装置１８は、ステップ１１０において表示画像３０Ａ、３０Ｌ、３０Ｒを繋ぎ合せて、モニタ１６に表示する後方画像を生成し、ステップ１１２において後方画像をモニタ１６に表示させる。

これにより、車室内のモニタ１６には、リアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒによる撮影画像に応じた後方画像が表示され、モニタ１６に表示された後方画像により車室内の乗員の車両後方の視認が補助される。また、モニタ１６には、リアカメラ１４Ａの撮影画像２８Ａから抽出された表示画像３０Ａ、及びサイドカメラ１４Ｌ、１４Ｒの各々の撮影画像２８Ｌ、２８Ｒから抽出された表示画像３０Ｌ、３０Ｒが表示されるので、乗員は、車両左側後方から車両右側後方までの広範囲で視認が補助される。

一方、車両用視認装置１０（視認処理装置１８）は、車両１２の後方を走行する後方車両３４を検出し、後方車両３４の走行位置に応じて画像境界３２Ｌ、３２Ｒを設定することで、後方車両３４の車両画像３４Ａが効果的にモニタ１６に表示される。

図６には、視認処理装置１８において画像境界３２Ｌ、３２Ｒの位置を設定するための画像境界設定処理の概略が流れ図にて示されている。また、図７から図１０の各々には、後方車両３４の走行位置（車両１２に対する相対位置）に応じたモニタ１６の表示が概略図にて示されている。

図６のフローチャートは、図５においてステップ１０６に移行することで実行され、視認処理装置１８では、表示画像３０Ａ、３０Ｌ、３０Ｒの何れかで後方車両３４の車両画像３４Ａを優先的に表示するための画像境界３２Ｌ、３２Ｒを設定する。

モニタ１６に表示される後方画像においては、後方車両３４の走行に応じて車両画像３４Ａの大きさ（画像サイズ）や位置（モニタ１６の後方画像における位置）が変化する。これにより、車両画像３４Ａに画像境界３２Ｌ、３２Ｒの少なくとも一方が必要以上に重なったり、画像境界３２Ｌ、３２Ｒが頻繁に移動したりすると、車両画像３４Ａの視認性の低下やモニタ１６に表示される後方画像の見た目が悪くなる（見辛くなる）などの問題が生じる。

ここから、視認処理装置１８は、車両画像３４Ａの相対移動（相対移動に伴う画像サイズ及び位置の変化を含む）に応じ、必要な範囲内で画像境界３２Ｌ、３２Ｒの少なくとも一方を移動（位置の設定変更）させる。なお、画像境界３２Ｌ、３２Ｒの移動には、後方車両３４の車両画像３４Ａを表示するための表示画像の変更（表示画像３０Ａ、３０Ｌ、３０Ｒの間の切換え）が含まれる。

視認処理装置１８は、図６の最初のステップ１２０において、撮影画像２８Ａ、２８Ｌ、２８Ｒを用いて後方車両３４（後方車両３４の車両画像３４Ａ）の検出処理を行い、ステップ１２２において、後方車両３４が検出されたか否かを判定する。この際、後方車両３４が検出されていなければ（極めて後方に離れている場合も含む）、視認処理装置１８は、ステップ１２２において否定判定してステップ１２４に移行し、画像境界３２Ｌ、３２Ｒを標準位置Ｌ０、Ｒ０に設定し、この後、次の処理に移行する。これにより、通常、モニタ１６には、画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０とされた後方画像が表示される（図示省略）。なお、視認処理装置１８は、車両用視認装置１０の起動開始時においても、画像境界３２Ｌ、３２Ｒを標準位置Ｌ０、Ｒ０に設定する。

一方、視認処理装置１８では、撮影画像２８Ａ、２８Ｌ、２８Ｒの何れかにおいて後方車両３４（車両画像３４Ａ）が検出されていると、ステップ１２２において肯定判定してステップ１２６に移行する。

視認処理装置１８は、ステップ１２６に移行すると、後方車両３４の相対位置（位置座標（Ｄｚ、Ｄｘ））を検出するために、車両１２に対する後方車両３４の距離Ｄ及び角度θを検出する。次のステップ１２８において、視認処理装置１８は、距離Ｄ及び角度θを用いて位置座標（Ｄｚ、Ｄｘ）を取得（演算）する。また、視認処理装置１８は、ステップ１３０において、相対位置の変化（前回の位置座標と今回の位置情報との差）に基づいて、車両１２に対する後方車両３４の進行方向の相対速度Ｖｚ、及び車幅方向の相対速度Ｖｘを取得する。

これにより、視認処理装置１８では、相対速度Ｖｚから後方車両３４が接近するか否かを予測（判定）できると共に、相対速度Ｖｘから車線移動を予測（判定）でき、視認処理装置１８は、後方車両３４の移動状況の予測が可能になる。

この後、ステップ１３２において視認処理装置１８は、車両画像３４Ａと画像境界３２Ｌ又は画像境界３２Ｒ（又は画像境界３２Ｌ、３２Ｒの各々）とが所定条件（予め設定された条件）を満たしているか否かを判定する。この際、視認処理装置１８では、現在の画像境界３２Ｌ、３２Ｒが車両画像３４Ａに対して視認性が後方画像の見た目に影響しない程度で離れている場合、予め設定している条件を満たしていないと判断される場合、視認処理装置１８は、ステップ１３２において否定判定して、次の処理に移行する。これにより、モニタ１６に表示される後方画像は、画像境界３２Ｌ、３２Ｒが変更されない。

一方、視認処理装置１８では、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方の位置が予め設定された条件を満たしていると、ステップ１３２において肯定判定してステップ１３４に移行する。

ここで、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ、３２Ｒの位置の条件（予め設定している条件）としては、後方車両３４の車両画像３４Ａと画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方との間隔ｄが予め設定されたしきい値ｄ１以下となったか否かを適用できる。この場合、間隔ｄがしきい値ｄ１以下（ｄ≦ｄ１）であると、視認処理装置１８では、ステップ１３２において肯定判定する。

また、モニタ１６に表示された後方車両３４の車両画像３４Ａに画像境界３２Ｌ、３２Ｒの少なくとも一方が重なることで、モニタ１６に表示された車両画像３４Ａの画像サイズが小さくなる。この画像サイズとしては、画像面積を適用してもよく、車両画像３４Ａの車幅方向に沿う寸法（横幅に対応する画素数等）を適用できる。

ここから、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ、３２Ｒの位置についての予め設定された条件としては、撮影画像２８Ａ上の車両画像３４Ａの画像サイズに対するモニタ１６に表示される表示画像３０Ａ上の車両画像３４Ａの画像サイズが予め設定された割合以下となったか否かを適用できる。また、この条件としては、撮影画像２８Ｌ上の車両画像３４Ａの画像サイズに対するモニタ１６に表示される表示画像３０Ｌ上の車両画像３４Ａの画像サイズ、又は、撮影画像２８Ｒ上の車両画像３４Ａの画像サイズに対するモニタ１６に表示される表示画像３０Ｒ上の車両画像３４Ａの画像サイズが予め設定された割合以下となったか否かを適用できる。

例えば、車両画像３４Ａの車幅方向の端部に画像境界３２Ｌ（又は画像境界３２Ｒ）が接している（間隔ｄ＝０）場合、撮影画像２８Ａ上の車両画像３４Ａの画像サイズに対するモニタ１６に表示される表示画像３０Ａ上の車両画像３４Ａの画像サイズの割合が１０割（１００％）となる。これに対し、撮影画像２８Ａ上の車両画像３４Ａの全幅に対して、画像境界３２Ｌが左側から１／１０となる位置に重なっている場合、撮影画像２８Ａ上の車両画像３４Ａの画像サイズに対する表示画像３０Ａ上の車両画像３４Ａの画像サイズの割合は９割となる。

このような割合に対するしきい値としては、１０割未満（例えば９割５分）から５割を超える割合（例えば７割以上）の範囲で任意に設定した値を適用できる。また、割合は、これに限らず、車両画像３４Ａの見た目が損なわれていない（乗員の視認性が損なわれているとはみなせない）最小の値を超える範囲を適用できる。

また、後方車両３４の車両画像３４Ａに対する画像境界３２Ｌ、３２Ｒの位置についての予め設定された条件としては、これらに限らず、車両画像３４Ａに画像境界３２Ｌ、３２Ｒが接近又は重なった状態を判定できる各種の条件の適用が可能である。

視認処理装置１８は、ステップ１３４において、後方車両３４の位置座標（Ｄｚ、Ｄｘ）（車両画像３４Ａの画像サイズと位置）、及び相対速度Ｖｚ、Ｖｘに基づいて画像境界３２Ｌ、３２Ｒの位置の設定変更を行う。この際、視認処理装置１８は、後方車両３４の車両画像３４Ａが表示される（映る）表示画像（表示画像３０Ａ、３０Ｌ、３０Ｒの何れか）を予測すると共に、後方車両３４の相対速度Ｖｚ、Ｖｘに応じて画像境界３２Ｌ、３２Ｒの位置を設定する。

画像境界３２Ｌ、３２Ｒの設定において、視認処理装置１８は、後方車両３４の車両画像３４Ａ座標の画像サイズ及び位置から撮影画像２８Ａ、２８Ｌ、２８Ｒの何れの画像上に車両画像３４Ａが表示されているかを特定する。また、視認処理装置１８は、後方車両３４の進行方向の相対速度Ｖｚ、及び車幅方向の相対速度Ｖｘから車両画像３４Ａが撮影画像２８Ａ、２８Ｌ、２８Ｒのうちの何れの画像上に映るか（移動するか）を予測する。

この後、視認処理装置１８では、モニタ１６に表示される後方画像上の車両画像３４Ａの画像サイズ、車両画像３４Ａの位置、及び車両画像３４Ａの移動方向（相対速度Ｖｚ、Ｖｘ）に応じ、表示画像３０Ａ、３０Ｌ、３０Ｒから車両画像３４Ａを優先表示させる表示画像を設定する。また、視認処理装置１８は、画像境界３２Ｌ、３２Ｒに対して相対移動した車両画像３４Ａが接近するのを抑制できるように画像境界３２Ｌ又は画像境界３２Ｒ（又は画像境界３２Ｌと画像境界３２Ｒ）を設定する。

例えば、後方車両３４が車両１２の真後ろ（同じ車線）を走行することで車両画像３４Ａが表示画像３０Ａに表示される。視認処理装置１８は、表示画像３０Ａ上において車両画像３４Ａが画像境界３２Ｒに接した場合、車両画像３４Ａと画像境界３２Ｒとの間隔が所定間隔になるまで車両画像３４Ａが画像境界３２Ｒに接近した場合、車両画像３４Ａの車幅方向の端部に画像境界３２Ｒが重なった場合等の車両画像３４Ａに対して画像境界３２Ｌ、３２Ｒが予め設定している条件を満たす（満たすと予測される場合を含んでもよい）ことで、該当する画像境界３２Ｌ、３２Ｒ（例えば画像境界３２Ｒ）の位置の設定変更を行う。

この際、視認処理装置１８は、例えば、画像境界３２Ｒを車幅方向の外側（位置３２Ｒout側、表示画像３０Ｒを狭める方向）に移動させる。また、車両画像３４Ａが表示画像３０Ａ内を画像境界３２Ｒに向けて移動していることから、視認処理装置１８では、車両画像３４Ａを表示画像３０Ｒに表示できる場合、画像境界３２Ｒを車幅方向の内側（位置３２Ｒin側、表示画像３０Ｒを広げる方向）に移動させる。すなわち、車両画像３４Ａに対して画像境界３２Ｌ、３２Ｒが予め設定している条件を満たす場合において、相対速度Ｖｘ（相対速度Ｖｘの絶対値）が比較的大きいことで、後方車両３４の車線変更を予測できる。ここから、視認処理装置１８では、画像境界３２Ｒを車幅方向内側に移動するように設定する。

また、車両１２の走行車線の右側の車線を走行することで車両画像３４Ａが表示画像３０Ｒに表示される。この状態から、後方車両３４が車両１２から離れることで予め設定している条件が満たされると、視認処理装置１８は、画像境界３２Ｒを車幅方向の外側（位置３２Ｒout側）に移動させることで、車両画像３４Ａが表示画像３０Ａに表示されるようにする。

なお、後方車両３４の相対速度Ｖｚが負（Ｖｚ＜０）となっていることで、車両１２の真後ろを走行する後方車両３４が車両１２からさらに離れ、画像境界３２Ｒから離れる。この場合、視認処理装置１８は、車両画像３４Ａが画像境界３２Ｒから所定間隔以上離れた場合に、画像境界３２Ｒを標準位置Ｒ０に移動させてもよい。

視認処理装置１８では、車両画像３４Ａの画像サイズ、車両画像３４Ａの位置、及び相対速度Ｖｚ、Ｖｘに基づいて画像境界３２Ｌ、３２Ｒの位置の設定（設定変更）を行う際、後方車両３４の進行方向の相対速度Ｖｚが予め設定しているしきい値Ｖzthを超えているか否かを確認する。このしきい値Ｖzthとしては、例えばＶzth＝０（ｋｍ／h）を適用でき、これにより、後方車両３４が接近しているか否かを判定できる。

視認処理装置１８では、相対速度Ｖｚがしきい値Ｖzth以下（Ｖｚ≦Ｖzth）であると、後方車両３４が車両１２から離れつつあり、少なくとも車両１２に接近しないと判断する。また、視認処理装置１８は、後方車両３４がリアカメラ１４Ａの撮影画像２８Ａに映っていると、表示画像３０Ａに車両画像３４Ａが表示されるように画像境界３２Ｌ、３２Ｒを設定する（例えば、画像境界３２Ｌ、３２Ｒを車幅方向外側の位置３２Ｌout、３２Ｒout側に設定する。これにより、モニタ１６に表示される後方画像において画像境界３２Ｌ、３２Ｒが移動するのを抑制できるので、車両画像３４Ａの視認性が低下するのを抑制できると共に、後方画像が見辛くなるのを抑制できる。

また、視認処理装置１８では、相対速度Ｖｚがしきい値Ｖzthを超えていると（Ｖｚ＞Ｖzth）、後方車両３４が車両１２に接近しつつあると判断する。後方車両３４が車両１２に接近しつつある場合、視認処理装置１８は、後方車両３４の車幅方向に対する相対速度Ｖｘが予め設定されたしきい値Ｖxthを超えているか否かを判定することで、後方車両３４が車線変更すると予測されるか否かを確認する。この際、視認処理装置１８では、後方車両３４が走行する車線の確認も行う（例えば、後方車両３４の車両画像３４Ａの画像サイズ及び車両画像３４Ａの撮影画像２８Ａ、２８Ｌ、２８Ｒ上の位置を適用）。

後方車両３４の車線変更は、車幅方向の相対速度Ｖｘ（相対速度Ｖｘの絶対値）から予測でき、車線変更の方向は、相対速度Ｖｘの符号（正負の符号）から予測できる。また、相対速度Ｖｘは、その値（絶対値）が小さい場合、車線変更がなされていないと判定できる。ここから、しきい値Ｖxthには、後方車両３４が車線変更のために移動していると判断できる車幅方向の相対速度Ｖｘの最低値を適用できる。

相対速度Ｖｚがしきい値Ｖzthを超えており（Ｖｚ＞Ｖzth）、後方車両３４が車両１２に接近しつつあると判定できる場合、視認処理装置１８は、後方車両３４の車両画像３４Ａの画像サイズ及び車両画像３４Ａの撮影画像２８Ａ、２８Ｌ、２８Ｒ上の位置）を用い、後方車両３４の走行車線が自車と同じ車線か否かを確認する。

また、視認処理装置１８は、相対速度Ｖｘの絶対値がしきい値Ｖxth以上となっていると（|Ｖｘ|≧Ｖxth）、後方車両３４が車線変更すると予測する（車線変更していると判断する）。また、視認処理装置１８は、後方車両３４が車線変更すると予測する場合、相対速度Ｖｘの符号から後方車両３４が右側に車線変更するか（例えば、相対速度Ｖｘ＞０）、後方車両３４が左側に車線変更するか（例えば、相対速度Ｖｘ＜０）を予測する。これに対して、視認処理装置１８は、相対速度Ｖｘの絶対値がしきい値Ｖxthに満たない場合（|Ｖｘ|＜Ｖxth）、後方車両３４が車線変更しないと予測する（車線変更していないと判断する）。

視認処理装置１８は、後方車両３４の相対速度Ｖｘから車線変更と判定されず、かつ後方車両３４の車両画像３４Ａの画像サイズ、及び車両画像３４Ａの撮影画像２８Ａ上の位置から後方車両３４が車両１２と同じ車線（自車の真後ろ）を走行していると判定できる場合、リアカメラ１４Ａで撮像された表示画像３０Ａを優先表示するように画像境界３２Ｌ、３２Ｒを設定する。また、後方車両３４が車両１２に接近していることで、車両画像３４Ａ（画像サイズ）は次第に大きくなる。ここから、視認処理装置１８は、画像境界３２Ｌ、３２Ｒを最初は標準位置Ｌ０、Ｒ０に設定するが、車両画像３４Ａと画像境界３２Ｒ（又は３２Ｌ）が予め設定された条件を満たすと、条件を満たした画像境界３２Ｒ（又は画像境界３２Ｌ）を車幅方向外側（例えば、位置３２Ｌout、３２Ｒout）に設定する。

一方、視認処理装置１８は、後方車両３４の車両画像３４Ａの画像サイズ及び車両画像３４Ａの撮影画像２８Ａ、２８Ｌ、２８Ｒの位置から後方車両３４が車両１２の隣の車線を走行しながら車両１２に接近していると判定される場合、車両画像３４Ａを表示画像３０Ｌ又は表示画像３０Ｒに優先表示されるように画像境界３２Ｌ又は画像境界３２Ｒを設定する。

この場合、後方車両３４が車両１２から離れている状態では、後方車両３４がリアカメラ１４Ａに撮像され、車両画像３４Ａが表示画像３０Ａに表示される。また、後方車両３４が車両１２に接近するにしたがって、後方車両３４がサイドカメラ１４Ｒ（又はサイドカメラ１４Ｌ）に撮像される。視認処理装置１８は、後方車両３４がサイドカメラ１４Ｒ（又はサイドカメラ１４Ｌ）に撮像されると、画像境界３２Ｒ（又は画像境界３２Ｌ）を車幅方向の内側（位置３２Ｒin）（又は位置３２Ｌin）に設定する。これにより、後方車両３４の車両画像３４Ａが表示画像３０Ｒ（又は３０Ｌ）に表示されるので、後方車両３４がさらに車両１２に接近しても、画像境界３２Ｒ（又は画像境界３２Ｌ）の移動が不要になる（移動を抑制できる）。

また、視認処理装置１８は、車両１２が走行している車線の隣の車線を走行しながら接近する後方車両３４について、相対速度Ｖｘから車線変更が予測されるか否かを判定する。視認処理装置１８は、相対速度Ｖｘの絶対値がしきい値Ｖxthに満たない場合（|Ｖｘ|＜Ｖxth）、後方車両３４が車線変更していないと判定（予測）する。この場合、視認処理装置１８は、隣の車線を走行している後方車両３４の車両画像３４Ａを表示するための画像境界３２Ｌ、３２Ｒについての設定を維持する。これにより、車両画像３４Ａが表示画像３０Ｒ（又は表示画像３０Ｌ）に表示されるので、後方車両３４がさらに車両１２に接近しても、画像境界３２Ｒ（又は画像境界３２Ｌ）の移動が不要になる（移動を抑制できる）。

さらに、視認処理装置１８は、相対速度Ｖｚから車両１２に接近しつつあると判定している後方車両３４の車両画像３４Ａの画像サイズ及び車両画像３４Ａの位置、並びに相対速度Ｖｘから、例えば、後方車両３４が隣の車線から車両１２と同じ車線に車線変更すると判定（予測）すると、この判定結果に基づいて画像境界３２Ｌ、３２Ｒの設定を行う。例えば、視認処理装置１８は、隣（右隣）の車線から車両１２と同じ車線に車線変更すると判定すると、車両画像３４Ａをリアカメラ１４Ａで撮像された表示画像３０Ａを優先表示させるように画像境界３２Ｒを設定する。

この場合、視認処理装置１８は、表示画像３０Ａに車両画像３４Ａを優先表示させるように設定した際、後方車両３４がリアカメラ１４Ａに撮像されると、画像境界３２Ｒを車幅方向の外側（位置３２Ｒout）に設定する。これにより、車両画像３４Ａが表示画像３０Ａに表示され、後方車両３４が車両１２に接近しても、画像境界３２Ｒの移動を不要にできる。

図７には、後方車両３４が車両１２と同じ車線を走行しながら、時刻Ｔ０（図７（Ａ）参照）、時刻Ｔ１（図７（Ｂ）参照）、時刻Ｔ２（図７（Ｃ）参照）と時間経過に伴って接近する場合の概略が示されている。この場合、視認処理装置１８は、リアカメラ１４Ａにより撮像された表示画像３０Ａ（撮影画像２８Ａ）に車両画像３４Ａが優先表示されるように画像境界３２Ｌ、３２Ｒを設定する。

例えば、時刻Ｔ０（図７（Ａ））において、画像境界３２Ｌ、３２Ｒは各々標準位置Ｌ０、Ｒ０に設定される。また、時刻Ｔ１（図７（Ｂ））及びＴ２（図７（Ｃ））に示すように、車両画像３４Ａが画像境界３２Ｌ、３２Ｒに接近しなければ（所定の条件を満たしていなければ）、画像境界３２Ｌ、３２Ｒが移動されずに保持される。

また、仮に、時刻Ｔ２以降において、後方車両３４がさらに接近して、車両画像３４Ａが画像境界３２Ｌ及び画像境界３２Ｒの少なくとも一方との間で所定の条件を満たすと、該当する画像境界３２Ｒ（又は画像境界３２Ｌ）を、車幅方向外側となる位置３２Ｒout（又は位置３２Ｌout）に変更するだけでよい。これにより、後方車両３４が車両１２に接近しても、画像境界３２Ｌ、３２Ｒが変更されるのを抑えることができる。

また、視認処理装置１８は、車両１２と同じ車線を走行しながら接近する後方車両３４が車線変更をすると予測される場合、相対速度Ｖｘによって定まる表示画像３０Ｌ又は表示画像３０Ｒに車両画像３４Ａが優先表示されるように画像境界３２Ｌ又は画像境界３２Ｒを設定する。この際、視認処理装置１８は、相対速度Ｖｘが正の場合（相対速度Ｖｘ＞０）、車両画像３４Ａが表示画像３０Ｒに優先表示されるようにし、相対速度Ｖｘが負の場合（相対速度Ｖｘ＜０）、車両画像３４Ａが表示画像３０Ｌに優先表示されるようにする。

後方車両３４の相対速度Ｖｘを考慮していない場合、後方車両３４がリアカメラ１４Ａに撮像されていると、表示画像３０Ａに車両画像３４Ａが表示されるように画像境界３２Ｌ、３２Ｒが設定され、後方車両３４が接近してリアカメラ１４Ａとサイドカメラ１４Ｒ（又はサイドカメラ１４Ｌ）にも撮影されていると、画像境界３２Ｒ（又は画像境界３２Ｌ）が車両画像３４Ａに合せて車幅方向外側に移動される。この後、後方車両３４を撮像する割合がリアカメラ１４Ａ側よりもサイドカメラ１４Ｒ（又はサイドカメラ１４Ｌ）側が大きくなると、画像境界３２Ｒ（又は画像境界３２Ｌ）が突然のように車幅方向内側に移動してしまう。

これに対して、後方車両３４の相対速度Ｖｘを用いることで後方車両３４の車線変更を予測でき、後方車両３４の車線変更を予測することで、車両画像３４Ａを優先表示する表示画像を表示画像３０Ａから表示画像３０Ｒ（又は表示画像３０Ｌ）に切換えできるように画像境界３２Ｌ、３２Ｒを設定する。これにより、視認処理装置１８では、車線変更した後方車両３４、又は後方車両３４が車線変更しながら車両１２に接近しても、画像境界３２Ｌ、３２Ｒの位置が急に変化するのを抑制できる。

図８には、時刻Ｔ０（図８（Ａ）参照）～時刻Ｔ１（図８（Ｂ）参照）まで車両１２と同じ車線を走行していた後方車両３４が、右側の車線に車線変更した後、時刻Ｔ３（図８（Ｃ）参照）、時刻Ｔ４（図８（Ｄ）参照）と時間経過に伴って接近した場合の概略が示されている。この場合、視認処理装置１８は、後方車両３４が隣の車線（右側の車線）に車線変更すると判定（予測）すると、画像境界３２Ｒを車幅方向の内側となる位置３２Ｒinに設定する。

すなわち、図８（Ａ）及び図８（Ｂ）に示すように、後方車両３４が車両１２と同じ車線を走行している状態では、画像境界３２Ｌ、３２Ｒが標準位置Ｌ０、Ｒ０に設定される。こののち、後方車両３４の車線変更が判定されると、画像境界３２Ｒを車幅方向の内側（位置３２Ｒin）となるように設定される。これにより、図８（Ｃ）に示すように、モニタ１６には、表示画像３０Ｒに車両画像３４Ａが表示される。また。図８（Ｄ）に示すように、後方車両３４がさらに車両１２（車両１２の側方）に接近しても、画像境界３２Ｒが車両画像３４Ａに重なってしまうことがない。したがって、車両１２と同じ車線を走行していた後方車両３４が車線変更しながら車両１２に接近しても、画像境界３２Ｌ、３２Ｒの移動を抑えて、後方車両３４の車両画像３４Ａを適切にモニタ１６に表示できる。

一方、仮に、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、後方車両３４が車両１２より速い走行速度で隣の車線（例えば、右側の車線）を走行することで、後方車両３４の車両画像が右側の表示画像に表示されるように画像境界が移動される（例えば、標準位置又は標準位置よりも車幅方向内側に移動される）。これにより、後方車両３４が車両１２に接近しても画像境界を移動させる必要がなくなる。

しかし、隣の車線を走行している後方車両３４の車両画像が右側の表示画像に表示された状態で後方車両３４が車幅方向において車両１２に接近する方向へ移動（隣の車線から車両１２と同じ車線に車線変更）すると、後方車両３４の車両画像が画像境界に接近するため、更に画像境界が移動されることになる。

これにより、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、隣の車線を走行する後方車両３４が車両１２に接近しつつ車両１２と同じ車線に車線変更すると、画像境界の切換りが繰返されて乗員に煩わしさを感じさせてしまう。

図９（Ａ）から図９（Ｄ）には、右側車線を走行している後方車両３４が車両１２に接近しながら車両１２と同じ車線に車線変更する場合における視認処理装置１８によるモニタ１６の表示が概略図にて示されている。なお、図９（Ａ）から図９（Ｄ）は、時間経過順としている。

図９（Ａ）に示すように、右側車線を走行している後方車両３４が車両１２の後方に大きく離れてリアカメラ１４Ａに撮影されている状態では、視認処理装置１８は、表示画像３０Ａに後方車両３４の車両画像３４Ａが表示されるように画像境界３２Ｌ、３２Ｒを設定する。この際、画像境界３２Ｌ、３２Ｒは、標準位置Ｌ０、Ｒ０に設定される。ここで車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、図９（Ｂ）に示すように、後方車両３４がサイドカメラ１４Ｒに撮像されていると、表示画像３０Ｒに後方車両３４の車両画像３４Ａが表示されるように画像境界３２Ｒが車幅方向内側に移動（例えば、画像境界３２Ｒが位置３２Ｒinに移動）し、さらに、後方車両３４が車幅方向において車両１２に接近していることで後方車両３４の車両画像３４Ａが画像境界３２Ｒに接近するため、図９（Ｃ）に示すように、画像境界３２Ｒを車幅方向外側の位置（例えば、位置３２Ｒout）に移動させる。このため、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、画像境界の切換りが繰返され、乗員に煩わしさを感じさせてしまうことになる。

これに対して、車両１２に対する後方車両３４の車幅方向に沿う後方車両３４の相対速度Ｖｘを用いる場合、後方車両３４が車両１２に接近しながら右側車線から車両１２と同じ車線に移動すると、視認処理装置１８が検出している相対速度Ｖｘの値が負となると共に、絶対値がしきい値Ｖxthを超える。このため、視認処理装置１８は、画像境界３２Ｒを車幅方向の内側の位置に移動させることなく、車幅方向の外側の位置（例えば、位置Ｒout）に設定する。

これにより、後方車両３４が車両１２に接近しながら右隣の車線から車両１２と同じ車線に車線変更すると、図９（Ｃ）及び図９（Ｄ）に示すように、モニタ１６に表示される画像境界３２Ｒが車幅方向外側（標準位置Ｒ０又は位置３２Ｒout）に移動され、後方車両３４の車両画像３４Ａが表示画像３０Ａに表示される。したがって、視認処理装置１８では、後方車両３４が車両１２に接近しつつ隣（右隣）の車線から車両１２と同じ走行車線に車線変更しても、画像境界３２Ｌ、３２Ｒの切換りが繰返されるのを抑えることができて、車両画像３４Ａを適切にモニタ１６に表示でき、画像境界３２Ｌ、３２Ｒが乗員に煩わしさを感じさせてしまうのを防止できる。

一方、道路には、走行車線が片側３車線以上の道路がある。このような道路において、仮に、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、最も右側の車線を走行している車両１２により遅い走行速度で後方車両３４が左となりの線を走行することで、画像境界が車幅方向外側となるように移動される。

しかし、左隣の車線を走行している後方車両３４の車両画像が中央の表示画像に表示された状態で後方車両３４が車幅方向において車両１２から離れる方向へ車線変更（左隣の車線からさらに左側の車線に車線変更）すると、後方車両３４の車両画像が画像境界に接近するので、更に画像境界を移動させることになる。このため、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしている場合、隣の車線を走行する後方車両３４が車両１２から後方に離れつつ車両１２から離れる方向へ車線変更すると画像境界の切換りが繰返されてしまう。これにより、画像境界の移動が頻繁に繰返されて乗員に煩わしさを感じさせてしまう。

図１０（Ａ）から図１０（Ｃ）には、車両１２の隣（左隣）の車線を車両１２により遅い速度で走行する後方車両３４が、車幅方向において車両１２から離れる方向に車線変更する場合における視認処理装置１８によるモニタ１６の表示が概略図にて示されている。なお、図１０（Ａ）から図１０（Ｃ）は、時間経過順としている。

図１０（Ａ）に示すように、車両１２が走行する車線の左側車線を走行している後方車両３４がサイドカメラ１４Ｌに撮影されている状態では、表示画像３０Ｌに後方車両３４の車両画像３４Ａが表示されるように画像境界３２Ｌが標準位置Ｌ０（又は位置３２Ｌinでもよい）に設定される。

また、図１０（Ｂ）に示すように、後方車両３４が遠ざかる(後方に離れる）ことで、画像境界３２Ｌが車幅方向外側（例えば位置３２Ｌout）に移動され、さらに、後方車両３４が車幅方向において車両１２から離れる方向に移動していると、後方車両３４の車両画像が画像境界に接近する。このため、車両１２と後方車両３４との相対速度に基づいて画像境界を設定するようにしていると、画像境界３２Ｌが車幅方向内側の位置（例えば、位置３２Ｌin）に移動され（例えば、図１０（Ｃ）参照）、画像境界の切換りが繰返され、乗員に煩わしさを感じさせてしまう。

これに対して、後方車両３４の相対速度Ｖｘを用いる場合、後方車両３４が車両１２から後方に離れながら車両１２の隣車線からさらに左隣の車線（車幅方向外側の車線）に車線変更しようとすると、視認処理装置１８が検出している相対速度Ｖｘの絶対値がしきい値Ｖxthを超えると共に、相対速度Ｖｘの値が正となる。視認処理装置１８は、相対速度Ｖｘの絶対値がしきい値Ｖxthを超え、相対速度Ｖｘの値が正となると、画像境界３２Ｌを車幅方向の外側の位置に移動させることなく、車幅方向の内側の位置（例えば、位置３２Ｌin）に移動させる。

これにより、後方車両３４が車両１２から後方に離れながら車両１２の左隣の車線からさらに左隣の車線に車線変更すると、図１０（Ｃ）に示すように、モニタ１６に表示される画像境界３２Ｌが車幅方向内側（標準位置Ｌ０又は位置３２Ｌin）に移動され、後方車両３４の車両画像３４Ａが表示画像３０Ｌに表示される。

したがって、視認処理装置１８は、後方車両３４が車両１２の隣の車線を車両１２から離れつつ車両１２からさらに離れる方向に車線変更しても、画像境界３２Ｌ、３２Ｒの位置の切換りが繰返されるのを抑えることができて、車両画像３４Ａを適切にモニタ１６に表示でき、画像境界３２Ｌ、３２Ｒが乗員の車両後方の視認に煩わしさを感じさせてしまうのを防止できる。

このように、車両用視認装置１０では、車両１２に対する後方車両３４の進行方向の相対速度Ｖｚに加え、車両１２を基準とした後方車両３４の位置座標（Ｄｚ、Ｄｘ）、及び座標位置（Ｄｚ、Ｄｘ）の変化から得られる車両１２に対する後方車両３４の車幅方向の相対速度Ｖｘを用いて、撮影画像２８Ａ、２８Ｌ、２８Ｒから表示画像３０Ａ、３０Ｌ、３０Ｒをトリミングするための画像境界３２Ｌ、３２Ｒを設定している。このため、車両用視認装置１０では、後方車両３４の車線変更を予測（判定）でき、予測した車線変更に合せて画像境界３２Ｌ、３２Ｒを設定できる。これにより、車両用視認装置１０では、モニタ１６に表示される後方画像において画像境界３２Ｌ、３２Ｒが頻繁に変更するのを抑えることができ、乗員の視認を効果的に補助できる。

すなわち、車両用視認装置１０では、後方車両３４の進行方向の相対速度Ｖｚ及び後方車両３４の車幅方向の相対速度Ｖｘを検出し、検出した相対速度Ｖｚ、Ｖｘに基づいて後方車両３４（車両画像３４Ａ）の移動位置を予測して画像境界３２Ｌ、３２Ｒを設定するようにしている。このため、車両用視認装置１０では、後方車両３４が接近しながら車両１２と同じ車線に車線変更する場合、予め画像境界３２Ｌ、３２Ｒを車幅方向の外側となる位置にできる。また、車両用視認装置１０では、後方車両３４が離れながら車両１２の走行車線から隣の車線に車線変更する場合、画像境界３２Ｌ、３２Ｒを予め車幅方向の内側となる位置にできる。これにより、車両用視認装置１０では、後方車両３４の走行状態の変化に応じて頻繁に画像境界の位置を変更する必要がなく、モニタ１６の表示が乗員に煩わしさを生じさせるのを抑制しながら乗員の視認を補助できる。

また、車両用視認装置１０では、後方車両３４が車両１２の走行車線から隣の車線に車線変更しながら接近する場合、視認処理装置１８がサイドカメラ１４Ｌ又はサイドカメラ１４Ｒの表示画像３０Ｌ又は表示画像３０Ｒに後方車両３４が表示されるように画像境界３２Ｌ、３２Ｒを設定する。これにより、車両用視認装置１０では、後方車両３４が接近してきても画像境界３２Ｌ、３２Ｒが移動させなければならなくなるのを抑制できるので、乗員に煩わしさを生じさせることなく、乗員の後方視認を補助できる。

また、車両用視認装置１０では、後方車両３４が隣の車線から車両１２の走行車線に車線変更しながら接近する場合、視認処理装置１８がリアカメラ１４Ａの表示画像３０Ａに後方車両３４が表示されるように画像境界３２Ｌ、３２Ｒを設定する。これにより、車両用視認装置１０では、後方車両３４が接近してきても画像境界３２Ｌ、３２Ｒが移動させなければならなくなるのを抑制できるので、乗員に煩わしさを生じさせることなく、乗員の後方視認を補助できる。

さらに、車両用視認装置１０では、視認処理装置１８がリアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒの撮影画像２８Ａ、２８Ｌ、２８Ｒを用いて後方車両３４の検出、及び検出した後方車両３４の位置情報の検出を行う。このため、後方車両３４の検出及び後方車両３４の位置座標（Ｄｚ、Ｄｘ）の検出するための検出手段をリアカメラ１４Ａ及びサイドカメラ１４Ｌ、１４Ｒとは別に設ける必要がない。これにより、車両用視認装置１０では、モニタ１６に後方画像を表示するための手段を有効に利用して、乗員に煩わしさを生じさせる画像境界３２Ｌ、３２Ｒの位置の変化を効果的に抑制しながら乗員の視認を補助できる。

また、車両用視認装置１０では、後方車両３４の車両画像３４Ａに重ならないように画像境界３２Ｌ、３２Ｒを移動できるので、後方車両３４の車両画像３４Ａが画像境界３２Ｌ、３２Ｒに重なることにより視認性が低下してしまうのを効果的に抑制できて、乗員の視認を補助できる。

このような本発明に係る車両用視認装置は、以下の態様を含むことができる。
車両用視認装置の設定手段は、車幅方向において自車に対する後方車両の相対速度の大きさが所定値を超えて自車から離れる方向に移動する場合、画像境界を第１撮影画像側に移動するように設定する。これにより、第２表示画像に後方車両の画像を表示できて、後方車両が自車の走行する車線の隣の車線に移動しても、画像境界が移動するのを抑制できる。

また、車両用視認装置の設定手段は、車幅方向において自車に対する後方車両の相対速度の大きさが所定値を超えて自車に接近する方向に移動する場合、画像境界が第２撮影画像側に移動するように設定する。これにより、第１表示画像に後方車両の画像を表示できて、後方車両が自車の走行する車線に移動しても、画像境界が移動するのを抑制できる。

車両用視認装置の設定手段は、車幅方向において自車に対する後方車両の相対速度の大きさが所定値以下であり、自車に対する後方車両の進行方向への相対速度が所定速度を超えている場合、画像境界が第１撮影画像側に移動するように設定する。これにより、第２表示画像に後方車両の画像を表示できて、後方車両が自車の走行する車線の隣の車線に斜線変更しても、画像境界が移動するのを抑制できる。

車両用視認装置の設定手段は、車幅方向において自車に対する後方車両の相対速度の大きさが所定値以下であり、自車に対する後方車両の進行方向への相対速度が所定速度以下の場合、画像境界が第２撮影画像とは反対側に移動するように設定する。これにより、第１表示画像に後方車両の画像を表示できて、後方車両が自車の走行する車線に移動しても、画像境界が移動するのを抑制できる。

１０・・・車両用視認装置、１２・・・車両（自車）、１４Ａ・・・リアカメラ（撮像部、第１撮像手段、検出手段）、１４Ｌ、１４Ｒ・・・サイドカメラ（撮像部、第２撮像手段、検出手段）、１６・・・モニタ（表示部、表示媒体）、１８・・・視認処理装置（設定手段、表示部、検出手段）、２８Ａ・・・撮影画像（第１撮影画像）、２８Ｌ、２８Ｒ・・・撮影画像（第２撮影画像）、３０Ａ・・・表示画像（第１表示画像）、３０Ｌ、３０Ｒ・・・表示画像（第２表示画像）、３２Ｌ、３２Ｒ・・・画像境界、３４、４８・・・後方車両、３６・・・検出部（検出手段）、４２・・・境界設定部（設定手段）。

Claims (4)

1. 車両後方を撮像した第１撮影画像を出力する第１撮像手段、及び撮像領域の一部が前記第１撮像手段の撮像領域に重なるように車両側方から車両後方を撮像した第２撮影画像を出力する第２撮像手段を含む撮像部と、
   前記第１撮影画像と前記第２撮影画像との重なり領域に設定された画像境界を境界とし、該画像境界に応じて前記第１撮影画像から抽出した第１表示画像と前記第２撮影画像から抽出した第２表示画像とを前記画像境界において繋げて、乗員が視認可能に表示媒体に表示する表示部と、
   前記第１撮像手段及び前記第２撮像手段の少なくとも一方により撮像される自車の後方を走行する後方車両を検出し、該後方車両の自車に対する進行方向の相対位置、及び車幅方向の相対位置を検出する検出手段と、
   前記後方車両の画像に対する前記画像境界の位置が予め設定された条件を満たしたときに前記画像境界の位置を設定する際、前記後方車両の前記進行方向の相対位置の変化及び前記車幅方向の相対位置の変化に基づいて前記画像境界の位置を設定する設定手段と、
   を含む車両用視認装置。
2. 前記設定手段は、前記表示媒体に表示される前記第１表示画像上の前記後方車両の画像サイズの前記第１撮影画像上の前記後方車両の画像サイズに対する割合、又は前記表示媒体に表示される前記第２表示画像上の前記後方車両の画像サイズの前記第２撮影画像上の前記後方車両の画像サイズに対する割合が予め設定している割合以下となった場合、前記画像境界の位置の設定変更を行う請求項１に記載の車両用視認装置。
3. 前記設定手段は、前記表示媒体に表示される前記後方車両の画像と前記画像境界との間隔が予め設定された間隔以下となったときに、前記画像境界の位置の設定変更を行う請求項１に記載の車両用視認装置。
4. 前記検出手段は、前記第１撮影画像及び前記第２撮影画像を用いて前記後方車両を検出して、該後方車両の前記進行方向の相対位置及び前記車幅方向の相対位置を検出する請求項１から請求項３の何れか１項に記載の車両用視認装置。

Images