JP6232994B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、例えば車両に搭載した複数のカメラの撮影画像を合成して車両上部から観察したと同等の画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

車の直前や側面、あるいは後方など、車の進行方向の様子を運転席から直接、視認できない場合、進行方向にある隠れた障害物に車をぶつけてしまう危険がある。このような危険を回避するシステムとして、車の前後や側面に装着した複数の広角カメラの撮影画像を合成し、車の上部から観察した仮想的な画像を生成して、運転席の表示部に表示する運転補助システムがある。
なお、車の上部からの観察画像は「アランウドビュー画像」や、「俯瞰画像」、あるいは「鳥瞰画像」等と呼ばれる。以下、本明細書では、車の上部からの観察画像を「俯瞰画像」として説明する。

このようなシステムにおいて、車両周囲に取り付けられるカメラは近距離から、なるべく広い領域の画像を撮影することが必要となるため、例えば魚眼レンズ等の広角レンズを備えている。広角レンズを用いることで広い領域の画像が撮影できる。しかし、広角レンズを用いて撮影した画像には画像歪みが発生する。特に画像周囲領域に大きな歪みが発生するという問題がある。

従来からある一般的な運転補助システムは、撮影画像の歪み補正を実行し、補正画像として車の上部から見た「俯瞰画像」を生成して表示部に出力する構成としている。
なお、俯瞰画像を生成するための画像補正処理は「俯瞰変換」と呼ばれる。

しかし、車両に対するカメラ装着位置は車両の前面、背面、側面等であり、各カメラの撮影可能な範囲は、車両前後左右のいずれか一方の領域に限られる。従って、
車両の全周囲の画像を含む俯瞰画像を生成するためには、異なる位置の複数のカメラの撮影画像に基づいて生成した俯瞰画像を接合する合成処理を実行することが必要となる。

しかし、広角レンズを用いて撮影した画像の俯瞰変換により生成した複数の俯瞰画像を接合する合成処理を行なうと、複数画像の接合領域の被写体が合成画像上に残らず消去されてしまうことがある。これは、歪み補正が地面を基準面として補正が行われることが一因である。例えば、基準面より高い位置の被写体（立体オブジェクト）があると、その被写体が、俯瞰変換後の画像の接合境界の外に押し出され、合成画像に残らない場合がある。

例えば、俯瞰変換における基準面に相当する地面より上側に延びた立体オブジェクトＸが、合成対象となる２つの画像Ａ，画像Ｂの各々のほぼ境界付近に撮影されているとする。
このような画像Ａと、画像Ｂを俯瞰変換して補正した補正画像（俯瞰画像）を接合して合成画像を生成する場合、画像Ａと画像Ｂの接合領域は、俯瞰変換の基準面である地面の対応位置を接合ラインとして設定した接合処理を行なう。画像Ａ，Ｂの接合ラインの外側の画像は切り落として、画像Ａ，Ｂの接合処理が行われる。

このような接合処理を行なうと、画像Ａに撮影されている立体オブジェクトＸが画像Ａの接合ラインの外側、すなわち、画像Ａから切り取られる領域に設定され、一方、画像Ｂに撮影されている立体オブジェクトＸも画像Ｂの接合ラインの外側、すなわち、画像Ｂから切り取られる領域に設定されてしまうといった事態が発生することがある。
この結果、画像Ａ，Ｂの境界近傍の立体オブジェクトＸが合成画像に残らなくなる。すなわち、本来、存在する被写体である立体オブジェクトＸが合成画像では確認できなくなってしまう。

この問題を解決する従来技術として例えば特許文献１（特開２００７−１０９１６６号公報）がある。特許文献１は、車両の周囲に取り付けれらた撮像装置の撮影画像を俯瞰変換して合成して、車の上部から見た合成画像を生成して表示する構成を開示している。この特許文献１は、合成対象となる２つの俯瞰画像の重なり領域に、２つの補正画像を交互にくし状に表示する構成としている。

このくし状の表示領域に、歪み補正を伴う俯瞰変換によって各画像の外側に押し出された被写体が表示される。これにより、画像観察者である運転者は、この領域に何らかの物体が存在することを確認することが可能となり、注意を払うことが可能となる。

特許文献１は、２つの俯瞰画像の重なり領域を２つの俯瞰画像を交互にくし状に設定した固定パターンで表示する構成としている。しかし、このくし状の表示領域に表示される立体オブジェクトは、地上面を基準面とした俯瞰変換では正しい変換がなされず、歪みが残り、本来の形状が復元されてものではない。しかも２つの画像のくし状表示で途切れた表示となるため、観察者（運転者）に、衝突可能性のある立体オブジェクトの存在を認識させることが困難となる場合がある。

特開２００７−１０９１６６号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、広角レンズで撮影された複数の画像の合成処理によって生成する合成画像を、実在する被写体を認識しやすい画像として生成、表示する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、
生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、
前記画像処理部は、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第１の画像と第２の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第１の画像と第２の画像を矩形型、または湾曲型の短冊状に交互に設定する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第１の画像と第２の画像の短冊幅を異なる幅に設定する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第１の画像と第２の画像の境界位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、接合対象となる第１の画像と第２の画像の境界位置を、所定点を中心として右回転と左回転を繰り返す設定とした接合領域を有する合成画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記境界位置の右回転と左回転の速度を異なる設定とした接合領域を有する合成画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記強調表示は、点滅表示、または、輝度、色彩の少なくともいずれかの変更表示処理である。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記接合領域において接合する複数画像の所定領域単位の画素値の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を適用して、立体オブジェクト検出を行う。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記カメラの撮影領域に特定パターンの校正基準パターンを照射する校正基準パターン照射部を有し、前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、前記画像処理部は、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の校正基準パターン照射部は、固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成されている。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記カメラの撮影する各撮影フレームの撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、前記複数のカメラは、前記校正基準パターン照射タイミングに連動して画像撮影を行い、前記画像処理部は、撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する。

さらに、本開示の画像処理装置の一実施態様において、前記カメラは、車両の前後左右の各側面に配置されたカメラであり、前記画像処理部は、前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記カメラは、広角レンズを有するカメラである。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、
前記画像処理部は、前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、
前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
具体的には、車両の前後左右等、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第１の画像と第２の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。
本構成により、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

車両に対するカメラの装着例を説明する図である。 広角レンズを用いた撮影画像の例について説明する図である。 広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。 広角レンズを用いた撮影画像の補正例である俯瞰変換について説明する図である。 被写体として立体オブジェクトを含む場合の広角レンズを用いた撮影画像例について説明する図である。 広角レンズを用いた撮影画像の補正例であり、被写体として立体オブジェクトを含む場合の俯瞰変換について説明する図である。 複数の俯瞰画像の合成処理例について説明する図である。 合成画像の例について説明する図である。 俯瞰画像に基づく合成画像からの立体オブジェクトの消失例について説明する図である。 俯瞰画像に基づく合成画像からの立体オブジェクトの消失例について説明する図である。 本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。 本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。 本開示の一実施例に従った合成画像の表示制御に適用するパラメータについて説明する図である。 本開示の一実施例に従った合成画像の表示制御シーケンスについて説明するフローチャートを示す図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 本開示の一実施例に従って生成する合成画像であり、車両の運転席に備えられた表示部に表示される合成画像の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域の時間推移に伴う表示態様の変化の一例について説明する図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 本開示の一実施例に従った合成画像の接合領域における立体オブジェクト表示例について説明する図である。 合成画像の生成煮炊き用する補助情報であるレーザ照射パターンについて説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．俯瞰変換処理と合成画像の生成処理の概要、および立体オブジェクトの消失例について
２．合成対象画像の接合領域において各画像の表示領域を動的に変更する実施例について
３．画像接合領域における表示制御シーケンスについて
４．接合領域に表示される特定オブジェクトを強調表示する処理例について
５．接合領域における表示態様の変形例について
５−１．湾曲形状の短冊型表示領域を交互に設定した実施例（第２実施例）
５−２．接合領域の画像境界を移動させる実施例（第３実施例）
６．合成画像の生成時に利用する補助情報について
７．画像処理装置のハードウェア構成例について
８．本開示の構成のまとめ

［１．俯瞰変換処理と合成画像の生成処理の概要、および立体オブジェクトの消失例について］
まず、車の前後左右など、複数個所に取り付けられたカメラの撮影画像の各々を俯瞰変換し、生成した複数の俯瞰画像を接合した合成画像を生成する処理の概要と、この処理において発生する立体オブジェクトの消失例について説明する。

図１は、車両に対するカメラの装着例を説明する図である。
図１に示すように、車両１０には、前後左右の各位置に４つのカメラが装着される。
車両１０の前面にカメラＦ２１、
車両１０の左側面にカメラＬ２２、
車両１０の右側面にカメラＲ２３、
車両１０の背面にカメラＢ２４、
これらの４つのカメラが装着される。

カメラＦ２１〜カメラＲ２４は、図１（Ｂ）カメラ構成に示すように、いずれも例えば魚眼レンズ等の広角レンズを備え、撮影方向は下方向（地面方向）とし、地面および地面上の立体オブジェクト等を広範囲に撮影する構成となっている。

広角レンズを用いて撮影される画像には歪みが発生する。図２を参照して広角レンズを用いた撮影画像の一例について説明する。
図２（ａ）は撮影環境を示している。被写体３１は格子パターンの描かれた地面である。被写体３１の中央上部に広角カメラ３０が設定されて撮影が実行される。
カメラ３０は、例えば魚眼レンズ等の広角レンズを装着したカメラである。

図２（ａ）に示す撮影環境において撮影された画像の例が図２（ｂ）に示す撮影画像である。
図２（ｂ）撮影画像に示すように、撮影画像上の地面の格子パターンは湾曲した歪みを有する。
これは、広角レンズを用いた撮影によって発生する画像の歪みである。

図２（ｂ）に示す撮影画像の歪みを取り除いて実際の被写体と同様の形を持つ画像を生成するためには、画像補正、すなわち俯瞰変換を行うことが必要となる。
この補正処理例について図３を参照して説明する。
図３には、図２（ｂ）と同様の（ｂ）撮影画像と、撮影画像の補正処理（俯瞰変換）によって生成した（ｃ）補正画像（俯瞰画像）を示している。

なお、上部から観察した画像は、「俯瞰画像」とよばれ、「俯瞰画像」に変換する画像補正処理を「俯瞰変換」と呼ぶ。図３に示す（ｃ）補正画像は「俯瞰画像」であり、図３の（ｂ）撮影画像から（ｃ）補正画像を生成する補正処理が「俯瞰変換」に相当する。
図３（ｃ）補正画像（俯瞰画像）は、先に説明した図２（ａ）の撮影環境における被写体３１と同様の格子パターンを持つ画像となり、地面を上部から見た正しい俯瞰画像となり、地面の格子パターンは実被写体の形状を復元したものとなっている。

図４は斜め下方向に向けて取り付けられた魚眼カメラ等の広角カメラによって撮影された画像の補正処理例を説明する図である。図４（ａ）に示すように、斜め下方向に向けて取り付けられた広角カメラ３０から格子パターンの描かれた地面を被写体３１として撮影する。図４にはこの図４（ａ）に示す撮影環境で撮影された（ｂ）撮影画像と、（ｃ）補正画像を示している。
図４（ｂ）に示す画像の魚眼歪を取り除いて、中心射影画像に変換したいわゆる歪補正画像が図４（ｃ）に示す補正画像である。

この図４に示す例における歪み補正処理では、広角カメラ３０の斜め位置から撮像した一連の図４（ｂ）に示す取り込み画像から魚眼歪補正処理をする事で遠近を反映して被写体３１の被写体（正方格子パターンの描かれた地面）の台形が得られる。つまり、この歪補正処理に際しては、撮影画像湾曲歪みが取り除かれ、遠近パースペクティブが残る図４（ｃ）に示す台形画像が得られる。図４（ｃ）に残る台形歪を取り除いて仮想カメラ点に中心シフトする事で、被写体３１の真上の仮想カメラ３０Ｆ位置からの撮影画像に変換する処理が出来る。この一連の処理は統合した処理として行う事で斜め情報から見た地面の俯瞰画像が得られる。
なお、以下では、斜め方向から見た画像の歪変換と俯瞰変換を合わせた上記の統合変換処理を「俯瞰変換」とまとめて呼ぶこととする。このように俯瞰変換は、斜め上部から見た画像を上部から見た画像に変換を行う処理を含めた処理となるが、以下の説明では斜めから見た処理の説明は省略する。

図３に示すような俯瞰変換は、ある１つの水平面を基準面として行われる。図３に示す例では、格子パターンの描かれた地面を基準面として実行した変換処理であり、地面に描かれた格子パターンが高精度に復元される。しかし、１つの基準面を設定した俯瞰変換では、基準面以外の被写体を、その設置点とは別の位置に投影してしまうという問題がある。

図５、図６を参照してこの問題について説明する。
図５は、先に図２を参照して説明したと同様、（ａ）撮影環境と（ｂ）撮影画像を示している。
（ａ）撮影環境は、図２（ａ）と同様、格子パターンの描かれた地面を含む。ただし、地面から上方に向かって伸びた立体オブジェクト３２が設定されている。
広角カメラ３０は、地面の上方に有限距離に設置され、地上に向けて設定されている。
（ｂ）撮影画像は、先に図２（ｂ）を参照して説明したと同様、地面の格子パターンに歪みが発生している。さらに、立体オブジェクト３２も歪んだ状態として撮像される。
なお、図は模式的な図であり、立体オブジェクト３２の歪みは、その位置や高さに応じて様々に変化する。

図６は、（ｂ）撮影画像を補正、すなわち、地上面を基準面とした俯瞰変換の処理例を示す図である。
図６（ｃ）補正画像（俯瞰画像）に示すように、地面の格子パターンはきれいに補正されている。ただし、立体オブジェクト３２の歪みは残っており、実際の観察形状とは異なる形に変更されて表示される。
参考画像として示す図６（ｄ）は、理想的に無限遠から観察される俯瞰画像の例である。この画像では、立体オブジェクト３２が真上から観察される。
なお、図６は模式的な図であり、俯瞰変換によって立体オブジェクト３２に残る歪みは、その位置や高さに応じて様々に変化する。

次に、図７、図８を参照して、車両に装着された複数の広角カメラによって撮影された画像を繋ぎ合わせて生成する合成画像の生成処理について説明する。
図７は、図１を参照して説明した車両の前面、背面、右側面、左側面の４つの面に装着した４台のカメラによって撮影される画像領域と、合成画像の生成に適用する合成領域の例を説明する図である。

図７に示す前面画像撮影領域５１は、図１に示すカメラＦ２１によって撮影される領域を示している。左側面画像撮影領域５２は、カメラＬ２２による撮影領域、右側面画像撮影領域５３は、カメラＲ２３による撮影領域、背面画像撮影領域５４は、カメラＢ２４による撮影領域を示している。
これらの４枚の撮影画像を俯瞰変換して生成して４枚の補正画像（俯瞰画像）を生成した後、各俯瞰画像を接合して１枚の合成画像を生成する。

図７に示す４つの点線台形領域が、各撮影画像から合成画像７０の構成要素として選択される領域（合成領域）である。合成画像７０は、以下の４つの合成領域を繋ぎ合せて生成する。すなわち、
（ａ）前面画像撮影領域５１の一部である前面画像合成領域６１、
（ｂ）左側面画像撮影領域５２の一部である左側面画像合成領域６２、
（ｃ）右側面画像撮影領域５３の一部である右側面面画像合成領域６３、
（ｄ）背面画像撮影領域５４の一部である背面画像合成領域６４、
これら４つの領域を繋ぎ合せて１枚の合成画像７０を完成する。
なお、合成処理の前に各画像は俯瞰変換が施される。すなわち俯瞰変換処理を行なって生成した４枚の俯瞰画像を合成する。

この合成処理によって、１枚の合成画像７０が生成される。
図８は、合成画像７０の例を示している。図８に示すように合成画像７０は、車両画像７１を中心として、車両の周囲の地面を上から観察した画像となる。
なお、車両画像７１はカメラ撮影画像ではなく、予め用意された本システム搭載車両の擬似画像である。

車の運転席に設けられた表示部の出力画像を生成するデータ処理部は、カメラ撮影画像の俯瞰変換および合成処理によって生成した車両周囲の画像（俯瞰画像）に車両画像７１を張り付ける処理を実行し、出力画像を生成して表示部に表示する。
運転者は、この画像を観察することで、車の周囲状況を把握して安全な運転を行うことを目的としている。

しかし、複数の俯瞰画像を繋ぎあわせた合成画像を生成すると、隣接カメラ間の境界上の地上に立っている被写体が貼りあわせ俯瞰画像から消失してしまう問題がある。
これは、先に図５、図６を参照して説明した立体オブジェクト３２のように、俯瞰変換の基準面（地面）とは異なる位置に被写体（オブジェクト）が存在する場合に発生する。

図９を参照してこの被写体消失の一例について説明する。図９は、前面画像合成領域６１と、左側面画像合成領域６２の合成処理例を示す図である。
図９（ａ）には、左側面画像撮影領域５２において撮影された画像の俯瞰変換された画像上の立体オブジェクト３２の位置と、左側面画像合成領域６２を示している。俯瞰変換画像は、例えば図６（ｃ）を参照して説明した補正画像（俯瞰画像）に相当する。
図９（ａ）に示すように、立体オブジェクト３２は台形状の左側面画像合成領域６２からはずれた位置に変換投影された配置となる。

一方、図９（ｂ）には、前面画像撮影領域５１において撮影された画像の俯瞰変換された画像上の立体オブジェクト３２の位置と、前面画像合成領域６１を示している。
図９（ｂ）に示すように、やはり立体オブジェクト３２は台形状の前面画像合成領域６１からはずれた位置に変換投影された配置となる。

これらの台形状の左側面画像合成領域６２と、台形状の前面画像合成領域６１を接合して最終的な合成画像が生成される。
結果として生成する合成画像には、立体オブジェクト３２の画像が含まれず、消失してしまう。
すなわち、図１０に示すように、合成画像７０の左側面画像と前面画像の接合領域８１には、立体オブジェクト３２が含まれず、立体オブジェクト３２が消失した合成画像７０が生成されてしまう。

このように、地上面を基準とした複数の俯瞰画像を生成して合成処理を行なうと、各俯瞰画像の境界領域にある立体オブジェクトが消失してしまう場合がある。
この結果、運転席の表示部に表示される合成画像には立体オブジェクトが表示されず、運転者は障害物を認識できず、危険な運転をしてしまう可能性がある。

［２．合成対象画像の接合領域において各画像の表示領域を動的に変更する実施例について］
次に、上記の問題点を解決する本開示の一実施例の構成について説明する。
本開示の一実施例は、合成対象画像の接合領域において各画像の表示領域を動的に変更する処理を行なうものである。
図１１以下を参照して本実施例について説明する。

図１１は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。図１１には、合成画像の構成画像である前面画像１０１と、左側面画像１０２の接合領域１０３の近傍を示している。
なお、図１１に示す前面画像１０１と左側面画像１０２は、いずれも俯瞰変換処理後の画像である。
前面画像１０１は、車両の前面に搭載した前面カメラ（図１に示すカメラＦに相当）が撮影した画像を俯瞰変換した画像である。
左側面画像１０２は、車両の左側面に搭載した左側面カメラ（図１に示すカメラＬに相当）が撮影した画像を俯瞰変換した画像である。

この実施例では、前面画像１０１と左側面画像１０２の接合領域１０３は以下の構成を持つ。
前面画像１０１と、左側面画像１０２の表示領域を、長方形の短冊領域単位で交互に設定し、さらに短冊位置を時間推移に応じて、順次、移動させる。
すなわち、接合領域１０３内の前面画像１０１と左側面画像１０２各画像の表示領域を時間推移に応じて変化させる処理、表示領域動的変更処理を実行する。

この表示領域の動的変更処理について図１２を参照して説明する。
図１２は、前面画像１０１と、左側面画像１０２の接合領域１０３の時間推移に伴う変更処理例を示す図である。時間は、ｔ１，ｔ２，ｔ３，ｔ４の順に進行し、これらの各時間における接合領域の表示態様の変化の様子を示している。

前面画像１０１の短冊領域は、時間推移（ｔ１→ｔ２→ｔ３→ｔ４）とともに、順次、上方向に移動する。なお、時間ｔ４以降は、時間ｔ５において、時間ｔ１と同様の短冊位置となり、さらにｔ６はｔ２、ｔ７はｔ３、ｔ８はｔ４と同様の設定となり、以降、同様の短冊移動が繰り返される。

図１２に示す例では、前面画像１０１と、左側面画像１０２の接合領域１０３は矩形領域である、この矩形領域において、一部が前面画像１０１、残りが左側面画像１０２の表示領域となるが、この表示領域が、時間推移に伴って逐次変更される。
時間ｔ１〜ｔ５までの１回の表示周期において、接合領域１０３を構成する矩形領域の全ての領域に前面画像１０１の表示期間と左側面画像１０２の表示期間が交互に設定される。すなわち、接合領域１０３全領域が、前面画像１０１と左側面画像１０２の２つの画像を確認可能な領域となる。

このように、合成画像を構成する２つの俯瞰画像の接合領域において、各俯瞰画像の表示領域の動的変更表示、すなわち時間推移に伴って各俯瞰画像の表示領域を逐次変更して表示することにより、先に図９、図１０を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。交互表示では全体の画像を正確に見ることができないために画像を見ただけでは危険段々が困難であるが、境界を時系列に逐次可変移動する事で立地物の境界線が動的に画面上走る事となる。
すなわち、本方式では、接合領域１０３全領域が、前面画像１０１と左側面画像１０２の２つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が完全に切り落とされることはなく、動的境界線が動く事で何かしらの立体物認知が可能となる。

さらに、本表示方式では、この接合領域の表示態様が時間推移に伴って変化するため、動的知覚視野が刺激され、運転者が直視をしていなくても周辺視野にある動的知覚視野からの刺激で注意をより引きやすくなる。すなわち接合領域は、合成画像中の他の領域（静止領域）に比較して立体物が境界に沿って移動して見える為、注意喚起領域として機能する。このような注意喚起領域は、観察者（運転者）に対して、接合領域にある立体オブジェクトを検知する有効な手段となる。

なお、接合領域１０３に設定される前面画像１０１の短冊幅と、左側面画像１０２の短冊幅は、均等ではなく、どちらか一方を大きく設定する構成が好ましい。このような設定とすることで、観察者は、接合領域１０３内で前面画像１０１、または左側面画像１０２のどちらか一方の画像、すなわち短冊幅を大きく設定した画像を優先的に目視確認することが可能となり、立体オブジェクトの境界の動的な振る舞いと連動して状況をより正確に確認しやすくなる。

図１３を参照して接合領域における立体オブジェクトの表示例について説明する。
図１３には、図１２を参照して説明した時間ｔ１〜ｔ４の接合領域の表示態様中、時間ｔ１と時間ｔ３の２つの表示態様における立体オブジェクトの表示例を示している。すなわち、以下の２つの合成画像の表示例である。
（ａ）時間ｔ１の合成画像
（ｂ）時間ｔ３の合成画像
これら異なるタイミングにおける合成画像の接合領域の表示例を示している。

接合領域に設定される短冊状の前面画像領域と左側面画像領域には、それぞれ立体オブジェクトの表示領域が含まれる。
前面画像１０１には、接合領域中の短冊設定の前面画像表示領域に、前面画像内立体オブジェクト１１１が表示される。一方、左前面側面画像１０２にも、接合領域中の短冊設定の左側面画像表示領域に、左側面画像内立体オブジェクト１１２が表示される。
この立体オブジェクトは、先に説明した図９の合成画像では切り落とされて合成画像から消失した被写体（立体オブジェクト）に相当する。

本処理例では、図９を参照して説明したように各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる２つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

図１３は、２つの異なる時間の合成画像の表示態様を示している。
（ａ）時間ｔ１の合成画像、
（ｂ）時間ｔ３の合成画像、
これらの各時間の合成画像である。これらの各時間の合成画像の接合領域に表示される画像は異なるものとなる。すなわち、時間推移に伴って、前面画像の表示領域と左側面画像の表示領域が異なり、この変化に伴って各画像内の立体オブジェクトの表示領域も異なるものとなる。

観察者（運転者）の注意は、変化のない静止領域より、表示情報の変化する画像領域に向かいやすくなる。従って、観察者（運転者）の視線は、表示情報が動的に変化する接合領域に向かいやすくなり、接合領域に表示される立体オブジェクトを見落とすことなく確認させる確率を高めることができる。

［３．画像接合領域における表示制御シーケンスについて］
次に、図１１〜図１３を参照して説明した接合領域の表示制御処理のシーケンスについて説明する。
以下に説明する処理シーケンスは、２つの俯瞰画像を短冊状に交互に配置した画像接合領域を設定し、この画像接合領域に配置した各画像の短冊領域を時間経過に伴って順次移動させる表示制御を実行する表示制御処理シーケンスである。

まず、図１４〜図１６を参照して、表示制御処理に適用するパラメータについて説明する。
図１４にパラメータの一覧を示す。図１５と図１６は、前面画像１０１と、左側面画像１０２の接合領域１０３の構成例と各パラメータの設定を説明する図である。
図１５、図１６に示す前面画像１０１と、左側面画像１０２はいずれも補正処理としての俯瞰変換を行った後の俯瞰画像である。

図１４に示すように、接合領域１０３の表示制御処理に利用するパラメータは、以下の通りである。
ｉ：短冊識別子であり、接合領域のいずれか一方の画像（本例では前面（フロント［ｆ］）画像）の短冊識別子、ただし、最初の短冊識別子ｉ＝０、
ｊ：画像形成画素の行（ライン）識別子であり、接合領域のいずれか一方の画像
（本例では前面（フロント［ｆ］）画像）の各短冊開始位置からの行（ライン）識別子、
ただし、各短冊開始位置の行（ライン）ｊ＝０、
ＺＮ：短冊数規定値であり、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の接合領域に設定可能な短冊識別子（ｉ）の最大値、
Ｗｆ： 短冊幅規定値であり、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の１つの短冊の幅に相当する行（ライン）識別子（ｊ）の最大値、
Ｗｓ：短冊幅規定値であり、短冊識別子ｉの設定画像（本例では前面（フロント［ｆ］画像）でないもう一方の画像（本例では左側面（サイド［ｓ］）画像）の短冊幅に相当する行（ライン）数、
Ｗｆ＋Ｗｓ：接合領域における交互表示短冊間隔規定値であり、短冊識別子ｉの設定画像（本例では前面（フロント［ｆ］）画像）の短冊間隔に相当する行（ライン）数、
ＳＷ：シフト幅規定値であり、短冊識別子号ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の単位フレームあたりの短冊シフト行（ライン）数、
ｆ：表示フレーム識別子、
接合領域１０３の表示制御は、これらのパラメータを利用して実行する。

短冊識別子ｉは、図１５に示すように、接合領域のいずれか一方の画像（本例では前面（フロント［ｆ］）画像）の短冊識別子であり、例えば上から順に、ｉ，ｉ＋１，ｉ＋２の識別子を設定する。なお、短冊識別子ｉは０，１，２，３・・・のように、０を最初の短冊識別子として設定する。

行（ライン）識別子ｊは、図１６に示すように、接合領域のいずれか一方の画像（本例では前面（フロント［ｆ］）画像）の各短冊開始位置からの行（ライン）数を示す識別子である。ただし、各短冊開始位置の行（ライン）の識別子はｊ＝０とする。

なお、前述したように接合領域１０３に設定される前面画像１０１の短冊幅と、左側面画像１０２の短冊幅は、均等ではなく、どちらかより多く運転者に見せることで効果の高い一方を大きく設定する構成が好ましい。
図１６に示す例では、前面画像１０１の短冊幅を３行、左側面画像１０２の短冊幅（＝前面画像の短冊間幅）を５行としている。このような設定とすることで、観察者は、接合領域１０３内で短冊幅を大きく設定した左側面画像１０２を優先的に確認することが可能となり、立体オブジェクトをより確認しやすくなる。

短冊数規定値ＺＮは、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の接合領域に設定可能な短冊識別子（ｉ）の最大値である。
図１５に示す例では、ＺＮ＝４である。

短冊幅規定値Ｗｆは、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の１つの短冊の幅に相当する行（ライン）識別子（ｊ）の最大値である。
図１６に示す例では、行（ライン）識別子：ｊ＝０〜２の幅の短冊を設定可能な構成であり、Ｗｆ＝２である。

短冊間隔規定値Ｗｓは、短冊幅規定値であり、短冊識別子ｉの設定画像（本例では前面（フロント［ｆ］画像）でないもう一方の画像（本例では左側面（サイド［ｓ］）画像）の短冊幅に相当する行（ライン）数である。
図１６に示す例では、Ｗｓ＝５である。

交互表示短冊間隔規定値Ｗｆ＋Ｗｓは、接合領域における交互表示短冊間隔規定値であり、短冊識別子ｉの設定画像（本例では前面（フロント［ｆ］）画像）の短冊間隔に相当する行（ライン）数である。
図１６に示す例では、Ｗｆ＋Ｗｓ＝７である。

短冊シフト幅規定値ＳＷは、短冊識別番号ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の単位フレームあたりの短冊シフト行（ライン）数である。
図１６に示す例では、ＳＷ＝２である。

表示フレーム識別子ｆは、表示フレーム番号を示す識別子である。
図１６に示すように、フレームｆ、フレームｆ＋１、フレームｆ＋２、フレームｆ＋３と、順次、各フレーム単位で接合領域の短冊のシフト処理を実行し、短冊は上方向または下方向、いずれか一方の方向に移動する。
なお、シフト処理を実行する間隔は、本例では１フレーム単位としているが、１フレーム単位に限らず、例えば１０フレーム単位等の設定としてもよい。このような設定とすれば、短冊の移動速度が遅く設定されることになる。
接合領域１０３の表示制御は、これらのパラメータを利用して実行する。

次に、これらのパラメータを利用した表示制御シーケンスの具体的シーケンスについて図１７に示すフローチャートを参照して説明する。
図１７に示す処理フローは、複数の俯瞰画像から生成する合成画像の一部領域の表示制御処理シーケンスを説明するフローである。
具体的には、例えば、図１５に示す接合領域１０３とその下部の左側面画像１０２の画像領域の表示処理の制御シーケンスに相当する。なお、その他の領域においても、同様のシーケンスで表示制御が実行される。

図１７に示すフローは、例えば車両に搭載された表示部の表示制御を実行するデータ処理部（制御部）の制御によって実行される。
データ処理部（制御部）は、例えばプログラム実行機能を持つＣＰＵを備え、図１６に示すフローに従った処理シーケンスを記録したプログラムに従って処理の制御を行う。プログラムは、データ処理部（制御部）のアクセス可能な記憶手段であるメモリや記憶媒体等に格納されている。あるいは、通信手段を介して外部のサーバ等から取得する構成としてもよい。

以下、図１７に示すフローチャートの各ステップの処理について、順次、説明する。
なお、このフロー開始前の処理として、以下の各パラメータの初期設定を行う。
短冊識別子ｉ＝０、
行（ライン）識別子ｊ＝０、
これらの初期設定の後、ステップＳ１０１以下の処理を実行する。

（ステップＳ１０１）
まず、ステップＳ１０１において、合成画像の接合領域の構成ライン（行）として、前面画像の第ｊ行を出力する。
このステップＳ１０１の処理は、例えば図１５、図１６に示す前面画像１０１によって構成される短冊領域の生成処理に相当する。
なお、初期設定は前述のようにｊ＝０であり、最初は、前面画像の第０行を出力する。例えば図１６に示すフレームｆで、前面画像１０１の最上行のｊ＝０の行を出力する処理に相当する。すなわち最初の短冊（短冊識別子：ｉ＝０）の最上行（行（ライン）識別子：ｊ＝０）を、前面画像１０１から取得して出力する処理に相当する。

（ステップＳ１０２）
次に、ステップＳ１０２において、行（ライン）識別子ｊと、短冊幅規定値Ｗｆとの比較処理を実行する。短冊幅規定値Ｗｆは、前述したように、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の１つの短冊の幅に相当する行（ライン）識別子（ｊ）の最大値である。例えば図１６の例では、Ｗｆ＝２としている。

ステップＳ１０２では、行（ライン）識別子ｊが、短冊幅規定値Ｗｆ以上となったか否かを判定する。すなわち、
ｊ≧Ｗｆ
上記判定式が成立するか否かを判定する。
この判定式は、ステップＳ１０１で出力する前面画像の行（ライン）数、すなわち、前面画像１０１の短冊の構成行が、短冊幅規定値Ｗｆに達したか否かを判定する処理である。
例えばＷｆ＝２の場合、ｊ＝２になれば、ステップＳ１０２の判定はＹｅｓとなり、ステップＳ１０４に進む。
ｊ＝０、またはｊ＝１の場合は、ステップＳ１０２の判定はＮｏとなり、ステップＳ１０３に進む。
最初の段階では、ｊ＝０であるので、ステップＳ１０２の判定はＮｏとなり、ステップＳ１０３に進む。

（ステップＳ１０３）
ステップＳ１０３では、行（ライン）識別子ｊの更新処理を実行する。すなわち、
ｊ＝ｊ＋１
上記更新式に従ってｊの値を１つインクリメントする。
初期段階では、ｊ＝０であるので、この更新処理によってｊ＝１に設定される。
ステップＳ１０３におけるパラメータ更新の後、更新した行（ライン）識別子ｊに対応する処理をステップＳ１０１において実行する。
すなわち、ｊ＝１に設定された場合、合成画像の接合領域の構成ライン（行）として、前面画像の第１行を出力する。

ステップＳ１０１〜ステップＳ１０２〜ステップＳ１０３のループは、ステップＳ１０２の判定式、すなわち、
ｊ≧Ｗｆ
上記判定式が成立するまで繰り返される。すなわち、行（ライン）識別子ｊが、短冊幅規定値Ｗｆに達するまで、前面画像１０１の構成行が接合領域１０３に出力される。
例えば図１６に示す例のように、短冊幅規定値Ｗｆ＝２の場合、
ｊ＝２になれば、ステップＳ１０２の判定はＹｅｓとなり、ステップＳ１０４に進む。
これで、接合領域の１つの短冊（例えば、ｉ＝０の短冊）が完成したことになる。

（ステップＳ１０４）
次に、ステップＳ１０４において、行（ライン）識別子ｊを１つインクリメントする。すなわち、
ｊ＝ｊ＋１
上記更新式に従って、行（ライン）識別子ｊの値を更新する。
なお、短冊幅規定値Ｗｆ＝２の場合、まず、行（ライン）識別子ｊ＝２において、ステップＳ１０２の判定がＹｅｓとなり、ステップＳ１０４が実行され、行（ライン）識別子ｊ＝３の設定がなされた後、ステップＳ１０５に進む。

（ステップＳ１０５）
次に、ステップＳ１０５において、合成画像の接合領域の構成ライン（行）として、左側面画像の第ｊ行を出力する。
このステップＳ１０５の処理は、例えば図１５、図１６に示す左側面画像１０２によって構成される短冊領域（＝前面画像１０１の短冊間領域）の生成処理に相当する。
短冊幅規定値Ｗｆ＝２の場合、行（ライン）識別子ｊ＝３において、ステップＳ１０５が実行される。図１６のフレームｆの例では、ｊ＝３の行として左側面画像１０２の行データを出力する処理が行われることになる。すなわち、前面画像１０１の短冊間の構成行として、左側面画像１０２の行データの出力を実行する。

（ステップＳ１０６）
次に、ステップＳ１０６において、行（ライン）識別子：ｊと、前面（フロント［ｆ］）画像の短冊幅規定値Ｗｆと左側面（サイド［ｓ］）画像の短冊幅規定値Ｗｓとの加算値（Ｗｆ＋Ｗｓ：交互表示短冊間隔規定値）との比較処理を行なう。
短冊幅規定値Ｗｆは、前述したように、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の１つの短冊の幅に相当する行（ライン）識別子（ｊ）の最大値である。例えば図１６の例では、Ｗｆ＝２としている。
また、短冊幅規定値Ｗｓは、短冊識別子ｉの設定画像（本例では前面（フロント［ｆ］画像）でないもう一方の画像（本例では左側面（サイド［ｓ］）画像）の短冊幅に相当する行（ライン）数である。
なお、図１６に示す例では、Ｗｓ＝５である。

ステップＳ１０６では、行（ライン）識別子ｊが、短冊幅規定値Ｗｆと短冊幅規定値Ｗｓとの加算値（Ｗｆ＋Ｗｓ：交互表示短冊間隔規定値）以上となったか否かを判定する。すなわち、
ｊ≧（Ｗｆ＋Ｗｓ）
上記判定式が成立するか否かを判定する。
この判定式は、ステップＳ１０１の無繰り返し処理で生成済みの短冊の構成行と、ステップＳ１０５で生成中の短冊間の構成行との総和が、接合領域における２つの画像の短冊幅規定値ＷｆとＷｓとの総和（Ｗｆ＋Ｗｓ：交互表示短冊間隔規定値）に達したか否かを判定する処理である。
例えば前面（フロント［ｆ］）画像対応の短冊幅規定値Ｗｆ＝２、左側面（サイド［ｓ］）画像対応の短冊幅規定値Ｗｓ＝５の場合、ｊ＝７になれば、ステップＳ１０６の判定はＹｅｓとなり、ステップＳ１０７に進む。
ｊ＝３〜６の場合は、ステップＳ１０６の判定はＮｏとなり、ステップＳ１０４に戻る。

最初の段階では、ｊ＝３であるので、ステップＳ１０６の判定はＮｏとなり、ステップＳ１０４に戻り、ｊの値を１つインクリメントするパラメータ更新、すなわちｊ＝ｊ＋１を実行して、さらにステップＳ１０５の処理を実行する。
すなわち、ｊ＝３〜７の間、ステップＳ１０５の処理を繰り返し実行する。この処理は、例えば図１６に示すフレームｆのｊ＝３〜７の各行に左側面画像１０２の画像を出力する処理である。すなわち、短冊間のスペースを左側面画像１０２の画像で埋める処理に相当する。

ステップＳ１０４〜ステップＳ１０５〜ステップＳ１０６のループは、ステップＳ１０６の判定式、すなわち、
ｊ≧（Ｗｆ＋Ｗｓ）
上記判定式が成立するまで繰り返される。すなわち、例えば図１６に示すように、行（ライン）識別子ｊが、短冊幅規定値Ｗｆ＋短冊幅規定値Ｗｓの総和値（Ｗｆ＋Ｗｓ：交互表示短冊間隔規定値）に達するまで、左側面画像１０２の構成行が接合領域１０３に出力される。
例えば図１６に示す例のように、短冊幅規定値Ｗｆ＝２、短冊幅規定値Ｗｓ＝５の場合、
ｊ＝７になれば、ステップＳ１０６の判定はＹｅｓとなり、ステップＳ１０７に進む。
ステップＳ１０４〜Ｓ１０６の繰り返しループが終了すると、接合領域の１つの短冊間領域が完成したことになる。

（ステップＳ１０７〜Ｓ１０８）
次に、ステップＳ１０７において、短冊識別子ｉと、短冊数規定値ＺＮとの比較処理を実行する。
短冊識別子ｉは、図１５に示すように、接合領域のいずれか一方の画像（本例では前面（フロント［ｆ］）画像）の短冊識別子であり、例えば上から順に、ｉ，ｉ＋１，ｉ＋２の識別子を設定する。なお、短冊識別子ｉは０，１，２，３・・・のように、０を最初の短冊識別子として設定する。
短冊数規定値ＺＮは、短冊識別子ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の接合領域に設定可能な短冊識別子（ｉ）の最大値である。
図１５に示す例では、ＺＮ＝４である。

ステップＳ１０７では、短冊識別子ｉが、短冊数規定値ＺＮ以上となったか否かを判定する。すなわち、
ｉ≧ＺＮ
上記判定式が成立するか否かを判定する。
これは、ステップＳ１０１〜Ｓ１０６の処理において生成した短冊の数が規定上限値に達したか否かを判定する処理である。

例えば図１５に示す例では、短冊数規定値ＺＮ＝４であり、接合領域１０３内に設定可能な短冊数は５つであり、短冊識別子ｉ＝４まで短冊を設定できる。
すなわち、ｉ＝０〜３の場合は、ステップＳ１０７の判定は、Ｎｏとなり、ステップＳ１０８に進み、短冊識別子ｉを１つ増加させ、行（ライン）識別子ｊを０にリセットするパラメータ更新を実行して、ステップＳ１０１〜Ｓ１０６の処理を繰り返す。

すなわち、次の短冊と短冊間スペースの出力を実行する。
図１５、図１６に示す例では、前面画像１０１を３行（ライン）、出力して１つの短冊領域を生成し、左側面画像１０２を５行（ライン）出力して短冊間領域を生成する。
この処理を規定回数、すなわちステップＳ１０７における判定式、
ｉ≧ＺＮ
上記判定式を満たすまで繰り返す。
この繰り返し処理によって、例えば図１５に示す接合領域１０３内の画像出力構成が完成する。すなわち、前面画像１０１の３行分の短冊画像と、左側面画像の５行分の短冊間画像の繰り返し構成から構成される接合領域の画像が完成する。

（ステップＳ１０９）
次に、ステップＳ１０９において、合成画像の接合領域の連続領域に、左側面画像の行を順次、張り付ける処理を実行する。
この処理は、例えば図１５に示す接合領域１０３の下部の左側面画像１０２の出力処理に相当する。

（ステップＳ１１０）
ステップＳ１１０では、１フレーム分の画像出力が終了したか否かを判定する。
すなわち、左側面画像１０２の出力が完了したか否かを判定する。
終了していない場合は、ステップＳ１０９に戻り、順次、左側面画像１０２の構成行の出力を実行する。
ステップＳ１１０において、１フレーム分の画像出力が終了したと判定した場合は、ステップＳ１１１に進む。

この図１７に示すフローは、合成画像の一部、すなわち、図１５に示す接合領域１０３と、その下部の左側面画像１０２の出力領域の表示制御を実行するフローである。
合成画像中の他の領域についても、図１７に示すフロー中の「前面画像」と「左側面画像」の設定を変更するのみで、同様の処理シーケンスによって出力制御が可能となる。

（ステップＳ１１１）
ステップＳ１１１では、フレーム識別子ｆを更新する。すなわち、
ｆ＝ｆ＋１
上記更新式に従って、フレーム識別子ｆを１つインクリメントする。
この処理は、例えば図１６に示すフレームｆからフレームｆ＋１への移行処理に相当する。

（ステップＳ１１２）
ステップＳ１１２では、表示開始のｊ行を所定行（ＳＷ）シフトする処理を行なう。
ＳＷは、短冊シフト幅規定値であり、短冊識別番号ｉを設定した画像（本例では前面（フロント［ｆ］）画像）の単位フレームあたりの短冊シフト行（ライン）数である。
図１６に示す例では、ＳＷ＝２である。

すなわち、行（ライン）識別子ｊ＝０の設定行を２行、ずらす処理を実行する。
例えば図１５に示す例では、フレームｆでは、前面画像１０１の最初の短冊の第１行（ライン）の位置を示すｊ＝０の位置が前面画像１０１の最上行の位置に対応づけられている。これをすフレームｆ＋１の設定のように、ｊ＝０の位置を２行む、下側に移動する処理を行なう。
この処理によって、前面画像１０１によって構成される短冊の出力位置が短冊シフト行（ライン）数分シフト、すなわち、ずれして設定されることになる。

このシフト処理を実行した後、ステップＳ１０１以下の処理を実行する。
この処理によって、例えば図１５に示すフレームｆ＋１の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

ステップＳ１１０において、フレームｆ＋１の画像出力が完了したと判定すると、さらに、ステップＳ１１１で短冊シフト行（ライン）数ＳＷ＝２のシフト処理を実行して、ステップＳ１０１以下の処理を実行する。
この処理によって、例えば図１５に示すフレームｆ＋２の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

同様に、ステップＳ１１０において、フレームｆ＋２の画像出力が完了したと判定すると、さらに、ステップＳ１１１で短冊シフト行（ライン）数ＳＷ＝２のシフト処理を実行して、ステップＳ１０１以下の処理を実行する。
この処理によって、例えば図１５に示すフレームｆ＋３の設定を持つ短冊構成を有する接合領域の画像が生成されて出力される。

上記の処理によって、接合領域における短冊は、順次シフトし、前面画像１０１と左側面画像の表示領域が時間推移に伴い、変更されて表示されることになる。
なお、フレーム当たりのシフト量（ＳＷ）は様々な設定が可能であり、シフト量（ＳＷ）の設定によって、短冊の移動スピードを様々に変化させることが可能となる。

また、その他のパラメータ、すなわち、
短冊幅規定値Ｗｓ、
短冊間隔規定値Ｗｆ、
短冊数規定値ＺＮ、
これらのパラメータについても、様々な設定が可能であり、これらのパラメータを調整することで、接合領域に表示する短冊の態様を変更することが可能である。

また、先に図１６を参照して説明したように、シフト処理を実行する間隔は、本例では１フレーム単位としているが、１フレーム単位に限らず、任意のフレーム数、ｎフレーム単位としてもよい。ただしｎは１以上の整数である。

この場合、ステップＳ１１０の判定処理を「ｎフレーム出力終了？」との判定処理として、ステップＳ１１１の処理を「ｆ＝ｆ＋ｎ」に設定した更新処理とすればよい。
更新処理間隔を長くするためには、ｎの値を大きくすればよく、ｎ＝１０、あるいは２０といった設定とすればよい。このような設定とすれば、短冊の移動速度が遅く設定されることになる。

［４．接合領域に表示される特定オブジェクトを強調表示する処理例について］
上述した実施例において説明したように、上述の実施例では２つの俯瞰変換画像の接合領域において、各俯瞰画像の表示領域を時間推移に併せて変更する構成としている。
このように表示情報の動的変更により、観察者である運転者の注意を喚起することが可能となる。
さらに、接合領域に表示される立体オブジェクトに対して、より強く注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理例について説明する。

図１８は、前面画像１０１と左側面画像１０２の接合領域１０３に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像１０１の表示領域である短冊領域において前面画像内立体オブジェクト１１１として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト１１２として表示される。

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。
なお、接合領域における強調表示の度合いは、以下のような設定のいずれかとする。
（ａ）立体オブジェクト領域全てに対して均一な強調表示を行う。
（ｂ）立体オブジェクト領域中、接合画像境界に近い部分の強調度合を高くし、接合画像境界から離間するほど強調度合を低くする。

なお、前面画像１０１、および左側面画像１０２の各々に含まれる立体オブジェクト領域を検出する処理としては、前面画像１０１と、左側面画像１０２の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定する。

先に説明したように俯瞰変換は、１つの基準面を基準とした変換処理を行なっている。この場合の基準面は地面であり、地面については、前面画像１０１と左側面画像１０２の歪みが除去されるため、各画像の対応画素位置には同じ地面位置の被写体が表示される。従って、各画像の対応画素位置の画素値はほぼ同一となり、差分がほとんど発生しない。

しかし、立体オブジェクトについては、俯瞰変換を実行しても歪みが残ってしまうため、前面画像１０１と左側面画像１０２の対応画素位置の画素が異なる被写体の表示領域となる可能性が高く、２つの俯瞰変換画像の対応画素位置の画素値に差分が発生する。このような差分の残存した画素領域を立体オブジェクトの表示領域として判定する。なお、２つの画像の対応画素位置の画素値差分の判定処理には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を適用可能である。

［５．接合領域における表示態様の変形例について］
上述の実施例では、２つの俯瞰画像の接合領域に各俯瞰画像を長方形の短冊型表示領域を交互に設定して、これらの長方形型の短冊型表示領域を時間推移に伴って移動させる構成例を説明した。
以下、上述した実施例と異なる表示構成を有する実施例について説明する。

［５−１．湾曲形状の短冊型表示領域を交互に設定した実施例（第２実施例）］
第２実施例として、図１９以下を参照して、湾曲形状の短冊型表示領域を交互に設定した実施例について説明する。

図１９は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。すなわち、合成画像の構成画像である前面画像１０１と、左側面画像１０２の接合領域１０３の近傍を示す図である。
なお、図１９に示す前面画像１０１、左側面画像１０２のいずれも俯瞰変換処理後の画像である。
すなわち、前面画像１０１は、車両の前面に搭載した前面カメラ（図１に示すカメラＦに相当）が撮影した画像を俯瞰変換した画像である。
左側面画像１０２は、車両の左側面に搭載した左側面カメラ（図１に示すカメラＬに相当）が撮影した画像を俯瞰変換した画像である。

この実施例では、前面画像１０１と左側面画像１０２の接合領域１０３は、前面画像１０１と、左側面画像１０２の表示領域を、湾曲形状の短冊型表示領域単位で交互に設定した構成となっている。さらに、この短冊位置は、時間推移に伴い、順次、移動する。
すなわち、接合領域１０３における前面画像１０１と左側面画像１０２各画像の表示領域は時間推移に応じて変化する設定となっている。
この表示領域の動的変更処理について図２０を参照して説明する。

図２０は、前面画像１０１と、左側面画像１０２の接合領域１０３の時間推移に伴う変化を示す図である。時間は、ｔ１，ｔ２，ｔ３の順に進行し、これらの各時間における接合領域の変化の様子を示している。

前面画像１０１の湾曲形状を有する短冊領域は、時間推移（ｔ１→ｔ２→ｔ３）とともに、順次、左上斜め方向に移動する。なお、時間ｔ３以降は、時間ｔ４において、時間ｔ１と同様の短冊位置となり、さらにｔ５はｔ２、ｔ６はｔ３と同様の設定となり、以降、同様の短冊移動が繰り返される。

図２０に示す例では、接合領域１０３内を湾曲形状の短冊単位で前面画像１０１と左側面画像１０２を交互に表示領域を設定しているが、この表示領域が、時間推移に伴って逐次変更される。
時間ｔ１〜ｔ４までの１回の表示周期において、接合領域１０３の全ての領域に前面画像１０１の表示期間と左側面画像１０２の表示期間が交互に設定され、観察者は、接合領域１０３全領域で、前面画像１０１と左側面画像１０２の２つの画像を確認可能となる。

従って、本実施例でも、先に説明した長方形型の短冊領域の設定例と同様、先に図９、図１０を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。
すなわち、本実施例においても、接合領域１０３全領域が、前面画像１０１と左側面画像１０２の２つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が切り落とされることなく、確認可能となる。

さらに、本実施例も、接合領域は時間推移に伴って変化する表示領域となるため、観察者の注意を引く領域になる。すなわち接合領域は、合成画像中の他の領域（静止領域）に比較してより注目される領域、すなわち注意喚起領域となる。このような注意喚起領域の設定によって、観察者（運転者）は、その接合領域にある立体オブジェクトの確認が行いやすくなる。

なお、接合領域１０３に設定される前面画像１０１の湾曲型短冊の幅と、左側面画像１０２の湾曲型の短冊（＝前面画像１０１の湾曲型短冊の間隔）の幅は、均等ではなく、どちらか一方を大きく設定する構成が好ましい。このような設定とすることで、観察者は、接合領域１０３内で前面画像１０１、または左側面画像１０２のどちらか一方の画像、すなわち短冊幅を大きく設定した画像を優先的に確認することが可能となり、立体オブジェクトをより確認しやすくなる。

図２１は、本実施例に従った合成画像の実際の表示画像例を示す図である。図２１に示す（１）〜（７）は、時間推移に伴う接合領域の表示情報の変化を示している。扇形状の短冊位置が、少しずつ移動している。接合領域には、立体オブジェクトが観察できる。
図に示す前面画像内立体オブジェクト１５１は前面画像表示領域に表示される立体オブジェクトである。
左側面画像内立体オブジェクト１５２は左側面画像表示領域に表示される立体オブジェクトである。

これらの立体オブジェクトは、先に説明した図９の処理では切り落とされた画像領域に含まれていた被写体（立体オブジェクト）である。
本処理例では、各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる２つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

本実施例においても、接合領域に表示される立体オブジェクトに対して、さらに注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理が可能である。
図２２は、前面画像１０１と左側面画像１０２の接合領域１０３に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像１０１の表示領域である短冊領域において前面画像内立体オブジェクト１５１として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト１５２として表示される。

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。

なお、前面画像１０１、および左側面画像１０２の各々に含まれる立体オブジェクト領域を検出する処理は、先に図１８を参照して説明したと同様、前面画像１０１と、左側面画像１０２の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定することが可能である。
具体的には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を適用可能である。
このような立体オブジェクトの協調表示処理により、観察者である運転者の注意を、さらに強く喚起することが可能となる。

［５−２．接合領域の画像境界を移動させる実施例（第３実施例）］
次に、第３実施例として、図２３以下を参照して、接合領域の画像境界を移動させる実施例について説明する。

図２３は、車両の運転席に備えられた表示部に表示される合成画像の一部を示す図である。すなわち、合成画像の構成画像である前面画像１０１と、左側面画像１０２の接合領域１０３の近傍を示す図である。
なお、図２３に示す前面画像１０１、左側面画像１０２のいずれも俯瞰変換処理後の画像である。
すなわち、前面画像１０１は、車両の前面に搭載した前面カメラ（図１に示すカメラＦに相当）が撮影した画像を俯瞰変換した画像である。
左側面画像１０２は、車両の左側面に搭載した左側面カメラ（図１に示すカメラＬに相当）が撮影した画像を俯瞰変換した画像である。

この実施例では、前面画像１０１と左側面画像１０２の接合領域１０３は、前面画像１０１と、左側面画像１０２の表示領域が１つの画像境界１６１によって区分された設定となっている。この画像境界１６１は、時間推移に伴い、移動する。
この画像境界１６１の移動処理例について図２４を参照して説明する。

図２４は、前面画像１０１と、左側面画像１０２の接合領域１０３内に設定された前面画像１０１と、左側面画像１０２の画像境界１６１の時間推移に伴う移動を示す図である。時間は、ｔ１，ｔ２，ｔ３の順に進行し、これらの各時間における接合領域内の画像境界１６１の位置変化の様子を示している。

画像境界１６１は、接合領域１０３の左下端部を中心として、まず、右回りに回転する。
時間ｔ１では、接合領域１０３は、すべて前面画像１０１の表示領域に設定されている。その後、時間ｔ１〜ｔ４まで、画像境界１６１が右回りに回転し、接合領域１０３の前面画像１０１の表示領域は、左下側から、順次、左側面画像１０２の表示領域に切り替えられる。

時間ｔ４において、接合領域１０３は、すべて左側面画像１０２の表示領域に設定される。その後、時間ｔ４〜ｔ７まで、画像境界１６１が左回りに回転し、接合領域１０３の左側面画像１０２の表示領域は、右上下側から、順次、前面画像１０１の表示領域に切り替えられる。
時間ｔ７において、接合領域１０３は、時間ｔ１と同様、すべて前面画像１０１の表示領域に設定される。
以降、同様に、画像境界１６１は、同様の動き、すなわち右回転と左回転を繰り返す。すなわち、車のワイパーと同様の往復運動を行う。

このように本実施例の合成画像は、境界位置が所定点を中心として右回転と左回転を繰り返す設定とした接合領域を有する。
なお、右回転の速度と左回転の速度は、同一ではなく、いずれか一方向の回転速度を他方向の回転速度より遅く設定する構成が好ましい。例えば回転速度比を１：２以上、異なる設定とする。
このような設定とすることで、観察者はゆっくり回転する場合の画像を優先的に観察可能となり、その際に立体オブジェクトの全体像を確認しやすくなる。

時間ｔ１〜ｔ７までの１回の表示周期において、接合領域１０３の全ての領域に、前面画像１０１と、左側面画像１０２の表示期間が設定され、観察者は、接合領域１０３全領域で、前面画像１０１と左側面画像１０２の２つの画像を確認可能となる。

従って、本実施例でも、前述した長方形型の短冊領域の設定例と同様、先に図９、図１０を参照して説明した立体オブジェクトが合成画像から消失するという問題が解決される。
すなわち、本実施例においても、接合領域１０３全領域が、前面画像１０１と左側面画像１０２の２つの画像を確認可能な領域に設定されるため、立体オブジェクトの表示領域が切り落とされることなく、確認可能となる。

図２５は、本実施例に従った合成画像の実際の表示画像例を示す図である。図２５に示す（１）〜（７）は、時間推移に伴う接合領域の表示情報の変化を示している。画像境界１６１が、少しずつ移動している。接合領域には、立体オブジェクトが観察できる。
図に示す左側面画像内立体オブジェクト１７２は左側面画像表示領域に表示される立体オブジェクトである。前面画像内立体オブジェクト１７１は前面画像表示領域に表示される立体オブジェクトである。

これらの立体オブジェクトは、先に説明した図９の処理では切り落とされた画像領域に含まれていた被写体（立体オブジェクト）である。
本処理例では、各俯瞰画像の端部を切り落とすことなく、各俯瞰画像の接合領域を接合対象となる２つの俯瞰画像のいずれも観察可能とした構成としているので、各俯瞰画像に含まれるすべての被写体を観察することが可能となる。

さらに、本実施例も、接合領域は時間推移に伴って変化する表示領域となるため、観察者の注意を引く領域になる。すなわち接合領域は、合成画像中の他の領域（静止領域）に比較してより注目される領域、すなわち注意喚起領域となる。このような注意喚起領域の設定によって、観察者（運転者）は、その接合領域にある立体オブジェクトの確認が行いやすくなる。

本実施例においても、接合領域に表示される立体オブジェクトに対して、さらに注意を向けさせるため、接合領域に表示される立体オブジェクトを強調表示する処理が可能である。

図２６は、前面画像１０１と左側面画像１０２の接合領域１０３に表示される立体オブジェクトを強調表示した表示例を示している。
立体オブジェクトは、前面画像１０１の表示領域において前面画像内立体オブジェクト１７１として表示され、さらに左側面画像の表示領域である短冊間領域において、左側面画像内立体オブジェクト１７２として表示される。

これらの立体オブジェクトの表示を強調表示する。具体的には、点滅表示、あるいは色彩、輝度などを変更して、目立つ表示態様とした強調表示を行う。

なお、前面画像１０１、および左側面画像１０２の各々に含まれる立体オブジェクト領域を検出する処理は、先に図１８を参照して説明したと同様、前面画像１０１と、左側面画像１０２の画素値差分を算出し、画素値差分の大きい領域を立体オブジェクトの表示領域として判定することが可能である。
具体的には、各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が適用可能である。
このような立体オブジェクトの協調表示処理により、観察者である運転者の注意を、さらに強く喚起することが可能となる。

［６．合成画像の生成時に利用する補助情報について］
上述した実施例は、いずれも異なる位置に取り付けられた複数のカメラの撮影画像を合成して１枚の合成画像を生成する処理が必要となる。
合成画像の生成時には、各カメラの撮影画像を正確に位置合わせすることが必要である。

この位置合わせのために、画像を撮影する複数のカメラが撮影可能な位置に特定パターンを照射し、カメラによって撮影させる。各カメラの撮影画像に含まれる照射パターンを用いて位置合わせを実行することで、位置ずれの少ない合成画像が生成できる。

この処理を実行するための具体的な構成例について図２７を参照して説明する。
図２７に示すレーザ校正基準パターン照射部１８０は、図に示すような、ある画像パターンを持つ校正基準パターン１８１を地面に向けて照射する。
校正基準パターン１８１は、車両１０の前面のカメラＦ２１と、左側面のカメラＬ２２のいずれもが撮影可能な位置に照射される。
校正基準パターン１８１は、図に示すように、例えば十文字や、格子状パターンなど、特定のパターンを持つ。
なお、レーザ校正基準パターン照射部１８０は、例えば固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成される。

車両１０の前面のカメラＦ２１と、左側面のカメラＬ２２の各カメラの撮影画像には、校正基準パターン１８１が撮り込まれることになる。
カメラＦ２１の撮影画像から生成した俯瞰画像と、カメラＬ２２の撮影画像から生成した俯瞰画像の合成処理に際して、各撮影画像に含まれる照射パターン画像を用いる。

すなわち、上述の各実施例において説明した接合領域を有する合成画像を生成する際、２つの画像の照射パターンを合成画像上の同一位置に設定するように位置合わせを実行することで、位置ずれの少ない合成画像を容易に生成することが可能となる。

なお、図２７に示すレーザ校正基準パターン照射部１８０は、継続的にレーザ照射を実行するのではなく、例えばカメラの撮影する各撮影フレームの撮影タイミングに応じて校正基準パターンの照射を実行する構成としてもよい。複数のカメラは、この校正基準パターン照射タイミングに連動して画像撮影を行う。画像処理部は、撮影された複数の連続する画像フレームの差分から校正基準パターンの検出を実行し、合成画像の生成に際して校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する。
また、画像処理装置は、校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または合成画像の生成時に実行する構成としてもよい。

［７．画像処理装置のハードウェア構成例について］
次に、上述した実施例に従った画像表示処理を実行する画像処理装置のハードウェア構成例について説明する。

図２８は、上述した実施例に従った画像表示処理を実行する画像処理部２０１と、画像処理対象とする画像を撮影する複数のカメラを含む画像処理装置の全体構成例を示す図である。
カメラＦ，２０２Ｆは、図１に示す車両１０の前面に備えられたカメラＦ２１相当する。
カメラＬ，２０２Ｌは、図１に示す車両１０の左側面に備えられたカメラＬ２２に相当する。
カメラＲ，２０２Ｒは、図１に示す車両１０の右側面に備えられたカメラＲ２３に相当する。
カメラＢ，２０２Ｂは、図１に示す車両１０の背面に備えられたカメラＢ２４に相当する。
これらのカメラは、いずれも例えば魚眼レンズ等の広角レンズを備えたカメラであり、所定のフレームレートで動画撮影を実行し、撮影画像を画像処理部２０１に出力する。

画像処理部２０１は、複数のカメラＦ，２０２Ｆ〜カメラＢ，２０２Ｂの撮影画像を入力して、表示部２０５に表示する合成画像を生成して出力する。生成する合成画像は、例えば複数のカメラＦ，２０２Ｆ〜カメラＢ，２０２Ｂを装着した車両を中心として上から観察した俯瞰画像である。

画像処理部２０１は、カメラＦ，２０２Ｆ〜カメラＢ，２０２Ｂの撮影画像の各々を俯瞰変換して４枚の俯瞰画像を生成し、さらに、先に説明した実施例のいずれかの態様の接合領域を有する合成画像を生成して、表示部２０５に出力する。

入力部２０３は、ユーザによる様々な設定情報を入力するために用いられる。具体的には、例えば表示部２０５に表示する画像の切り替え、表示モードの設定などの様々な入力に利用される。
画像処理部２０１は、入力部２０３からの入力情報に応じて表示部２０５に対する表示情報の切り替えや制御を実行する。

車両ステータス情報取得部２０４は、車両の状況、具体的には、例えば車体の方向、角度、傾き、高さ情報等である。例えば坂道等では、車体が傾き、各カメラの撮影方向も車体の傾きに応じて垂直方向とは異なる方向となる。このような情報をカメラ撮影画像の補正において適用するため、画像処理部２０１に入力する。

レーザ校正基準パターン照射部２１１は、先に図２７を参照して説明したレーザ照射を実行する。
制御部２１０は、各構成部に対する処理の実行制御、各構成部間のデータ入出力制御などを実行する。
なお、制御部２１０は、プログラム実行機能を有するプロセッサを有し、図示しないメモリに格納されたプログラムに従って処理制御を実行する。

次に、画像処理部２０１の構成の詳細と実行する処理について、図２９を参照して説明する。
図２９に示すように、画像処理部２０１には、車両の４つの異なる位置に装着したカメラから４つの画像が入力される。すなわち、
車両の前面に備えられたカメラＦ，２０２Ｆの撮影画像である入力画像Ｆ，２１０Ｆ、
車両の左側面に備えられたカメラＬ，２０２Ｌの撮影画像である入力画像Ｌ，２１０Ｌ、
車両の右側面に備えられたカメラＲ，２０２Ｒの撮影画像である入力画像Ｒ，２１０Ｒ、
車両の背面に備えられたカメラＢ，２０２Ｂの撮影画像である入力画像Ｂ，２１０Ｂ、
これらの各画像が入力される。
なお、これらの画像は、魚眼レンズ等の広角レンズによって撮影された動画像である。

画像処理部２０１は、各入力画像を補正し、各画像対応の俯瞰画像を生成する補正画像生成部Ｆ，２２０Ｆ〜補正画像生成部Ｂ，２２０Ｂを有する。
各補正画像生成部Ｆ，２２０Ｆ〜補正画像生成部Ｂ，２２０Ｂの構成と処理は同様である。図には、車両の前面のカメラＦ２０２Ｆの撮影画像である入力画像Ｆ２１０Ｆに対する処理を実行する補正画像生成部Ｆ，２２０Ｆの構成を示し、その他の補正画像生成部Ｌ，２２０Ｌ〜補正画像生成部Ｂ，２２０Ｂについては内部構成を省略して示している。

代表として補正画像生成部Ｆ，２２０Ｆの構成と処理について説明する。補正画像生成部Ｆ，２２０Ｆは、車両の前面のカメラＦ２０２Ｆの撮影画像である入力画像Ｆ，２１０Ｆに対する処理を実行する。

補正パラメータ算出部２２１は、広角レンズを持つカメラによって撮影された撮影画像である入力画像Ｆ，２１０Ｆから俯瞰画像を生成するために適用するパラメータを算出する。
なお、パラメータにはカメラ内部パラメータとカメラ外部パラメータとがある。
カメラの内部パラメータとは、カメラレンズの焦点距離やレンズの歪特性、レンズ取りつけて位置誤差等の車輛のステータスに依存しないで定まる固有情報である。
カメラの外部パラメータとは、カメラの取り付け位置・向き変動、車体の路面に対する車高変動、運転情況に応じて変動することが想定される固有情報である。

広角レンズによる撮影画像から、地面を基準面とした俯瞰変換を行うためには、車両周辺を取り込んだカメラ撮影画像の歪みを補正し、さらに、想定視点である車両上部から見た画像を生成する画像補正処理を行なうことが必要となる。

補正パラメータ算出部２２１は、この画像補正に必要となるパラメータを算出する。
画像補正部２２２は、補正パラメータ算出゛２２１の算出したパラメータを適用した画像補正処理を実行して、俯瞰画像を生成する。なお、画像補正部２２２の実行する画像補正処理には、入力画像Ｆ２１０Ｆに含まれる歪みを除去する歪み補正処理、画像の拡大縮小処理であるスケーリング処理、さらに、想定視点である車両上部から見た画像に変換する視点補正を伴う俯瞰変換処理が含まれる。
なお、補正パラメータ算出部２２１と、画像補正部２２２には、入力部２０３からの入力情報、車両ステータス情報取得部２０４から入力する車両ステータス情報が入力され、必要に応じてこれらの入力情報を適用したパラメータ算出、および画像補正を実行する。

補正画像生成部Ｆ，２２０Ｆの画像補正部２２２は、生成した俯瞰画像、すなわち車両の前面のカメラＦ，２０２Ｆの撮影画像である入力画像Ｆ，２１０Ｆに基づいて生成した車両前面領域の俯瞰画像を画像合成部２５１に出力する。
また、補正画像生成部Ｌ，２２０Ｌは、車両の左側面のカメラＬ，２０２Ｌの撮影画像である入力画像Ｌ，２１０Ｌに基づいて車両左側面領域の俯瞰画像を生成して、画像合成部２５１に出力する。

また、補正画像生成部Ｒ，２２０Ｒは、車両の右側面のカメラＲ，２０２Ｒの撮影画像である入力画像Ｒ，２１０Ｒに基づいて車両右側面領域の俯瞰画像を生成して、画像合成部２５１に出力する。
さらに、補正画像生成部Ｂ，２２０Ｂは、車両の背面のカメラＢ，２０２Ｂの撮影画像である入力画像Ｂ，２１０Ｂに基づいて車両背面領域の俯瞰画像を生成して、画像合成部２５１に出力する。

画像合成部２５１は、これら４枚の俯瞰画像を入力して、表示部２０５に表示する合成画像を生成して表示部２０５に出力する。
画像合成部２５１は、先の各実施例において説明したように、各俯瞰画像の接合領域を時間推移に伴って表示画像を変更する移動する境界領域を有する構成とした合成画像を生成して表示部２０５に出力する。

具体的には、例えば、
（ａ）図１２等を参照して説明した矩形型の短冊領域を有し、矩形型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
（ｂ）図２０等を参照して説明した湾曲型の短冊領域を有し、湾曲型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
（ｃ）図２４等を参照して説明した画像の境界領域が時間推移に伴って右回転および左回転の交互の回転移動を繰り返す接合領域を有する合成画像、
これらのいずれかの構成を有する接合領域を含む合成画像を生成する。

なお、画像合成部２５１における合成画像の生成に際しては、先に図２７を参照して説明したレーザ照射パターンを各画像から検出して、検出したレーザ照射パターンを適用した位置合わせ処理を実行する。この処理を行なうことで、より高精度な画像位置合わせが可能となる。

なお、画像合成部２５１は、合成画像中の接合領域内に表示する立体オブジェクト画像については、観察者に目につきやすい設定とした強調表示を行う構成としてもよい。この処理は、先に図１３、図１８、図２５を参照して説明した処理である。
立体オブジェクトの検出には、先に説明したように接合する各画像の対応画素位置の画素値差分、例えば各画像の所定単位領域の複数の画素を単位として算出する差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が適用可能である。

表示部２０５は、画像合成部２５１の生成した合成画像を表示する。
表示部２０５に表示される合成画像は、以下のいずれかの設定の接合領域を有する合成画像となる。
（ａ）図１２等を参照して説明した矩形型の短冊領域を有し、矩形型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
（ｂ）図２０等を参照して説明した湾曲型の短冊領域を有し、湾曲型短冊領域が時間推移に伴って移動する構成を有する接合領域を有する合成画像、
（ｃ）図２４等を参照して説明した画像の境界領域が時間推移に伴って右回転および左回転の交互の回転移動を繰り返す接合領域を有する合成画像、
表示部２０５には上記（ａ）〜（ｃ）いずれかの接合領域を有する合成画像が表示され。

この表示処理によって、接合領域に存在する立体オブジェクトを消失させることなく、確実に表示することが可能となり、観察者（運転者）に対して立体オブジェクトの存在を知らしめ、より安全な運転を促すことが可能となる。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、
生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、
前記画像処理部は、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理装置。

（２）前記画像処理部は、接合対象となる第１の画像と第２の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する前記（１）に記載の画像処理装置。

（３）前記画像処理部は、接合対象となる第１の画像と第２の画像を矩形型、または湾曲型の短冊状に交互に設定する前記（２）に記載の画像処理装置。

（４）前記画像処理部は、接合対象となる第１の画像と第２の画像の短冊幅を異なる幅に設定する前記（２）または（３）に記載の画像処理装置。

（５）前記画像処理部は、接合対象となる第１の画像と第２の画像の境界位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記画像処理部は、接合対象となる第１の画像と第２の画像の境界位置を、所定点を中心として右回転と左回転を繰り返す設定とした接合領域を有する合成画像を生成する前記（５）に記載の画像処理装置。

（７）前記画像処理部は、前記境界位置の右回転と左回転の速度を異なる設定とした接合領域を有する合成画像を生成する前記（６）に記載の画像処理装置。

（８）前記画像処理部は、前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。

（９）前記強調表示は、点滅表示、または、輝度、色彩の少なくともいずれかの変更表示処理である前記（８）に記載の画像処理装置。

（１０）前記画像処理部は、前記接合領域において接合する複数画像の所定領域単位の画素値の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を適用して、立体オブジェクト検出を行う前記（９）に記載の画像処理装置。

（１１）前記画像処理装置は、前記カメラの撮影領域に特定パターンの校正基準パターンを照射する校正基準パターン照射部を有し、前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、前記画像処理部は、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する前記（１）〜（１０）いずれかに記載の画像処理装置。

（１２）前記画像処理部の校正基準パターン照射部は、固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成されている前記（１１）に記載の画像処理装置。

（１３）前記画像処理装置は、前記カメラの撮影する各撮影フレームの撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、前記複数のカメラは、前記校正基準パターン照射タイミングに連動して画像撮影を行い、前記画像処理部は、撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する前記（１）〜（１２）いずれかに記載の画像処理装置。

（１４）前記画像処理装置は、前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する前記（１）〜（１３）いずれかに記載の画像処理装置。

（１５）前記カメラは、車両の前後左右の各側面に配置されたカメラであり、前記画像処理部は、前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する前記（１）〜（１４）いずれかに記載の画像処理装置。

（１６）前記カメラは、広角レンズを有するカメラである前記（１５）に記載の画像処理装置。

（１７） 画像処理装置において実行する画像処理方法であり、
画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、
前記画像処理部は、前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する画像処理方法。

（１８） 画像処理装置において画像処理を実行させるプログラムであり、
画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、
前記合成画像生成処理において、
接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、立体オブジェクトを認識し易くした車両上部からの視点画像を生成して表示することが可能となる。
具体的には、車両の前後左右等、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、生成した複数の俯瞰画像を接合して合成画像を生成する。画像処理部は、接合対象となる複数の俯瞰画像の表示領域を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。例えば接合対象となる第１の画像と第２の画像を短冊状に交互に設定し、短冊位置を時間推移に伴って変化する設定とした接合領域を有する合成画像を生成する。
本構成により、立体オブジェクトが隣接画像合成範囲にある場合、表示画像として動体境界部を持つ画像が表示される結果、人の動体知覚神経を刺激する事で認識し易くした車両上部からの視点画像を生成して表示することが可能となる。

１０ 車両
２１〜２４ カメラ
３０ 広角カメラ
３１ 被写体
３２ 立体オブジェクト
７０ 合成画像
１０１ 前面画像
１０２ 左側面画像
１０３ 接合領域
１１１ 前面画像内立体オブジェクト
１１２ 左側面画像内立体オブジェクト
１６１ 画像境界
１７１ 前面画像内立体オブジェクト
１７２ 左側面画像内立体オブジェクト
１８０ レーザ校正基準パターン照射部
１８１ 校正基準パターン
２０１ 画像処理部
２０２ カメラ
２０３ 入力部
２０４ 車両ステータス情報取得部
２０５ 表示部
２１０ 制御部
２１１ レーザ校正基準パターン照射部
２１０ 入力画像
２２０ 補正画像生成部
２２１ 補正パラメータ算出部
２２２ 画像補正部
２５１ 画像合成部

Claims (14)

1. 異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成し、
   生成した複数の俯瞰画像を接合して合成画像を生成する画像処理部を有し、
   前記画像処理部は、
   接合対象となる第１の画像と第２の画像が短冊状に交互に配置されるとともに、短冊状領域の位置が時間推移に伴って一定方向に順次移動される接合領域を有する合成画像を生成する画像処理装置。
2. 前記画像処理部は、
   接合対象となる第１の画像と第２の画像を矩形型、または湾曲型の短冊状に交互に設定する請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   接合対象となる第１の画像と第２の画像の短冊幅を異なる幅に設定する請求項１に記載の画像処理装置。
4. 前記画像処理部は、
   前記接合領域の表示情報中に立体オブジェクトが含まれる場合、該立体オブジェクトの一部または全体を強調表示した合成画像を生成する請求項１に記載の画像処理装置。
5. 前記強調表示は、点滅表示、または、輝度、色彩の少なくともいずれかの変更表示処理である請求項４に記載の画像処理装置。
6. 前記画像処理部は、
   前記接合領域において接合する複数画像の所定領域単位の画素値の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を適用して、立体オブジェクト検出を行う請求項５に記載の画像処理装置。
7. 前記画像処理装置は、
   前記カメラの撮影領域に特定パターンの校正基準パターンを照射する校正基準パターン照射部を有し、
   前記複数のカメラは、校正基準パターン照射領域を含む撮影画像を生成し、
   前記画像処理部は、
   前記合成画像の生成に際して、前記校正基準パターン照射領域を画像の位置合わせに適用した画像合成処理を実行する請求項１に記載の画像処理装置。
8. 前記画像処理部の校正基準パターン照射部は、固体レーザ光源とパターン生成ホログラッフィクフィルタにより構成された請求項７に記載の画像処理装置。
9. 前記画像処理装置は、
   前記カメラの撮影する各撮影フレームの撮影タイミングに応じて、撮影領域に校正基準パターンの照射を行う校正基準パターン照射部を有し、
   前記複数のカメラは、前記校正基準パターンの照射タイミングに連動して画像撮影を行い、
   前記画像処理部は、
   撮影された複数の連続する画像フレームの差分から前記校正基準パターンの検出を実行し、前記合成画像の生成に際して、前記校正基準パターンの照射領域を画像の位置合わせに適用した画像合成処理を実行する請求項１に記載の画像処理装置。
10. 前記画像処理装置は、
    前記校正基準パターンを含む撮影画像を適用したカメラ調整処理としてのキャリブレーションを定期的または前記合成画像の生成時に実行する請求項７の画像処理装置。
11. 前記カメラは、車両の前後左右の各側面に配置されたカメラであり、
    前記画像処理部は、
    前記合成画像として、車両の周囲領域を車両上部から観察した俯瞰画像を生成する請求項１に記載の画像処理装置。
12. 前記カメラは、広角レンズを有するカメラである請求項１に記載の画像処理装置。
13. 画像処理装置において実行する画像処理方法であり、
    画像処理部が、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
    生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行し、
    前記画像処理部は、前記合成画像生成処理において、
    接合対象となる第１の画像と第２の画像が短冊状に交互に配置されるとともに、短冊状領域の位置が時間推移に伴って一定方向に順次移動される合成画像を生成する画像処理方法。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    画像処理部に、異なる位置に配置した複数のカメラの撮影画像を個別に補正して複数の俯瞰画像を生成する処理と、
    生成した複数の俯瞰画像を接合して合成画像を生成する合成画像生成処理を実行させ、
    前記合成画像生成処理において、
    接合対象となる第１の画像と第２の画像が短冊状に交互に配置されるとともに、短冊状領域の位置が時間推移に伴って一定方向に順次移動される接合領域を有する合成画像を生成させるプログラム。