JP2010113424A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】各撮影画像間の画素値の差が大きい場合であっても、違和感のない合成画像を生成できる画像合成装置及び画像合成方法の提供。
【解決手段】各撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他のカメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、各撮影画像の隣接方向において、各重複領域以外の領域における画素値の補正率を、これら各重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正部を備える。
【選択図】 図３

Description

この発明は、画像合成装置及び画像合成方法に関し、特に、各撮影画像間の画素値の差が大きい場合であっても、重複領域並びに非重複領域での繋目の発生を防止できる画像合成装置及び画像合成方法に関するものである。

従来、車両の周囲に取り付けられた複数の車載カメラにより撮影された車両周辺の画像を合成して表示することで、運転者の車両周辺の状況把握および安全確認を容易にする画像合成装置がある。

例えば、図１９に示すように、車両の前後左右に車載カメラＣ１〜Ｃ４をそれぞれ１台ずつ設置し、これら車載カメラＣ１〜Ｃ４により各方向の画像を撮影する。そして、これら画像を視点変換等の画像処理を行い、合成することによって、図１９に示すように、自車両を上から眺めているような1つの画像として表示することができる。このような画像を生成し表示することにより、自車両の周辺状況を１つの画像で把握することができ、また、自車両と障害物等との位置関係の認識も容易に行うことができる。

ところが、このような装置において単に画像を合成した場合、光源に対する向きの違い等により、個々のカメラＣ１〜Ｃ４のアイリス等が異なる状態に自動調整される場合がある。特に、各カメラＣ１〜Ｃ４の各撮影領域Ｅ１〜Ｅ４において、隣接するカメラＣの撮影領域Ｅと重複する領域Ｒ１〜Ｒ４（以下、「重複領域Ｒ１〜Ｒ４」とする。）の輝度値が、当該隣接するカメラＣの重複領域Ｒの輝度値と異なる場合、生成された合成画像に各画像の繋目ｂ１〜ｂ４が目立って表示されるという問題がある。

このような問題に対し、近年、撮影した画像の画素値を画像処理によって補正することで、合成後に違和感のない画像を生成するための技術が開発されている。

例えば、特許文献１に記載の発明は、例えば、カメラＣ１における重複領域Ｒ１、Ｒ２の輝度値と、カメラＣ４における重複領域Ｒ１及びカメラＣ２における重複領域Ｒ２の輝度値とが互いに等しくなる補正率をそれぞれ算出する。そして、算出したそれぞれの重複領域Ｒ１、Ｒ２の補正率の平均値をカメラＣ１の撮影領域Ｅ１全体の補正率としている。

すなわち、特許文献１に記載の発明は、例えば、カメラＣ１の撮影画像を補正する際、重複領域Ｒ１内にある画素ｈ１における補正値がG(h1)、重複領域Ｒ２内にある画素ｈ２における補正率がG(h2)であるとする。すると、図２０に示すように、各重複領域G(h1)、G(h2)の平均値であるG(h)を撮影画像全域の補正率として、当該撮影画像を補正する。

また、特許文献２に記載の発明では、特許文献１に記載の発明と同じ方法により重複領域Ｒの補正率を求める一方、撮影領域Ｅの中心位置の補正率を１とし、その間の領域の補正率を重複領域間の距離の比に基づいて補完する。

具体的には、例えば、画素ＳがカメラＣ４の撮影領域Ｅ４内における重複領域Ｒ以外の領域にあり、画素ＳからカメラＣの光軸上に引いた線の長さをＬｘとし、画素Ｓから重複領域Ｒ１までの長さをＬｙとする。そして、重複領域Ｒ１における補正率をＧとすると、画素Ｓにおける補正率G(S)は、G(S)=1+(G-1)×Lx/(Lx+Ly)により求められる。

すなわち、特許文献２に記載の発明は、カメラＣ４の撮影画像を補正する際、例えば、重複領域Ｒ１の補正率をG(S1)、重複領域Ｒ４の補正率をG(S2)とする。すると、図２１に示すように、撮影領域Ｅ４の左端部から画素Ｓ１までの補正率はG(S1)で一定となり、撮影領域Ｅ４の右端部から画素Ｓ２までの補正率はG(S2)で一定となる。また、カメラＣ４の光軸上にある画素Ｓ０の補正率は１であり、画素Ｓ１と画素Ｓ０との間及び画素Ｓ２と画素Ｓ０との間の補正率は、それぞれ上記の式に基づき算出される。

特開２００８−７７５９５号公報 特開２００８−７９２４８号公報

しかしながら、各撮影画像間における輝度値の差が大きい場合、上記特許文献１及び特許文献２に記載の発明により各撮影画像を合成したとしても、各画像の繋目ｂ１〜ｂ４が目立ったり、実際には存在しないスジが写り込んだりするなど、違和感のある合成画像が生成されるおそれがある。

すなわち、特許文献１に記載の発明は、本来算出した各重複領域Ｒの補正率ではなく、それを基にした平均値で撮影画像全体を一律に補正する。そのため、特に各重複領域Ｒの補正率の差が大きい場合、各重複領域Ｒの補正量が実際に算出した補正量から大きくずれて、繋目ｂ１〜ｂ４が目立つおそれがある。

また、特許文献２に記載の発明は、各重複領域Ｒの補正率の値が１よりも大きく離れ、かつ、これら各重複領域Ｒの補正率の差が小さいとき、カメラＣの光軸付近にスジ状の画が現れる場合がある。これは、光軸部分の補正率を常に１としているためである。

開示の技術は、上述した従来技術による問題点を解消するためになされたものであり、各撮影画像間の画素値の差が大きい場合であっても、違和感のない合成画像を生成することのできる画像合成装置及び画像合成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本件に開示する画像合成装置は、複数のカメラにより撮影された複数の撮影画像を取得する画像取得部と、各前記撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、前記他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、各前記撮影画像の隣接方向において、各前記重複領域以外の領域における画素値の補正率を、これら各前記重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正部と、前記画素値補正部により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成部と、前記合成画像生成部により生成した前記合成画像を外部装置に出力する画像出力部とを備える。

本件に開示する画像合成装置及び画像合成方法によれば、各撮影画像間の画素値の差が大きい場合であっても、重複領域並びに非重複領域での繋目の発生を防止できるという効果を奏する。

以下に添付図面を参照して、本件に開示する画像合成装置及び画像合成方法にかかる実施例について詳細に説明する。

まず、本実施例にかかる画像合成装置を含む画像表示システムの概要について、図面を参照して説明する。図１は実施例１にかかる画像表示システムの構成を示す図、図２は実施例１にかかる画像表示システムにおける各カメラの取付け位置及び撮影範囲を説明するための図である。なお、本実施例においては、画像合成装置として、車両の周囲に取り付けられた複数のカメラにより撮影された車両周辺の画像を合成して表示する画像合成装置を適用した場合について説明する。ただし、本件に開示する画像合成装置は、これに限ったものではなく、複数のカメラにより撮影された撮影画像を合成して１つの合成画像を生成する他の用途にも適用できる。

図１に示すように、本実施例にかかる画像表示システムＳは、複数のカメラ１ａ〜１ｄと、画像合成装置２と、表示装置３とを有する。本実施例において、複数のカメラ１ａ〜１ｄは、車両の前後左右にそれぞれ設けられている。すなわち、図２に示すように、カメラ１ａは車両Ｖの前方に取り付けられ、カメラ１ｂは車両Ｖの平面視右側に取り付けられ、カメラ１ｃは車両Ｖの後方に取り付けられ、カメラ１ｄは車両Ｖの平面視左側に取り付けられている。また、各カメラ１ａ〜１ｄは、それぞれ車両Ｖの前方、平面視右側方、後方、平面視左側方を撮影する。なお、本実施例では、移動体の一例として、車両を挙げたが、これに限るものではない。

画像合成装置２は、各カメラ１ａ〜１ｄにより撮影された撮影画像を合成し、１つの合成画像を生成する。この画像合成装置２は、複数の画像入力部２０ａ〜２０ｄと、画素値補正部２１と、合成画像生成部２２と、画像出力部２３とを有する。画像入力部２０ａ〜２０ｄは、画像取得部に相当し、それぞれカメラ１ａ〜１ｄにより撮影された撮影画像を取得する。ここで、本実施例において、各カメラ１ａ〜１ｄにより撮影された撮影画像は、動画像である。これら撮影画像は、それぞれ画像入力部２０ａ〜２０ｄに対して一定のフレームレートで１フレームごとに入力される。

画素値補正部２１は、画像入力部２０が取得した各撮影画像の画素値の補正を行う。合成画像生成部２２は、画素値補正部２１により補正された各撮影画像に対して視点変換処理等の画像処理を施した後、各撮影画像を合成する。これにより、車両Ｖの周辺画像として、図２に示すように自車両Ｖを真上から見たような１つの合成画像が生成される。

ここで、視点変換処理とは、実カメラの撮影画像を仮想カメラの撮影画像に変換する画像処理技術である。具体的には、実カメラの位置、向き、画角、レンズのひずみ等をパラメータとして、仮想カメラの一の画素に入射する光線ベクトルが、任意の基準面を介して、実カメラのどの画素に入射する光線ベクトルと対応するかを算出する。これを仮想カメラの全ての画素について算出することにより、実カメラの撮影画像が仮想カメラの撮影画像に変換される。

画像出力部２３は、合成画像生成部２２により生成された合成画像を表示装置３へ出力する。なお、この画像出力部２３は、画像入力部２０に入力された各撮影画像をそのまま表示装置３へ出力することもできる。表示装置３は、車載用のディスプレイ装置であり、画像合成装置２から出力された車両Ｖの周辺画像を表示する。

続いて、画素値補正部２１のより具体的な構成及び画素値補正処理について、図面を参照して説明する。図３は実施例１にかかる画素値補正部２１の構成及び画素値補正処理を説明するための図である。

図３に示すように、本実施例にかかる画素値補正部２１は、注目領域抽出部２１０と、特徴量算出部２１１と、目標値算出部２１２と、補正率算出部２１３と、補正処理部２１４とを有する。

注目領域抽出部２１０は、各撮影画像の画像領域における重複領域から、注目領域を抽出する。重複領域とは、各カメラ１により撮影された撮影画像の画像領域のうち、他のカメラ１により撮影された撮影画像の画像領域と重複する領域である。例えば、図２に示すように、カメラ１ａにより撮影された撮影画像の画像領域１０ａと、カメラ１ｄにより撮影された撮影画像の画像領域１０ｄとが重複する領域が、それぞれの画像領域１０ａ，１０ｄの重複領域１００ａとなる。また、画像領域１０ａには、画像領域１０ｄとの重複領域１００ａの他に、カメラ１ｂにより撮影された撮影画像の画像領域１０ｂとの重複領域１００ｂも存在する。

また、同様に、カメラ１ｂにより撮影された撮影画像の画像領域１０ｂには、画像領域１０ａとの重複領域１００ｂと、カメラ１ｃにより撮影された撮影画像の画像領域１０ｃとの重複領域１００ｃとが存在する。また、画像領域１０ｃには、画像領域１０ｂとの重複領域１００ｃと、画像領域１０ｄとの重複領域１００ｄとが存在する。また、画像領域１０ｄには、画像領域１０ｃとの重複領域１００ｄと、画像領域１０ａとの重複領域１００ａとが存在する。このように、本実施例において、各画像領域１０ａ〜１０ｄには、隣接するカメラ１により撮影された撮影画像の画像領域１０ａ〜１０ｄとの重複領域１００ａ〜１００ｄが、各画像領域１０ａ〜１０ｄの左右両端に存在する。

なお、重複領域１００は、カメラ１ａ〜１ｄの車両Ｖへの取付け位置や各カメラ１ａ〜１ｄの撮影範囲等に応じて予め決められた領域である。

注目領域は、この重複領域１００中の所定の矩形領域である。ここで、各撮影画像の画像領域１０から抽出される注目領域の対応関係について説明する。なお、以下において、カメラ１ａ〜１ｄにより撮影された撮影画像をそれぞれ補正前画像Ａ〜Ｄとする。図４は、各カメラ１ａ〜１ｄにより撮影された補正前画像Ａ〜Ｄにおける注目領域の対応関係を説明するための図である。

図４に示すように、注目領域抽出部２１０は、補正前画像Ａの画像領域１０ａのうち、重複領域１００ａから注目領域１１ａを抽出するとともに、重複領域１００ｂから注目領域１２ａを抽出する。また、注目領域抽出部２１０は、他の補正前画像Ｂ〜Ｄに対しても同様の処理を行う。これにより、図３に示すように、補正前画像Ｂの画像領域１０ｂからは注目領域１１ｂ、１２ｂが抽出され、補正前画像Ｃの画像領域１０ｃからは注目領域１１ｃ、１２ｃが抽出され、補正前画像Ｄの画像領域１０ｄからは注目領域１１ｄ、１２ｄが抽出される。

なお、カメラ１ａ〜１ｄのレンズには超広角レンズが用いられているため、各補正前画像Ａ〜Ｄは、画像の中心から離れるほど被写体が歪んで描画される。そのため、各重複領域１００は、実際は、図４に示すような矩形状ではなく、画像の中央に向かって歪んだ領域となっている。ただし、ここでは、理解を容易にするため、重複領域１００を矩形状とする。

ここで、各補正前画像Ａ〜Ｄの各重複領域１００から抽出された注目領域１１ａ〜１１ｄ、１２ａ〜１２ｄのうち、同一の重複領域１００内から抽出された２つの注目領域には、それぞれのカメラ１により同一の場所を撮影した画像が描画されている。例えば、画像領域１０ａにおける重複領域１００ａの注目領域１１ａ内にカメラ１ａにより撮影されたある被写体（例えば、自動車）が写っている場合は、画像領域１０ｄにおける重複領域１００ａの注目領域１２ｄ内にも同じ被写体が写っている。すなわち、各補正前画像Ａ〜Ｄにおいて、同一の重複領域１００内から抽出される２つの注目領域は、後述する合成画像生成部２２により補正後の撮影画像を合成する際に、互いに重複する領域となる。

なお、注目領域１１、１２は、画像領域１０の中央よりも下側の領域から抽出することが望ましい。すなわち、いずれの撮影画像においても、画像領域１０の中央よりも下側の領域には、通常、道路が描画されていることが多いため、全ての注目領域内に同一被写体が存在する確率の高いこの領域に注目領域１１、１２を設定することで、補正処理を精度よく行うことができる。

特徴量算出部２１１は、各補正前画像Ａ〜Ｄについて、各重複領域１００内の注目領域１１、１２の特徴量として平均画素値を算出する。本実施例において、画素値とは、輝度値を示す。すなわち、特徴量算出部２１１は、図３に示すように、各補正前画像Ａ〜Ｄごとに、注目領域の平均画素値を２つずつ算出する。

なお、特徴量算出部２１１は、注目領域１１、１２の平均画素値を算出するのではなく、重複領域１００全域の平均画素値を算出することとしてもよい。これにより、当該重複領域１００内の平均画素値をより正確に求めることができる。この場合、注目領域抽出部２１０は不要となる。ただし、上述したように、重複領域１００は、実際は歪んだ形状を有するため、平均画素値の算出に時間がかかるおそれがある。そこで、本実施例のように、注目領域抽出部２１０により重複領域１００から矩形状の注目領域１１、１２を抽出し、特徴量算出部２１１により、この注目領域１１、１２の平均画素値を算出することにより、重複領域１００全域の平均画素値に近似する値を簡便に求めることができる。

目標値算出部２１２は、各補正前画像Ａ〜Ｄにおける注目領域１１、１２の特徴量（平均画素値）と、当該注目領域１１、１２と重複する他の補正前画像Ａ〜Ｄにおける注目領域１１、１２の平均画素値とに基づき、互いに重複する２つの注目領域が属する重複領域１００の補正後の平均画素値の目標値（以下、「目標画素値」とする。）を算出する。すなわち、目標値算出部２１２は、例えば、重複領域１００ａの目標画素値を算出する場合、画像領域１０ａの重複領域１００ａにある注目領域１１ａの平均画素値及び画像領域１０ｄの重複領域１００ａにある注目領域１２ｄの平均画素値に基づいて算出する。

本実施例において、目標値算出部２１２は、互いに重複する２つの注目領域の平均画素値における、各注目領域の画素数を考慮した加重平均値を算出することにより目標画素値を算出する。すなわち、注目領域Xの平均画素値をa(X)とし、注目領域Xの画素数をp(X)とすると、例えば、重複領域１００ａにおける目標画素値は、(a(11a)*p(11a)+a(12d)*p(12d))/(p(11a)+p(12d))とすることができる。

なお、互いに重複する２つの注目領域の画素数が等しいか、もしくはほぼ等しい場合は、目標値算出部２１２は、簡易的に、目標画素値を２つの注目領域の平均画素値の平均値として算出してもよい。また、例えば、重複領域１００ａの目標画素値を算出する場合、目標値算出部２１２は、車両Ｖの前方に設置されたカメラ１ａの平均画素値に、目標画素値を近づけるようにするなど、特定のカメラ１の注目領域に対して重みづけをしてもよい。

このように、目標値算出部２１２は、互いに重複する２つの注目領域の平均画素値の加重平均値（もしくは平均値）を、これら２つの注目領域が属する重複領域１００の目標画素値とする。そして、後述するように、補正処理部２１４では、各補正前画像Ａ〜Ｄの重複領域の画素値を目標画素値と一致させるように補正を行う。そのため、各補正前画像Ａ〜Ｄにおいて、互いに重複する重複領域１００同士の補正後の画素値を一致させることができ、画像合成後において、各撮影画像の繋目１１０ａ〜１１０ｄ（図２参照。）を目立たなくすることができる。

補正率算出部２１３は、各補正前画像Ａ〜Ｄについて、画像領域１０内に存在する２つの注目領域１１、１２の平均画素値及びこれら各注目領域１１、１２が属する重複領域１００の目標画素値に基づき、当該補正前画像Ａ〜Ｄの画像水平方向の補正率を算出する。以下に、補正率算出部２１３による補正率算出処理を具体的に説明する。図５は、実施例１にかかる補正率算出部２１３により決定される画像水平位置と補正率との関係の一例を示すグラフである。なお、以下では、１つの補正前画像に対する処理を説明する。

先ず、補正率算出部２１３は、画像領域１０内に存在する２つの注目領域１１、１２内の一の画素を代表点としてそれぞれ抽出する。例えば、補正率算出部２１３は、図４に示すように、補正前画像Ａの画像領域１０ａにある２つの注目領域１１ａ、１２ａ内の代表点として、注目領域１１ａ内の一の画素ｘ１及び注目領域１２ａ内の一の画素ｘ２を抽出する。本実施例において、補正率算出部２１３は、注目領域の水平中心にある画素の任意の一点を代表点として抽出する。

続いて、補正率算出部２１３は、抽出した各代表点における補正率を算出する。具体的には、補正率算出部２１３は、代表点ｘにおける補正率g(x)を、当該代表点ｘが属する注目領域Xにおける平均画素値をa(X)、当該注目領域Xが属する重複領域１００の目標画素値をt(X)とすると、t(X)/a(X)により算出する。例えば、代表点ｘ１における補正率は、g(x1)=t(11a)/a(11a)となり、代表点ｘ２における補正率は、g(x2)=t(12a)/a(12a)となる。これにより、図５における、代表点ｘ１の補正率g(x1)及び代表点ｘ２の補正率g(x2)が求まる。

続いて、補正率算出部２１３は、画像水平方向において、補正前画像の端部から当該端部に最も近い位置にある代表点までの間の補正率を、当該代表点の補正率で一定とする。例えば、図５に示すように、補正率算出部２１３は、補正前画像Ａの左端部から代表点ｘ１までの補正率を代表点ｘ１の補正率g(x1)で一定とし、同様に、補正前画像Ａの右端部から代表点ｘ２までの補正率を代表点ｘ２の補正率g(x1)で一定とする。すなわち、補正前画像Ａの補正率は、画像水平位置0≦x≦x1においてはg(x)=g(x1)となり、x2≦x≦画像右端部においてはg(x)=g(x2)となる。

このように、本実施例にかかる画像合成装置２は、上述した特許文献１に記載の発明とは異なり、重複領域１００の目標画素値と実際の補正後の画素値とにずれが生じないため、各撮影画像間の繋目が不自然になることがない。

そして、補正率算出部２１３は、２つの代表点間の補正率をこれら代表点の補正率同士を結ぶ所定の連続関数により算出する。すなわち、補正率算出部２１３は、図５におけるx1＜x＜x2の区間を、代表点ｘ１における補正率g(x1)と代表点ｘ２における補正率g(x2)とを結ぶ連続関数f(x)で補間する。より具体的には、補正率算出部２１３は、x1＜x＜x2の補正率を、f(x)=(g(x2)-g(x1))(x-x1)/(x2-x1)+g(x1)で求める。なお、この連続関数f(x)は、各代表点における補正率を通る関数であればよく、例えば、区間x1＜x＜x2においてg(x1)およびg(x2)の最小値、最大値の範囲を超えない連続曲線としてもよい。

このように、本実施例にかかる画像合成装置２は、画像水平方向における代表点間の補正値を各代表点の補正率を通る連続関数により補間する。これにより、後述するように、補正処理部２１４により撮影画像を補正した際に、画像水平方向において、補正率が急激に変化することがなく、当該撮影画像をより違和感のない自然な補正後画像とすることができる。

すなわち、本実施例にかかる画像合成装置２は、上述した特許文献２に記載の発明とは異なり、画像領域１０の中央付近において筋状の画が現れることもなく、違和感のない合成画像を生成することができる。

なお、本実施例において、各注目領域１１、１２から抽出される代表点は、注目領域の水平中心にある画素の任意の一点としたが、必ずしもこの位置である必要はない。例えば、画像領域１０において、中心よりも左側に位置する注目領域の代表点は、当該注目領域の右端の一点とし、中心よりも右側に位置する注目領域の代表点は、当該注目領域の左端の一点としてもよい。また、注目領域が多角形や非対称形の場合は、左右の画素数が等しくなる水平位置にある画素、もしくは、画像水平方向中心側端にある画素を代表点として抽出してもよい。このように、代表点の位置を、注目領域のうち、より画像領域１０の中心に近い位置とすることにより、重複する２つの重複領域１００内の画素値をより均一にすることができる。

補正処理部２１４は、各補正前画像Ａ〜Ｄの各画素の画素値を補正率算出部２１３により算出された各画素に対応する補正率に基づき補正する。具体的には、補正処理部２１４は、補正率算出部２１３により算出された各画像水平位置における補正率と、当該位置における画像垂直方向に存在する各画素の画素値とを乗算することにより、撮影画像全域の画素値を補正する。

このとき、補正後の注目領域１１、１２の平均画素値は、当該注目領域１１、１２が属する重複領域１００の目標画素値と等しいか、もしくはそれに十分近い値となるため、合成後の画像の繋目１１０ａ〜１１０ｄの差異を十分に小さくすることができる。例えば、補正前画像Ａにおいて、注目領域１１ａを重複領域１００ａの右端部を含む領域から抽出するとともに、注目領域１２ａを重複領域１００ｂの左端部を含む領域から抽出したとする。さらに、代表点ｘ１を注目領域１１ａの右端部から抽出するとともに、ｘ２を注目領域１１ｂの左端部から抽出したとする。すると、補正後画像Ａの画像領域１０ａにおける重複領域１００ａの平均画素値は、補正後画像Ｄの画像領域１０ｄにおける重複領域１００ａの平均画素値と等しくなる。

次に、本実施例にかかる画像合成装置２の具体的動作について図面を用いて説明する。図６は、実施例１にかかる画像合成装置２による処理手順の一例を示すフローチャートである。なお、図６においては、画像合成装置２が実行する処理手順のうち、各カメラ１ａ〜１ｄによる撮影画像の合成に関連する処理手順のみを示している。

図６に示すように、画像合成装置２の画素値補正部２１は、画像入力部２０ａ〜２０ｄに入力されたカメラ１ａ〜１ｄによる撮影画像を取得し（ステップＳ１１）、取得した撮影画像に対して画素値補正処理を行う（ステップＳ１２）。この画素値補正処理については、後に詳述する。

ステップＳ１２の画素値補正処理を終えると、合成画像生成部２２は、合成画像生成処理を行う（ステップＳ１３）。この合成画像生成処理は、ステップＳ１２において補正された各撮影画像に対して視点変換処理等を施した後、これら撮影画像を合成し、車両Ｖを上空から見下ろしたような合成画像を生成する。そして、合成画像生成部２２は、生成した合成画像を画像出力部２３を介して表示装置３へ出力する（ステップＳ１４）。ステップＳ１１〜１４までの処理は、画像入力部２０に１フレームの撮影画像が一定のフレームレートで入力されるごとに行われる。これにより、運転席から死角となる部分がなくなるばかりでなく、周囲と自車両との位置関係も容易に把握でき、車両Ｖのドライバーは、車庫入れ等を容易に行うことができる。

続いて、ステップＳ１２における画素値補正処理について、図７を用いて具体的に説明する。図７は、実施例１にかかる画素値補正処理の処理手順の一例を示すフローチャートである。

図７に示すように、画素値補正処理を開始すると、画素値補正部２１は、画像入力部２０ａ〜２０ｄから取得した補正前画像Ａ〜Ｄの中から１つの補正前画像を選択する（ステップＳ２１）。次に、注目領域抽出部２１０は、選択した補正前画像の画像領域１０にある２つの重複領域１００から注目領域１１、１２を抽出する（ステップＳ２２）。次に、特徴量算出部２１１は、ステップＳ２２において抽出した２つの注目領域１１、１２の特徴量として、これら注目領域１１、１２の平均画素値の算出を行う（ステップＳ２３）。

続いて、画素値補正部２１は、全ての注目領域１１、１２（本実施例では、２つ。）について特徴量の算出を行ったか否かを判定する（ステップＳ２４）。この処理において、全ての注目領域１１、１２について処理が完了していないとき（ステップＳ２４否定）、画素値補正部２１は、処理をステップＳ２２へ移行する。一方、ステップＳ２４において、全ての注目領域１１、１２について処理が完了したと判定すると（ステップＳ２４肯定）、画素値補正部２１は、処理をステップＳ２５へ移行する。

ステップＳ２５において、画素値補正部２１は、全ての補正前画像についてステップＳ２２〜Ｓ２４の処理を行ったか否かを判定する。この処理において、全ての補正前画像について処理を行っていないとき（ステップＳ２５否定）、画素値補正部２１は、処理をステップＳ２１へ移行する。一方、全ての補正前画像についてステップＳ２２〜Ｓ２４の処理が完了したと判定すると（ステップＳ２５肯定）、画素値補正部２１は、処理をステップＳ２６へ移行する。

ステップＳ２６において、画素値補正部２１は、重複領域１００ａ〜１００ｄの中から１つの重複領域１００を選択する。次に、目標値算出部２１２は、選択した重複領域１００の補正後の平均画素値の目標値を算出する（ステップＳ２７）。具体的には、ステップＳ２６において重複領域１００ａが選択された場合、目標値算出部２１２は、補正前画像Ａの重複領域１００ａから抽出された注目領域１１ａの平均画素値と、補正前画像Ｄの重複領域１００ａから抽出された注目領域１２ｄの平均画素値との加重平均値を目標値として算出する。

ステップＳ２７の処理を終えたとき、画素値補正部２１は、全ての重複領域１００ａ〜１００ｄについてステップＳ２６、Ｓ２７の処理を行ったか否かを判定する。この処理において、全ての重複領域１００ａ〜１００ｄについてステップＳ２６、Ｓ２７の処理を行っていないとき（ステップＳ２８否定）、画素値補正部２１は、処理をステップＳ２６へ移行する。一方、全ての重複領域１００ａ〜１００ｄについて処理が完了したと判定すると（ステップＳ２８肯定）、画素値補正部２１は、処理をステップＳ２９へ移行する。

ステップＳ２９において、画素値補正部２１は、補正前画像Ａ〜Ｄの中から１つの補正前画像を選択する。次に、補正率算出部２１３は、選択した補正前画像の補正率を算出する（ステップＳ３０）。具体的には、補正率算出部２１３は、ステップＳ２９において選択した補正前画像の画像領域１０内に存在する２つの注目領域１１、１２の平均画素値及びこれら各注目領域１１、１２が属する重複領域１００の目標画素値に基づき、画像水平方向の補正率を算出する。

より具体的には、補正率算出部２１３は、先ず、各注目領域１１、１２内の代表点の補正率を算出する。そして、補正率算出部２１３は、画像水平方向において、画像端部から当該端部に最も近い位置にある代表点までの間の補正率を当該代表点の補正率で一定とし、さらに、代表点間の補正値を各代表点の補正率を通る連続関数により補間する。これにより、補正率算出部２１３は、補正前画像全域の補正率を決定する。

ステップＳ３０処理を終えたとき、補正処理部２１４は、ステップＳ２９において選択した補正前画像の補正処理を行う。具体的には、補正処理部２１４は、ステップＳ３０において算出された各画像水平位置における補正率と、当該位置における画像垂直方向に存在する各画素の画素値とを乗算することにより、撮影画像全域の画素値を補正する。

ステップＳ３１の処理を終えたとき、画素値補正部２１は、全ての補正前画像Ａ〜ＤについてステップＳ３０、Ｓ３１の処理を行ったか否かを判定する（ステップＳ３２）。この処理において、全ての補正前画像Ａ〜ＤについてステップＳ３０、Ｓ３１の処理を行っていないとき（ステップＳ３２否定）、画素値補正部２１は、処理をステップＳ２９へ移行する。一方、全ての補正前画像Ａ〜Ｄについて処理が完了したと判定すると（ステップＳ３２肯定）、画素値補正部２１は、画素値補正処理を終了する。

なお、本実施例においては、輝度値の補正処理として説明してきたが、色度についても同様の処理を行うこともできる。これにより、重複領域１００における色度の差異を小さくすることができる。色度の算出は、輝度値の算出と独立して行ってもよく、また、補正率算出部２１３により算出した輝度値の補正率を色度の補正率として適用してもよい。また、輝度値の補正率を色度の補正率に適用する際は、輝度値の補正率をそのまま適用してもよく、また、正規化もしくは重み付けをしたものを適用してもよい。

また、補正処理を行っている間に次のフレームの撮影画像が入力された場合は、当該撮影画像に基づいて算出した補正率を最新のフレームの撮影画像に用いてもよい。

上述してきたように、実施例１にかかる画像合成装置２によれば、各カメラ１間の輝度や色度が個々の自動調整状態や撮影状況により異なっていても、撮影画像間の繋目１１０ａ〜１１０ｄをスムーズにつなげることができるため、ドライバーにとって見やすい画像を提供できる。また、重複領域１００以外の領域（非重複領域）についても、左右の重複領域の補正率をつなぐように段階的に変化させて補正するため、隣接する撮影画像間の輝度や色度の差が大きくても違和感のない合成画像を合成できる。

ところで、補正率算出処理において算出した補正率が、全体的に１を大きく超えるような場合、補正後の撮影画像全体が過度に明るくなるのを抑制するため、重複領域１００以外の領域の補正率を所定の閾値を用いて修正してもよい。以下、かかる場合について、図８を参照して説明する。図８は、閾値により補正率を修正した後の画像水平位置と補正率との関係の一例を示すグラフである。

かかる場合、補正率算出部２１３は、画像領域１０の水平方向において、代表点間の所定位置における補正値が予め決められた閾値を越える場合、当該所定位置における補正率を閾値の値に修正する。そして、補正率算出部２１３は、当該所定位置と各代表点との間の補正率を、当該所定位置における補正率と各代表点における補正率とを結ぶ所定の連続関数により算出する。

具体的には、図８に示すように、補正率算出部２１３は、補正前画像Ａの補正率を算出した後において、２つの代表点ｘ１、ｘ２における補正率が共に２以上である場合、画像領域１０ａの中心ｘ３における補正率g(x3)と、予め決められた補正率の閾値Ｔとを比較する。そして、g(x3)＞Ｔの場合、補正率算出部２１３は、ｘ３における補正率をg(x3)＝Ｔに修正する。さらに、補正率算出部２１３は、区間x1＜x＜x3及び区間x3＜x＜x2をそれぞれg(x1)とg(x3)とを通る連続関数及びg(x2)とg(x3)とを通る連続関数で補間する。なお、閾値Ｔは、画像合成装置２が取り得る補正率の最大値に基づき予め決められる。

また、補正率算出部２１３は、補正率算出処理において算出した補正率が、全体的に１を大きく下回るような場合についても、補正後の撮影画像全体が過度に暗くなるのを抑制するため、上記と同様の修正処理を行うこともできる。

また、本実施例にかかる画像合成装置２は、４つのカメラ１ａ〜１ｄによる撮影画像を用いて車両Ｖを上空から見上げたような合成画像を生成する他、３つのカメラ１を用いた合成画像や、２つのカメラ１を用いた合成画像を生成することもできる。かかる場合、各撮影画像の画像領域１０には、他の画像領域１０との重複領域１００が１つしか存在しない場合がある。以下、かかる場合の補正率の算出方法について、図９を用いて説明する。図９は、重複領域１００が１つしか存在しない場合における補正率の算出方法を説明するための図である。

かかる場合、補正率算出部２１３は、区間0＜x＜x1において、線ｌのように画像領域１０ｄ全域の補正率をx1で一律とする。また、補正率算出部２１３は、g(0)=cとしてあらかじめ定数を定めておき、線ｍのように0＜x＜x1間の補正率を線形に補間してもよい。特にc=1とすることにより、x=0においては補正前の画素値を変更しない補正処理を行うことができる。また、線ｎのように、g(x1)に基づきg(0)の値を算出した後、0＜x＜x1間を線形補間する関数で補正率を決定してもよい。例えば、線nは、g(0)=(1+g(x1))/2としている。

ところで、各撮影画像においては、カメラ１に近い領域（画像領域１０の下部）と遠い領域（画像領域１０の上部）とで画素値が大きく異なる場合がある。例えば、画像領域１０の下部に路面が写っており、上部に空が写っている場合、これらの画素値は大きく異なる可能性が高い。このような場合、実施例１のように、画像水平方向のみを考慮した補正率により画像領域１０全域の画素値を補正すると、空が写っている領域が過度に明るく補正されたり、路面が写っている領域が過度に暗く補正されたりするおそれがある。そこで、実施例２では、さらに画像垂直方向も考慮に入れて補正率を算出する。

以下、実施例２にかかる画像表示システムについて、図面を参照して説明する。図１０は実施例２にかかる画素値補正部の構成及び画素値補正処理を説明するための図、図１１は実施例２にかかる注目領域の位置を説明するための図である。なお、既に説明した構成と同じものについては同一の符号を付し、その説明を省略する。また、図１０は、補正前画像Ａの処理についてのみ示したものである。

図１０に示すように、本実施例にかかる画像合成装置２の注目領域抽出部２１５は、各画像領域１０からそれぞれ４つの注目領域（例えば注目領域１２１ａ、１２２ａ、１３１ａ、１３２ａ）を抽出する。具体的には、注目領域抽出部２１５は、１つの画像領域１０に存在する２つの重複領域１００のそれぞれについて、画像領域１０の上部領域および下部領域に対応する領域から注目領域を１つずつ抽出する。

すなわち、本実施例では、図１１に示すように、画像領域１０ａにおいて、カメラ１ａから遠い領域及び近い領域にそれぞれ上部領域１２０及び下部領域１３０が規定されている。また、他の画像領域１０ｂ〜１０ｄにも同様に上部領域及び下部領域が規定されている（図示せず。）。

そして、注目領域抽出部２１５は、例えば、画像領域１０ａの重複領域１００ａのうち、当該画像領域１０ａの上部領域１２０に属する領域から注目領域１２１ａを抽出し、下部領域１３０に属する領域から注目領域１３１ａを抽出する。同様に、注目領域抽出部２１５は、画像領域１０ａの重複領域１００ｂのうち、当該画像領域１０ａの上部領域１２０に属する領域から注目領域１２２ａを抽出し、下部領域１３０に属する領域から注目領域１３２ａを抽出する。

図１２に、補正前画像Ａにおける各領域の位置関係を示す。図１２に示すように、上部領域１２０は、画像領域１０ａの上部に位置し、下部領域１３０は、画像領域１０ａの下部に位置する。また、注目領域１２１ａは、重複領域１００ａと上部領域１２０とが重複する領域内にあり、注目領域１２２ａは、重複領域１００ｂと上部領域１２０とが重複する領域内にある。同様に、注目領域１３１ａは、重複領域１００ａと下部領域１３０とが重複する領域内にあり、注目領域１３２ａは、重複領域１００ｂと下部領域１３０とが重複する領域内にある。なお、本実施例において、上部領域１２０は、画像領域１０の垂直方向中心よりも上部に位置し、下部領域１３０は、画像領域１０の垂直方向中心よりも下部に位置することとする。

ここで、注目領域１２１ａは、画像領域１０ｄの重複領域１００ａから抽出された注目領域１２２ｄ（図示せず）と重複し、注目領域１２２ａは、画像領域１０ｂの重複領域１００ｂから抽出された注目領域１２１ｂ（図示せず）と重複するものとする。また、注目領域１３１ａは、画像領域１０ｄの重複領域１００ａから抽出された注目領域１３２ｄ（図示せず）と重複し、注目領域１３２ａは、画像領域１０ｂの重複領域１００ｂから抽出された注目領域１３１ｂ（図示せず）と重複するものとする。

特徴量算出部２１１は、実施例１と同様に、各注目領域の平均画素値を特徴量として算出する。また、目標値算出部２１２も実施例１と同様に、各注目領域の平均画素値と、当該注目領域と重複する他の注目領域の平均画素値とに基づき、これら注目領域における補正後の平均画素値の目標値である目標画素値を算出する。

補正率算出部２１６は、各補正前画像Ａ〜Ｄについて、画像領域１０内に存在する４つの注目領域１２１、１２２、１３１、１３２の平均画素値及び目標画素値に基づき、当該補正前画像Ａ〜Ｄの補正率を算出する。以下に、補正率算出部２１６による補正率算出処理を具体的に説明する。図１３は実施例２にかかる多角形内部の補正率の算出方法を説明するための図、図１４は実施例２にかかる多角形外部の補正率の算出方法を説明するための図である。なお、以下では、一例として、補正前画像Ａに対する処理について説明する。

先ず、図１３に示すように、補正率算出部２１６は、各注目領域１２１ａ、１２２ａ、１３１ａ、１３２ａの代表点ｘ１、ｘ２、ｘ４、ｘ３をそれぞれ抽出する。本実施例において、代表点ｘ１、ｘ２、ｘ４、ｘ３は、それぞれ各注目領域１２１ａ、１２２ａ、１３１ａ、１３２ａの中心とする。

続いて、補正率算出部２１６は、各代表点ｘ１〜ｘ４の補正率を算出する。ここで、画像領域１０ａの例えば左上部を原点とした座標(x,y)を取ると、代表点P(x,y)における補正率zは、当該代表点Pが属する注目領域Xにおける平均画素値をa(X)、目標画素値t(X)として、z=t(X)/a(X)で算出される。以下において、各画素の座標(x,y)及び補正率zをまとめて(x,y,z)と表記する。そして、補正率算出部２１６は、各代表点ｘ１〜ｘ４の座標及び補正率に基づき、他の座標にある画素の補正率を算出する。ここで、本実施例における補正率の算出方法は、各代表点ｘ１〜ｘ４によって囲まれた凸型多角形の内部及び境界と、外部に大きく分けることができる。

先ず、凸型多角形内部の算出方法について説明する。図１３に示すように、本実施例における凸型多角形は、４つの代表点ｘ１〜ｘ４で囲まれる四角形となる。最初に、補正率算出部２１６は、代表点ｘ１と代表点ｘ３とを結ぶ対角線Ｄ１の勾配の絶対値と、代表点ｘ２と代表点ｘ４とを結ぶ対角線Ｄ２の勾配の絶対値とを比較する。そして、補正率算出部２１６は、これら対角線Ｄ１、Ｄ２のうち、より勾配の絶対値の小さい対角線を用いて、代表点ｘ１〜ｘ４で囲まれる四角形を２つの三角形領域に分割する。

ここで、代表点P1(x1,y1,z1）及び代表点P2(x2,y2,z2)を通る対角線の勾配の絶対値Δは、次の式（１）により算出される。

そして、例えば、対角線Ｄ１の勾配の絶対値をΔ１、対角線Ｄ２の勾配の絶対値をΔ２とすると、補正率算出部２１６は、Δ１≦Δ２の場合は対角線Ｄ１により四角形を分割し、Δ１＞Δ２の場合は対角線Ｄ２により四角形を分割する。すなわち、Δ１≦Δ２の場合、四角形は、代表点ｘ１、ｘ２、ｘ３により囲まれる３角形領域と、代表点ｘ１、ｘ３、ｘ４により囲まれる３角形領域とに分割される。また、Δ１＞Δ２の場合、四角形は、代表点ｘ１、ｘ２、ｘ４により囲まれる３角形領域と、代表点ｘ２、ｘ３、ｘ４により囲まれる３角形領域とに分割される。

続いて、補正率算出部２１６は、四角形内部の画素の補正率ｚを、当該画素が含まれる三角形領域を形成する３つの代表点の補正率に基づいて算出する。ここで、３つの代表点P1(x1,y1,z1）、P2(x2,y2,z2)、P3(x3,y3,z3)により形成される３角形領域内部に存在する画素の補正率ｚは、次の式（２）〜（４）により算出される。

すなわち、例えば、図１３に示す画素P(x,y)における補正率ｚは、四角形が対角線Ｄ１により分割された場合は代表点ｘ１、ｘ２、ｘ３の補正率より算出し、四角形が対角線Ｄ２により分割された場合は代表点ｘ１、ｘ２、ｘ４の補正率より算出する。

続いて、凸型多角形外部の算出方法について説明する。以下において、画像領域１０ａのうち、代表点ｘ１、ｘ２、ｘ３、ｘ４により囲まれる四角形の外部領域を単に「外部領域」とする。先ず、補正率算出部２１６は、２つの対角線Ｄ１、Ｄ２の延長線により外部領域を４つの領域に分割する。これにより、外部領域に存在する画素は、２本の対角線の延長、２つの代表点及び画像領域１０ａの端部により囲まれた領域に属することとなる。例えば、図１４に示す画素Ｐは、対角線Ｄ１の延長線Ｌ３、対角線Ｄ２の延長線Ｌ４、代表点ｘ３と代表点ｘ４とを結ぶ直線及び画像領域１０ａの下端部により囲まれる。そして、この画素Ｐは、次の式（５）により算出される。

ここで、z1、z2は２つの代表点ｘ４、ｘ３の補正率、d1、d2は２つの代表点ｘ４、ｘ３を結んだ直線と平行で、かつＰを通る直線LPと対角線延長線L4、L3との交点P1’、P2’からＰまでの距離である。なお、対角線延長線L3、L4上の画素の補正率は、その対角線延長線L3、L4を含むいずれかの分割外部領域に含めておけばよい。例えば、対角線延長線L4上の画素の補正率は、当該画素が、画像領域１０ａの左端部を含む分割外部領域または画像領域１０ａの下端部を含む分割外部領域のいずれかに属するものとして算出すればよい。

このように、本実施例にかかる画像合成装置２の補正率算出部２１６は、画像領域１０ａを各代表点ｘ１〜ｘ４により囲まれる四角形の内部領域と外部領域とに分割し、さらに、内部領域を２つの領域、外部領域を４つの領域に分割する。そして、補正率算出部２１６は、画像領域１０ａ内の画素の補正率を、各画素の属する領域に応じた算出方法でそれぞれ算出する。

補正処理部２１４は、実施例１と同様に、各補正前画像Ａ〜Ｄの各画素の画素値を補正率算出部２１６より算出された各画素に対応する補正率に基づき補正する。

なお、本実施例においても、実施例１と同じように、色度について同様の処理を行うことができる。これにより、より違和感のない合成画像を生成することができる。色度の算出は、輝度値の算出と独立して行ってもよく、また、補正率算出部２１６により算出した輝度値の補正率を色度の補正率として適用してもよい。また、輝度値の補正率を色度の補正率に適用する際は、輝度値の補正率をそのまま適用してもよく、また、正規化もしくは重み付けをしたものを適用してもよい。

また、実施例１と同様、補正処理を行っている間に次のフレームの撮影画像が入力された場合は、当該撮影画像に基づいて算出した補正率を最新のフレームの撮影画像に用いてもよい。また、計算量削減のため、画像領域１０ａ内の全ての画素に対して補正率の算出を行うのではなく、画像領域１０ａを細かいブロックに分割し、各ブロックごとに代表点を定め、当該代表点の補正率をブロック全体の補正率としてもよい。

上述してきたように、実施例２にかかる画像合成装置２によれば、画像水平方向だけでなく画像垂直方向も考慮した補正率の算出を行うことにより、画像領域１０ａの上部領域と下部領域とで画素値が大きくことなる場合であっても、上部領域が過度に明るく補正されたり、下部領域が過度に暗く補正されたりするおそれがなく、違和感のない合成画像を生成することができる。

なお、画像領域１０ａ上の各画素の補正率を算出する際は、算出方法決定テーブルを用いることにより演算処理を簡略化することができる。かかる場合、図１５に示すように、各代表点ｘ１〜ｘ４及び対角線Ｄ１、Ｄ２により、画像領域１０ａを８つの領域に分割し、それぞれの領域に領域番号として分割領域０〜分割領域７を割り振る。そして、画像合成装置２は、算出方法決定テーブルとして、各分割領域の範囲、当該分割領域内の画素の補正率算出に用いる式及び当該補正率の算出に必要な変数値を領域番号と関連付けて記憶する。

ここで、補正率の算出に用いる変数値とは、四角形の外部領域（分割領域４〜７）においては、２つの代表点の補正率z1、z2である。また、内部領域（分割領域０〜３）においては、３つの代表点の座標及び補正率、さらに、これらを用いて式（３）および式（４）により算出されるａおよびｂである。なお、分割領域０〜３内の画素の補正率の算出方法については、いずれの対角線Ｄ１、Ｄ２で分割するかにより補正率の算出に用いる代表点が異なるため、算出方法決定テーブルには、各分割領域ごとに２パターンの変数値が記憶される。画像合成装置２は、当該算出方法決定テーブルを記憶するための所定の記憶部（図示せず。）を有する。なお、外部領域においては、(x,y)からd1およびd2の値も得られる。

例えば、図１５に示す画素P(x,y,z)の補正率を算出する際、補正率算出部２１６は、算出方法決定テーブルを参照し、画素Ｐが領域番号０の分割領域に属すると判定する。さらに、補正率算出部２１６は、算出方法決定テーブルを参照して、この領域番号０に対応する算出式及び変数値を決定する。この際、画素Ｐのように四角形の内部領域に属する画素である場合は、補正率算出部２１６は、四角形をどの対角線Ｄ１、Ｄ２で分割したかをフラグ情報として持つことにより、２パターン記憶された変数値の中からフラグ情報に応じた変数値を選択する。

また、本実施例では、画像領域１０ａから注目領域を４つ抽出した場合の補正率の算出方法について説明したが、注目領域の抽出数が４つ以外の場合でも、各注目領域の代表点における補正率に基づいて画像領域１０ａ全域の補正率を算出することができる。以下に、かかる場合における補正率の算出方法について、図面を参照して説明する。図１６はカメラ１ａ〜１ｃを用いた合成画像を生成する場合の補正前画像Ａにおける補正率の算出方法を説明するための図、図１７は注目領域を５つ以上設けた場合における多角形内部の分割の仕方を説明するための図、図１８は注目領域を５つ以上設けた場合における多角形外部の分割の仕方を説明するための図である。

例えば、カメラ１ａ〜１ｃを用いた合成画像を生成する場合、カメラ１ａの補正前画像Ａの画像領域１０ａは、カメラ１ｂの補正前画像Ｂの画像領域１０ｂのみと重複するため、画像領域１０ａ上には、図１６に示すように、２つの代表点ｘ２、ｘ３のみが存在する。かかる場合、補正率算出部２１６は、先ず、２つの代表点ｘ２、ｘ３を結ぶ線Ｌ５に垂直な延長線Ｌ６、Ｌ７を各代表点ｘ２、ｘ３から伸ばし、画像領域１０ａを３つに分割する。なお、代表点が３つ以上あるが３つの代表点が直線上に並んでいる場合は、代表点、延長線が３つ以上になるので、画像領域１０ａは３つより多く分割されることになる。

そして、補正率算出部２１６は、延長線Ｌ６と延長線Ｌ７とにより囲まれた領域にある画素Ｐの補正率については、２つの代表点ｘ２、ｘ３の補正率及び画素Ｐから延長線Ｌ６、Ｌ７までの距離ｄ１、ｄ２を用い、上記式（５）により算出する。また、延長線Ｌ６よりも上部の領域及び延長線Ｌ７よりも下部の領域の補正率については、それぞれ代表点ｘ２の補正率及び代表点ｘ３の補正率で一定とする。

なお、代表点が１つしか存在しない場合は、画像領域１０ａ全域の補正率を当該代表点における補正率で一定とすればよい。また、代表点が３つの場合は、当該３つの代表点により囲まれる三角形領域内の画素の補正率を、当該３つの代表点の補正率を用いて、上記式（２）〜（４）により算出する。また、三角形領域外部の画素の補正率を算出する場合、補正率算出部２１６は、三角形領域の重心から各頂点へ向けた延長線により、三角形領域外部を３つに分割する。そして、補正率算出部２１６は、各領域に含まれる２つの代表点の補正率等を用い、上記式（５）により補正率を算出する。

また、図１７に示すように、注目領域が５つ以上ある場合、または、多角形内部にも代表点を持つ場合、代表点ａ１〜ａ６によって囲まれる凸型多角形の内部は、Delaunayの三角形分割などを用いて複数の三角形領域に分割することができる。凸型多角形内部の画素は、当該画素が属する三角形領域を形成する３つの代表点の補正率に基づき、上記式（２）を用いて算出することができる。この場合も算出方法決定テーブルを用いて補正率の算出を簡略化することができる。

また、外部領域については、図１８に示すように、凸型多角形を形成する代表点ａ１〜ａ６を含む三角形領域を形成する各辺のうち、凸型多角形の外周となる辺以外の辺を、凸型多角形を形成する代表点ａ１〜ａ６側に延長させた延長線によって分割する。これにより、外部領域は、１１の分割外部領域に分割される。また、これら１１の分割外部領域は、１つの代表点のみを含む第一領域Ａ１〜Ａ５と、２つの代表点を含む第二領域Ｂ１〜Ｂ６とに分類される。そして、第一領域Ａ１〜Ａ５の補正率については、各領域に含まれる代表点の補正率で一定とし、第二領域Ｂ１〜Ｂ６の補正率については、各領域に含まれる２つの代表点の補正率に基づき、上記式（５）を用いて算出する。

以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

例えば、上記各実施例において、各カメラ１ａ〜１ｄにより撮影される画像は、動画像であるとしたが、これに限らず、静止画像であってもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）複数のカメラにより撮影された複数の撮影画像を取得する画像取得部と、
各前記撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、前記他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、当該撮影画像の隣接方向において、各前記重複領域以外の領域における画素値の補正率を、これら各前記重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正部と、
前記補正処理部により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成部と、
前記合成画像生成部により生成した前記合成画像を外部装置に出力する画像出力部と
を備えることを特徴とする画像合成装置。

（付記２）前記画素値補正部は、
各前記撮影画像に対して、各前記重複領域の平均画素値を算出する特徴量算出部と、
各前記重複領域に対して、一の前記撮影画像における当該重複領域の平均画素値と、他の前記撮影画像における当該重複領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出部と、
各前記撮影画像に対して、当該撮影画像の画像領域にある前記重複領域内の一の画素を代表点とし、この代表点における画素値の補正率を当該重複領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の水平方向において、前記代表点から前記撮影画像の左右両端部のうち当該代表点に近い側の端部までの補正率を当該代表点の補正率と同一とし、前記代表点間の補正率をこれら代表点の補正率同士を結ぶ所定の連続関数により算出する補正率算出部と、
各前記撮影画像の各画素の画素値を前記補正率算出部により算出された各前記画素に対応する補正率に基づき補正する補正処理部と
を有することを特徴とする付記１に記載の画像合成装置。

（付記３）前記特徴量算出部は、前記重複領域から一の注目領域を抽出するとともに、当該抽出した注目領域の平均画素値を算出し、
前記目標値算出部は、前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、当該注目領域における補正後の平均画素値の目標値を算出し、
前記補正率算出部は、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出する
ことを特徴とする付記２に記載の画像合成装置。

（付記４）前記補正率算出部は、前記画像領域の水平方向において、前記代表点間の所定位置における補正値が閾値を越える場合、当該所定位置における補正率を前記閾値の値に決定し、当該所定位置と前記代表点との間の補正率を、当該所定位置における補正率と前記代表点における補正率とを結ぶ所定の連続関数により算出することを特徴とする付記２又は付記３に記載の画像合成装置。

（付記５）複数のカメラにより撮影された複数の撮影画像を取得する画像取得部と、
各前記撮影画像に対して、当該撮影画像の画像領域の両端にそれぞれ位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における上部領域及び下部領域から、１又は複数の注目領域をそれぞれ抽出し、当該抽出した各注目領域の平均画素値を算出する特徴量算出部と、
各注目領域に対して、一の前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出部と、
各撮影画像に対して、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の画像領域を各前記代表点に基づいて複数の矩形領域に分割し、各前記矩形領域内の各画素の補正率を、当該矩形領域を構成する前記代表点の補正率に基づいて算出する補正率算出部と、
各前記撮影画像の各画素の画素値を前記補正率算出部により算出された各前記画素に対応する補正率に基づき補正する補正処理部と、
前記画素値補正部により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成部と、
前記合成画像生成部により生成した前記合成画像を外部装置に出力する画像出力部と
を備えることを特徴とする画像合成装置。

（付記６）前記補正率算出部は、前記画像領域を当該画像領域内の各代表点を結んで形成される凸型多角形の内部領域と外部領域に分割し、さらに、前記内部領域を各前記代表点を結んで形成される複数の三角形領域に分割することを特徴とする付記５に記載の画像合成装置。

（付記７）前記補正率算出部は、前記画像領域に４つの代表点が存在する場合、これら４つの代表点により形成される四角形の２つの対角線のうち、勾配の絶対値がより小さい対角線により、当該四角形を２つの三角形領域に分割することを特徴とする付記５又は付記６に記載の画像合成装置。

（付記８）複数のカメラにより撮影された複数の撮影画像を取得する画像取得工程と、
各前記撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、前記他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、当該撮影画像の隣接方向において、各前記重複領域以外の領域における画素値の補正率を、これら各前記重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正工程と、
前記画素値補正工程により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成工程と、
前記合成画像生成工程により生成した前記合成画像を外部装置に出力する画像出力工程と
を含むことを特徴とする画像合成方法。

（付記９）前記画素値補正工程は、
各前記撮影画像に対して、各前記重複領域の平均画素値を算出する特徴量算出工程と、
各前記重複領域に対して、一の前記撮影画像における当該重複領域の平均画素値と、他の前記撮影画像における当該重複領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出工程と、
各前記撮影画像に対して、当該撮影画像の画像領域にある前記重複領域内の一の画素を代表点とし、この代表点における画素値の補正率を当該重複領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の水平方向において、前記代表点から前記撮影画像の左右両端部のうち当該代表点に近い側の端部までの補正率を当該代表点の補正率と同一とし、前記代表点間の補正率をこれら代表点の補正率同士を結ぶ所定の連続関数により算出する補正率算出工程と、
各前記撮影画像の各画素の画素値を前記補正率算出工程により算出された各前記画素に対応する補正率に基づき補正する補正処理工程と
を含むことを特徴とする付記８に記載の画像合成方法。

（付記１０）前記特徴量算出工程は、前記重複領域から一の注目領域を抽出するとともに、当該抽出した注目領域の平均画素値を算出し、
前記目標値算出工程は、前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、当該注目領域における補正後の平均画素値の目標値を算出し、
前記補正率算出工程は、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出する
ことを特徴とする付記９に記載の画像合成方法。

（付記１１）前記補正率算出工程は、前記画像領域の水平方向において、前記代表点間の所定位置における補正値が閾値を越える場合、当該所定位置における補正率を前記閾値の値に決定し、当該所定位置と前記代表点との間の補正率を、当該所定位置における補正率と前記代表点における補正率とを結ぶ所定の連続関数により算出することを特徴とする付記９又は付記１０に記載の画像合成方法。

（付記１２）複数のカメラにより撮影された複数の撮影画像を取得する画像取得工程と、
各前記撮影画像に対して、当該撮影画像の画像領域の両端にそれぞれ位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における上部領域及び下部領域から、１又は複数の注目領域をそれぞれ抽出し、当該抽出した各注目領域の平均画素値を算出する特徴量算出工程と、
各注目領域に対して、一の前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出工程と、
各撮影画像に対して、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の画像領域を各前記代表点に基づいて複数の矩形領域に分割し、各前記矩形領域内の各画素の補正率を、当該矩形領域を構成する前記代表点の補正率に基づいて算出する補正率算出工程と、
各前記撮影画像の各画素の画素値を前記補正率算出工程により算出された各前記画素に対応する補正率に基づき補正する補正処理工程と、
前記補正処理工程により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成工程と、
前記合成画像生成工程により生成した前記合成画像を外部装置に出力する画像出力工程と
を含むことを特徴とする画像合成方法。

（付記１３）前記補正率算出工程は、前記画像領域を当該画像領域内の各代表点を結んで形成される凸型多角形の内部領域と外部領域に分割し、さらに、前記内部領域を各前記代表点を結んで形成される複数の三角形領域に分割することを特徴とする付記１２に記載の画像合成方法。

（付記１４）前記補正率算出工程は、前記画像領域に４つの代表点が存在する場合、これら４つの代表点により形成される四角形の２つの対角線のうち、勾配の絶対値がより小さい対角線により、当該四角形を２つの三角形領域に分割することを特徴とする付記１２に記載の画像合成方法。

実施例１にかかる画像表示システムの構成を示す図である。 実施例１にかかる画像表示システムにおける各カメラの取付け位置及び撮影範囲を説明するための図である。 実施例１にかかる画素値補正部の構成及び画素値補正処理を説明するための図である。 各カメラにより撮影された補正前画像における注目領域の対応関係を説明するための図である。 実施例１にかかる補正率算出部により決定される画像水平位置と補正率との関係の一例を示すグラフである。 実施例１にかかる画像合成装置による処理手順の一例を示すフローチャートである。 実施例１にかかる画素値補正処理の処理手順の一例を示すフローチャートである。 閾値により補正率を修正した後の画像水平位置と補正率との関係の一例を示すグラフである。 重複領域が１つしか存在しない場合における補正率の算出方法を説明するための図である。 実施例２にかかる画素値補正部の構成及び画素値補正処理を説明するための図である。 実施例２にかかる注目領域の位置を説明するための図である。 実施例２にかかる補正前画像Ａにおける各領域の位置関係を示す図である。 実施例２にかかる多角形内部の補正率の算出方法を説明するための図である。 実施例２にかかる多角形外部の補正率の算出方法を説明するための図である。 各分割領域に割り当てられる領域番号を用いた補正率の算出方法を説明するための図である。 カメラ１ａ〜１ｃを用いた合成画像を生成する場合の補正前画像Ａにおける補正率の算出方法を説明するための図である。 注目領域を５つ以上設けた場合における多角形内部の分割の仕方を説明するための図である。 注目領域を５つ以上設けた場合における多角形外部の分割の仕方を説明するための図である。 従来の画像表示システムにより生成される合成画像の一例を示す図である。 特許文献１に記載の補正率算出方法を説明するための図である。 特許文献２に記載の補正率算出方法を説明するための図である。

符号の説明

Ｓ 画像表示システム
Ｖ 車両
１ カメラ
２ 画像合成装置
３ 表示装置
１０ 画像領域
１１ 注目領域
２０ 画像入力部
２１ 画素値補正部
２２ 合成画像生成部
２３ 画像出力部
１００ 重複領域
１１０ 繋目
２１０ 注目領域抽出部
２１１ 特徴量算出部
２１２ 目標値算出部
２１３ 補正率算出部
２１４ 補正処理部

Claims (8)

1. 複数のカメラにより撮影された複数の撮影画像を取得する画像取得部と、
   各前記撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、前記他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、各前記撮影画像の隣接方向において、各前記重複領域以外の領域における画素値の補正率を、これら各前記重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正部と、
   前記画素値補正部により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成した前記合成画像を外部装置に出力する画像出力部と
   を備えることを特徴とする画像合成装置。
2. 前記画素値補正部は、
   各前記撮影画像に対して、各前記重複領域の平均画素値を算出する特徴量算出部と、
   各前記重複領域に対して、一の前記撮影画像における当該重複領域の平均画素値と、他の前記撮影画像における当該重複領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出部と、
   各前記撮影画像に対して、当該撮影画像の画像領域にある前記重複領域内の一の画素を代表点とし、この代表点における画素値の補正率を当該重複領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の水平方向において、前記代表点から前記撮影画像の左右両端部のうち当該代表点に近い側の端部までの補正率を当該代表点の補正率と同一とし、前記代表点間の補正率をこれら代表点の補正率同士を結ぶ所定の連続関数により算出する補正率算出部と、
   各前記撮影画像の各画素の画素値を前記補正率算出部により算出された各前記画素に対応する補正率に基づき補正する補正処理部と
   を有することを特徴とする請求項１に記載の画像合成装置。
3. 前記補正率算出部は、前記画像領域の水平方向において、前記代表点間の所定位置における補正値が閾値を越える場合、当該所定位置における補正率を前記閾値の値に決定し、当該所定位置と前記代表点との間の補正率を、当該所定位置における補正率と前記代表点における補正率とを結ぶ所定の連続関数により算出することを特徴とする請求項２に記載の画像合成装置。
4. 複数のカメラにより撮影された複数の撮影画像を取得する画像取得部と、
   各前記撮影画像に対して、当該撮影画像の画像領域の両端にそれぞれ位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における上部領域及び下部領域から、１又は複数の注目領域をそれぞれ抽出し、当該抽出した各注目領域の平均画素値を算出する特徴量算出部と、
   各注目領域に対して、一の前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出部と、
   各撮影画像に対して、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の画像領域を各前記代表点に基づいて複数の領域に分割し、各前記領域内の各画素の補正率を、当該領域を構成する前記代表点の補正率に基づいて算出する補正率算出部と、
   各前記撮影画像の各画素の画素値を前記補正率算出部により算出された各前記画素に対応する補正率に基づき補正する補正処理部と、
   前記補正処理部により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成部と、
   前記合成画像生成部により生成した前記合成画像を外部装置に出力する画像出力部と
   を備えることを特徴とする画像合成装置。
5. 前記補正率算出部は、前記画像領域を当該画像領域内の各代表点を結んで形成される凸型多角形の内部領域と外部領域に分割し、さらに、前記内部領域を各前記代表点を結んで形成される複数の三角形領域に分割することを特徴とする請求項４に記載の画像合成装置。
6. 前記補正率算出部は、前記画像領域に４つの代表点が存在する場合、これら４つの代表点により形成される四角形の２つの対角線のうち、勾配の絶対値がより小さい対角線により、当該四角形を２つの三角形領域に分割することを特徴とする請求項４又は請求項５に記載の画像合成装置。
7. 複数のカメラにより撮影された複数の撮影画像を取得する画像取得工程と、
   各前記撮影画像に対して、当該撮影画像の画像領域の両端に位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における平均画素値の補正率として、当該重複領域における補正後の平均画素値と、前記他のカメラにより撮影された撮影画像の画像領域に位置する、当該重複領域と重複する重複領域の補正後の平均画素値とが一致するような補正率を算出するとともに、当該撮影画像の隣接方向において、各前記重複領域以外の領域における画素値の補正率を、これら各前記重複領域における補正率を結ぶ所定の連続関数により算出し、当該算出された補正率に基づき当該撮影画像の画像領域の全域を補正する画素値補正工程と、
   前記画素値補正工程により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成工程と、
   前記合成画像生成工程により生成した前記合成画像を外部装置に出力する画像出力工程と
   を含むことを特徴とする画像合成方法。
8. 複数のカメラにより撮影された複数の撮影画像を取得する画像取得工程と、
   各前記撮影画像に対して、当該撮影画像の画像領域の両端にそれぞれ位置する、他の前記カメラにより撮影された撮影画像の画像領域との重複領域における上部領域及び下部領域から、１又は複数の注目領域をそれぞれ抽出し、当該抽出した各注目領域の平均画素値を算出する特徴量算出工程と、
   各注目領域に対して、一の前記撮影画像における注目領域の平均画素値と、当該注目領域と重複する他の前記撮影画像における注目領域の平均画素値とに基づき、補正後の平均画素値の目標値を算出する目標値算出工程と、
   各撮影画像に対して、前記注目領域内の一の画素を代表点とし、当該代表点の補正率を当該注目領域の平均画素値及び目標値に基づき算出するとともに、当該撮影画像の画像領域を各前記代表点に基づいて複数の領域に分割し、各前記領域内の各画素の補正率を、当該領域を構成する前記代表点の補正率に基づいて算出する補正率算出工程と、
   各前記撮影画像の各画素の画素値を前記補正率算出工程により算出された各前記画素に対応する補正率に基づき補正する補正処理工程と、
   前記補正処理工程により補正された各前記撮影画像を合成して、１つの合成画像を生成する合成画像生成工程と、
   前記合成画像生成工程により生成した前記合成画像を外部装置に出力する画像出力工程と
   を含むことを特徴とする画像合成方法。

Images