JP2018088669A - 投影画像歪補正装置および方法 - Google Patents

Abstract

【課題】投影する際の画像（映像）の反射の有無にかかわらず歪みおよび反転のない画像を得ることができる投影画像歪補正装置および方法を提供すること。【解決手段】車載システムは、第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を判定する反転状態判定部１００と、第２の較正画像を投影して得られる投影画像と反転状態に基づいて、表示対象画像と投影画像との間の構成画素対応関係を判定する対応関係判定部１０２と、投影画像において歪のない表示領域を確保するために必要なフレームバッファ１１４内の描画範囲を、歪補正領域として決定する歪補正領域決定部１０４と、表示対象画像を歪のない表示領域に投影するために、表示対象画像をフレームバッファ１１４内の歪補正領域に対応させる変換処理に必要な変換則を決定する変換則決定部１０６とを備えている。【選択図】図２

Description

本発明は、車両等に搭載されてフロントガラス等に投影された投影画像の歪みを補正する投影画像歪補正装置および方法に関する。

従来から、プロジェクタからスクリーンに投影された映像の歪みを補正し、歪みのない映像を得ることができる映像投影装置が知られている（例えば、特許文献１参照。）。この映像投影装置では、投影時に歪がないように事前に逆の歪みを与えるための補正データを算出し、画像を投影する際にこの補正データに基づいて画像の補正を行っている。

特開２００１−８３９４９号公報

ところで、上述した特許文献１に開示された映像投影装置では、プロジェクタから投影された映像を直接スクリーンに投影することを前提としているため、例えば、車両のダッシュボード内に収容された投影部から投影された映像を１あるいは複数回折り返しミラーで反射させた後にフロントガラス等に投影するような場合には、これらの折り返しミラーの数や配置に応じて映像の上下あるいは左右が反転してしまい、プロジェクタから投影された映像とフロントガラスに到達した映像との正確な対応付けができなくなるため、フロントガラス上の映像が上下あるいは左右に反転してしまい、正しい映像が得られなくなる。

本発明は、このような点に鑑みて創作されたものであり、その目的は、投影する際の画像（映像）の反射の有無にかかわらず歪みおよび反転のない画像を得ることができる投影画像歪補正装置および方法を提供することにある。

上述した課題を解決するために、本発明の投影画像歪補正装置は、第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を判定する反転状態判定手段と、第２の較正画像を投影して得られる投影画像と反転状態に基づいて、表示対象画像と投影画像との間の構成画素対応関係を判定する対応関係判定手段と、投影画像において歪のない表示領域を確保するために必要なフレームバッファ内の描画範囲を、歪補正領域として決定する歪補正領域決定手段と、表示対象画像を歪のない表示領域に投影するために、表示対象画像をフレームバッファ内の歪補正領域に対応させる変換処理に必要な変換則を決定する変換則決定手段とを備えている。

また、本発明の投影画像歪補正方法は、第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を反転状態判定手段によって判定するステップと、第２の較正画像を投影して得られる投影画像と反転状態に基づいて、表示対象画像と投影画像との間の構成画素対応関係を対応関係判定手段によって判定するステップと、投影画像において歪のない表示領域を確保するために必要なフレームバッファ内の描画範囲を、歪補正領域として歪補正領域決定手段によって決定するステップと、表示対象画像を歪のない表示領域に投影するために、表示対象画像をフレームバッファ内の歪補正領域に対応させる変換処理に必要な変換則を変換則決定手段によって決定するステップとを有している。

決定した変換則を用いて表示対象画像を歪補正領域に対応させることにより、歪および反転のない投影画像を表示領域に投影することが可能となる。

また、上述した歪補正領域に含まれないフレームバッファ内の領域には、投影光を遮断する画素値が格納されることが望ましい。これにより、歪となって見える部分を遮光することで、歪のない投影画像を表示することが可能となる。

また、上述した表示領域の外周枠は、投影画像全体の外周枠に内接することが望ましい。これにより、歪のない最大面積の投影画像を表示することが可能となる。

また、上述した表示領域の外周枠は矩形形状を有し、この矩形形状が表示対象画像の形状と相似形を有していることが望ましい。これにより、表示領域に所望の表示内容の画像を投影するために、矩形形状の表示領域と同じ形状の表示対象画像を用意すればよいため、表示対象画像の作成が容易となる。

また、上述した表示領域の外周枠は、投影画像全体の外周枠とこの投影画像の投影先となるスクリーン領域との重複範囲と相似形を有していることが望ましい。これにより、投影可能な領域を最大限有効利用することができ、表示対象となる情報量を増やすことが可能となる。

また、上述した第１の較正画像は、反転の前後で異なる位置に配置された第１の指標を含む矩形形状を有することが望ましい。これにより、確実に、画像の反転状態を判定することが可能となる。

また、上述した第２の較正画像は、所定間隔で規則的に配置された第２の指標を含む矩形形状を有することが望ましい。これにより、確実に、生成画像と投影画像との間の構成画素対応関係を判定することが可能となる。

また、上述した第１および第２の較正画像を投影して得られる投影画像を撮像する撮像手段をさらに備え、撮像手段による撮像によって得られた撮像画像に基づいて、反転状態判定手段および対応関係判定手段による判定が行われることが望ましい。投影画像を撮像手段で撮像した結果に基づいて変換則を決定することができるため、投影の際に用いられる光学系の構成を考慮することなく、汎用性を持たせることが可能となる。

また、上述した変換則を格納する変換則格納手段と、変換則格納手段に格納された変換則を用いて、表示対象画像に対して変換処理を行う歪補正変換手段と、歪補正変換手段によって変換処理されてフレームバッファ内の投影範囲内に格納された画像を投影する投影手段とをさらに備えることが望ましい。これにより、入力された表示対象画像に対して変換則を用いた変換処理を行うだけの簡単な処理により、歪や反転のない投影画像を表示することができる。

また、投影画像歪補正装置は、車両に搭載されており、上述した撮像手段は、変換則格納手段に変換則が格納された後に、車両から取り外されることが望ましい。あるいは、投影画像歪補正装置は、車両に搭載されており、上述した反転状態判定手段、対応関係判定手段、歪補正領域決定手段、変換則決定手段は、変換則格納手段に変換則が格納された後に、車両から取り外されることが望ましい。変換則を決定する処理を行った後は、この変換則を決定するために用いられた構成が不要になるためこれを取り外すことにより、実際の稼働時において表示対象画像を投影するために必要な構成を簡素化することができる。

第１の実施形態の車載システムの構成を示す図である。 第１の実施形態のヘッドアップディスプレイの構成を示す図である。 歪補正準備動作全体の動作手順を示す流れ図である。 反転状態判定に用いられる第１の較正画像の一例を示す図である。 図４に示す第１の較正画像Ｍ１に対応する投影画像Ｎ１をカメラで撮像した結果を示す図である。 構成画素対応関係判定に用いられる第２の較正画像の一例を示す図である。 図６に示す第２の較正画像Ｍ２に対応する投影画像Ｎ２をカメラで撮像した結果を示す図である。 第２の較正画像Ｍ２に対応する投影画像Ｎ２の重心を示す図である。 投影画像Ｎ２の外周枠に内接する矩形形状の表示領域Ｄを示す図である。 図９に示す表示領域Ｄに対応するフレームバッファ内の投影範囲全体に含まれる歪補正領域Ｈを示す図である。 第１の実施形態において変換則を決定する動作の概要を示す図である。 第２の実施形態のヘッドアップディスプレイの構成を示す図である。 投影画像に対して最大化された表示領域Ｄ’を示す図である。 図１３に示す最大化表示領域Ｄ’に対応するフレームバッファ内の投影範囲全体に含まれる歪補正領域Ｈ’を示す図である。 第２の実施形態において変換則を決定する動作の概要を示す図である。

以下、本発明の投影画像歪補正装置を適用した車載システムについて、図面を参照しながら説明する。

（第１の実施形態）
図１は、第１の実施形態の車載システムの構成を示す図である。図１に示すように、本実施形態の車載システムは、車載装置１０、ヘッドアップディスプレイ（ＨＵＤ）２０、カメラ３０、フロントガラス４０を含んで構成されている。

車載装置１０は、投影したい生成画像（表示対象画像）を出力する。例えば、経路誘導動作中に右左折を指示する交差点案内画像を生成画像として出力する場合には、ナビゲーション装置が車載装置１０に該当する。また、車速やエンジン回転数を含む画像を生成画像として出力する場合には、これらの画像を生成するエンジン制御装置等が車載装置１０に該当する。以下の説明では、投影によって表示したいこの生成画像を「表示対象画像」と称するものとする。また、「投影画像」は、特に断りがない場合には、投影された画像を意味するものとする。

ヘッドアップディスプレイ２０は、カメラ３０とともに本実施形態の投影画像歪補正装置を構成しており、カメラ３０による撮像によって得られた画像に基づいて、入力される表示対象画像をそのまま投影した際に投影画像に含まれる歪を除去するために必要な変換則を決定してルックアップテーブルＬＵＴの形式で格納する動作（この動作を「歪補正準備動作」と称する）と、このルックアップテーブルを用いて、表示対象画像に対して歪除去のための変換処理を行って歪のない画像を投影する動作（この動作を「歪補正投影動作」と称する）を行う。このヘッドアップディスプレイ２０は、フロントガラス４０に向けて画像を投影する。

カメラ３０は、運転者の視点位置に設置されており、フロントガラス４０を通して見える投影画像の虚像Ｖを撮像する。上述した歪補正準備動作においては、このカメラ３０が用いられ、撮像結果がヘッドアップディスプレイ２０に入力される。一方、上述した歪補正投影動作においては、このカメラ３０が取り除かれ、運転者がフロントガラス４０を通して、歪のない虚像Ｖを見ることができる。

図２は、第１の実施形態のヘッドアップディスプレイ２０の構成を示す図である。図２に示すように、ヘッドアップディスプレイ２０は、反転状態判定部１００、対応関係判定部１０２、歪補正領域決定部１０４、変換則決定部１０６、変換則格納部１０８、入力画像格納部１１０、歪補正変換部１１２、フレームバッファ１１４、投影部１１６、光学系１１８を備えている。

反転状態判定部１００は、第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を判定する。なお、図２に示した変換則格納部１０８、入力画像格納部１１０、歪補正変換部１１２、フレームバッファ１１４、投影部１１６、光学系１１８の接続形態は、上述した歪補正投影動作に着目したものであり、反転状態判定部１００、対応関係判定部１０２、歪補正領域決定部１０４、変換則決定部１０６のそれぞれにおける判定動作や決定動作を行う際には、入力画像格納部１１０やフレームバッファ１１４との間で画像の書き込みや読み出しなどが適宜行われる。

対応関係判定部１０２は、第２の較正画像を投影して得られる投影画像と、反転状態判定部１００によって判定された反転状態とに基づいて、表示対象画像と投影画像との間の構成画素対応関係を判定する。歪補正領域決定部１０４は、投影画像において歪のない表示領域を確保するために必要なフレームバッファ１１４内の描画範囲を歪補正領域として決定する。

変換則決定部１０６は、表示対象画像を歪のない表示領域（投影画像の一部）に投影するために、表示対象画像をフレームバッファ１１４内の歪補正領域に対応させる変換処理に必要な変換則を決定する。変換則格納部１０８は、変換則決定部１０６によって決定した変換則を、例えばルックアップテーブルＬＵＴの形式で格納する。

入力画像格納部１１０は、車載装置１０から入力される表示対象画像を格納する。歪補正変換部１１２は、変換則格納部１０８に格納された変換則（ルックアップテーブルＬＵＴ）を用いて、入力画像格納部１１０に格納された表示対象画像に対して変換処理（座標変換処理）を行う。この変換処理後の画像は、フレームバッファ１１４内の歪補正領域に格納される。また、この歪補正領域以外のフレームバッファ１１４内の領域には、投影光を遮断する画素値（例えば黒画素）が格納される。

なお、この投影光を遮断する画素値を特定の領域（歪補正領域以外の領域）に書き込む動作は、歪補正変換部１１２やその他の構成が行ってもよいが、歪補正変換部１１２による変換処理後の画像の書き込み動作に先立って、フレームバッファ１１４内の投影範囲全体をこの画素値を用いてその都度塗りつぶすことにより、歪補正領域以外の領域の画素値が残るようにしてもよい。

投影部１１６は、フレームバッファ１１４の投影範囲全体（歪補正領域に対応する領域とその外部の領域の両方を含む）に対応する画像を光学系１１８を通してフロントガラス４０に向けて投影する。光学系１１８は、投影部１１６の投影光をフロントガラス４０に導くためのものであり、必要数のレンズや折り返しミラーを組合わせることで構成されている。本実実施形態では、光学系１１８の構成は特に限定されておらず、折り返しミラーの使用枚数や配置が不明であってもよい。

上述した反転状態判定部１００が反転状態判定手段に、対応関係判定部１０２が対応関係判定手段に、歪補正領域決定部１０４が歪補正領域決定手段に、変換則決定部１０６が変換則決定手段に、変換則格納部１０８が変換則格納手段に、歪補正変換部１１２が歪補正変換手段に、投影部１１６が投影手段に、カメラ３０が撮像手段にそれぞれ対応する。

本実施形態の車載システムはこのような構成を有しており、次に、歪補正準備動作について説明する。

図３は、歪補正準備動作全体の動作手順を示す流れ図である。まず、反転状態判定部１００は、第１の較正画像を用いて、表示対象画像に対する投影画像の反転状態を判定する（ステップ１００）。

図４は、反転状態判定に用いられる第１の較正画像の一例を示す図である。図４に示すように、第１の較正画像Ｍ１として、上下あるいは左右に反転したときにその前後で異なる位置に配置される３つの第１のマーカ（第１の指標）ｍ１を含む画像が用いられる。この第１の較正画像Ｍ１の大きさは、車載装置１０から入力される表示対象画像と同じ大きさを有している。例えば、反転状態判定部１００によって、この第１の較正画像Ｍ１がフレームバッファ１１４の投影範囲全体に書き込まれると、この第１の較正画像Ｍ１に対応する画像（歪補正は行われていない）が光学系１１８を通してフロントガラス４０に向けて投影される。この投影画像Ｎ１は、カメラ３０によって撮像されて反転状態判定部１００に取り込まれる。

図５は、図４に示す第１の較正画像Ｍ１に対応する投影画像Ｎ１をカメラ３０で撮像した結果を示す図である。図５に示すように、光学系３０を通すことにより、および、フロントガラス４０が湾曲した形状であるため、投影画像Ｎ１は、第１の較正画像Ｍ１に対して、形状が歪むとともに、第１のマーカｍ１の配置が変化している。反転状態判定部１００は、投影画像Ｎ１の四隅に着目し、第１の較正画像Ｍ１において第１のマーカｍ１が配置されていない左上の角部が、投影画像Ｎ１では右下に移動したことにより、この投影ににおける反転状態を判定する。

次に、対応関係判定部１０２は、第２の較正画像とステップ１０２で判定した反転状態とに基づいて、表示対象画像と投影画像との間の構成画素対応関係を判定する（ステップ１０２）。

図６は、構成画素対応関係判定に用いられる第２の較正画像の一例を示す図である。図６に示すように、第２の較正画像Ｍ２として、上下および左右に所定間隔で規則正しく配置された複数の第２のマーカ（第２の指標）ｍ２を含む画像が用いられる。この第２の較正画像Ｍ２の大きさは、車載装置１０から入力される表示対象画像と同じ大きさを有している。例えば、対応関係判定部１０２によって、この第２の較正画像Ｍ２がフレームバッファ１１４の投影範囲全体に書き込まれると、この第２の較正画像Ｍ２に対応する画像（歪補正は行われていない）が光学系１１８を通してフロントガラス４０に向けて投影される。この投影画像Ｎ２は、カメラ３０によって撮像されて対応関係判定部１０２に取り込まれる。

図７は、図６に示す第２の較正画像Ｍ２に対応する投影画像Ｎ２をカメラ３０で撮像した結果を示す図である。図７に示すように、光学系３０を通すことにより、および、フロントガラス４０が湾曲した形状であるため、投影画像Ｎ２は、第２の較正画像Ｍ２に対して、形状が歪んでいる。

対応関係判定部１０２は、ステップ１００において判定された反転状態に基づいて、第２の較正画像Ｍ２に含まれる第２のマーカｍ２のそれぞれと、投影画像Ｎ２に含まれる第２のマーカｍ２のそれぞれとの間で、一対一に対応する第２のマーカｍ２の対応付けを行い、表示対象画像と投影画像との間の構成画素対応関係を判定する。そして、判定結果として、表示対象画像を構成する各画素の座標（フレームバッファ１１４内の座標）を投影画像を構成する各画素の座標に変換するために必要なパラメータＡと、投影画像を構成する各画素の座標を表示対象画像を構成する各画素の座標（フレームバッファ１１４内の座標）に変換するために必要なパラメータＢを抽出する。なお、これらのパラメータＡ、Ｂは、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用い、多次元多項式の係数を算出することにより行われる。

次に、歪補正領域決定部１０４は、フレームバッファ１１４内の描画範囲を歪補正領域として決定する（ステップ１０４）。まず、歪補正領域決定部１０４は、ステップ１０２において構成画素対応関係を判定する際に用いた投影画像Ｎ２に含まれるすべての第２のマーカｍ２の中心座標から投影画像Ｎ２の重心座標を求める。

図８は、第２の較正画像Ｍ２に対応する投影画像Ｎ２の重心を示す図である。図８において、「＋」は第２のマーカｍ２の中心を示しており、Ｃは投影画像Ｎ２の重心位置を示している。

次に、歪補正領域決定部１０４は、重心Ｃを中心とした矩形領域であって、投影画像Ｎ２の外周枠に内接し、表示対象画像と同じアスペクト比を有する矩形領域を表示領域Ｄとして探索する。図９は、投影画像Ｎ２の外周枠に内接する矩形形状の表示領域Ｄを示す図である。

また、歪補正領域決定部１０４は、この表示領域Ｄに対応する投影画像内の領域、すなわち、投影画像と一対一に対応するフレームバッファ１１４内の描画範囲を歪補正領域Ｈとして決定する。なお、表示領域Ｄに対応する歪補正領域Ｈを決定する処理は、上述したパラメータＢを用いて行うことができる。図１０は、図９に示す表示領域Ｄに対応するフレームバッファ１１４内の投影範囲全体に含まれる歪補正領域Ｈを示す図である。

次に、変換則決定部１０６は、表示領域Ｄ（図９）に表示対象画像を投影するために、表示対象画像をフレームバッファ１１４内の歪補正領域Ｈ（図１０）に対応させる変換処理に必要な変換則を決定する（ステップ１０６）。

図１１は、変換則を決定する動作の概要を示す図である。図１１において、Ｌは表示対象画像を示している。また、表示対象画像Ｌの全体を投影画像内の表示領域Ｄに投影するための各画素間の座標値の変換則をＥとする。表示対象画像Ｌと表示領域Ｄは同じアスペクト比を有し、大きさが異なるだけであるため、例えば、単純な比例計算を行う変換則Ｅを容易に求めることができる。この変換則Ｅを用いることにより、表示対象画像Ｌの各画素値の座標を表示領域Ｄ内の座標に変換することができる。

また、表示領域Ｄ内の画素の座標をフレームバッファ１１４内の歪補正領域Ｈ内の座標に変換する処理は、上述したパラメータＢを用いた変換則を用いることができる。したがって、元の表示対象画像Ｌ内の各画素の座標を、表示領域Ｄ内の各画素の座標に変換し、さらに、フレームバッファ１１４内の歪補正領域Ｈ内の各画素の座標に変換することができる。変換則決定部１０６は、これら２つの変換則を一つの変換則Ｆに統合し、ルックアップテーブルＬＵＴの形式で変換則格納部１０８に格納する。このようにして、一連の歪補正準備動作が終了する。

ところで、上述した歪補正準備動作において用いられたカメラ３０、反転状態判定部１００、対応関係判定部１０２、歪補正領域決定部１０４、変換則決定部１０６（図２においてＴで示された範囲）は、一度変換則を決定して変換則格納部１０８に格納してしまえば、その後の歪補正投影動作では不要となる。したがって、ヘッドアップディスプレイ２０を取り付けた後であって歪補正投影動作を開始するまでに（例えば、この車両システムが搭載された車両が製造メーカから出荷される前、あるいは、このヘッドアップディスプレイ２０がカーディーラー等で取り付けられた後に）、これら不要となった各構成全部あるいは一部（例えばカメラ３０のみ）を取り外すようにしてもよい。

このように、本実施形態の車載システムでは、決定した変換則を用いて表示対象画像をフレームバッファ１１４内の歪補正領域に対応させることにより、歪および反転のない投影画像を表示領域に投影することが可能となる。

また、上述した歪補正領域に含まれないフレームバッファ１１４内の投影範囲には、投影光を遮断する画素値が格納される。これにより、歪となって見える部分を遮光することで、歪のない投影画像を表示することが可能となる。

また、歪のない表示領域の外周枠を投影画像全体の外周枠に内接させることにより（図９）、歪のない最大面積の矩形形状の投影画像を表示することが可能となる。また、表示領域を矩形形状とすることにより、表示領域に所望の表示内容の画像を投影するために、矩形形状の表示領域と同じ形状の表示対象画像を用意すればよいため、表示対象画像の作成が容易となる。

また、本実施形態の車載システムでは、第１および第２の較正画像に対応する投影画像をカメラ３０で撮像した結果に基づいて変換則を決定することができるため、投影の際に用いられる光学系１１８の構成を考慮することなく、汎用性を持たせることが可能となる。

また、入力された表示対象画像に対して、変換則格納部１０８に格納された変換則を用いた変換処理（座標変換処理）を行うだけの簡単な処理により、歪や反転のない投影画像を表示することができる。

また、歪補正準備動作において変換則を決定する処理を行った後は、この変換則を決定するために用いられた構成が不要になるためこれを取り外すことにより、実際の稼働時において表示対象画像を投影するために必要な構成を簡素化することができる。

（第２の実施形態）
ところで、上述した実施形態では、図９に示すように、表示領域Ｄとして、投影画像Ｎ２の一部の領域（外周枠に内接する矩形形状の内部領域）を用いるようにしたため、投影画像Ｎ２の残りの領域については、投影光を遮断して表示には使わないようにしている。

しかし、本来は、ヘッドアップディスプレイ２０は、この残りの領域についても画像を表示する能力があるため、広い表示範囲を確保して、可能な限り表示対象となる情報量を増加させるようにしてもよい。

図１２は、第２の実施形態のヘッドアップディスプレイ２０Ａの構成を示す図である。図２に示すヘッドアップディスプレイ２０Ａは、図２に示した第１の実施形態のヘッダアップディスプレイ２０に対して、最大化表示領域設定部１０３を追加するとともに、歪補正領域決定部１０４を歪補正領域決定部１０４Ａに、変換則決定部１０６を変換則決定部１０６Ａに置き換えた点が異なっている。最大化表示領域設定部１０３、歪補正領域決定部１０４Ａが歪補正領域決定手段に対応している。以下では、これらの追加、変更された構成に着目して説明を行うものとする。

図１３は、投影画像Ｎ２に対して最大化された表示領域Ｄ’を示す図である。なお、図１３に含まれる投影画像Ｎ２は、図７に示す投影画像Ｎ２と同じであるが、図７の投影画像Ｎ２に含まれる第２のマーカｍ２は必ずしも必要ではなく、全体を所定の輝度あるいは色に設定した投影画像Ｎ２としてもよい。また、図１３において、Ｓはフロントガラス４０に設定されたスクリーン領域であって、投影部１１６の投影光を光学系１１８を通して投影することを想定している範囲を示す。例えば、このスクリーン領域Ｓに対応するフロントガラス４０の表面に特殊なコーティング膜が形成されていて投影画像の虚像Ｖ（図１）の視認性が増すような処理がなされている場合や、その他の理由によりこの範囲が他の範囲と区画されている場合などが考えられる。

最大化表示領域設定部１０３は、このスクリーン領域Ｓの内部であって投影画像Ｎ２と重複する範囲を、最大化された表示領域（最大化表示領域）Ｄ’として設定する。図１３では、最大化表示領域Ｄ’にはハッチングが付されている。

なお、この最大化表示領域Ｄ’の設定は、投影画像Ｎ２をスクリーン領域Ｓに投影した状態をカメラ３０で撮像し、スクリーン領域Ｓ内の投影画像Ｎ２を取り込むことにより行うことができる。

歪補正領域決定部１０４Ａは、この最大化表示領域Ｄ’に対応する投影画像内の領域、すなわち、投影画像と一対一に対応するフレームバッファ１１４内の描画範囲を歪補正領域Ｈ’として決定する。なお、最大化表示領域Ｄ’に対応する歪補正領域Ｈ’を決定する処理は、第１の実施形態において示したパラメータＢを用いて行うことができる。図１４は、図１３に示す最大化表示領域Ｄ’に対応するフレームバッファ１１４内の投影範囲全体に含まれる歪補正領域Ｈ’を示す図である。図１４では、この歪補正領域Ｈ’にはハッチングが付されており、第１の実施形態において図１０で示した歪補正領域Ｈと比べると、フレームバッファ１１４のほぼ全体が有効に使用されていることがわかる。

変換則決定部１０６Ａは、最大化表示領域Ｄ’（図１３）に表示対象画像を投影するために、表示対象画像をフレームバッファ１１４内の歪補正領域Ｈ’（図１４）に対応させる変換処理に必要な変換則を決定する。

図１５は、変換則を決定する動作の概要を示す図である。図１５において、Ｌ’は表示対象画像を示している。この表示対象画像Ｌ’の形状（外周枠の形状）は、図１３に示した最大化表示領域Ｄ’の形状と同じであって、これらの間には相似の関係が成立する。換言すれば、最大化表示領域Ｄ’の全体を有効に使って表示を行おうとすると、図１５に示した形状の表示対象画像Ｌ’を用意する必要がある。

なお、表示対象画像Ｌ’を作成する際には、最大化表示領域設定部１０３によって設定された最大化表示領域Ｄ’の形状を表示対象画像Ｌ’を作成する作業者が認識している必要がある。このために、例えば、図１３に示したような投影画像Ｎ２をスクリーン領域Ｓに投影した状態をカメラ３０で撮像した画像を外部に取り出して、最大化表示領域Ｄ’の形状を抽出する場合などが考えられる。

表示対象画像Ｌ’の全体を投影画像内の最大化表示領域Ｄ’に投影するための各画素間の座標値の変換則をＥ’とする。表示対象画像Ｌ’と最大化表示領域Ｄ’は相似形状を有し、大きさが異なるだけであるため、例えば、単純な比例計算を行う変換則Ｅ’を容易に求めることができる。この変換則Ｅ’を用いることにより、表示対象画像Ｌ’の各画素値の座標を最大化表示領域Ｄ’内の座標に変換することができる。

また、最大化表示領域Ｄ’内の画素の座標をフレームバッファ１１４内の歪補正領域Ｈ’内の座標に変換する処理は、上述したパラメータＢを用いた変換則を用いることができる。したがって、元の表示対象画像Ｌ’内の各画素の座標を、最大化表示領域Ｄ’内の各画素の座標に変換し、さらに、フレームバッファ１１４内の歪補正領域Ｈ’内の各画素の座標に変換することができる。変換則決定部１０６Ａは、これら２つの変換則を一つの変換則Ｆ’に統合し、ルックアップテーブルＬＵＴの形式で変換則格納部１０８に格納する。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、第１および第２の較正画像を矩形形状としたが、表示対象画像の形状が矩形形状以外の場合には、表示対象画像の形状に合わせて第１および第２の較正画像の形状を適宜変更すればよい。

また、上述した実施形態では、図４および図６に示した第１および第２の較正画像を用いたが、これらに含まれるマーカの形状や配置は変更してもよい。また、これら第１および第２の較正画像を別々に用意するのではなく、一つにまとめるようにしてもよい。例えば、図６に示す第２の較正画像において、左上の角部近傍に配置された一つあるいは複数の第２のマーカｍ２の形状を黒丸以外（例えば、四角等）に変更することにより、この第２の較正画像に第１の較正画像の機能を含めるようにしてもよい。

また、上述した実施形態では、投影部１１６から一つの投影画像を投影するようにしたが、別々の光学系を通して同時に複数の投影画像を表示するようにしてもよい。この場合には、複数の投影画像のそれぞれについて、同時にあるいは別々のタイミングで複数の変換則を決定すればよい。

また、上述した実施形態では、車両に搭載された車載システムに本発明を適用したが、光学系を通すことにより画像の反転等が生じる車載以外の各種装置に本発明を適用してもよい。

上述したように、本発明によれば、決定した変換則を用いて表示対象画像を歪補正領域に対応させることにより、歪および反転のない投影画像を表示領域に投影することが可能となる。

１０ 車載装置
２０、２０Ａ ヘッドアップディスプレイ（ＨＵＤ）
３０ カメラ
４０ フロントガラス
１００ 反転状態判定部
１０２ 対応関係判定部
１０３ 最大化表示領域設定部
１０４、１０４Ａ 歪補正領域決定部
１０６、１０６Ａ 変換則決定部
１０８ 変換則格納部
１１０ 入力画像格納部
１１２ 歪補正変換部
１１４ フレームバッファ
１１６ 投影部
１１８ 光学系

Claims (12)

1. 第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を判定する反転状態判定手段と、
   第２の較正画像を投影して得られる投影画像と前記反転状態に基づいて、表示対象画像と投影画像との間の構成画素対応関係を判定する対応関係判定手段と、
   投影画像において歪のない表示領域を確保するために必要なフレームバッファ内の描画範囲を、歪補正領域として決定する歪補正領域決定手段と、
   表示対象画像を歪のない前記表示領域に投影するために、前記表示対象画像を前記フレームバッファ内の前記歪補正領域に対応させる変換処理に必要な変換則を決定する変換則決定手段と、
   を備えることを特徴とする投影画像歪補正装置。
2. 前記歪補正領域に含まれない前記フレームバッファ内の領域には、投影光を遮断する画素値が格納されることを特徴とする請求項１に記載の投影画像歪補正装置。
3. 前記表示領域の外周枠は、前記投影画像全体の外周枠に内接することを特徴とする請求項１または２に記載の投影画像歪補正装置。
4. 前記表示領域の外周枠は矩形形状を有し、この矩形形状が前記表示対象画像の形状と相似形を有していることを特徴とする請求項３に記載の投影画像歪補正装置。
5. 前記表示領域の外周枠は、前記投影画像全体の外周枠とこの投影画像の投影先となるスクリーン領域との重複範囲と相似形を有していることを特徴とする請求項３に記載の投影画像歪補正装置。
6. 前記第１の較正画像は、反転の前後で異なる位置に配置された第１の指標を含む矩形形状を有することを特徴とする請求項１〜５のいずれか一項に記載の投影画像歪補正装置。
7. 前記第２の較正画像は、所定間隔で規則的に配置された第２の指標を含む矩形形状を有することを特徴とする請求項１〜６のいずれか一項に記載の投影画像歪補正装置。
8. 前記第１および第２の較正画像を投影して得られる投影画像を撮像する撮像手段をさらに備え、
   前記撮像手段による撮像によって得られた撮像画像に基づいて、前記反転状態判定手段および前記対応関係判定手段による判定が行われることを特徴とする請求項１〜７のいずれか一項に記載の投影画像歪補正装置。
9. 前記変換則を格納する変換則格納手段と、
   前記変換則格納手段に格納された前記変換則を用いて、表示対象画像に対して変換処理を行う歪補正変換手段と、
   前記歪補正変換手段によって変換処理されて前記フレームバッファ内の投影範囲内に格納された画像を投影する投影手段と、
   をさらに備えることを特徴とする請求項１〜８のいずれか一項に記載の投影画像歪補正装置。
10. 車両に搭載されており、
    前記撮像手段は、前記変換則格納手段に前記変換則が格納された後に、車両から取り外されることを特徴とする請求項９に記載の投影画像歪補正装置。
11. 車両に搭載されており、
    前記反転状態判定手段、前記対応関係判定手段、前記歪補正領域決定手段、前記変換則決定手段は、前記変換則格納手段に前記変換則が格納された後に、車両から取り外されることを特徴とする請求項９に記載の投影画像歪補正装置。
12. 第１の較正画像を投影して得られる投影画像に基づいて、投影による画像の反転状態を反転状態判定手段によって判定するステップと、
    第２の較正画像を投影して得られる投影画像と前記反転状態に基づいて、表示対象画像と投影画像との間の構成画素対応関係を対応関係判定手段によって判定するステップと、
    投影画像において歪のない表示領域を確保するために必要なフレームバッファ内の描画範囲を、歪補正領域として歪補正領域決定手段によって決定するステップと、
    表示対象画像を歪のない前記表示領域に投影するために、前記表示対象画像を前記フレームバッファ内の前記歪補正領域に対応させる変換処理に必要な変換則を変換則決定手段によって決定するステップと、
    を有することを特徴とする投影画像歪補正方法。

Images