JP4933659B2 - 車載用画像表示装置 - Google Patents

Description

本発明は、バス、タクシー、或いは自家用車等の車両の窓部に画像を表示する車載用画像表示装置に関する。

従来より、車両同士の事故や車両と通行人との事故等、車両に関係した事故が起こる原因として、例えば、天候（雨や雪など）により視界が悪化したり、或いは目の疲労等で運転手の視力が一時的に低下したりすることにより、運転手が、車両の周囲の通行人、他の車両、或いは障害物等を見落としてしまうことや、見間違えてしまうというようなことが考えられる。すなわち、運転手が車両の周囲の状況を正確に把握できず、危険回避が遅れて事故につながってしまうのである。逆に言うと、運転手が車両の周囲の状況を正確に把握できれば、事故の発生が防止される。

ところで、従来より、車両の窓ガラスに、外の状況や風景を映写することのできる画像表示装置が知られている（例えば、特許文献１参照）。
この特許文献１に記載の画像表示装置は、車両の状態（位置や速度等）を観測する観測装置と、外の風景の画像情報を予め蓄積しておく蓄積装置とを備えており、観測装置により観測された車両の位置を表す情報に基づき、その観測された位置において車両の外に見えるであろう風景の画像情報を蓄積装置より取得し、その画像情報が表す画像を、窓ガラスに表示させる。なお、地名や河川名、山岳名等の地図情報を表示させることもできる。また、車両の速度情報に基づいて、速度に合わせて表示させる画像を順次切り換えることもできる。このように、車両の周囲の風景画像を車両の窓ガラスに表示させることのできるものがある。

特開２００４−２０２２３号公報

ところで、上述したような従来の画像表示装置においては、蓄積装置に予め蓄積された風景画像が車両の窓ガラスに表示されるのであり、走行中現在の車両の外の風景画像は表示させることができない。そして、前述したように、天候により視界が悪化したり、或いは運転手の視力が一時的に低下したりすると、運転手は周囲の状況を正確に把握できなくなり、運転の危険度、言い換えると、事故が生じる確率が増大する。よって、事故を防止するためには、走行中における車両の周囲の画像を、リアルタイムに表示させることが必要である。

本発明は、こうした問題に鑑みなされたもので、車両の周囲の状況を画像で正確に再現して車両の窓部に表示することで、運転手が安全に車両を運転できるようにすることを目的とする。

かかる問題を解決するためになされた本発明は、車両に用いられる車載用画像表示装置であって、
車両の周囲の状況を検出する状況検出手段と、
車両の少なくとも前方の窓部に設けられ、その窓部に情報を表示可能な表示手段と、
前記状況検出手段の検出結果に基づき、車両の周囲の画像を表す画像データを生成する画像生成手段と、
前記画像生成手段が生成した画像データが表す画像を、前記表示手段に表示させる表示制御手段と、
前記状況検出手段により検出される検出対象物であって前記車両の周囲の検出対象物について、その検出対象物を表すデータを予め記憶保持する記憶手段と、を備え、
前記画像生成手段は、
前記状況検出手段の検出結果に基づき生成した画像データと、前記記憶手段に記憶されるデータとを比較し、前記記憶手段に記憶されるデータにより表される検出対象物のうち、自身が生成した画像データが表す検出対象物に近似すると判断した検出対象物についてのデータを用いて、前記車両の周囲の画像を表す画像データを生成する
ことを特徴としている。

この車載用画像表示装置においては、車両の周囲の状況が状況検出手段により検出され、その検出結果に基づいて、車両の周囲の画像を表す画像データが画像生成手段により生成される。そして、車両の少なくとも前方の窓部に設けられた表示手段に、画像生成手段が生成した画像データにより表される画像が表示される。

よって、この車載用画像表示装置によれば、車両の周囲の状況を表す画像が車両の窓部に表示されるため、運転手が車両の周囲の状況を確実に把握できるようになる。すなわち、状況検出手段の検出結果に基づいて、例えば移動物を強調表示するなど、運転手が見やすい画像を表示するように構成することができるため、運転手は、画像の内容、つまり周囲の状況を容易に認識できる。また、車両の遠方の状況であっても、運転手から近い窓部にその状況を表す画像が表示されることになるため、運転手にとって見やすいものとなり、その遠方の状況も容易に把握できるようになる。このように、運転手は車両の周囲の状況を確実に把握できるようになり、危険回避が遅れて事故が発生するということを確実に防止できるようになる。なお、少なくとも周囲に存在する物体が状況検出手段により検出されるように構成できる。

また、本発明の車載用画像表示装置においては、
前記画像生成手段は、
前記記憶手段に記憶されるデータにより表される検出対象物のうち、自身が生成した画像データが表す検出対象物に近似すると判断した検出対象物についてのデータの一部を、自身が生成した画像データと合成して、前記車両の周囲の画像を表す画像データを生成しても良い。

また、本発明の車載用画像表示装置においては、
前記検出対象物は複数種類あり、さらに１つの種類毎に複数タイプが含まれ、
前記記憶手段は、
複数種類の検出対象物についてのデータを記憶するとともに、１つの種類毎にその種類に含まれる複数タイプの検出対象物についてのデータを記憶しても良い。

また、本発明の車載用画像表示装置においては、
前記画像データ、及び前記記憶手段に記憶されるデータは、前記検出対象物を構成する要素毎の要素データからなり、
前記画像生成手段は、
要素データのそれぞれについて、自身が生成した前記画像データを構成する要素データと、その要素データに対応するデータであって前記記憶手段に記憶される要素データとを比較しても良い。

また、本発明の車載用画像表示装置においては、
前記記憶手段には、
前記検出対象物を表すデータとして、前記検出対象物の外形、形状、素材、体積、色彩の少なくとも何れかを表すデータが記憶されても良い。

また、本発明の車載用画像表示装置においては、車両の窓部の表示手段は、通常の窓のように対向側の景色が視認できるような窓状態と、画像が表示される表示状態とに切り換えられても良い。

この車載用画像表示装置によれば、車両の周囲の画像を表示させる時のみ、表示手段を表示状態に切り換え、また、画像を表示しない時には、通常の窓のような窓状態に切り換えるように構成することができる。したがって、運転手、或いは搭乗者にとって使いやすいものとなる。

また、本発明の車載用画像表示装置においては、車両の側面及び後方の窓部にも表示手段が設けられることが考えられる。そして特に、表示手段の状態が切り換えられる場合は、各窓部において、表示手段の状態を前記窓状態と前記表示状態とに切り換え可能に構成されることが好ましい。

この車載用画像表示装置によれば、車両の全ての窓部に情報を表示させることができる。よって、車両の全ての窓部に車両の周囲の状況を表す画像を表示させることができるため、前述したような理由により、運転手はより安全に車両を運転できるようになる。しかも、その各窓部の表示手段は、通常の窓のような窓状態と、画像が表示される表示状態とに切り換え可能になっている。よって、例えば搭乗者が本物の風景を楽しめるように窓部毎に表示手段の状態を通常の窓状態に切り換えることもでき、本物の風景を楽しみたいという搭乗者のニーズにも応えることができる。

また、本発明の車載用画像表示装置においては、前記表示制御手段は、車両の搭乗者の入力に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えても良い。
この車載用画像表示装置によれば、搭乗者は、車両の窓部の表示手段の状態を自由に表示状態と窓状態とに切り換ることができるため、搭乗者にとって使い勝手が良い。

また、本発明の車載用画像表示装置においては、車両の速度、進行方向、或いは制動状態の少なくとも何れかを検出する運転状態検出手段を備え、
前記表示制御手段は、前記運転状態検出手段の検出結果に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えるように構成することもできる。

このような車載用画像表示装置によれば、運転手が意図しなくても、車両の運転状態に合わせて、表示手段の状態が切り換えられる。そして例えば、車両の速度が一定の速度以上となった時に、窓部の表示手段の状態が表示状態に切り換えられるとともに、その表示手段に周囲の画像が表示されるように構成することが考えられる。また、車両が停止した際に、窓部の表示手段の状態が通常の窓状態に切り換えられるように構成することが考えられる。

すなわち、例えば前述したように車両の速度が一定速度以上になると運転手が周囲の状況を把握しにくくなることが考えられるが、その時に窓部に周囲の画像が表示されて運転手が周囲の状況を把握できるようにすることができる。よって、運転手はより安全に車両を運転できるようになる。また、車両が停止した時に窓部の状態が通常の窓状態に切り換えられるようにすれば、搭乗者は本物の風景を十分に楽しむことができるようになる。

また、本発明の車載用画像表示装置においては、前記表示制御手段は、車両がバックする際には、その車両における後方の周囲の画像を、前記表示手段に表示させても良い。
このような車載用画像表示装置によれば、運転手が車両をその後方にバックさせる際には、窓部に車両の後方の画像が表示されるため、運転手はより安全に車両を運転できるようになる。なお、車両の後方の画像を表示させる窓部としては、車両の前方の窓部でもよいし、後方の窓部でもよい。さらには、側面の窓部でもよい。また、全ての窓部に表示させるようにしてもよい。

また、本発明の車載用画像表示装置においては、前記状況検出手段の検出結果に基づき、車両の周囲の音を出力する音出力手段を備えても良い。
このような車載用画像表示装置によれば、車両の周囲の画像に加えて音が音出力手段により出力されるので、よりリアルに車両の周囲の状況が再現され、運転手がより正確に車両の周囲の状況を把握できるようになる。

また、本発明の車載用画像表示装置においては、前記画像生成手段が生成した画像データを記憶する記憶手段を備えても良い。
このような車載用画像表示装置によれば、記憶手段に画像データが記憶されるため、運転後においてもその画像データを読み出し、その画像データが表す画像を見ることができるようになる。よって、搭乗者にとっては使い勝手がよい。

また、本発明の車載用画像表示装置においては、前記画像生成手段は、車両の周囲の通行人或いは他の車両が前記表示手段にて強調表示されるように画像データを生成しても良い。

このような車載用画像表示装置によれば、車両の周囲の通行人や他の車両等については、運転手が容易にそれらを認識できるようにその画像が生成されるため、運転手はその通行人や他の車両に対して注意を促されるようになる。すなわち、運転手の注意力を喚起できるようになる。

また、本発明の車載用画像表示装置においては、前記表示手段は、車両の内側と外側とにおける両面に情報を表示可能であり、
前記表示制御手段は、前記表示手段の外側の面には、前記画像生成手段が生成した画像データが表す画像とは異なる画像を表示させても良い。

このような車載用画像表示装置によれば、表示手段の両面に画像を表示することができるため、例えば内側面には、前述したように周囲の画像を表示させ、外側面には他の車両の運転者や通行人へのメッセージ等を表示させるようにすることができる。このようにメッセージを表示させて周囲とのコミュニケーションを図ることで、ひいては交通の円滑化も図ることができる。なお、外側面に広告を表示するように構成することも考えられる。

また、本発明の車載用画像表示装置においては、記録媒体に記録された画像データを読み取る読取手段を備え、
前記表示制御手段は、前記読取手段が前記記録媒体から読み取った画像データが表す画像を、前記表示手段に表示させるように構成されても良い。

このような車載用画像表示装置によれば、記録媒体に記録された画像データが表す画像も窓部に表示させることができるため、搭乗者にとって使いやすいものとなる。
また、本発明の車載用画像表示装置においては、前記状況検出手段の検出結果に基づき、車両が他の車両との衝突を回避不能か否かを判定する衝突判定手段と、
前記衝突判定手段により、前記他の車両との衝突が回避不能と判定された場合に、前記状況検出手段の検出結果に基づき、前記他の車両以外の静止物のうち、衝突可能な静止物が有るか否かを判定する可能性判定手段と、
前記可能性判定手段により衝突可能な静止物が有ると判定されると、その静止物に衝突するように車両を制御する車両制御手段と、
を備えていても良い。

そして特に、車両制御手段は、車両のブレーキ、動力源（例えば、内燃機関やモータ等）の出力、及び舵角を制御することが考えられる。
このような車載用画像表示装置が備えられた車両においては、仮に周囲の他の車両との衝突が避けられないという状況となった場合に、その他の車両の他に衝突の可能性のある対象物が検索され、もしそのような対象物があった場合には、その対象物に衝突するように車両が制御される。すなわち、他の車両以外の対象物に衝突してでも、他の車両との衝突を回避して被害を抑えるようにされる。よって、この車載用画像表示装置によれば、衝突の被害を最小限に抑えることができるようになる。

車載用画像表示装置が備えられた車両の外観を表す外観図である。 車載用画像表示装置の構成を表すブロック図である。 車載用画像表示装置のＣＰＵが実行する処理の流れを表すフローチャートである。 車載用画像表示装置の描画プロセッサが実行する処理の流れを表すフローチャートである。 車載用画像表示装置のＣＰＵが実行する衝突軽減処理の流れを表すフローチャートである。 車両の窓部に画像が表示された状態を表す図である。 第２実施形態の車載用画像表示装置の構成を表すブロック図である。 車両の窓部に画像が表示された状態を表す図である（第２実施形態）。 第３実施形態の車載用画像表示装置の構成を表すブロック図である。

以下に、本発明の一実施形態を図面に基づき説明する。
［実施形態１］
図１は、本実施形態の車載用画像表示装置５（図２参照）が備えられた車両１の外観を表す外観図である。図１に示すように、車両１のボディーの外部における複数箇所に、車載用画像表示装置５のうち、車両１の周囲の状況を検出するための検出ユニット８０が設けられている。この検出ユニット８０により、車両１の周囲の状況として、周囲の景色や、周囲の人、他の車両（以下、他車両とも言う）、或いは障害物等の態様が検出される。また、図１には図示しないが、車載用画像表示装置５を構成する車載ユニット９０（図２参照）が、検出ユニット８０とは別に車両１内部に備えられている。そして、検出ユニット８０の検出結果に基づいて、車載ユニット９０により車両１の周囲の状況を表す画像が生成されるようになっている。

そして特に、本実施形態においては、車両１の全ての窓部には、その窓部全体に画像を表示することのできる表示ガラスパネル４０が設けられている。この表示ガラスパネル４０は、液晶ディスプレイとして機能して画像が表示可能となる表示モードと、通常の窓のように透明な状態であって、窓を挟んだ対向側の景色が視認できる状態である通常モードとに切り換え可能に構成されている。そして、車載ユニット９０により生成された車両１の周囲の画像は、表示ガラスパネル４０に表示される。なお、車両１の周囲の画像は、車両１の内部から視認できるように、表示ガラスパネル４０において車両１の内側に対応する面に表示されるようになっている。また、本実施形態では、車両１の外側に対応する面にも画像が表示可能なように構成されている。

次に、図２は、車載用画像表示装置５の構成を表すブロック図である。
この図２に示すように、本実施形態の車載用画像表示装置５は、前述した検出ユニット８０、車載ユニット９０、及び表示ガラスパネル４０を含む入出力部９５から構成されている。以下、各構成要素について詳述する。

まず、車載ユニット９０は、車両１の内部に搭載されるものであり、各種処理を実行するＣＰＵ３０と、この車載ユニット９０の起動時にＣＰＵ３０が行う起動処理のプログラム（ＢＩＯＳ）等を記憶したＲＯＭ３２と、ＣＰＵ３０が各種処理を行う際に記憶領域として用いるＲＡＭ３４と、情報を記憶させるハードディスク（以下、ＨＤＤ）３６と、ＣＤ−ＲＯＭ／ＲＡＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ等の記録媒体に記録された情報を読み取る読取装置３７と、検出ユニット８０から送信されるデータに基づいて、車両１の周囲の状況を表す画像データを生成する描画プロセッサ３９と、描画プロセッサ３９により生成された画像データが記憶されるフレームメモリ３８と、検出ユニット８０とデータを送受信するための入出力インタフェース（以下、Ｉ／Ｏ）２０と、入出力部９５とデータを送受信するためのＩ／Ｏ２２と、を備えており、それらがバス５０を介して相互に接続されている。

次に、検出ユニット８０は、赤外線センサ１０と、ミリ波レーダ１２と、超音波センサ１４と、マイクロフォン１８とから構成されており、それぞれにおいて、後述する各種データが微小時間Δｔ毎に検出される。

検出ユニット８０において、赤外線センサ１０は、対象物から放射される赤外線を検出するものである。なお、赤外線はあらゆる物体から放射される。そして、この赤外線センサ１０を用いて赤外線の放射源の範囲を特定することで、対象物のおおよその外形が分かる。また、その放射されている赤外線の強弱（赤外線の強度は、対象物の温度、或いは熱伝導率等の物性値により異なる）から、その対象物のおおよその形状や素材等を推測することも可能である。そして、本実施形態においては、赤外線センサ１０を構成する図示しないマイクロコンピュータにより、赤外線の強度から対象物の素材（例えば、金属であるかそうでないか）を予測する予測処理が実行される。なお、この予測処理は、赤外線センサにおいては従来より行われている処理であり、ここでは詳しい説明を省略する。そして、この予測結果を表すデータや、赤外線センサ１０により検出された赤外線の放射源の範囲、及び赤外線の強度を表すデータは、車載ユニット９０に送信される。

ミリ波レーダ１２は、ミリ波（周波数３０〜３００ＧＨｚの電波）を用いて、そのミリ波を照射する照射源（ここでは、車両１とする）と対象物との距離や、車両１と対象物との相対速度を検出するものである。すなわち、ミリ波を照射するとともに、その照射波が対象物に反射して返ってくるまでの時間から、対象物との距離を検出する。また、所定時間ｔ毎（ｔ＜Δｔ）に対象物との距離を検出することで、対象物との相対速度も検出する。そして、このミリ波レーダ１２により検出された対象物との距離、及び相対速度を表すデータは、車載ユニット９０に送信される。

超音波センサ１４は、超音波を周囲に照射するとともに、その照射した超音波の反射波から、対象物の位置、大きさ、形状、及び体積を計測するものである。なお、本実施形態においては、超音波センサ１４として、３次元計測のできるものが用いられている。つまり、対象物の形状を３次元で表すことができるようになっている。そして、この超音波センサ１４により計測された対象物の位置、外形、形状、及び体積を表すデータは、車載ユニット９０に送信される。

マイクロフォン１８は、車両１の周囲の音を検出する。例えば、人の話し声や動物の鳴き声、或いは他の車両の走行音等である。そして、その検出した音を表すデータは、車載ユニット９０に送信される。

そして、検出ユニット８０において検出され車載ユニット９０に送信された各検出データは、車載ユニット９０において、Ｉ／Ｏ２０を介して受信されるとともにＲＡＭ３４に格納される。そしてこの時、ＣＰＵ３０は、描画プロセッサ３９に対して、検出データに
基づいて画像データを生成するように指令する。すると、描画プロセッサ３９は、ＲＡＭ３４から検出データを読み出して、その検出データに基づいて画像データを生成する。そして、その画像データにより表される画像は、表示ガラスパネル４０に表示される。

次に、入出力部９５は、前述した表示ガラスパネル４０と、音を出力するスピーカ４２と、情報を入力するための操作部４４と、から構成されている。
スピーカ４２は、前述した検出データのうち、マイクロフォン１８により検出された音を表すデータに基づいて、周囲の音をこのスピーカ４２を介して出力するために設けられている。なお、車両１に通常設けられているオーディオ装置（図示せず）のスピーカを利用してもよい。

また、操作部４４は、車両１の搭乗者が操作するものであり、搭乗者は、この操作部４４を操作することで、表示ガラスパネル４０のモードを、前述した表示モードと通常モードとに切り換えたりすることができる。なお、この切換は、窓部毎に行うことができる。

次に、車載ユニット９０のＣＰＵ３０が繰り返し実行する描画指令処理について、図３を用いて説明する。この処理は、描画プロセッサ３９に画像データを生成させるために実行される処理である。

この描画指令処理では、まずＳ３１０にて、検出ユニット８０から検出データを受信したか否かを判定する。受信したと判定すると、次にＳ３２０へ移行し、その受信した検出データをＲＡＭ３４に記憶させる。また、この時、検出データに含まれる音のデータに基づいて、車両１の周囲の音をスピーカ４２から出力させる。なお、検出データが表す対象物から発せられる音を予測して、その予測した音がスピーカ４２から発せられるようにしてもよい。例えば、他の車両が検出された場合には、その他車両から発せられると予測されるエンジン音やクラクションの音を、スピーカ４２から出力させてもよい。この場合、エンジン音やクラクションの音などの音を表す音データを、予めＲＯＭ３２やＨＤＤ３６に記憶させておき、他の車両が検出された場合に、それらの音を表す音データをＲＯＭ３２或いはＨＤＤ３６から読み出すようにすると良い。

そして、次にＳ３３０へ移行し、描画プロセッサ３９に、画像データを生成させる指令である描画指令を送信する。そして、再びＳ３１０へ戻る。
なお、Ｓ３１０にて検出データを受信していないと判定した場合も、再びＳ３１０の判定処理を繰り返すことになる。

次に、描画プロセッサ３９が繰り返し実行する描画処理について、図４を用いて説明する。
この描画処理においては、まずＳ４１０にて、描画指令をＣＰＵ３０より受信したか否かを判定する。前述したように、描画指令は、この描画プロセッサ３９に画像データを生成させるための指令であり、図２のＳ３３０の処理にてＣＰＵ３０より送信される。Ｓ４１０にて描画指令を受信していないと判定すると、再びＳ４１０の処理を実行することになる。

一方、Ｓ４１０にて描画指令を受信したと判定すると、次にＳ４２０へ移行し、ＲＡＭ３４から検出データを読み込む。この検出データは、検出ユニット８０から送信され、Ｓ３２０の処理でＲＡＭ３４に記憶されるものである。

そして、続くＳ４３０にて、Ｓ４２０でＲＡＭ３４より読み出した検出データに基づいて、車両１の周囲の画像データを生成する。ここで、画像データを生成する方法について具体的に説明する。

まず、前述したように、車載ユニット９０には、ミリ波レーダ１２から、車両１と対象物との距離（或いは対象物の位置）、及び相対速度を表す検出データが送信され、赤外線センサ１０からは、対象物の外形、形状、及び素材を表す検出データが送信され、超音波センサ１４からは、対象物の外形、形状、体積、及び位置を表す検出データが送信される。そして、それらの検出データはＲＡＭ３４に記憶される。

そして、描画プロセッサ３９は、ＲＡＭ３４に記憶された前述したような検出データから、車両の周囲の画像データを生成するのであるが、その画像データを構成するデータのうち、対象物の外形及び形状を表すデータについては、赤外線センサ１０及び超音波センサ１４の両方から送信される検出データに基づいて生成する。すなわち、赤外線センサ１０から送信される外形、或いは形状を表すデータと、超音波センサ１４から送信される外形、或いは形状を表すデータとの平均をとり、その結果得られたデータを、対象物の外形、或いは形状を表すデータとする。また、対象物の位置のデータについても同様に、ミリ波レーダ１２及び超音波センサ１４の両方から送信される位置を表すデータの平均をとり、その結果得られたデータを、対象物の位置のデータとする。

ところで、例えば天候の影響など、外乱によって一方のセンサ（ここでは、赤外線センサ１０、超音波センサ１４、或いはミリ波レーダ）の検出精度が低下してしまうような場合には、他方のセンサの検出データを採用する。なお、両方のセンサの検出精度が同時に低下する確率は小さくなっている。言い換えると、両方のセンサの検出精度が同時に低下するということは生じ難い。

そして、少なくとも、このようにして生成された対象物の外形、形状、及び位置のデータがあれば、そのデータに基づき、車両の周囲の状況が表される。
そして特に、本実施形態においては、描画プロセッサ３９は、対象物の外形、及び形状のデータに加え、対象物の素材や体積のデータに基づいて、対象物が何であるかを予測する。例えば、対象物が人であるとか、木であるとか、或いは車両であるということを予測する。本実施形態では、ＲＯＭ３２には、対象物として例えば木や人、或いは車両について、その外形、形状、素材、体積、色彩等を表すデータが、複数種類（或いは複数タイプ）の木、人、車両について記憶されており、描画プロセッサ３９は、自身が生成した対象物のデータと、ＲＯＭ３２に記憶された対象物のデータとにおいて、データの要素を対応させて比較するようになっている。すなわち、外形、形状、素材、及び体積のデータについてそれぞれ、自身が生成したデータとＲＯＭ３２に記憶されたデータとを比較する。そして、比較した結果、生成したそれぞれのデータが、ＲＯＭ３２に記憶された対応するデータの何れに近いか、すなわち、生成した対象物のデータがどのようなもの（人、木、或いは車両、又はそれらのタイプ）を表しているかを結論付ける。なお、木や人、車両等の対象物を表すデータは、データベースとしてＨＤＤ３６に記憶させておいてもよい。

このようにして対象物を予測することで、色彩が施された画像を生成することができる。例えば、生成したデータにより表される対象物が木であると結論付けた場合には、ＲＯＭ３２に記憶されている木についてのデータから色彩のデータを抽出し、その抽出した色彩のデータを生成した対象物のデータに付加することで、その対象物について、色彩を施した画像を表示させることができる。

なお、本実施形態においては、対象物が人や車両等などの移動体の場合には、その対象物の画像について、表示ガラスパネル４０にて強調表示されて運転手がより認識しやすくなる色彩を施すようになっている。強調表示されて運転手が認識しやすくなる色としては、蛍光色や原色が考えられる。

また、本実施形態においては、検出された対象物について、ミリ波レーダ１２により検出される相対速度を表すデータに基づき、その対象物の所定時間後の外形（言い換えると、大きさ）及び位置についての予測のデータを生成することもできる。そして、対象物の画像を表示ガラスパネル４０に表示させる際には、その予測のデータに基づく対象物の画像を表示させるようにすることもできる。

このように、検出ユニット８０の検出データに基づき、車両１の周囲の状況について、いわゆるコンピュータグラフィック（ＣＧ）画像が生成される。
また、Ｓ４３０においては、前述したように画像データを生成するとともに、その画像データをフレームメモリ３８に一時的に記憶させるようになっている。また、操作部４４を介して車載ユニット９０が所定の設定状態に設定されることにより、ＨＤＤ３６にも画像データが記憶される。

ＨＤＤ３６に画像データを記憶させるように設定すれば、車両１の搭乗者は、そのＨＤＤ３６に記憶された画像データを読み出して後から見ることもできるようになる。すなわち、例えばドライブ時の画像データを記憶させておくことにより、後からドライブ時の画像をみて楽しむことができる。また、走行経路が複雑で迷いやすいような目的地へいく時に周囲の画像を記憶しておけば、後から画像を見直して走行経路を確認することができる。そして、そのようにすれば次からはスムーズにその目的地に辿り着けるようになる。

また、本実施形態においては、ＣＤ−ＲＯＭ／ＲＡＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ等の記録媒体に記録されたデータを読み取ることのできる読取装置３７が設けられている。そして、この読取装置３７により記録媒体に記録された画像データを読み出して、その画像データが表す画像を表示ガラスパネル４０に表示できるようになっている。このため、地図データが記憶された記録媒体を利用して、表示ガラスパネル４０に、周囲の画像とともに地図情報を表示できるようになる。よって、運転手にとって使い勝手がよい。また、映画やライブ映像が記録された記録媒体を利用して、その映画やライブ映像を表示ガラスパネル４０に表示させることもできる。よって、搭乗者は、車両１において映画やライブ映像を楽しむことができる。

ところで、本実施形態においては、車両１の表示ガラスパネル４０について、その状態を表示モードと通常モードとに切り換え可能になっており、さらに、その切り換えのモードとしては、自動で切り換えを行う自動モードと、操作部４４からの入力に基づいて切り換えを行う手動モードとがある。なお、自動モード或いは手動モードの何れにするかは、操作部４４を介して予め設定することができる。

そして、Ｓ４３０から続くＳ５１０では、切り換えのモードが自動モードであるか否かを判定する。自動モードであると判定すると、次にＳ５２０へ移行し、車両１は走行中であるか否かを判定する。具体的には、車両１に備えられた図示しない速度センサにより検出される検出結果に基づき、車両１の速度が０でないか否かを判定する。

Ｓ５２０にて車両１が走行中であると判定すると、次にＳ５３０へ移行し、表示ガラスパネル４０を表示モードに設定する。なお、本実施形態においては、車両１の全ての窓部の表示ガラスパネル４０を表示モードに設定する。

そして、続くＳ５４０にて、表示ガラスパネル４０に、Ｓ４３０にて生成した画像データが表す画像を表示させる（図６参照）。なお、図示はしないが、車両１が後方へバックしている場合には、車両１の後方の画像が前面の表示ガラスパネル４０に表示される。なお、この時、車両１の後方の画像を車両１の後方の窓部（表示ガラスパネル４０）に表示させるようにしてもよいし、側面の窓部に表示させるようにしてもよい。或いは、全ての
窓部に表示させるようにしてもよい。

一方、Ｓ５２０にて走行中でないと判定すると、次にＳ５５０へ移行し、表示ガラスパネル４０を通常モードに設定する。そして再び、Ｓ４１０へ戻る。
また、Ｓ５１０にて、切り換えのモードが自動モードでない、つまり手動モードであると判定すると、次にＳ５６０へ移行し、操作部４４の入力に基づいて、表示モードへの切り換えがあるか否かを判定する。表示モードへの切り換えがあると判定すると、次にＳ５３０へ移行して、表示ガラスパネル４０を表示モードに設定する。

一方、Ｓ５６０にて表示モードへの切り換えがないと判定すると、次にＳ５７０へ移行し、通常モードへの切り換えがあるか否かを判定する。
Ｓ５７０にて通常モードへの切り換えがあると判定すると、次にＳ５５０へ移行して、表示ガラスパネル４０を通常モードに設定する。

一方、Ｓ５７０にて通常モードへの切り換えがないと判定すると、次にＳ５８０へ移行し、現在のモードが表示モードであるか否かを判定する。表示モードであると判定すると、次にＳ５４０へ移行し、表示ガラスパネル４０に画像を表示させる。

一方、Ｓ５８０にて現在のモードが表示モードでない、つまり通常モードであると判定すると、再びＳ４１０へ戻る。
なお、この描画処理において、車両が走行中か否か（Ｓ５２０）、つまり車両の速度に基づいて表示ガラスパネル４０のモードが設定されるようになっているが、車両の進行方向や制動状態等を加味するようにしてもよい。例えば、車両１の側面の表示ガラスパネル４０については、車両１が右へ旋回中の場合に、右側面の表示ガラスパネル４０が表示モードに設定され、車両１が左へ旋回中の場合には、左側面の表示ガラスパネル４０が表示モードに設定されるようにしてもよい。

また、前述したように、表示ガラスパネル４０においては、その両面に画像を表示できるようになっている。そして、本実施形態においては、表示ガラスパネル４０の外側の面には、例えば車両１に赤ちゃんが乗っていることを周囲に知らせるためのメッセージや、進路を譲ってもらった場合のお礼のメッセージ等が表示されるようになっている。このメッセージ等を表すデータは、ＲＯＭ３２に予め記憶されており、搭乗者により操作部４４を介してメッセージの種類を表すメッセージ情報、及びメッセージを表示させる指令が入力されると、そのメッセージ情報に基づくメッセージが表示ガラスパネル４０の外側の面に表示されるようになっている。なお、操作部４４を介してメッセージの本文を入力できるようにしてもよい。

このように他の車両の運転手等に対するメッセージを表示することで、互いにコミュニケーションが図られ、ひいては交通の円滑化も図ることができるため、事故の発生を防止できるようになる。なお、広告等を表示させるように構成することも考えられる。

次に、図５は、ＣＰＵ３０において繰り返し実行される衝突軽減処理の流れを表すフローチャートである。
この衝突軽減処理においては、まずＳ６１０にて、車両１の状態が他の車両との衝突を避けられない状態であるか否かを判定する。具体的には、車両１に備えられた図示しない車載センサ（例えば速度センサ）により検出される車両１の速度、加速度や、検出ユニット８０により検出される他の車両の位置、速度、或いは車両１との相対速度や、さらには、車両１の制動性能や旋回性能等の各種性能に基づき判定する。なお、車両１の性能を表す性能データは、ＲＯＭ３２に予め記憶されている。

そして、Ｓ６１０にて衝突を避けられない状態であると判定すると、次にＳ６２０へ移行する。一方、衝突が避けられると判定すると、そのまま当該処理を終了する。
Ｓ６２０では、衝突が避けられない状態である他車両の他に、衝突可能な対象物が周囲にあるか否かを判定する。そして、このＳ６２０の処理においては、衝突可能な対象物として、例えばガードレール等の静止物が対象にされる。

そして、衝突可能な静止物があると判定すると、次にＳ６３０へ移行する。一方、衝突可能な静止物がないと判定すると、そのまま当該処理を終了する。
Ｓ６３０では、衝突可能な静止物に衝突するように、車両１を制御する。具体的には、車両１のブレーキ及びスロットル開度（ひいては、エンジンの出力）を制御して車両１の速度を調整するとともに、舵角を制御して車両１の進行方向を調整する。そして、その静止物に車両１を衝突させるようにするのである。すなわち、この衝突軽減処理は、車両１を他の静止物に衝突させてでも、車両１と周囲の他の車両との衝突を回避させるべく実行される処理である。そして、このような処理により車両１と他の車両との衝突が回避されれば、仮に車両１が静止物と衝突したとしても、その被害は抑えられることになる。

なお、本実施形態においては、検出ユニット８０が状況検出手段に相当し、描画プロセッサ３９が画像生成手段及び表示制御手段に相当し、表示ガラスパネル４０が表示手段に相当し、ＣＰＵ３０が運転状態検出手段に相当し、スピーカ４２が音出力手段に相当し、ＨＤＤ３６が記憶手段に相当し、読取装置３７が読取手段に相当し、Ｓ６１０の処理が衝突判定手段に相当し、Ｓ６２０の処理が可能性判定手段に相当し、Ｓ６３０の処理が車両制御手段に相当している。

以上説明したように、本実施形態の車載用画像表示装置５においては、検出ユニット８０により車両１の周囲の状況が検出され、その検出結果に基づいて、車載ユニット９０の描画プロセッサ３９により車両１の周囲の画像データが生成される（図４のＳ４３０）。そして、その生成された画像データが表す画像（コンピュータグラフィック画像）は、車両１の窓部に設けられた表示ガラスパネル４０に表示される（図４のＳ５４０、及び図６参照）。よって、車両１の運転手は、窓部の表示ガラスパネル４０に表示される画像を見ることで、車両１の周囲の状況を容易かつ確実に把握することができるため、運転手が、天候が悪化したり自身の視力が低下したりすることにより車両１の周囲の状況を正確に把握できなくなって危険回避が遅れ、事故を起こしてしまうということを防止することができる。

また、本実施形態においては、車両１の窓部全てが表示ガラスパネル４０として構成されている。つまり、車両１の窓部全てに周囲の画像を表示させることができる。よって、運転手は周囲の状況をより正確に把握できるようになり、前述したような理由から、事故が生じることをより確実に防止することができる。

また、本実施形態においては、表示ガラスパネル４０の状態が、画像が表示可能な表示モードと、通常の窓のような状態である通常モードとに切り換えられるようになっている。そして、この切換は、車両１の運転状態により自動で行われる（自動モード）ようにすることもできるし、車両１の搭乗者の操作に基づいて行われる（手動モード）ようにすることもできる。自動モードにすれば、運転手が意図しなくても車両１の窓部に周囲の画像が表示されるようになり、運転手は周囲の状況を確実に把握できるようになる。また、手動モードにすれば、搭乗者は自由に本物の風景を楽しむことができるようになる。

また、本実施形態においては、車両１にスピーカが設けられており、検出ユニット８０のマイクロフォン１８にて検出された車両１の周囲の音が、そのスピーカ４２から出力されるようになっている。よって、車両１の周囲の状況がよりリアルに再現されるようにな
るため、運転手はより正確に周囲の状況を把握できるようになる。
［実施形態２］
次に、第２実施形態の車載用画像表示装置５について、図７及び図８を用いて説明する。

本第２実施形態の車載用画像表示装置５は、第１実施形態と比較して、車両１の窓部の表示ガラスパネル４０は、スクリーンとして機能するスクリーン表示モードと、通常の窓のような通常モードとに切り換え可能に構成されている。このスクリーン表示モードにおいては、車両１の内部及び外部からの光を遮断させるようになっている。すなわち、表示ガラスパネル４０が曇ったような状態となり、スクリーンとして機能するようになるのである。そして、スクリーン表示モード状態である表示ガラスパネル４０には、プロジェクタ４５（図７参照）により画像が投影されるようになっている。

そして特に、本第２実施形態においては、スクリーン表示モードの表示ガラスパネル４０の他、車両１のＡピラー２の内側（図１及び図２参照）もスクリーンに見立てて画像を表示させる。このように、車両１の窓部及びＡピラー２に周囲の画像を表示させると、あたかも車両１内部からの死角がなくなったかのようにできる（図８参照）。よって、運転手はより正確に車両１の周囲の状況を把握できるようになるため、事故の発生をより確実に防止できる。

なお、本第２実施形態においては、プロジェクタ４５及び表示ガラスパネル４０が表示手段に相当している。
ところで、Ａピラーだけでなく、Ｂピラー及びＣピラー、つまり、車両１内部の全ての柱に、画像が投影されるようにしてもよい。また、第１実施形態において、各ピラー部分に液晶ディスプレイ等の表示パネルを設けるようにすれば、同様の効果が得られる。
［実施形態３］
次に、第３実施形態の車載用画像表示装置５について、図９を用いて説明する。

本第３実施形態の車載用画像表示装置５は、第１実施形態と比較して、検出ユニット８０のかわりにＣＣＤカメラ１６が使用されている点が異なっている。また、車載ユニット９０において、Ｉ／Ｏ２０の代わりにＣＣＤカメラ１６とデータをやり取りするためのＣＣＤインタフェース（以下、ＣＣＤＩ／Ｆ）２４が設けられている。

そして、ＣＣＤカメラ１６により撮像された画像を表す撮像データ（言い換えると、検出データ）は車載ユニット９０に送信され、車載ユニット９０のＲＡＭ３４に記憶される。また、描画プロセッサ３９は、図４のＳ４３０の処理において、ＲＡＭ３４に記憶された撮像データ（検出データ）に色彩のデータを付加して、コンピュータグラフィック画像を生成する。なお、ＣＣＤカメラ１６により撮像された画像が、直接表示ガラスパネル４０に表示されるようにしてもよい。

本第３実施形態の車載用画像表示装置５によれば、ＣＣＤカメラ１６により実際の周囲の状況が撮像されるため、周囲の状況を表すコンピュータグラフィック画像を生成することが容易となる。また、周囲の状況について、より正確にコンピュータグラフィック画像を生成できるため、その画像に基づいて、運転手はより正確に周囲の状況を把握できるようになる。したがって、事故の発生をより確実に防止できるようになる。

なお、本第３実施形態においては、ＣＣＤカメラ１６が状況検出手段に相当している。
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の技術範囲内において種々の形態を採ることができる。

例えば、本発明の車載用画像表示装置は、図１に示すような車両（自家用車等）に限らず、バスやタクシー、或いは鉄道車両に用いることもできる。
また、さらに、周囲の状況が音声で運転手に伝えられるようにしてもよい。この場合には、例えば、対象物が存在する場合にその対象物が何であるかという情報や、対象物の大きさ、距離等の情報、或いは対象物との衝突の危険性に関する情報を、音声にて運転手に伝えるように構成することが考えられる。

また、第１実施形態或いは第２実施形態において、検出ユニット８０にＣＣＤカメラを組み込むようにしてもよい。そして、この場合には、例えば昼の明るい時間帯には、ＣＣＤカメラの撮像データを利用してコンピュータグラフィック画像を生成するようにし、夜の暗い時間帯や天候が悪い時などには、ＣＣＤカメラ以外のセンサの検出データを利用するようにするとよい。

１…車両、２…フレーム部、５…車載用画像表示装置、１０…赤外線センサ、１２…ミリ波レーダ、１４…超音波センサ、１６…ＣＣＤカメラ、１８…マイクロフォン、２０，２２…Ｉ／Ｏ、２４…ＣＣＤＩ／Ｆ、３０…ＣＰＵ、３２…ＲＯＭ、３４…ＲＡＭ、３６…ＨＤＤ、３７…読取装置、３８…フレームメモリ、３９…描画プロセッサ、４０…表示ガラスパネル、４２…スピーカ、４４…操作部、４５…プロジェクタ、５０…バス、８０…検出ユニット、９０…車載ユニット、９５…入出力部。

Claims (5)

1. 車両に用いられる車載用画像表示装置であって、
   車両の周囲の状況を検出する状況検出手段と、
   車両の少なくとも前方の窓部に設けられ、その窓部に情報を表示可能な表示手段と、
   前記状況検出手段の検出結果に基づき、車両の周囲の画像を表す画像データを生成する画像生成手段と、
   前記画像生成手段が生成した画像データが表す画像を、前記表示手段に表示させる表示制御手段と、
   前記状況検出手段により検出される検出対象物であって前記車両の周囲の検出対象物について、その検出対象物を表すデータを予め記憶保持する記憶手段と、を備え、
   前記画像生成手段は、
   前記状況検出手段の検出結果に基づき生成した画像データと、前記記憶手段に記憶されるデータとを比較し、前記記憶手段に記憶されるデータにより表される検出対象物のうち、自身が生成した画像データが表す検出対象物に近似すると判断した検出対象物についてのデータを用いて、前記車両の周囲の画像を表す画像データを生成する
   ことを特徴とする車載用画像表示装置。
2. 請求項１に記載の車載用画像表示装置において、
   前記画像生成手段は、
   前記記憶手段に記憶されるデータにより表される検出対象物のうち、自身が生成した画像データが表す検出対象物に近似すると判断した検出対象物についてのデータの一部を、自身が生成した画像データと合成して、前記車両の周囲の画像を表す画像データを生成する
   ことを特徴とする車載用画像表示装置。
3. 請求項１又は請求項２に記載の車載用画像表示装置において、
   前記検出対象物は複数種類あり、さらに１つの種類毎に複数タイプが含まれ、
   前記記憶手段は、
   複数種類の検出対象物についてのデータを記憶するとともに、１つの種類毎にその種類に含まれる複数タイプの検出対象物についてのデータを記憶する
   ことを特徴とする車載用画像表示装置。
4. 請求項１ないし請求項３の何れか１項に記載の車載用画像表示装置において、
   前記画像データ、及び前記記憶手段に記憶されるデータは、前記検出対象物を構成する要素毎の要素データからなり、
   前記画像生成手段は、
   要素データのそれぞれについて、自身が生成した前記画像データを構成する要素データと、その要素データに対応するデータであって前記記憶手段に記憶される要素データとを比較する
   ことを特徴とする車載用画像表示装置。
5. 請求項１ないし請求項４の何れか１項に記載の車載用画像表示装置において、
   前記記憶手段には、
   前記検出対象物を表すデータとして、前記検出対象物の外形、形状、素材、体積、色彩の少なくとも何れかを表すデータが記憶される
   ことを特徴とする車載用画像表示装置。

Images