JP4012995B2

JP4012995B2 - 画像撮像装置および方法

Info

Publication number: JP4012995B2
Application number: JP00822497A
Authority: JP
Inventors: 洋一木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-01-21
Filing date: 1997-01-21
Publication date: 2007-11-28
Anticipated expiration: 2017-01-21
Also published as: JPH10210486A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像撮像装置および方法に関し、特に、可視光の光軸と同一の光軸で、不可視光の画像を得ることができるようにした画像撮像装置および方法に関する。
【０００２】
【従来の技術】
例えば、森などにおいて、そこに生活する動物をビデオカメラで撮影し、観測する場合、所定の位置に餌を配置し、その餌を食べる動物を撮影することができる位置にビデオカメラを配置する。そして、そのビデオカメラにより、無人の状態で連続的に撮影を行う。このようにすると、その餌を動物が食べに来たとき、その動物が餌を食べるときの様子を撮影することができる。
【０００３】
しかしながら、無人の状態で、撮影を連続的に行うようにするため、ほとんどの画像は、動物が撮影されていない無駄な画像となってしまうことになる。
【０００４】
そこで、例えば、画像に動きがあったとき、画像の記録を開始するようにすることができる。このようにすれば、一般的に、動物は動き回るので、動物を確実に、効率的に撮影することができる。
【０００５】
しかしながら、動きを検出して、画像の記録を開始するようにすると、例えば、風などにより、木々が揺れたり、落ち葉が飛んだような場合にも、記録が行われてしまうようなことがある。
【０００６】
そこで、例えば、赤外線ビデオカメラを用いることも考えられる。しかしながら、赤外線ビデオカメラで撮像した画像は、通常の可視光による画像に較べて不鮮明であり、被写体を子細に観察することが困難となる。
【０００７】
このようなことから、可視光によるビデオカメラと赤外線ビデオカメラの２台を用意し、赤外線ビデオカメラで動物が撮像されたとき、可視光のビデオカメラで動物の画像の記録を開始するようにすることも考えられる。
【０００８】
【発明が解決しようとする課題】
しかしながら、このように、赤外線ビデオカメラと可視光のビデオカメラとを用いるようにすると、両者の光軸が異なり、正確に対応する画像を取り込むことが困難である課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、同一の光軸上の可視光の画像と不可視光の画像とを取り込むことができるようにするものである。
【００１０】
【課題を解決するための手段】
請求項１に記載の画像撮像装置は、赤外線又は紫外線を不可視光として被写体に照射する不可視光照射手段と、入射された光から、可視光と不可視光とを分離する分離手段と、分離された可視光を受光する可視光受光手段と、分離された不可視光を受光する不可視光受光手段と、前記可視光受光手段と不可視光受光手段より出力された画像信号を出力する出力手段と、前記不可視光の画像信号から被写体の位置を判定し、前記被写体の位置に対応する前記可視光の画像信号から、前記被写体が登録されている被写体かどうかを判定する処理手段とを備えることを特徴とする。
【００１１】
請求項２に記載の画像撮像方法は、赤外線又は紫外線を不可視光として被写体に照射する不可視光照射ステップと、入射された光から、可視光と不可視光とを分離する分離ステップと、分離された可視光を受光する可視光受光ステップと、分離された不可視光を受光する不可視光受光ステップと、前記可視光受光ステップと不可視光受光ステップで受光された結果得られた画像信号を出力する出力ステップと、前記不可視光の画像信号から被写体の位置を判定し、前記被写体の位置に対応する前記可視光の画像信号から、前記被写体が登録されている被写体かどうかを判定するステップとを備えることを特徴とする。
【００１２】
請求項１に記載の画像撮像装置および請求項２に記載の画像撮像方法においては、入射された光から、可視光と不可視光が分離される。そして、分離された可視光と不可視光がそれぞれ受光され、対応する画像信号が出力され、不可視光の画像信号から被写体の位置が判定され、被写体の位置に対応する可視光の画像信号から、被写体が登録されている被写体かどうかが判定される。
【００１３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１４】
請求項１に記載の画像撮像装置は、赤外線又は紫外線を不可視光として被写体に照射する不可視光照射手段（例えば、図１の赤外線照射装置２１）と、入射された光から、可視光と不可視光とを分離する分離手段（例えば、図１のコールドミラー１１）と、分離された可視光を受光する可視光受光手段（例えば、図１のＣＣＤ１５，１６，１７）と、分離された不可視光を受光する不可視光受光手段（例えば、図１のＣＣＤ１４）と、可視光受光手段と不可視光受光手段より出力された画像信号を出力する出力手段（例えば、図１の符号化器１８）と、不可視光の画像信号から被写体の位置を判定し、被写体の位置に対応する可視光の画像信号から、被写体が登録されている被写体かどうかを判定する処理手段（例えば、図１の処理装置２）を備えることを特徴とする。
【００１６】
図１は、本発明の画像撮像装置の構成例を示すブロック図である。この画像撮像装置は、基本的に、撮像部１と赤外線照射装置２１とにより構成されている。赤外線照射装置２１は、赤外線発生装置３１とスリット光生成装置３２とにより構成されている。赤外線発生装置３１は、赤外線を発生し、スリット光生成装置３２に入射させる。スリット光生成装置３２は、赤外線発生装置３１より入射された赤外線を、そのまま被写体に向けて照射するか、あるいは、所定のパターンに対応するスリット光に変換して、被写体に照射するようになされている。
【００１７】
撮像部１には、被写体からの光がコールドミラー１１に入射されるようになされている。コールドミラー１１は、入射された光から、不可視光としての赤外線と可視光とを分離し、赤外線を反射して、ＣＣＤ１４に入射させるようになされている。コールドミラー１１を透過した可視光は、ダイクロイックミラー１２に入射されるようになされている。ダイクロイックミラー１２は、入射された可視光から、赤の光の成分を反射し、ＣＣＤ１５に入射させるとともに、赤の成分より波長の短い成分を透過して、後段のダイクロイックミラー１３に入射させるようになされている。
【００１８】
ダイクロイックミラー１３は、入射された可視光のうち、波長の長い緑の成分を反射し、ＣＤＤ１６に入射させるとともに、緑の成分より波長の短い青の成分を透過し、ＣＣＤ１７に入射させるようになされている。
【００１９】
ＣＣＤ１４乃至１７は、それぞれ入射された光に対応する画像信号を生成し、符号化器１８に出力している。符号化器１８は、入力された画像信号をＤ／Ａ変換し、さらに所定の符号に符号化し、例えばパーソナルコンピュータなどにより構成される処理装置２に出力するようになされている。処理装置２は、入力された画像データを処理するとともに、その画像データをモニタ３に出力し、表示させるようになされている。
【００２０】
次に、図２のフローチャートを参照して、例えば、この画像撮像装置を監視システムに用いた場合の処理動作について説明する。
【００２１】
最初に、ステップＳ１において、赤外線画像を取り込む処理が実行される。すなわち、赤外線照射装置２１の赤外線発生装置３１は、赤外線を発生する。スリット光生成装置３２は、いまの場合、赤外線発生装置３１より出射された赤外線を、そのまま（スリット光にせず）被写体に向けて（監視すべき位置に向けて）照射する。
【００２２】
被写体（監視すべき位置）からの光は、撮像部１に入射される。撮像部１への入射光のうち、赤外線は、コールドミラー１１により反射され、ＣＣＤ１４に入射される。ＣＣＤ１４は、入射された赤外線の画像を光電変換し、画像信号に変換して、符号化器１８に出力する。符号化器１８は、入力された画像信号を符号化し、処理装置２に出力する。いま、例えば、監視すべき位置に人がいる場合には、例えば図３に示すような赤外線画像が処理装置２に取り込まれる。
【００２３】
次に、ステップＳ２において、処理装置２は、被写体の顔の位置を判定する処理を行う。すなわち、赤外線による画像は、温度の高い部分と温度の低い部分との境界が、比較的鮮明に区分された画像となる。人の顔（人体）は、周囲の壁などに較べて温度が高いため、処理装置２は、この赤外線画像から、人の顔の位置を、周囲の壁などの画像と容易かつ明確に識別することができる。
【００２４】
次に、ステップＳ３に進み、処理装置２は、可視光画像を取り込む処理を実行する。すなわち、被写体からの光のうち、可視光は、コールドミラー１１を透過し、ダイクロイックミラー１２に入射される。入射された可視光のうち、赤の成分は、ダイクロイックミラー１２で反射され、ＣＣＤ１５に入射される。また、赤の成分より波長の短い緑の成分と青の成分は、ダイクロイックミラー１２を透過し、ダイクロイックミラー１３に入射される。そして、ダイクロイックミラー１３は、緑の成分を反射して、ＣＣＤ１６に入射させ、青の成分を透過して、ＣＣＤ１７に入射させる。ＣＣＤ１５，１６，１７より出力された、それぞれ赤、緑および青の成分の画像信号は、符号化器１８に入力され、符号化される。そして、符号化されたＲ，Ｇ，Ｂの画像データが、それぞれ処理装置２に供給される。これにより、例えば図４に示すような可視光の画像が処理装置２に取り込まれる。
【００２５】
この図４に示す可視光の画像は、図３に示す赤外線の画像と同一の光軸上の画像であるから、両者の画像は、正確に対応した画像となっている。そこで、処理装置２は、ステップＳ４に進み、ステップＳ３で取り込んだ可視光の画像から、人物判定処理を実行する。すなわち、処理装置２は、ステップＳ２の判定処理で、顔（人体）の画像と判定された画素に対応する可視光の画素による画像を、予め登録されているデータベース上の顔の画像と比較し、いま取り込まれた画像が、どの人物の画像であるのかを判定する。そして、例えば、いま取り込まれた画像がデータベース上に登録されている人物の画像である場合には、ドアのロックを解除するなどの処理を行う。いま取り込まれた画像がデータベース上に登録されていない人物の画像である場合には、その画像を記憶するが、ドアのロックは解除しないようにする。
【００２６】
なお、ステップＳ３における可視光の画像取り込み処理は、ステップＳ１における赤外線の画像の取り込み処理と、実際には同一のタイミングで取り込むことが可能である。
【００２７】
次に、図５のフローチャートを参照して、画像を合成する場合の処理例について説明する。最初に、ステップＳ１１において、処理装置２は、赤外線画像を取り込む処理を実行する。この処理は、図２のステップＳ１における場合と同様の処理となる。このようにして、例えば、図６に示すように、遠くの山を背景にした人物の赤外線画像が取り込まれる。但し、このとき、赤外線照射装置２１のスリット光生成装置３２は、赤外線発生装置３１より発生された赤外線を所定のパターンのスリット光にして、被写体に照射する。処理装置２は、このようにして、所定のパターンのスリット光に基づく画像を取り込んだとき、例えば、時系列空間コード化法あるいはスキャン式符号化法に基づいて、各画像の各画素の撮像部１からの距離を演算する。この距離の演算方法については、例えば「電子情報通信学会論文誌Ｄ−II Ｖｏｌ．Ｊ７６−Ｄ−II Ｎｏ．８ｐｐ．１５２８−１５３５１９９３年８月」に、「スキャン式符号化法による小型高速レンジファインダ」として紹介されている。
【００２８】
次に、ステップＳ１２に進み、処理装置２は、各画素の撮像部１からの距離をヒストグラムにする処理を実行する。これにより、例えば図７に示すようなヒストグラムが作成される。
【００２９】
図７に示すヒストグラムは、図６に示す画像の各画素のヒストグラムであるから、各画素は、撮像部１に近い位置に位置する人物の画像（前景）の画素と、遠い位置に位置する山の画像（背景）とに大きく分類される。処理装置２は、ステップＳ１３において、例えば図７において、距離Ｌ_Rより近い位置の画像を前景の画素として分離し、それより遠い位置の画素を背景の画素として分離する。
【００３０】
以上のようにして、前景と背景が分離されたとき、ステップＳ１４に進み、処理装置２は、画像を合成する処理を実行する。例えば、図８に示すように、前景（人物）と背景（山）の間に、木の画像を配置合成する処理を行う。このように合成された画像においては、木は、山より前に位置するため、木の後方の山の画像の一部は、木により隠れるように処理され、木の画像の一部は、それより前に位置する人物の画像により、その一部が隠れるように処理される。
【００３１】
図９は、さらに他の処理例を表している。この図９のフローチャートにおけるステップＳ２１乃至Ｓ２３の処理は、図５のステップＳ１１乃至Ｓ１３の処理と同様の処理であるので、その説明は省略する。すなわち、これらの処理により、図５における場合と同様に、前景と背景を分離する。
【００３２】
次に、ステップＳ２４に進み、処理装置２は、背景を基準にして、手振れ補正処理を実行する。すなわち、例えば図６に示すような画像を取り込んでいる場合には、背景としての山に着目して、手振れがあったか否かを判定する。そして、手振れがあったと判定された場合には、それに対応する補正処理を行う。その結果、背景と前景の面積比が手振れ補正に影響を与えることが少なくなり、手振れを正確に補正することが可能となる。
【００３３】
また、背景までの距離に応じた処理を選択することにより、さらに正確に手振れを補正することが可能となる。
【００３４】
この他、撮像部１における画角、画面上の所定の２点間の距離、およびその２点の撮像部１からの距離から、撮像した被写体の実際の大きさを演算することができる。その結果、例えば、モニタ３の実際の大きさがわかれば、モニタ３に対して、実物大で被写体を表示させることができる。これにより、例えば、テレビショッピングやインターネットなどを介した通信販売において、視聴者に対して実際の商品を実物大で表示し、よりリアリティに富んだ情報を視聴者に提供することが可能となる。
【００３５】
なお、このとき、撮影時に、撮影者は、視聴者の見ている画面の大きさを考慮する必要は全くない。
【００３６】
さらに、各画素毎の撮像部１からの距離をより精密に測定することにより、被写体の立体的な形状を処理装置２に取り込むことができる。これにより、例えば、コンピュータグラフィックスやバーチャルリアリティの空間において、被写体を表示させることができる。
【００３７】
なお、上記実施の形態においては、時系列空間コード化法あるいはスキャン式符号化法により距離を測定するようにしたが、その他の方法により距離を測定することも可能である。
【００３８】
また、不可視光としては、赤外線以外に、紫外線を用いることも可能である。
【００３９】
この他、本発明は、可視光の画像の被写体の温度をリアルタイムで計測したり、応力を計測したり、動体を効率的に記録したり、危険物を察知したりする場合に適用することができる。
【００４０】
【発明の効果】
以上の如く、請求項１に記載の画像撮像装置および請求項２に記載の画像撮像方法によれば、入射された光から、可視光と不可視光を分離し、それぞれを受光して、対応する画像信号を出力するようにしたので、同一の光軸の可視光と不可視光の画像を取り込むことが可能となる。
【図面の簡単な説明】
【図１】本発明の画像撮像装置の構成例を示すブロック図である。
【図２】図１の画像撮像装置の処理例を示すフローチャートである。
【図３】赤外線画像を説明する図である。
【図４】可視光画像を説明する図である。
【図５】図１の画像撮像装置の他の処理例を示すフローチャートである。
【図６】前景と背景を説明する図である。
【図７】前景と背景のヒストグラムを説明する図である。
【図８】画像の合成を説明する図である。
【図９】図１の画像撮像装置のさらに他の処理例を示すフローチャートである。
【符号の説明】
１撮像部，２処理装置，３モニタ，１１コールドミラー，１２，１３ダイクロイックミラー，１４乃至１７ＣＣＤ，１８符号化器，２１赤外線照射装置，３１赤外線発生装置，３２スリット光生成装置

Claims

赤外線又は紫外線を不可視光として被写体に照射する不可視光照射手段と、
入射された光から、可視光と不可視光とを分離する分離手段と、
分離された可視光を受光する可視光受光手段と、
分離された不可視光を受光する不可視光受光手段と、
前記可視光受光手段と不可視光受光手段より出力された画像信号を出力する出力手段と、
前記不可視光の画像信号から被写体の位置を判定し、前記被写体の位置に対応する前記可視光の画像信号から、前記被写体が登録されている被写体かどうかを判定する処理手段と
を備えることを特徴とする画像撮像装置。
赤外線又は紫外線を不可視光として被写体に照射する不可視光照射ステップと、
入射された光から、可視光と不可視光とを分離する分離ステップと、
分離された可視光を受光する可視光受光ステップと、
分離された不可視光を受光する不可視光受光ステップと、
前記可視光受光ステップと不可視光受光ステップで受光された結果得られた画像信号を出力する出力ステップと、
前記不可視光の画像信号から被写体の位置を判定し、前記被写体の位置に対応する前記可視光の画像信号から、前記被写体が登録されている被写体かどうかを判定するステップと
を備えることを特徴とする画像撮像方法。