JP2014160956A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】露出時間の異なる画像を周期的に取得し、画像を合成して高いダイナミックレンジを有する画像を生成する機能を有する画像処理装置において、フレームレートを維持したまま高いダイナミックレンジの画像を生成する。
【解決手段】画像センサ１２により撮影された露出時間の異なる映像フレームを合成処理する合成処理部１３１と、動作モードに基づいて、画像センサ１２、合成処理部１３１を制御するマイコン１３５と、を備え、マイコン１３５は、動作モードに基づいて、合成処理部１３１をダイナミックレンジが高い画像を合成するように制御する場合に、画像センサ１２の撮影解像度を下げることによって画像センサ１２のフレームレートを維持するように制御する。
【選択図】図４

Description

本発明は、露出時間の異なる画像を周期的に取得し、画像を合成して高いダイナミックレンジを有する画像を生成するのに好適な画像処理装置、画像処理方法、及び画像処理プログラムに関する。

ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどで構成される撮像素子を用いて被写体を撮影する撮像装置にあっては、暗い部屋でプロジェクタに資料を投影したシーンで人物と資料を同時に写す場合など、コントラストの大きい被写体を撮影すると、明るい部分が白く飛ぶ、あるいは、暗い部分が黒く潰れることがあった。
このような問題を解決するための技術として、従来、明るい画像（長時間露光画像）と暗い画像（短時間露光画像）から適正露出部分を抜き出して合成することで、高いダイナミックレンジを有する画像とを合成する技術が既に知られている。

しかし、従来の高いダイナミックレンジを有する映像を合成する装置では、明るい画像と暗い画像を取得するために、
（１）複数のＣＭＯＳイメージセンサを搭載する手法
（２）短時間に露光画像を取得するための素子と、長時間に露光画像を取得するための素子とを両方備えた特別なＣＭＯＳイメージセンサを使用する手法
（３）露出時間の異なる画像を周期的に取得する手法
が使われてきた。手法（１）（２）では装置のコストが増大し、手法（３）では合成後の映像のフレームレートが、ＣＭＯＳイメージセンサの出力フレームレートの１／（合成する画像の枚数）に低下するといった問題があった。
特許文献１には、ダイナミックレンジの広い映像信号を得る目的で、ＣＭＯＳイメージセンサから長時間露光画像と短時間露光画像とを交互に取得し、一方を一旦メモリに格納し、もう一方の撮像画像を読み出す時にメモリ内の撮像画像信号を読み出して、それら２つの撮像画像信号を合成する構成が開示されている。

特許文献１は、ダイナミックレンジの広い映像信号を得る点が開示されている。しかし、フレームレートが低下するという問題は解消できていない。
本発明は、上記に鑑みてなされたもので、その目的としては、露出時間の異なる画像を周期的に取得し、画像を合成して高いダイナミックレンジを有する画像を生成する機能を有する画像処理装置において、フレームレートを維持したまま高いダイナミックレンジの画像を生成することにある。

上記課題を解決するため、請求項１記載の発明は、被写体の撮影の際に設定される撮影解像度、フレームレート、を夫々切り替える手段を備えた画像センサからの露出時間の異なる画像データに基づいて、ダイナミックレンジの高い画像を合成する画像処理装置であって、前記画像センサにより撮影された露出時間の異なる映像フレームを合成処理する合成処理部と、動作モードに基づいて、前記画像センサ、前記合成処理部を制御する制御手段と、を備え、前記制御手段は、前記動作モードに基づいて、前記合成処理部をダイナミックレンジが高い画像を合成するように制御する場合に、前記画像センサの撮影解像度を下げることによって前記画像センサのフレームレートを維持するように制御する、ことを特徴とする。

本発明によれば、露出時間の異なる画像を周期的に取得してダイナミックレンジの広い画像を生成する際に、フレームレートを維持したまま高いダイナミックレンジの画像を生成することができる。

本発明の実施形態に係わる画像処理装置を用いた画像通信システム１の機能構成について説明するための図である。 図１に示すテレビ会議端末の外観図について説明するための図である。 図１に示す撮像装置１０と処理装置２０のハードウェア図について説明するための図である。 図１に示す画像処理ユニット１３の機能ブロック図について説明するための図である。 図１に示す画像処理ユニット１３の映像フローについて説明するための図である。 図４に示す制御命令（Ｂ）とセンサの画角の関係について説明するための図である。 動作モードについて説明するための図である。

本発明の実施形態について説明する。本発明は、露出時間の異なる画像を周期的に取得し、画像を合成して高いダイナミックレンジを有する画像を生成する機能を有する画像処理装置に際して、以下の特徴を有する。要するに、ＣＭＯＳイメージセンサの撮像範囲、ＣＭＯＳイメージセンサの動作モード（出力フレームレート・出力解像度）、画像処理部での合成処理の有効／無効を組み合わせる。このことにより、利用シーンに合わせて出力映像の撮影範囲、解像度、フレームレート、ダイナミックレンジの組み合わせを選択可能とすることが特徴になっている。

本発明の実施形態について、図面を参照して詳細に説明する。
図１を参照して、本発明の実施形態に係わる画像処理装置を用いた画像通信システムの機能構成について説明する。
図１に、本実施形態に係わるテレビ会議システム１の概略構成図を示す。本テレビ会議システム１は、拠点Ａ、Ｂ，Ｃに設置された複数のテレビ会議端末１００ａ、１００ｂ、１００ｃと、これらテレビ会議端末が接続されるネットワークＮで構成される。テレビ会議端末１００は撮像装置１０と処理装置２０を備えている。テレビ会議端末１００は、マイク５、スピーカ６、ディスプレイ７なども備え、撮像装置１０と同様に、処理装置２０に接続されている。

例えば、拠点Ａに設置されたテレビ会議端末１００ａの撮像装置１０で撮影された画像（静止画像又は動画像）は、撮像装置１０と処理装置２０との連携動作により画像データに補正処理を施し、当該テレビ会議端末１００内のディスプレイ７（図２参照）に画像を表示する。同時に、この補正処理を施した画像データは、ネットワークＮに接続された拠点Ｂに設置されている相手側のテレビ会議端末１００Ｂにも伝送されて、そのディスプレイ７に画像が表示される。
例えば、拠点Ｂに設置されているテレビ会議端末１００ａにおいて、操作者が操作部（図４参照）の拡大／縮小ボタンを押下すると、当該テレビ会議端末１００ａ内に設けられた同じく撮像装置１０と処理装置２０と連携動作によりデジタルズーム処理が施される。この結果、デジタルズーム画像が当該テレビ会議端末１００ａのディスプレイ７に表示される。同時に、ネットワークＮに接続された拠点Ｂに設置されているテレビ会議端末１００Ｂにも画像データが伝送されて、そのディスプレイ７に画像表示される。
このテレビ会議システム１によれば、ネットワークＮに接続された複数のテレビ会議端末において、撮影した画像データを正面位置から撮影した正面画像に補正するあおり補正処理（台形歪補正処理）が可能になる。ズーム倍率に応じて画像データを拡大するデジタルズーム処理が施された画像データをリアルタイムに表示することが可能になる。

次に、図２を参照して、図１に示すテレビ会議端末１００の具体的な外観について説明する。以下、テレビ会議端末１００の長手方向をＸ軸方向とし、水平面内でＸ軸方向と直交する方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する（鉛直方向、高さ方向）をＺ軸方向として説明する。
テレビ会議端末１００は、筐体４０、アーム５０、ハウジング５２を備えている。このうち、筐体４０の右側壁面４１には、音収音用の孔４２が設けられる。当該音収音用の孔４２を通過した、外部からの音声が内部に設けられたマイク５（図１参照）により収音される。

また、上面部４３には、電源スイッチ４４と、音出力用の孔４５が設けられる。操作者が、電源スイッチ４４をＯＮ操作することで、テレビ会議端末１００を起動することができる。また、スピーカ６（図１参照）から出力された音声は、音出力孔４５を介して外部に出力される。
また、筐体４０の左側壁面４７側には、アーム５０及びカメラハウジング５２を収容するための、凹形状の収容部４６が形成されている。また、筐体４０の左側壁面４７には、接続口（図示せず）が設けられている。接続口は、映像出力ユニット２４と、ディスプレイ７とを接続するためのケーブル７ａが接続されている。
また、アーム５０は、トルクヒンジ５１を介して、筐体４０に取り付けられている。アーム５０が、筐体４０に対して、１３５度のチルト角ω１の範囲で、上下方向に回転可能に構成されている。図２では、チルト角ω１が９０度の状態であることを示している。チルト角ω１を０度に設定することで、アーム５０及びカメラハウジング５２を収容部４６に収容することができる。

カメラハウジング５２には、内蔵型の撮像装置１０が収容されている。当該撮像装置１０により、人物（例えば、テレビ会議の参加者）や、用紙に記載された文字や記号、部屋などを撮影することができる。また、カメラハウジング５２には、トルクヒンジ５３が形成されている。カメラハウジング５２は、トルクヒンジ５３を介してアーム５０に取り付けられている。カメラハウジング５２がアーム５０に対して、図２に示す状態を０度として、±１８０度のパン角ω２の範囲で、かつ、±４５度のチルト角ω３の範囲で、上下左右方向に回転可能に構成されている。
また、テレビ会議端末１００は、図２に記載されたものではなく、他の構成であっても良い。例えば、ＰＣ（Personal Computer）に、スピーカ６やマイク５を外部接続したものを用いてもよい。また、本テレビ会議端末１００をスマートフォン、携帯電話、タブレット型端末、カメラやマイクを備えた汎用パーソナルコンピュータなどの携帯型端末に適用しても良い。

次に、図３を参照して、図１に示す撮像装置１０と処理装置２０とのハードウェア構成について説明する。
テレビ会議端末１００は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパーソナルコンピュータである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
撮像装置１０は、被写体像が入射するレンズ１１を備えている。撮像装置１０は、レンズ１１によって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device)イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor)イメージセンサなどの画像センサ１２を備えている。また、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor)などから構成される画像処理ユニット１３を備えている。さらに、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを処理装置２０との間で送受信するＩ／Ｆユニット１４などを備えて構成される。

処理装置２０は、撮像装置１０との間でフレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを送受信するＩ／Ｆユニット２１と、種々の処理を実行するＣＰＵ（Central Processing Unit）２２を備えている。また、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や各種画像処理済みフレーム画像などを格納するメモリ２３と、処理装置２０に接続したディスプレイ７などに映像信号を伝送する映像出力ユニット２４を備えている。さらに、画像データや制御データなどをネットワークＮに接続された相手側のテレビ会議端末に送信する通信ユニット２５と、装置全体を制御する制御ユニット２６と、各ユニットを接続するバス２７などで構成される。メモリ２３は、揮発性メモリであるＲＡＭ，ＲＯＭ，ＨＤＤ（Hard Disk Drive）などの総称である。他に操作者からの指示を受け付ける操作指示受付ユニットなどもあるが、図３では省略してある。なお、撮像装置１０および処理装置２０が一体となっていてもよい。

次に、図４、図５を参照して、図１に示す撮像装置１０に設けられた画像処理ユニット１３の機能ブロック構成および映像フローについて説明する。
撮像装置１０において、画像センサ１２は、撮像対象を撮影して画像信号を取得して画像処理ユニット１３に伝送する。
Ｉ／Ｆユニット１４は、画像処理ユニット１３により生成された画像データを映像出力ユニット２４および通信ユニット２５に伝送する出力画像伝送部１４ａを備える。

次に、図４に示す画像処理ユニット１３の構成について説明する。
ＨＤＲ処理部（合成処理部）１３１は、画像センサ１２により撮影された長時間露光の映像フレームと短時間露光の映像フレームとを合成処理し、かつ合成処理の有効／無効を切り替える有効／無効切替手段（図示しない）を備えている。
次いで、画像調整部１３２は、ＨＤＲ処理部１３１により生成された合成フレームに含まれる短時間露光の映像と長時間露光の映像とに対して色調整を行う色調整処理、ベイヤパターンデータから色を再現（変換）するベイヤ変換処理等を行いメモリ１３６に蓄積する。

上記色調整処理は、いわゆるホワイトバランス・ガンマ補正処理のことであり、カラー調整機能によって、２つの望ましくない影響を改善することが可能となる。すなわちガンマ補正とホワイトバランス補正を行う。画像センサ１２は、ホワイトバランスの不均衡を示す場合があり、例えば、３つのカラーチャネルのゲインが一致していない場合や、照明(光源)が完全な白色ではない場合である。このようなことが起こると白の領域が白に見えず、飽和していない色に見えることになる。ホワイトバランス補正は、３つの独立したゲインを調整して、白領域のピクセルの各コンポーネントが等しくなるようにする。
上記ベイヤ変換処理は、いわゆるベイヤパターン変換処理のことであり、ベイヤパターンは単一の画像センサ１２からカラー情報を取り込むことを可能にする特殊なカラー画像コード化フォーマットである。特殊な配置のカラーフィルタを画像センサ１２の前に置き、ピクセルの一部が赤の光のみを受光するようにし、他のピクセルは緑または青の光のみを受光するようにする。ベイヤパターンの配列に従ってコード化された画像は、グレーレベル画像と同じデータ量でカラー画像に対し１／３の情報となる。ベイヤ変換ではベイヤパターンの配列を利用して、グレーレベル画像として格納された画像をカラー画像に変換する。
詳しくは、画像センサ１２で撮影した画像(raw画像)は、一般には1つのピクセルは1つの色情報しか持っていないため、各ピクセルについて周辺のピクセルの色情報からＲＧＢの成分を補完するベイヤ変換処理を行いカラー画像に変換する。

画像変形部１３３は、メモリ１３６から映像フレームを取得し（［６］）、縮小処理、歪補正処理を行いメモリ１３６に書き戻す。
縮小処理では、画像センサ１２から入力された解像度１９２０ｘ１０８０（２Ｍｐｉｘｅｌ）の画像を解像度１２８０ｘ７２０（１Ｍｐｉｘｅｌ）に縮小する。例えば、縮小処理では、最近傍法、平均画素法、平均画素法ｖ２、バイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ３等のアルゴリズムを用いて画像を縮小する。
歪補正処理では、画像センサ１２の光軸前方に設けられたレンズの影響により光学的に歪んだ画像(オリジナル)から歪を取り除く処理を行う。
出力制御部１３４は、出力フレームレートを切り替えるフレームレート切替手段（図示しない）を備えている。出力制御部１３４は、マイコン１３５からの制御信号に応じて、出力フレームレートを切り替えておき、設定されたフレームレートに従ってメモリ１３６から映像を読み出し（［８］）、映像をＩ／Ｆ１４に出力する。

マイコン（制御手段）１３５は、種々の処理を実行するＣＰＵ（Central Processing Unit）を備え、ＣＰＵの処理に必要な各種ソフトウエアやデータを記憶するメモリを備えている。
マイコン（制御手段）１３５は、Ｉ／Ｆユニット１４を介して外部からの動作モードについての指示内容の違いに基づいて、画像センサ１２、ＨＤＲ処理部１３１、及び出力制御部１３４での動作状態を切替えるように制御する。マイコン１３５は、画像センサ１２の撮像範囲が標準の動作モードから狭い動作モードに切り替えられた場合に、画像センサ１２の全画素を有効にした画角標準状態から該画角標準状態よりも狭い画角狭状態に変更するように制御する。

以下、図４に示す画像処理ユニット１３の映像系および制御命令系について説明する。
［映像系について］
まず、画像センサ１２は、マイコン１３５からの制御信号（モード切替信号）に応じて、被写体の撮影に先だって設定すべき撮影解像度、フレームレート、水平画角を夫々独立して切り替え、かつ短時間露光の映像フレームと長時間露光の映像フレームを交互に出力する（［１］）。
次いで、ＨＤＲ（High Dynamic Range）処理部（合成処理部）１３１は、短時間露光の映像フレームを取得した際は取得した映像フレームをメモリ１３６に書き込み（［２］）、長時間露光の映像フレームを取得した際は蓄積しておいた短時間露光の映像フレームをメモリ１３６から読み出す（［３］）。次いで、長時間露光の映像フレームと短時間露光の映像フレームを合成してダイナミックレンジの広い画像を生成し、マイコン１３５からの制御信号に応じて、合成処理の有効／無効を切り替えて画像調整部１３２に出力する（［４］）。

次いで、画像調整部１３２は、ＨＤＲ処理部１３１により生成された合成フレームに含まれる短時間露光の映像と長時間露光の映像とに対して色調整を行う色調整処理、ベイヤパターンデータから色を再現（変換）するベイヤ変換処理等を行いメモリ１３６に蓄積する（［５］）。
このように、画像調整部１３２は、ＨＤＲ処理部１３１により生成された合成フレームに含まれる短時間露光の映像と長時間露光の映像とに対して色調整処理、ベイヤ変換処理を行いメモリ１３６に蓄積することで、ダイナミックレンジの広い画像に対して色調整処理やベイヤ変換処理を行うことができる。
次いで、画像変形部１３３は、メモリ１３６から映像フレームを取得し（［６］）、縮小処理、歪補正処理を行いメモリ１３６に書き戻す（［７］）。
このように、画像変形部１３３は、メモリ１３６から映像フレームを取得し、縮小処理、歪補正処理を行いメモリ１３６に書き戻すので、ダイナミックレンジの広い画像に対して縮小処理、歪補正処理を行うことができる。
次いで、出力制御部１３４は、マイコン１３５からの制御信号に応じて、出力フレームレートを切り替えておき、設定されたフレームレートに従ってメモリ１３６から映像を読み出し（［８］）、映像をＩ／Ｆ１４に出力する（［９］）。

［制御命令系について］
処理装置２０から発行された動作モードを示す制御信号（Ａ）が、Ｉ／Ｆ１４から画像処理ユニット１３に入力される。画像処理ユニット内部のマイコン（制御手段）１３５は、発行された制御信号（Ａ）に基づいて、画像センサ１２に対して撮影解像度・フレームレート・撮影範囲（水平画角）切替（Ｂ）、ＨＤＲ処理部１３１に対してＨＤＲ処理の有効／無効の切替（Ｃ）を行う命令を発行する。次いで、画像変形部１３３に対して画像センサ１２の出力に応じた画像変形パラメータの設定（Ｄ）、出力制御部１３４に対して出力フレームレート切替（Ｅ）を行う命令を発行する。
なお、制御信号（Ａ）〜（Ｅ）以外にも制御信号はあるが、本実施形態とは直接関係していないので、ここではその説明を省略する。

このように、動作モードの種類、すなわち、動作モードを示す制御信号（Ａ）に応じて、画像センサ１２に対して撮影解像度、フレームレート、撮影範囲（水平画角）の切替を行うように制御する。次いで、ＨＤＲ処理部１３１に対してＨＤＲ処理の有効／無効の切替を行うように制御し、出力制御部１３４に対して出力フレームレートの切替を行うように制御する。これにより、利用シーンに合わせて出力映像の撮影範囲、解像度、フレームレート、ダイナミックレンジの組み合わせを選択可能とすることができる。
これにより、ダイナミックレンジの広い画像を生成する際には、フレームレートを落とすモードだけではなく、フレームレートを維持したまま解像度を落とすモード、フレームレートを維持したまま解像度を落とし、さらに撮影範囲を狭めるモードを備え、これらのモード切り替えを可能にする。これにより、フレームレートを維持したまま高いダイナミックレンジの画像を生成することができる。

図６は、図４に示す制御命令（Ｂ）と画像センサ１２の画角の関係について説明するための図である。
本実施形態では、画像センサ１２は、ＣＭＯＳイメージセンサの有効画素数を撮影解像度２Ｍｐｉｘｅｌとする。また、画像センサ１２は、撮影解像度２Ｍｐｉｘｅｌかつフレームレート３０ｆｐｓの出力と、撮影解像度１Ｍｐｉｘｅｌかつフレームレート６０ｆｐｓの出力とを撮影解像度・フレームレート切替（Ｂ）で選択可能であるものとする。撮影解像度２Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓで出力する状態を標準とする。
水平画角は、ＣＭＯＳイメージセンサ全体を使用する場合は１５０度、中央部１Ｍｐｉｘｅｌ分のみを使用する場合は１００度とする。ＨＤＲ処理部１３１でのＨＤＲ処理を行わない場合のダイナミックレンジを標準とする。

本実施形態では、解像度、フレームレート、画角、ダイナミックレンジについて説明したが、これらに限定されるものではない。また、切り出しモードで切り出しを行う範囲は任意であり、図６に示すように画像センサの中央部でなくても良い。
マイコン１３５から画像センサ１２、ＨＤＲ処理部１３１、画像変形部１３３、出力制御部１３４に対して、解像度、フレームレート、及び撮影範囲（水平画角）を切り替える命令（撮影解像度・フレームレート・撮影範囲切替（Ｂ））を発行する。これにより、第１モードである「標準」モード、第２モードである「高ダイナミックレンジ・低フレームレート」モード、第３モードである「高ダイナミックレンジ・縮小」モード、第４モードである「高ダイナミックレンジ・切り出し」の４つの動作モードを切り替え可能とする。

図７に示す表を参照して、動作モードについて説明する。
（１）マイコン１３５は、動作モードが第１モード（標準モード）に設定された場合に、画像センサ１２に対して撮影解像度２Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１５０度の映像を出力するように制御する。次いで、マイコン１３５は、ＨＤＲ処理部１３１に対してＨＤＲ処理を行わないように制御し、出力制御部１３４に対して解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、画角１５０度で標準ダイナミックレンジの映像が出力されるように制御する。
この結果、第１モードでは、画像センサ１２から撮影解像度２Ｍｐｉｘｅｌ、３０ｆｐｓ水平画角１５０度の映像を画像処理ユニット１３に出力する。ＨＤＲ処理部１３１ではＨＤＲ処理を行わず、画像変形部１３３では歪補正処理と縮小処理を行う。画像処理ユニット１３からは解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、画角１５０度で標準ダイナミックレンジの映像が出力される。

（２）マイコン１３５は、動作モードが第２モード（高ダイナミックレンジ・低フレームレートモード）に設定された場合に、画像センサ１２に対して撮影解像度２Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１５０度の映像を出力するように制御する。次いで、マイコン１３５は、ＨＤＲ処理部１３１に対してＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換するように制御する。次いで、マイコン１３５は、出力制御部１３４に対して解像度１Ｍｐｉｘｅｌ、フレームレート１５ｆｐｓでダイナミックレンジの高い映像が出力されるように制御する。
この結果、第２モードでは、画像センサ１２から撮影解像度２Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１５０度の映像を画像処理ユニット１３に出力する。ＨＤＲ処理部１３１ではＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換し、画像変形部１３３では歪補正処理と縮小処理を行う。画像処理ユニット１３からは解像度１Ｍｐｉｘｅｌ、フレームレート１５ｆｐｓでダイナミックレンジの高い映像が出力される。この映像は標準モードと比較して同じ解像感である。

（３）マイコン１３５は、動作モードが第３モード（高ダイナミックレンジ・縮小モード）に設定された場合に、画像センサ１２に対して撮影解像度１Ｍｐｉｘｅｌ、フレームレート６０ｆｐｓ、水平画角１５０度の映像を出力するように制御する。次いで、マイコン１３５は、ＨＤＲ処理部１３１に対してＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換するように制御する。次いで、マイコン１３５は、出力制御部１３４に対して解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１５０度でダイナミックレンジの高い映像が出力されるように制御する。
この結果、第３モードでは、画像センサ１２から撮影解像度１Ｍｐｉｘｅｌ、フレームレート６０ｆｐｓ、水平画角１５０度の映像を画像処理ユニット１３に出力する。ＨＤＲ処理部１３１ではＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換し、画像変形部１３３では歪補正処理と縮小処理を行う。画像処理ユニット１３からは解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１５０度でダイナミックレンジの高い映像が出力される。この映像は標準モードと比較して解像感がやや失われている。

（４）マイコン１３５は、動作モードが第４モード（高ダイナミックレンジ・切り出しモード）として、撮像範囲が狭い動作モードに設定された場合に、画像センサ１２に対して撮影解像度１Ｍｐｉｘｅｌ、フレームレート６０ｆｐｓ、水平画角１００度の映像を出力するように制御する。次いで、マイコン１３５は、ＨＤＲ処理部１３１に対してＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換するように制御する。マイコン１３５は、出力制御部１３４に対して解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１００度でダイナミックレンジの高い映像が出力されるように制御する。この映像は標準モードと比較して同じ解像感であり、第３モードと比較して解像感は高くなっている。
この結果、第４モードでは、画像センサ１２から撮影解像度１Ｍｐｉｘｅｌ、フレームレート６０ｆｐｓ、水平画角１００度の映像を画像処理ユニット１３に出力する。ＨＤＲ処理部１３１ではＨＤＲ処理を行うことでフレームレートが１／２でダイナミックレンジの高い映像に変換し、画像変形部１３３では歪補正処理と縮小処理を行う。画像処理ユニット１３からは解像度１Ｍｐｉｘｅｌ、フレームレート３０ｆｐｓ、水平画角１００度でダイナミックレンジの高い映像が出力される。この結果、切り出しモードでは、例えば図６に示すように画像センサの中央部の映像が切り出される。

１…テレビ会議システム、１０…撮像装置、１００…テレビ会議端末、１１…レンズ、１２…画像センサ、１３…画像処理ユニット、１４…Ｉ／Ｆ、２０…処理装置、１３１…ＨＤＲ処理部、１３２…画像調整部、１３３…画像変形部、１３４…出力制御部、１３５…マイコン、１３６…メモリ

特開２００３−１６９２５９公報

Claims (10)

1. 被写体の撮影の際に設定される撮影解像度、フレームレート、を夫々切り替える手段を備えた画像センサからの露出時間の異なる画像データに基づいて、ダイナミックレンジの高い画像を合成する画像処理装置であって、
   前記画像センサにより撮影された露出時間の異なる映像フレームを合成処理する合成処理部と、
   動作モードに基づいて、前記画像センサ、前記合成処理部を制御する制御手段と、を備え、
   前記制御手段は、前記動作モードに基づいて、前記合成処理部をダイナミックレンジが高い画像を合成するように制御する場合に、前記画像センサの撮影解像度を下げることによって前記画像センサのフレームレートを維持するように制御する、ことを特徴とする画像処理装置。
2. 前記画像センサはさらに、撮影範囲を切り替える手段を備え、
   前記制御手段は、前記動作モードに基づいて、前記合成処理部をダイナミックレンジが高い画像を合成するように制御する場合に、前記画像センサの撮影範囲を狭くするように制御すること、を特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、指示された前記動作モードの種類に応じて、前記画像センサを撮影解像度、フレームレート、水平画角の切替を行うように制御し、前記合成処理部を合成処理の有効／無効の切替を行うように制御する、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像センサは、短時間露光の映像フレームと長時間露光の映像フレームを交互に出力するとともに、前記制御手段によるモード切替信号に応じて、撮影解像度、フレームレート、水平画角の切替を行う、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記合成処理部は、前記制御手段からの動作モードの切替に応じて前記合成処理の有効／無効の切替信号を受け付け、前記切替信号が有効である場合に、前記画像センサから短時間露光の映像フレームを取得した際は、取得した映像フレームを記憶手段に書き込み、前記画像センサから長時間露光の映像フレームを取得した際は、前記記憶手段に蓄積しておいた短時間露光の映像フレームを読み出し、長時間露光の映像フレームと短時間露光の映像フレームとを合成してダイナミックレンジの広い画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記合成処理部により生成された合成フレームに含まれる短時間露光の映像と長時間露光の映像とに対して色調整処理、ベイヤ変換処理を行い前記記憶手段に蓄積する画像調整部を備える、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段からモード切替に応じた有効／無効の切替信号を受け付け、前記切替信号が有効である場合に、前記記憶手段から映像フレームを取得し、取得した映像フレームに対して縮小処理、歪補正処理を行い前記記憶手段に書き戻す画像変形部を備える、ことを特徴とする請求項６に記載の画像処理装置。
8. 出力フレームレートを切り替えるフレームレート切替手段を備えた出力制御部を備え、
   前記出力制御部は、前記制御手段によるモード切替に応じて、前記記憶手段から取得する映像フレームを切り替え、出力フレームレートを切り替える、ことを特徴とする請求項７に記載の画像処理装置。
9. 被写体の撮影の際に設定される撮影解像度、フレームレート、を夫々切り替える手段を備えた画像センサからの露出時間の異なる画像データに基づいて、ダイナミックレンジの高い画像を合成する画像処理方法であって、
   前記画像センサにより撮影された露出時間の異なる映像フレームを合成処理する合成処理ステップと、
   動作モードに基づいて、前記画像センサ、前記合成処理ステップを制御する制御ステップと、を備え、
   前記制御ステップは、前記動作モードに基づいて、前記合成処理ステップをダイナミックレンジが高い画像を合成するように制御する場合に、前記画像センサの撮影解像度を下げることによって前記画像センサのフレームレートを維持するように制御することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法の各ステップをプロセッサに実行させることを特徴とする画像処理プログラム。

Images