JP5247594B2

JP5247594B2 - 画像処理装置及びその制御方法、プログラム

Info

Publication number: JP5247594B2
Application number: JP2009130934A
Authority: JP
Inventors: 公崇新井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-05-29
Filing date: 2009-05-29
Publication date: 2013-07-24
Anticipated expiration: 2029-05-29
Also published as: JP2010278889A

Description

本発明は、画像データを符号化して伝送するにあたり、符号化前に前記画像データを指定のビット数に量子化する画像処装置及びその制御方法、プログラムに関するものである。

近年、撮像機器や、出力機器の階調再現に関連する性能向上によって、これまでになかった高精度な画像再現が可能となっている。

例えば、撮像機器では、ハイダイナミックレンジ（ＨＤＲ）に特化して２０段階程のレンジを備えた特殊なカメラが登場している。通常のカメラでもセンサー自体のダイナミックレンジ（ＤＲ）の向上や感度の異なる２種類のセンサーを搭載して別々の輝度域の情報を取得するカメラもある。更に、高感度撮影のノイズ低減処理等の画像処理技術向上によっても高いダイナミックレンジを実現することができるようになっている。

一方、出力機器側でも、ＤＲ再現能力が向上している。例えば、ディスプレイの場合、バックライトあるいはパネルの性能向上により、従来のＣＲＴと比較して５倍程度にＤＲが大きくなっている。また、階調再現数も向上しており、バックライトと液晶パネルを別個にそれぞれ８ビットで制御し、合わせて１６ビット表示を可能にするディスプレイがある。更には、駆動周波数を倍にし、増加した表示フィールドに同一画像あるいは明るさの異なる同シーンの画像を表示することにより９ビット相当の画像を表示することができるディスプレイがある。プリンターであっても、従来の８ビット印刷だけでなく１６ビット対応の出力機器が市場に出てきている。

他方、出力機器に画像を伝送する場合、伝送容量が規格で決まっており、例えば、放送波やＤＶＩケーブルであれば８ビット、デジタルハイビジョンやＨＤＭＩ、ブルーレイでは８ビットを超えるデータを取り扱えるようになっている。

しかしながら、撮像機器のＤＲが拡大したとはいえ、自然界の持つＤＲは、撮像機器のダイナミックレンジよりはるかに大きいことが知られている。例えば、屋外でのポートレート撮影では、人物に露出量を合わせると背景の空や雲が白く飛んでしまったり、逆に空や雲に露出量を合わせると人物が黒く潰れてしまったり、一回のシャッターでは全領域の良好な階調情報を取得することができない場合がある。そのため、シーンを複数輝度域として捉え露光条件を変えてマルチショット撮影を行うことにより、複数の画像群をもってカメラのダイナミックレンジを越えるダイナミックレンジで、一つのシーンの全データを取得する方法がある。また、これら撮像画像の情報から、各画素位置の被写体輝度に応じて、どの露出情報を用いるかを判定し、それぞれの露光量に応じてゲインをかけて合成を行い、１枚のＨＤＲ画像データとして保存する場合もある。

この際、撮影した複数露出から合成する画像データは、３２ビット超の浮動少数点形式や、Ｎ枚の画像情報（Ｎ×８ビット）から構成されている。従って、静止画・動画にかかわらず、これらＨＤＲ画像データを出力機器に伝送するには、伝送時の符号化方法に合わせた画像ビット数に量子化する必要がある。

量子化の例として、例えば、３２ビット超の浮動少数点形式の場合、単純に１６ビットあるいは８ビットの整数型にビットシフトを含む変換をする場合、ビット落ちによって暗部のディティールがほとんど失われてしまう。また、γ等の階調変換を行った後に量子化をする場合、ハイライトの階調が著しく損なわれることがある。また、複数露出の画像群を擁するデータの場合、伝送すべき画像容量は単純に画像数倍になるため、単純に１画像あるいは１フレーム内に全画像を詰め込む方法では解像度が大きく低下する。

その他の方法として、ｉＣＡＭやＲｅｔｉｎｅｘといったトーンマッピングによって８ビットの画像データに変換する方法がある。この場合、トーンマッピングによる画像障害（ハロ・バンディング）の発生や、元々のシーンの情報を保持したまま伝送できないため、出力機器の輝度特性に合わせたトーンマッピングが必要という課題がある。更には、トーンマッピングの画像処理は非常に重いため、リアルタイムでの画像処理は困難である。

量子化以外の方法として、符号化時に画像の周波数情報を利用して、低周波の圧縮率を上げ、高周波はあまり圧縮しない等の手法によって伝送容量内に抑えたデータ量にする方法がある。但し、符号化前の画像ビット数が符号化ビット数より大きい場合は過圧縮が発生するため階調情報が大きく損なわれる。また、別の方法として、Ｈ２６４等の１４ビット対応符号化方式を利用して符号化前のデータ容量を確保する方法がある。この場合、元々用意されている８ビット容量に比べ６ビット分の情報を持つことができる。但し、この領域に画像情報を詰め込むと、映像以外の音声情報やメタデータ等の情報が保持できないという問題がある。

また、別の場合として、現在の方式よりも優れた符号化方式が出現した場合、復号化の規格やアーキテクチャの更新が必要であり、市場に浸透するには時間がかかる。

また、特許文献１では、入力する映像情報が、走査線数が約１０００本でインタレース走査の高精細方式の情報である場合には、これを走査線数が約５００本でプログレッシブ走査の出力映像情報に変換する解像度制限回路を備えるものがある。この特許文献１では、１フレーム期間を２フィールド期間に分け、明フィールドで高階調の表示データＤｌｉｇｈｔを表示し、暗フィールドで低階調の表示データＤｄａｒｋを表示することにより、入力表示データＤｉｎの階調を擬似的に表示する。

特開２００２−２１８４１２号公報

上述のように、現状の伝送方法・容量でＨＤＲ画像データをリアルタイムで送信・受信・再生を実現する場合、符号化前に多ビットデータの量子化が必要である。この際、情報量を大きく削減し容量を縮小してリアルタイム性を確保するか、情報量を保持してリアルタイム性が著しく損うが画質を確保するかというトレードオフが生じるという課題がある。

本発明は上記の課題に鑑みてなされたものであり、現在の符号化方法が対象としているビット数に量子化する際に情報量の欠落を抑制する量子化を実現することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、画像データを符号化して伝送するにあたり、符号化前に前記画像データを指定のビット数に量子化する画像処理装置であって、
量子化ビット数を設定する量子化ビット数設定手段と、
入力画像データのビット数と前記量子化ビット数を比較する比較手段と、
前記入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータを設定するパラメータ設定手段と、
前記比較手段の比較の結果、前記入力画像データのビット数が、前記量子化ビット数より大きい場合、前記パラメータに従って、前記入力画像データの各画素が前記濃画像領域と前記淡画像領域のどちらの領域に属するかを示す濃淡マップを生成する濃淡マップ生成手段と、
前記入力画像データの各画素において、前記濃淡マップが示す前記淡画像領域に属する画素については、前記量子化ビット数と前記淡画像領域を量子化するための淡ゲイン量を用いて量子化を行い、前記濃淡マップが示す前記濃画像領域に属する画素については、前記量子化ビット数と前記濃画像領域を量子化するための濃ゲイン量を用いて量子化を行う量子化手段と、
前記量子化手段で量子化された各画素に基づき、量子化画像データを生成する量子化画像生成手段と
を備える。

本発明によれば、現在の符号化方法が対象としているビット数に量子化する際に情報量の欠落を抑制する量子化を実現することができる画像処理装置及びその制御方法、プログラムを提供できる。

本発明の実施形態１の画像処理装置のハードウェア構成を示すブロック図である。本発明の実施形態１の画像処理装置の主要な機能構成を示すブロック図である。本発明の実施形態１の量子化画像生成処理を示すフローチャートである。本発明の実施形態１の量子化ビット設定ＵＩのダイアログウィンドウ一例を示す図である。本発明の実施形態１の量子化ビット設定ＵＩの量子化ビット設定動作を説明するための状態遷移図である。本発明の実施形態１の濃淡分離パラメータ設定ＵＩのダイアログウィンドウの一例を示す図である。本発明の実施形態１の濃淡分離パラメータ設定ＵＩのパラメータ設定動作を説明するための状態遷移図である。本発明の実施形態１の濃淡マップ生成処理部の詳細構成を示すブロック図である。本発明の実施形態１の濃淡マップ生成処理の詳細を示すフローチャートである。本発明の実施形態１の濃淡量子化部の詳細構成を示すブロック図である。本発明の実施形態１の濃淡量子化処理の詳細を示すフローチャートである。本発明の実施形態２の画像処理装置の機能構成を示すブロック図である。本発明の実施形態２の量子化画像生成処理を示すフローチャートである。本発明の実施形態２の露出量設定ＵＩのダイアログウィンドウの一例を示す図である。本発明の実施形態２の露出量設定ＵＩの露出量設定動作を説明するための状態遷移図である。本発明の実施形態２の画像合成部の詳細構成を示すブロック図である。本発明の実施形態２の合成処理の詳細を示すフローチャートである。本発明の実施形態２の使用画像選択処理の詳細を示すフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
図１Ａは本発明の実施形態１の画像処理装置のハードウェア構成を示すブロック図である。

図１Ａにおいて、２１０１はＣＰＵであり、画像処理装置を構成する各種構成要素を制御する。２１０２はメインメモリであり、ＲＡＭやＲＯＭ等で構成され、ＲＡＭはデータ作業領域や一時待避領域として機能する。ＲＯＭは、本発明の各実施形態を実現するプログラムを含む各種制御プログラムを記憶している。

２１０３はＳＣＳＩインタフェース（Ｉ／Ｆ）であり、ＳＣＳＩデバイス（例えば、ＨＤＤ２１０５）との接続及びそれに対するデータ転送を制御する。２１０４はネットワークインタフェース（Ｉ／Ｆ）であり、外部ネットワーク（ローカルエリアネットワーク２１１３）との接続及びそれを介するデータ送受信を制御する。２１０５はＨＤＤ（ハードディスクドライブ）であり、上記各種制御プログラム（ＯＳや、各種アプリケーション）や設定データ等の各種データを記憶する。

尚、実施形態１では、ＨＤＤ２１０５は、ＳＣＳＩ形式のＨＤＤを例に挙げて説明しているが、これに限定されない。例えば、ＩＤＥ形式、ＳＡＴＡ形式等の他の形式のＨＤＤであっても構わない。その場合、各形式に応じたインタフェースが構成されることは言うまでもない。

２１０６はグラフィックアクセラレータであり、ディスプレイ２１０７に出力する画像（例えば、ＣＰＵ２１０１の制御によって生成される各種ユーザインタフェース（ＵＩ））の表示を制御する。２１１０はキーボード／マウスコントローラであり、入力デバイス（キーボード２１１１やマウス２１１２）との接続及びそれらの制御を実行する。２１１４はシステムバスであり、例えば、ＰＣＩバス、ＩＳＡバス等で構成され、画像処理装置を構成する各種構成要素を相互に接続する。

図１Ｂは本発明の実施形態１の画像処理装置の主要な機能構成を示すブロック図である。

図１Ｂにおいて、１０１は量子化ビット数設定部、１０２はビット数比較部、１０３は濃淡分離パラメータ設定部、１０４は濃淡マップ生成部、１０５は濃淡量子化部、１０６は濃淡量子化画像生成部である。

量子化ビット数設定部１０１は、目標とする量子化ビット数を設定する。ビット数比較部１０２は、入力画像データのビット数と設定された量子化ビット数を比較する。濃淡分離パラメータ設定部１０３は、入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータである濃淡分離パラメータを設定する。

濃淡マップ生成部１０４は、比較の結果、入力画像データのビット数が設定された量子化ビット数より大きい場合、濃淡分離パラメータに従って、入力画像データの各画素が濃画像領域と淡画像領域のどちらの領域に属するかを示す濃淡マップを生成する。濃淡量子化部１０５は、生成された濃淡マップと設定された量子化ビット数に基づき、入力画像データの各画素について、その画素が属する領域に対応する量子化方法で量子化を行う。濃淡量子化画像生成部１０６は、量子化された各画素に基づく量子化画像データとして、濃淡マップを付帯情報として有する濃淡量子化画像データを生成する。

尚、これらの各種構成要素は、専用のハードウェアで実現されても良いし、プログラムによって実現される機能モジュールとして実現されても良いし、あるいはそれらの組み合わせで実現されても良い。

次に、この画像処理装置における量子化画像生成処理について、図２のフローチャートを用いて説明する。

図２は本発明の実施形態１の量子化画像生成処理を示すフローチャートである。

実施形態１における量子化画像生成処理は、量子化ビット数設定処理、ビット数比較処理、濃淡分離パラメータ設定処理、濃淡マップ生成処理、濃淡量子化処理、濃淡量子化画像生成処理、以上の６つの処理を経て濃淡量子化画像データを生成する。

ここで、量子化ビット数設定処理及び濃淡分離パラメータ設定処理はそれぞれ、ＵＩ（ユーザインタフェース）を介して量子化ビット数及び濃淡分離パラメータを設定する処理である。ビット数比較処理は、入力画像と設定した量子化ビット数を比較する処理である。濃淡マップ生成処理は、入力情報と濃淡分離パラメータから濃淡マップを生成する処理である。

まず、ステップＳ２０１で、量子化ビット数設定部１０１は、メモリ確保等の初期化動作を行い、量子化ビット数設定ＵＩを表示する。この量子化ビット数設定ＵＩの詳細については後述する。

ステップＳ２０２で、ビット数比較部１０２は、量子化ビット数設定ＵＩにより設定された量子化ビット数を読み込む。

ステップＳ２０３で、ビット数比較部１０２は、入力画像データのビット数と設定された量子化ビット数を比較する。

ここで、入力画像データのビット数は、画像データが、カメラＲＡＷやＴｉｆｆ、.ｈｄｒ、.ｐｆｍ等の形式でファイルタグにビット数が記載されているものはその値を利用して取得する。あるいは、入力画像データのビット数は、整数型の数値でデータを保持している画像データ内の信号最大値を含むことが可能な最小ビット数を利用して取得する。また、別の場合として、浮動小数点でデータを保持している場合には、入力画像データのビット数は、３２ビットとして扱う。

ステップＳ２０３の比較の結果、入力画像データのビット数が設定ビット数（量子化ビット数）より大きい場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４へ進む。一方、入力画像データのビット数が設定ビット数以下である場合（ステップＳ２０３でＮＯ）、ステップＳ２０８に進み、入力画像データをメインメモリ２１０２に記録する。

ステップＳ２０４で、濃淡分離パラメータ設定部１０３は、濃淡分離パラメータ設定ＵＩを表示する。

ステップＳ２０５で、濃淡マップ生成部１０４は、濃淡分離パラメータ設定ＵＩにより設定された濃淡分離パラメータを読み込む。ここで、濃淡分離パラメータとは、入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータである。

ステップＳ２０６で、濃淡マップ生成部１０４は、入力画像データと設定された濃淡分離パラメータから、濃淡マップを生成し、メインメモリ２１０２に記録する。ここで、濃淡マップとは、入力画像データの各画素が、濃画像領域と淡画像領域のどちらに属するかを示すための情報（分布）である。

ステップＳ２０７で、濃淡量子化部１０５は、入力画像データとステップＳ２０２で設定された量子化ビット数とステップＳ２０３で生成した濃淡マップとを用いて、濃淡量子化処理を行う。この処理の詳細については、後述する。

ステップＳ２０８で、濃淡量子化画像生成部１０６は、量子化された画像データを濃淡量子化画像データ（量子化された各画素に基づいて生成される）として、メインメモリ２１０２に記録する。

ステップＳ２０９で、画像処理装置は、終了に関する動作として、メインメモリ２１０２の開放を行う。

次に、ステップＳ２０１にて表示される量子化ビット設定ＵＩのダイアログウィンドウについて、図３を用いて説明する。

図３は本発明の実施形態１の量子化ビット設定ＵＩのダイアログウィンドウ一例を示す図である。

図３において、３０１は量子化ビット数を入力するテキストボックスであり、入力デバイスを介してユーザがビット数（整数）を直接入力する。３０２は量子化ビット数設定ボタンであり、入力デバイスを介してユーザが押下すると、設定した量子化ビット数をメインメモリ２１０２に記録する。３０３は終了ボタンであり、入力デバイスを介してユーザが押下すると、メインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、量子化ビット設定ＵＩの量子化ビット設定動作について、図４の状態遷移図を用いて説明する。

図４は本発明の実施形態１の量子化ビット設定ＵＩの量子化ビット設定動作を説明するための状態遷移図である。

ステート４０１では、初期設定値の読込、ＵＩの表示等の初期化動作を行う。次に、ステート４０２では、図３の量子化ビット設定ＵＩでのユーザ操作判断待ち状態となる。ここで、テキストボックス３０１に値が設定されると、ステート４０３へ移行し結果を反映した後、ステート４０２へ移行する。量子化ビット数設定ボタン３０２が押下されると、ステート４０４へ移行する。ステート４０４では、設定された量子化ビット数を保存（パラメータとして設定）してステート４０２へ移行する。終了ボタン３０３が押下されると、ステート４０５へ移行する。ステート４０５では、終了に関する動作として、メインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、ステップＳ２０４にて表示される濃淡分離パラメータ設定ＵＩのダイアログウィンドウについて、図５を用いて説明する。

図５は本発明の実施形態１の濃淡分離パラメータ設定ＵＩのダイアログウィンドウの一例を示す図である。

図５において、５０１は画像データのヒストグラムを表示するヒストグラム表示ウィンドウである。ヒストグラム表示ウィンドウ５０１では、分離輝度を基準にして、淡画像領域（最小信号（輝度）値から分離輝度までの範囲）と濃画像領域（分離輝度値から最大信号（輝度）値）が規定される。また、ヒストグラム表示ウィンドウ５０１においては、淡画像領域は、濃画像領域に対して白黒反転して表示される。５０２は分離輝度設定バー（スライダバー）であり、ユーザがマウス２１１２でドラッグすることにより、スライダーバー上の値にて濃淡分離パラメータが表示されると共に、濃淡分離パラメータ入力テキストボックス５０３にその値が表示される。また、濃淡分離パラメータ入力テキストボックス５０３の設定結果と連動して、分離輝度設定バー５０２で示される値が変更される。

５０３は濃淡分離パラメータ入力テキストボックスであり、ユーザがパラメータ値を直接入力すると濃淡分離パラメータが数値で表示されると共に、分離輝度設定バー５０２の表示が入力した値となる。５０４はパラメータ設定ボタンであり、入力デバイスを介してユーザが押下すると設定したパラメータをメインメモリ２１０２に記録する。５０５は終了ボタンであり、入力デバイスを介してユーザが押下するとメインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、濃淡分離パラメータ設定ＵＩのパラメータ設定動作について、図６の状態遷移図を用いて説明する。

図６は本発明の実施形態１の濃淡分離パラメータ設定ＵＩのパラメータ設定動作を説明するための状態遷移図である。

ステート６０１では、初期設定値の読込、ＵＩの表示等の初期化動作を行う。次に、ステート６０２では、図５の濃淡分離パラメータ設定ＵＩでのユーザ操作判断待ち状態となる。ここで、分離輝度設定バー５０２が操作されると、ステート６０３へ移行し、濃淡分離パラメータ入力テキストボックス５０３に結果を反映した後、ステート６０５へ移行する。濃淡分離パラメータ入力テキストボックス５０３に値が設定されると、ステート６０４へ移行し、分離輝度設定バー５０２に結果を反映した後、ステート６０５へ移行する。

ステート６０５では反映された結果に応じてヒストグラムを再描画し、ステート６０２へ移行する。設定ボタン５０４が押下されると、ステート６０６へ移行する。ステート６０６では、入力されたパラメータを設定してステート６０２へ移行する。終了ボタン５０５が押下されると、ステート６０７へ移行する。ステート６０７では、終了に関する動作として、メインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、濃淡マップ生成部１０４の詳細構成について、図７を用いて説明する。

図７は本発明の実施形態１の濃淡マップ生成処理部の詳細構成を示すブロック図である。

図７において、７０１は輝度算出部、７０２は濃淡判定部、７０３は濃淡記録部である。

輝度算出部７０１は、処理対象画像データの画素の信号値として、その輝度値を算出する。濃淡判定部７０２は、入力画像データの各画素の信号値と設定された濃淡分離パラメータとを比較して、画素が濃画像領域と淡画像領域のどちらの領域に属するかを判定する。濃淡記録部７０３は、その判定結果を濃淡マップとしてメインメモリ２１０２に記録する。

次に、ステップＳ２０６の濃淡マップ生成処理の詳細について、図８のフローチャートを用いて説明する。

図８は本発明の実施形態１の濃淡マップ生成処理の詳細を示すフローチャートである。

実施形態１における濃淡マップ生成処理は、輝度算出処理、濃淡判定処理、濃淡記録処理、以上の３つの処理を経て濃淡マップを生成する。

ステップＳ８０１で、濃淡マップ生成部１０４は、メモリ確保や画素番号を示す画素変数ｉを０にする等の初期化動作を行う。

ステップＳ８０２で、濃淡判定部７０２は、ステップＳ２０２にて設定した濃淡分離パラメータを読み込む。

ステップＳ８０３で、輝度算出部７０１は、式１より算出した画素変数ｉの画素値（画素ｉ）に対応する輝度を算出する。ここで、Ｙは輝度を表し、ＲＧＢは画素変数ｉに対応する画素値であり、Ｒ_max、Ｇ_max、Ｂ_maxは、入力画像データが表現可能な最大画素値である。

ステップＳ８０４で、濃淡判定部７０２は、ステップＳ８０２で読み込んだ濃淡分離パラメータとステップＳ８０３で算出した輝度を比較する。比較の結果、濃淡分離パラメータが算出した輝度より高い場合（ステップＳ８０４でＹＥＳ）、ステップＳ８０５へ進み、濃淡記録部７０３は、画素変数ｉに対応した濃淡マップに０を記録する。一方、濃淡分離パラメータが算出した輝度以下である場合（ステップＳ８０４でＮＯ）、ステップＳ８０６へ進み、濃淡記録部７０３は、画素変数ｉに対応した濃淡マップに１を記録する。

ステップＳ８０７で、濃淡判定部７０２は、画素変数ｉに１を加える。ステップＳ８０８で、濃淡記録部７０３は、画素番号を表す画素変数ｉが画像データの総画素数より大きいか否かを判定する。大きくない場合（ステップＳ８０８でＮＯ）、ステップＳ８０３へ戻る。一方、大きい場合（ステップＳ８０８でＹＥＳ）、ステップＳ８０９へ進む。ステップＳ８０９で、濃淡マップ生成部１０４は、終了に関する動作として、メインメモリ２１０２の開放を行う。

次に、濃淡量子化部１０５の詳細構成について、図９を用いて説明する。

図９は本発明の実施形態１の濃淡量子化部の詳細構成を示すブロック図である。

図９において、９０１は濃淡判定部、９０２は淡ゲイン算出部、９０３は濃ゲイン算出部、９０４は淡画素算出部、９０５は濃画素算出部、９０６は量子化部である。

濃淡判定部９０１は、生成された濃淡マップに従って、処理対象の画素が濃画像領域に属しているか、淡画像領域に属しているかを判定する。淡ゲイン算出部９０２は、処理対象の淡画像領域に属する画素を量子化するためのゲイン量を算出する。濃ゲイン算出部９０３は、処理対象の濃画像領域に属する画素を量子化するためのゲイン量を算出する。

淡画素算出部９０４は、処理対象の淡画像領域に属する画素の信号値を算出する。濃画素算出部９０５は、処理対象の濃画像領域に属する画素の信号値を算出する。量子化部９０６は、設定された量子化ビット数と算出したゲイン量とから、処理対象の画素を量子化する。

次に、ステップＳ２０７の濃淡量子化処理の詳細について、図１０を用いて説明する。

図１０は本発明の実施形態１の濃淡量子化処理の詳細を示すフローチャートである。

実施形態１における濃淡量子化処理は、濃淡判定処理、淡ゲイン算出処理、濃ゲイン算出処理、淡画素算出処理、濃画素算出処理、量子化処理、以上の６つの処理を経て濃淡量子化を行う。

ステップＳ１００１で、濃淡量子化部１０５は、メモリ確保や画素番号を表す画素変数ｉを０にする等の初期化動作を行う。

ステップＳ１００２で、濃淡判定部９０１は、ステップＳ２０３にて生成した濃淡マップを読み込む。並びに、量子化部９０６は、ステップＳ２０４で設定した量子化ビット数を読み込む。

ステップＳ１００３で、濃淡判定部９０１は、読み込んだ濃淡マップに従って、画素変数ｉが淡画像領域に属しているか否かを判定する。判定の結果、淡画像領域に属している場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００４へ進む。一方、淡画像領域に属していない場合（ステップＳ１００３でＮＯ）、ステップＳ１００５へ進む。

ステップＳ１００４で、淡ゲイン算出部９０２は、式２より淡ゲイン量を算出する。ここで、淡ゲイン量をα_l、濃淡分離パラメータをＹ_s、画素の輝度をＹ_pとする。

ステップＳ１００５で、濃ゲイン算出部９０３は、式３より濃ゲイン量を算出する。ここで、濃ゲイン量をα_d、濃淡分離パラメータをＹ_s、画素の輝度をＹ_p、入力画像データが表現可能な最大画素値の輝度をＹ_maxとする。

ステップＳ１００６で、淡画素算出部９０４及び量子化部９０６は、式４よりステップＳ１００２で取得した量子化ビット数とステップＳ１００４で算出した淡ゲイン量から量子化した画素値を割り当てる（量子化する）。ここで、割当後の画素変数ｉの画素値をＲ_out、Ｇ_out、Ｂ_out（端数切捨）、量子化ビット数をβ、画素変数ｉに対応する画素値をＲＧＢ、Ｒ_max、Ｇ_max、Ｂ_maxは入力画像データが表現可能なＲＧＢの最大画素値とする。

ステップＳ１００７で、濃画素算出部９０５及び量子化部９０６は、式５よりステップＳ１００２で取得した量子化ビット数とステップＳ１００５で算出したゲイン量から量子化した画素値を割り当てる（量子化する）。ここで、割当後の画素変数ｉの画素値をＲ_out、Ｇ_out、Ｂ_out（端数切捨）、量子化ビット数をβ、画素変数ｉに対応する画素値をＲＧＢ、濃淡分離パラメータをＹ_s、画素変数ｉに対応する輝度信号ならびに色差信号をＹＣｒＣｂとする。

ステップＳ１００８で、濃淡量子化部１０５は、画素番号を表す画素変数ｉに１を加える。ステップＳ１００９で、濃淡量子化部１０５は、画素番号を表す画素変数ｉが画像データの総画素数より大きいか否かを判定する。大きくない場合（ステップＳ１００９でＮＯ）、ステップＳ１００３へ戻る。一方、大きい場合（ステップＳ１００９でＹＥＳ）、ステップＳ１０１０へ進む。ステップＳ１０１０で、濃淡量子化部１０５は、終了に関する動作として、メインメモリ２１０２の開放を行う。

このように、図１０の濃淡量子化処理は、淡画像領域に属すると判定された画素については、０を最小値、濃淡分離パラメータを最大値として、量子化ビット数に基づく量子化を行う。また、濃画像領域に属すると判定された画素については、濃淡分離パラメータを最小値、入力画像データのビット数で表現可能な最大信号値を最大値として、量子化ビット数に基づく量子化を行う。

選択的には、淡画像領域に属すると判定された画素については、０を最小値、濃淡分離パラメータを最大値として、量子化ビット数に基づく量子化を行う。また、濃画像領域に属すると判定された画素については、０を最小値、入力画像データのビット数で表現可能な最大信号値を最大値として、量子化ビット数に基づく量子化を行う。

以上説明したように、実施形態１によれば、入力画像データの各画素を設定した濃淡画像領域毎に符号化方法に対応したビット数で、符号化前の画像データの量子化を行う。そのため、従来の量子化方法、あるいは符号化時の圧縮によって失われる暗部ハイライト部のデータを良好に保持することが可能となる。また、各画素位置毎に濃あるいは淡のみの画素値を排他的に保持することにより、１枚の画像あるいは１フレーム内に２種類の輝度範囲で量子化したデータを混在させることができる。そのため、従来の符号化方法を使用して伝送するとともに、複数のデータの同時送信も可能である。

また、通常の画像伝送容量以上に大きく別の帯域を必要としないため、伝送時に音声やメタデータ等の伝送容量を十分確保することができる。また、実際の伝送時には１ビット分の濃淡マップを追加するのみであることから通常の画像伝送容量以上に大きく別の帯域を必要としないため、伝送時に音声やメタデータ等の伝送容量を十分確保することができる。

＜実施形態２＞
図１１は本発明の実施形態２の画像処理装置の機能構成を示すブロック図である。

尚、実施形態２では、実施形態１との差異のみ説明する。図１１において、１１０１は露出量設定部、１１０２は画像合成部、１１０３は濃淡分離パラメータ設定部、１１０４は濃淡マップ生成部、１１０５は量子化ビット数設定部、１１０６は濃淡量子化部、１１０７は濃淡量子化画像生成部である。

露出量設定部１１０１は、処理対象の入力画像データの露出量を設定する。画像合成部１１０２は、設定された各入力画像データとそれらの露出量とから、入力画像データを合成する。濃淡分離パラメータ設定部１１０３は、図３の濃淡分離パラメータ設定部１０３に対応する。濃淡マップ生成部１１０４、図３の濃淡マップ生成部１０４に対応する。量子化ビット数設定部１００５は、図３の量子化ビット数設定部１０１に対応する。濃淡量子化部１１０６は、図３の濃淡量子化部１０５に対応する。濃淡量子化画像生成部１１０７は、図３の濃淡量子化画像生成部１０６に対応する。

次に、この画像処理装置における、複数の露出量の異なる画像を１画像あるいは１フレームにする際の、量子化処理における量子化画像生成処理について、図１２のフローチャートを用いて説明する。

図１２は本発明の実施形態２の量子化画像生成処理を示すフローチャートである。

実施形態２における量子化画像生成処理は、露出量設定処理、合成処理、濃淡分離パラメータ設定処理、濃淡マップ生成処理、量子化ビット数設定処理、濃淡量子化処理、濃淡量子化画像生成処理、以上の７つの処理を経て濃淡量子化画像データを生成する。

ここで、露出量入力処理、濃淡分離パラメータ設定処理及び量子化ビット数設定処理はそれぞれ、ＵＩを介して、露出量、濃淡分離パラメータ及び量子化ビット数を設定する処理である。合成処理は、複数種類の露出量の画像データを合成する処理である。濃淡マップ生成処理は、入力情報と濃淡分離パラメータからの濃淡マップを生成する処理である。

まず、ステップＳ１２０１で、露出量設定部１１０１は、メモリ確保等の初期化動作を行い、露出量設定ＵＩを表示する。この露出量設定ＵＩの詳細については後述する。

ステップＳ１２０２で、画像合成部１１０２は、露出量設定ＵＩにより設定された、処理対象とする各入力画像データの露出量を読み込む。

ステップＳ１２０３で、画像合成部１１０２は、各入力画像データと設定されたそれぞれの露出量とから、入力画像データを合成する。また、濃淡分離パラメータ設定部１１０３は、濃淡分離パラメータ設定ＵＩを表示する。

ステップＳ１２０４で、濃淡マップ生成部１１０４は、濃淡分離パラメータ設定ＵＩにより設定された濃淡分離パラメータを読み込む。

ステップＳ１２０５で、合成画像データとステップＳ１２０４で設定された濃淡分離パラメータから、濃淡マップを生成し、メインメモリ２１０２に記録する。また、量子化数ビット数設定部１１０５は、量子化ビット数設定ＵＩを表示する。

ステップＳ１２０６で、濃淡量子化部１１０６は、量子化ビット数設定ＵＩにより設定された量子化ビット数を読み込む。

ステップＳ１２０７で、濃淡量子化部１１０６は、合成画像データとステップＳ１２０５で生成した濃淡マップとステップＳ１２０６で設定された量子化ビット数とを用いて、濃淡量子化処理を行う。

ステップＳ１２０８で、濃淡量子化画像生成部１１０７は、量子化された画像データを濃淡量子化画像データとして、メインメモリ２１０２に記録する。

ステップＳ１２０９で、画像処理装置は、終了に関する動作として、メインメモリ２１０２の開放を行う。

次に、ステップＳ１２０１にて表示される露出量設定ＵＩのダイアログウィンドウについて、図１３を用いて説明する。

図１３は本発明の実施形態２の露出量設定ＵＩのダイアログウィンドウの一例を示す図である。

図１３において、１３０１は各画像データの露出量表であり、入力される画像データがＲＡＷデータあるいはＡＰＥＸ値を有する場合、絞り値、シャッタースピード、ＩＳＯ感度が自動で表示される。また、画像番号は、アンダー露出のものから順に番号が割り振られる。その他の場合、ユーザが絞り値、シャッタースピード、ＩＳＯ感度を手動で入力する。また、入力後にアンダー露出の順にソートされる。１３０２はヒストグラム表示ウィンドウであり、露出量表１３０１で選択された画像データのヒストグラムを表示する。１３０３は設定ボタンであり、入力デバイスを介してユーザが押下すると、露出量表１３０１にて入力された露出量を読み込む。１３０４は終了ボタンであり、入力デバイスを介してユーザが終了ボタンを押下すると、メインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、露出量設定ＵＩの露出量設定動作について、図１４の状態遷移図を用いて説明する。

図１４は本発明の実施形態２の露出量設定ＵＩの露出量設定動作を説明するための状態遷移図である。

ステート１４０１では、初期設定値の読込、ＵＩの表示等の初期化動作を行う。次に、ステート１４０２では、図１３の露出量設定ＵＩでのユーザ操作判断待ち状態となる。ここで、ユーザが露出量表１３０１のセル内に値を入力するまたは入力されている値を変更すると、ステート１４０３へ移行し、入力終了後に選択された画像番号の情報を保持してステート１４０４へ移行する。そして、ステート１４０４で、ヒストグラムを再描画後、ステート１４０２へ移行する。設定ボタン１３０３が押下されると、ステート１４０５へ移行する。ステート１４０５では、露出量表の値をパラメータとして設定してステート１４０２へ移行する。終了ボタン１３０４が押下されると、ステート１４０６へ移行する。ステート１４０６では、終了に関する動作として、メインメモリ２１０２の開放等の処理を行い、ダイアログウィンドウの表示を終了する。

次に、画像合成部１１０２の詳細構成について、図１５を用いて説明する。

図１５は本発明の実施形態２の画像合成部の詳細構成を示すブロック図である。

図１５において、１５０１は被写体輝度算出部、１５０２はゲイン算出部、１５０３は使用画像選択部、１５０４は画素記録部である。

被写体輝度算出部１５０１は、処理対象の入力画像データの輝度である被写体輝度を算出する。ゲイン算出部１５０２は、処理対象の入力画像データを量子化するためのゲイン量を算出する。使用画像選択部１５０３は、量子化対象とする入力画像データを選択する。画素記録部１５０４は、算出されたゲイン量に基づいて、ゲイン演算（量子化演算）を実行し、その演算結果をメインメモリ２１０２に記録する。

これらの各種構成要素は、専用のハードウェアで実現されても良いし、プログラムによって実現される機能モジュールとして実現されても良いし、あるいはそれらの組み合わせで実現されても良い。

次に、ステップＳ１２０３の合成処理の詳細について、図１６のフローチャートを用いて説明する。

図１６は本発明の実施形態２の合成処理の詳細を示すフローチャートである。

実施形態２における合成処理は、露出量入力処理、被写体輝度ならびに輝度範囲算出処理、ゲイン算出処理、使用画像選択処理、画素記録処理、以上の５つの処理を経て合成画像を生成する。

まず、ステップＳ１６０１で、画像合成部１１０２は、メモリ確保や、画素番号を示す画素変数ｉ、画像番号を示す画像変数ｊを０に設定する等の初期化動作を行う。

ステップＳ１６０２で、被写体輝度算出部１５０１は、ステップＳ１２０２にて取得した露出量を読み込む。

ステップＳ１６０３で、被写体輝度算出部１５０１は、式６より入力画像データの輝度である被写体輝度を算出し、また、被写体輝度算出部１５０１は、式７より入力画像データの輝度範囲を算出する。ここで、絞り値をＦ、シャッタースピードをＴ、ＩＳＯ感度をＩＳＯ、被写体輝度をＢＶ、画像データの輝度範囲をＢＶ_maxとする。また、Ａは定数であり、画像ソース（カメラ）の設定により異なる。

ステップＳ１６０４で、ゲイン算出部１５０２は、式８よりゲイン量を算出する。ここで、ゲイン量をγ_j、画像変数０のＢＶをＢＶ₀、画像変数ｊのＢＶをＢＶ_jとする。

ステップＳ１６０５で、ゲイン算出部１５０２は、全画像データについてゲイン量を算出したか否かを判定する。算出していない場合（ステップＳ１６０６でＮＯ）、ステップＳ１６０６へ進み、ゲイン算出部１５０２は、画像変数ｊに１を追加して、ステップＳ１６０３に戻る。一方、算出している場合（ステップＳ１６０６でＹＥＳ）、ステップＳ１６０７へ進む。

ステップＳ１６０７で、使用画像選択部１５０３は、処理対象とする使用画像データを選択する。この処理の詳細については、後述する。

ステップＳ１６０８で、画素記録部１５０４は、式９によりゲイン演算（量子化演算）を行い、その演算結果を記録する。ここで、使用画像データの画素変数ｉの画素をＲ_ij、Ｇ_ij、Ｂ_ij、記録する画素値をＲ_ij、Ｇ_ij、Ｂ_ij（端数切捨）とする、

ステップＳ１６０９で、画素記録部１５０４は、画素番号を表す画素変数ｉが画像データの総画素数より大きいか否かを判定する。大きくない場合（ステップＳ１６０９でＮＯ）、ステップＳ１６１０へ戻り、画素記録部１５０４は、画素変数ｉに１を加えて、ステップＳ１６０７へ戻る。一方、大きい場合（ステップＳ１６０９でＹＥＳ）、ステップＳ１６１１へ進む。ステップＳ１６１１で、画像合成部１１０２は、終了に関する動作として、メインメモリ２１０２の開放を行う。

次に、ステップＳ１６０７の使用画像選択処理の詳細について、図１７のフローチャートを用いて説明する。

図１７は本発明の実施形態２の使用画像選択処理の詳細を示すフローチャートである。

ステップＳ１７０１で、使用画像選択部１５０３は、メモリ確保や、画素番号を示す画素変数ｉ、画像番号を示す画像変数ｊを０に設定する等の初期化動作を行う。

ステップＳ１７０２で、使用画像選択部１５０３は、各画像データのゲイン並び輝度範囲を読み込む。

ステップＳ１７０３で、使用画像選択部１５０３は、画像０（画像変数ｊ＝０）の画素変数ｉの画素について、式２より輝度を算出する。

ステップＳ１７０４で、使用画像選択部１５０３は、ステップＳ１７０３で算出した輝度が画像ｊの輝度範囲内に含まれるか否かを判定する。輝度範囲内に含まれる場合（ステップＳ１７０４でＹＥＳ）、ステップＳ１７０５へ進み、使用画像選択部１５０３は、画像変数ｊに１を加える。一方、輝度範囲内に含まれない場合（ステップＳ１７０４でＮＯ）、ステップＳ１７０６へ進む。

ステップＳ１７０６で、使用画像選択部１５０３は、画像ｊ−１を使用画像データとして選択し、画像変数ｊを０に初期化する。

ステップＳ１７０７で、使用画像選択部１５０３は、画素番号を表す画素変数ｉが画像データの総画素数より大きいか否かを判定する。大きくない場合（ステップＳ１７０７でＮＯ）、ステップＳ１７０８へ進み、使用画像選択部１５０３は、画像変数ｉに１を加える。一方、大きい場合（ステップＳ１７０７でＹＥＳ）、ステップＳ１７０９へ進む。

ステップＳ１７０９で、使用画像選択部１５０３は、終了に関する動作として、メインメモリ２１０２の開放を行う。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、一旦複数の入力画像から１画像あるいは１フレームの画像を生成した上で、濃画像領域と淡画像領域の２領域に分離するため、画像枚数に依存しない処理が可能である。

また、入力画像データの各画素について設定した濃淡画像領域毎に符号化方法に対応したビット数で量子化を行う。そのため、従来の量子化方法あるいは符号化時の圧縮によって失われる暗部のデータを良好に保持するとともに、ハイライト部の情報も保持することが可能である。

また、各画素位置毎に濃あるいは淡のどちらか一方の画素値を保持することにより、１枚の画像あるいは１フレーム内に符号化方法に対応したビット数で量子化したデータを保持できる。これにより、従来の符号化方法を利用して複数の画像情報を一度に伝送することが可能である。

また、実際の伝送時には１ビット分の濃淡マップを追加するのみであることから通常の画像伝送容量以上に大きく別の帯域を必要としないため、伝送時に音声やメタデータ等の伝送容量を十分確保することができる。

＜輝度算出＞
上記実施形態での輝度算出は、ＩＴＵ−ＢＴ.１０１の算術式を用いているが、これに限定されず、その他の方法で輝度を算出することが可能なのは言うまでも無い。

＜濃淡分離パラメータ＞
上記実施形態では、濃淡分離パラメータの一例として輝度情報を指定しているが、これに限定されず、ＲＧＢ各画素に対して個別にパラメータを設定することや、輝度以外のパラメータ（信号値）を用いることも可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

Claims

画像データを符号化して伝送するにあたり、符号化前に前記画像データを指定のビット数に量子化する画像処理装置であって、
量子化ビット数を設定する量子化ビット数設定手段と、
入力画像データのビット数と前記量子化ビット数を比較する比較手段と、
前記入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータを設定するパラメータ設定手段と、
前記比較手段の比較の結果、前記入力画像データのビット数が、前記量子化ビット数より大きい場合、前記パラメータに従って、前記入力画像データの各画素が前記濃画像領域と前記淡画像領域のどちらの領域に属するかを示す濃淡マップを生成する濃淡マップ生成手段と、
前記入力画像データの各画素において、前記濃淡マップが示す前記淡画像領域に属する画素については、前記量子化ビット数と前記淡画像領域を量子化するための淡ゲイン量を用いて量子化を行い、前記濃淡マップが示す前記濃画像領域に属する画素については、前記量子化ビット数と前記濃画像領域を量子化するための濃ゲイン量を用いて量子化を行う量子化手段と、
前記量子化手段で量子化された各画素に基づき、量子化画像データを生成する量子化画像生成手段と
を備えることを特徴とする画像処理装置。
前記濃淡マップ生成手段は、
前記入力画像データの各画素の信号値を算出する算出手段と、
前記入力画像データの各画素の信号値と、前記パラメータとを比較して、前記画素が前記濃画像領域と前記淡画像領域のどちらの領域に属するかを判定する判定手段と、
前記判定手段の判定結果を前記濃淡マップとして記録する記録手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
前記量子化手段は、
前記淡画像領域に属すると判定された画素については、０を最小値、前記パラメータを最大値として、前記量子化ビット数に基づく量子化を行い、
前記濃画像領域に属すると判定された画素については、前記パラメータを最小値、前記入力画像データのビット数で表現可能な最大信号値を最大値として、前記量子化ビット数に基づく量子化を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記量子化手段は、
前記淡画像領域に属すると判定された画素については、０を最小値、前記パラメータを最大値として、前記量子化ビット数に基づく量子化を行い、
前記濃画像領域に属すると判定された画素については、０を最小値、前記入力画像データのビット数で表現可能な最大信号値を最大値として、前記量子化ビット数に基づく量子化を行う
ことを特徴とする請求項１に記載の画像処理装置。
前記パラメータは、輝度情報である
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
複数の画像データの露出量を設定する露出量設定手段と、
前記複数の画像データとそれぞれの前記露出量とから、画素位置毎に使用する画像データを排他的に該複数の画像データから選択して合成することで得られる、１つの合成画像データを前記入力画像データとして生成する画像合成手段と
を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
画像データを符号化して伝送するにあたり、符号化前に前記画像データを指定のビット数に量子化する画像処理装置の制御方法であって、
量子化ビット数を設定する量子化ビット数設定工程と、
入力画像データのビット数と前記量子化ビット数を比較する比較工程と、
前記入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータを設定するパラメータ設定工程と、
前記比較工程の比較の結果、前記入力画像データのビット数が、前記量子化ビット数より大きい場合、前記パラメータに従って、前記入力画像データの各画素が前記濃画像領域と前記淡画像領域のどちらの領域に属するかを示す濃淡マップを生成する濃淡マップ生成工程と、
前記入力画像データの各画素において、前記濃淡マップが示す前記淡画像領域に属する画素については、前記量子化ビット数と前記淡画像領域を量子化するための淡ゲイン量を用いて量子化を行い、前記濃淡マップが示す前記濃画像領域に属する画素については、前記量子化ビット数と前記濃画像領域を量子化するための濃ゲイン量を用いて量子化を行う量子化工程と
前記量子化工程で量子化された各画素に基づき、量子化画像データを生成する量子化画像生成工程と
を備えることを特徴とする画像処理装置の制御方法。
画像データを符号化して伝送するにあたり、符号化前に前記画像データを指定のビット数に量子化する画像処理をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
量子化ビット数を設定する量子化ビット数設定手段と、
入力画像データのビット数と前記量子化ビット数を比較する比較手段と、
前記入力画像データを濃画像領域と淡画像領域の２つに分離するためのパラメータを設定するパラメータ設定手段と、
前記比較手段の比較の結果、前記入力画像データのビット数が、前記量子化ビット数より大きい場合、前記パラメータに従って、前記入力画像データの各画素が前記濃画像領域と前記淡画像領域のどちらの領域に属するかを示す濃淡マップを生成する濃淡マップ生成手段と、
前記入力画像データの各画素において、前記濃淡マップが示す前記淡画像領域に属する画素については、前記量子化ビット数と前記淡画像領域を量子化するための淡ゲイン量を用いて量子化を行い、前記濃淡マップが示す前記濃画像領域に属する画素については、前記量子化ビット数と前記濃画像領域を量子化するための濃ゲイン量を用いて量子化を行う量子化手段と
前記量子化手段で量子化された各画素に基づき、量子化画像データを生成する量子化画像生成手段と
して機能させるためのプログラム。