JP2024123696A - 画像処理装置及び方法及びプログラム - Google Patents

Abstract

【課題】ユーザの入力したＬＵＴに含まれるフォーマット変換の効果を維持しながらルックアップテーブル変換の強弱を調整可能とする。
【解決手段】画像処理装置において、画像処理部は、所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得手段と、第１のＬＵＴの効果のうち、所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得手段と、処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、影響度に基づき、第１のＬＵＴと第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成手段と、前記第１の画像に対し、第３のＬＵＴを用いて、色変換を行う処理手段とを有する。
【選択図】図３

Description

本発明は、ルックアップテーブルを用いて画像処理を行う技術に関するものである。

画像の色やコントラストを補正する手段として一般的にルックアップテーブル（以下、ＬＵＴ）が用いられている。また、カメラにおいても外部からＬＵＴを取り込んで、撮像した画像に適用することが行われている。

ＬＵＴの用途の１つとして、画作りとしての色味や階調の補正（以下、ルック変換）を行うことが挙げられる。ユーザは自作したＬＵＴやＷｅｂ上などで公開されているＬＵＴを使用して、カメラで撮影した画像に対して簡単に変換を行うことができる。しかし、色味や階調の感じ方は主観的なものであり、ＬＵＴの効果があらゆるユーザにとって適しているとは限らず、ＬＵＴの効果の強弱を調整したいという要望もある。

特許文献１は、ＬＵＴの効果を調整する技術を開示している。具体的には、この特許文献１は、シーン検出を行い、候補となった複数シーンの信頼度に応じて各シーン用の補正テーブルを合成する、という技術を開示している。

特開２０１２－１６５１４７号公報

上記特許文献１では、シーンの判定はカメラが行い、その上でカメラが補正テーブルを調整する。そのため、補正テーブルが、ユーザの好みに合致する変換を行うとは限らない。また、ＬＵＴの用途としてはルック変換の他にガンマ・色域を変換するためのフォーマット変換を行うことも挙げられる。例えば、ＩＴＵ－Ｒ ＢＴ．２１００のＰＱ準拠の画像をＩＴＵ－Ｒ ＢＴ．７０９準拠の画像に変換する場合に、その変換の効果を持つＬＵＴを適用することでフォーマット変換を行うことができる。さらには、１つのＬＵＴにフォーマット変換の効果とルック変換の効果の両方を含めることも可能である。このようなＬＵＴで効果の強弱を調整する場合にはフォーマット変換の効果は維持したままでルック変換の強弱のみを調整できることが望ましい。

上記の例で説明したように、いわゆる画作りのための変換の効果を調整する場合、フォーマットの変換の影響を考慮する必要がある。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得手段と、
前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得手段と、
処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、
前記影響度に基づき、前記第１のＬＵＴと前記第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成手段と、
前記第１の画像に対し、前記第３のＬＵＴを用いて、色変換を行う処理手段とを有する。

本発明によれば、フォーマットの変換の影響を考慮しながら、画作りのための変換の効果を調整することが可能となる。

第１の実施形態に係る撮像装置の内部構成を示すブロック図。 第１の実施形態に係る画像処理部２４の内部構成を示すブロック図。 第１の実施形態に係る処理の流れを示すフローチャート。 第１の実施形態に係るＬＵＴデータの例を示す図。 第２の実施形態に係る画像処理部２４の内部構成を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、第１実施形態の撮像装置１００のブロック構成図である。撮像装置の例としては、いわゆるデジタルカメラの他、撮像機能を有するスマートフォンやタブレットデバイス、医療機器や産業機器にも適用可能である。図１において、撮像レンズ１０３はズームレンズ、フォーカスレンズ、シフトレンズを含むレンズ群を含み、被写体像を撮像部３２の撮像面上に結像する。絞り１０１は光量調整に使用する絞りであり、ＮＤ１０４は減光するＮＤ（Neutral Density）フィルタである。撮像部２２は、その撮像面に、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成され、２次元配列された複数の撮像素子を有する。また、撮像部２２には電子シャッタによる蓄積の制御や、アナログゲインの変更、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、又は、メモリ制御部１５からの画像データに対し所定の画素補間処理、縮小処理といったリサイズ処理や、輝度情報、色情報、特徴的な被写体等の検出処理、色変換処理、ガンマ補正処理、デジタルゲインの付加処理等の処理を行う。これら画像処理の方法として、専用の演算回路による画像処理や、ＬＵＴ適用回路による画像処理などが含まれる。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。

システム制御部５０は、画像処理部２４から受信した上記の演算結果に基づいて、露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。また、システム制御部５０は、ジャイロ４０で検出した手振れなどによる撮像装置１００の動きや姿勢変化に対して、システム制御部５０が、撮像レンズ１０３のシフトレンズを動作させるか、もしくは画像処理部２４で画像をずらすことで像振れ補正を行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、メモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。また、メモリ３２は、画像処理部２４で画像処理された画像を一時的に記憶し、再度画像処理部２４に戻して別の画像処理を適用する、といった使い方もされる。そして、メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダが実現され、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、撮像装置１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実行する。システムメモリ５２には、ＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、ユーザからシステム制御部５０への指示入力を伝える操作手段である。

モード切替スイッチ６０は、システム制御部５０に、動作モードとして、動画記録モード、静止画記録モード、再生モード等のいずれかを通知する。システム制御部５０は、この通知を受けて、対応する動作モードに移行する処理を行う。また、動画記録モードや静止画記録モードは、更に細かいモードを有し、それらにはオート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０を操作することにより、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り替えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態（ＯＦＦ）と撮影状態（ＯＢ）を切り替えるスイッチである。システム制御部５０は、録画スイッチ６１がＯＮになると、撮像部２２からの信号読み出しから外部記録媒体１５０への動画データの書込みまでの一連の動作を開始する。そして、システム制御部５０は、録画スイッチ６１がＯＦＦになると、撮外部記録媒体１５０への動画データの書込みを終了する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして動作する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記録媒体１５０を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池などの一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池などの二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の外部記録媒体１５０や、外部表示装置１６０とのインターフェースである。外部記録媒体１５０は、撮影された画像の記録や外部とのデータのやりとりをするためのメモリカード等の記録媒体であり、半導体メモリなどが用いられる。

次に本実施形態における画像処理部２４の構成を、図２を参照して説明する。Ａ／Ｄ変換器２３から入力された撮像画像データは、基本画像処理部２４１に入力される。基本画像処理部２４１が行う処理には、画像データを明るさを補正するゲイン処理、ホワイトバランスを補正するホワイトバランス処理、色味を補正する色補正処理などが含まれる。また、画像処理部２４が行う処理には、画像の鮮鋭感を増すためのエッジ強調処理やノイズを抑制するためのノイズリダクション処理なども含まれる。基本画像処理部２４１は、これらの画像処理を施して得た画像データを、ＬＵＴ処理部２４２に供給する。

ＬＵＴ処理部２４２は、ＬＵＴデータを基本画像処理部２４１から入力した画像データに適用し、信号の変換を行う。本実施形態のＬＵＴ処理部２４２は影響度５０３から指示された影響度に基づいて生成された影響度変更ＬＵＴデータ５０４を用いて変換を行うことが可能である。この影響度変更ＬＵＴデータ５０４は、以下の情報から生成される。すなわち、ユーザ操作により入力されユーザの使用目標とするユーザ入力ＬＵＴデータ５０１と、ユーザ入力ＬＵＴデータ５０１に含まれるフォーマット変換に対応するフォーマット変換ＬＵＴデータ５０２と、それらの影響度５０３である（詳細後述）。ＬＵＴ処理部２４２は、影響度変更ＬＵＴデータ５０４による変換で得た画像データを、メモリ３２やＩ／Ｆ１８に出力する。

ここでユーザ入力ＬＵＴデータとは、撮像装置１００の外部に保持されたＬＵＴデータをユーザ操作により撮像装置１００に入力したものである。例えばカメラメーカーのホームページには、ユーザが目標とする画質・雰囲気に合わせた様々なＬＵＴが提供されている。また、ユーザが自身でＬＵＴを作成できるアプリケーションも存在する。ユーザはＰＣなどを用いて、提供されたＬＵＴを外部記憶媒体１５０に記憶させ、その外部記憶媒体１５０を撮像装置１００に接続することで、新たなＬＵＴデータを撮像装置１００に入力することが可能となる。なお、ＬＵＴの入力方法はこれに限定されるものではなく、例えばＩ／Ｆ１８がネットワークＩ／Ｆ機能を有しているのであれば、ユーザ操作に基づきネットワークを介してＬＵＴを入力してもよい。また撮像装置１００が、ユーザ操作に基づきＬＵＴを生成し、新たなＬＵＴとして登録（入力）する機能を有してもよい。

次に本実施形態における処理を図３のフローチャートを参照しながら説明する。なお、以下の説明では、外部記録媒体１５０には、ユーザが望むユーザ入力ＬＵＴデータが既に格納されているものとする。

Ｓ３１にて、システム制御部５０は、外部記録媒体１５０に格納されたユーザ入力ＬＵＴデータ５０１をＩ／Ｆ１８を介してシステムメモリ５２に読み出す。このユーザ入力ＬＵＴデータ５０１はユーザが適用したい任意の画像変換処理を表すＬＵＴであり、テキストデータやバイナリデータとして格納されている。ユーザ入力ＬＵＴデータ５０１は、ＲＧＢ信号それぞれに対して同じ変換処理を適用するような１次元のＬＵＴであってもよいし、ＲＧＢ信号の３要素を持つベクトルを入出力とするような３次元のＬＵＴであってもよい。また、変換を定義する色空間はＲＧＢに限らずＹＵＶやＬａｂなどの任意の色空間であってよい。本実施形態においては３次元のＲＧＢ空間での変換を定義するＬＵＴを前提として説明する。

Ｓ３２にて、システム制御部５０は、Ｓ３１にて入力したユーザ入力ＬＵＴデータ５０１のフォーマット変換情報を取得する。通常、ＬＵＴは単純に色合いや雰囲気を変更する（ルック変換、あるいは画作りとも呼ばれる）ための演算だけでなく、特定のフォーマット変換をするための演算も加味してテーブルの値が生成されている。ここでフォーマットとは、画像がどのようなガンマ・色域として扱われるべきかを表す情報のことである。例えば、ＩＴＵ－Ｒ ＢＴ．７０９準拠の画像は、ＩＴＵ－Ｒ ＢＴ．７０９に定義されたガンマと色域の計算式によって数値データに落とし込まれている。そのため、ＩＴＵ－Ｒ ＢＴ．７０９準拠のディスプレイなどはＩＴＵ－Ｒ ＢＴ．７０９に定義されたガンマと色域に基づいて画像の表示を行っている。本ステップでは、システム制御部５０は、ユーザ入力ＬＵＴデータ５０１で特定される変換元フォーマット（第１の部分フォーマット変換）と、変換先フォーマット（第２の部分フォーマット変換）の２つを取得し、それらの情報からフォーマット変換情報を取得する。

まず、変換元のフォーマット情報については、本実施形態のような撮像装置であれば、ユーザが操作部７０を介して予め設定を行っていると考えられるためシステムメモリ５２から取得することができる。撮影できるフォーマットが１つのみである場合はユーザが操作部７０を介して設定を行うことはないが、フォーマットは定まっているためその情報を変換元のフォーマット情報とする。撮像装置ではなく撮像装置で撮影した画像を扱うソフトウェアなどである場合は、画像のメタデータから取得することやユーザに指定させることなどが考えられる。

変換先のフォーマット情報については、ユーザがユーザ入力ＬＵＴデータ５０１を入力した際に付随情報として操作部７０を介して入力させるか、ユーザ入力ＬＵＴデータ５０１に付加された情報を読み取ることにより取得する。

Ｓ３３にて、システム制御部５０は、Ｓ３２で取得したフォーマット変換情報からフォーマット変換ＬＵＴデータ５０２を生成する。

例として、フォーマット変換情報が、ＩＴＵ－Ｒ ＢＴ．２１００のＰＱ（Perceptual Quantization）準拠のガンマ・色域からＩＴＵ－Ｒ ＢＴ．７０９準拠のガンマ・色域への変換を示す場合を考察する。この変換は、ＰＱのガンマをキャンセルし、色域変換を行い、ＢＴ．７０９のガンマへの変換を行うことで実現される。そのため、フォーマット変換ＬＵＴデータ５０２は、以下の手順により生成することができる。
１） Ｓ３１で取得したＬＵＴデータと同じ要素数を持つ無変換のＬＵＴデータに対して、ＩＴＵ－Ｒ ＢＴ．２１００記載のＰＱのｏｐｔｏ―ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ（ＯＥＴＦ）の逆変換を適用する。
２） ＩＴＵ－Ｒ ＢＴ．２１００記載のＰＱの色域をＩＴＵ－Ｒ ＢＴ．７０９記載の色域に変換するための行列を求め、１）の結果に対して掛ける。
３） ＩＴＵ－Ｒ ＢＴ．７０９記載のＯＥＴＦを２）の結果に対して適用する。

上記１）～３）は、ＯＥＴＦを介してガンマ変換を行うフォーマット変換ＬＵＴデータ５０２を生成する手順であるが、ガンマ変換をｅｌｅｃｔｒｏｎｉｃ―ｏｐｔｏ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ（ＥＯＴＦ）を介して行う方法もある。

Ｓ３４にて、システム制御部５０は、ユーザ入力ＬＵＴデータ５０１の画像に対する効果の強弱を表す影響度を取得する。これは操作部７０を介してユーザに入力させることにより取得するものとする。また、Ｓ３１で取得したＬＵＴデータに付加された初期影響度を取得しても良い。ユーザの入力やＬＵＴデータの付随情報としての影響度は、どのような表現でもよい。例えば、０％～１００％のような値でもよいし、弱・中・強のような表現であってもよい。本実施形態では、ユーザ入力ＬＵＴデータ５０１を最大の効果（１．０または１００％）とし、これらを０（０％）～１．０（１００％）で数値化した値を影響度として取得するものとする。本実施形態においてこの影響度の意図するところは、いわゆるルック変換の効果の度合いである。すなわちユーザは、ルック変換の効果を例えば強くしたい、弱くしたい、５０％程度の効果に抑えたい、１００％の効果をかけたい、といった意図をもって影響度を設定する。

Ｓ３５にて、システム制御部５０は、Ｓ３４で取得した影響度、Ｓ３１で取得したユーザ入力ＬＵＴデータ５０１、及び、Ｓ３３で取得したフォーマット変換ＬＵＴデータ５０２に基づいて、影響度変更ＬＵＴデータ５０４を生成する。本実施形態においては、Ｓ３１で取得したＬＵＴデータとＳ３３で取得したフォーマット変換ＬＵＴデータ５０２との線形補間を、Ｓ３４で取得した影響度に基づいて行い、ＬＵＴ同士を合成する法について説明する。

図４（ａ），（ｂ）はＬＵＴデータの一例であり、同図（ａ）がＳ３３で生成したフォーマット変換ＬＵＴデータ５０２、同図（ｂ）がＳ３１で取得したユーザ入力ＬＵＴデータ５０１であるとする。線形補間はすべての行に対して行うが、ここでは、参照符号４０１、４０２に示す行に着目して説明する。他の行についても同様であると理解されたい。

Ｓ３４で取得した影響度をα（内部的には０～１の値で保持するものとする）と置くと、参照符号４０１、４０２に示す行におけるＲＧＢ各色の線形補間結果Ｒ（α）、Ｇ（α）、Ｂ（α）は下記のようになる。
R(α)=0.0004×(1-α) + 0.8624×α = 0.8620α+0.0004
G(α)=0.3450×(1-α) + 1.0000×α = 0.6550α+0.3450
B(α)=0.0198×(1-α) + 0.8068×α = 0.7870α+0.0198

したがって、仮にα＝０．６とするなら、Ｒ＝０．５１７５…、Ｇ＝０．７３７９…、Ｂ＝０．４２９０…となる。また、仮に、α＝０．３であればＲ＝０．２５９０…、Ｇ＝０．５４１４…、Ｂ＝０．２５５９…となる。同様の計算をすべての行に対して行うことにより、影響度変更ＬＵＴデータ５０４を生成することができる。この計算は、Ｓ３１で取得したユーザ入力ＬＵＴデータ５０１のうち、ルック変換の効果が影響度αを乗算した効果に変更され、一方でフォーマット変換の効果は当初の効果からは変化しないことを示す。このようにすることで、影響度変更ＬＵＴデータ５０４はルック変換の効果だけが影響度により調整されたＬＵＴデータとなる。

Ｓ３６にて、システム制御部５０は、Ｓ３５で生成した影響度変更ＬＵＴデータ５０４をＬＵＴ処理部２４２に対して適用させ、画像変換を実行させる。すなわち、ＬＵＴ処理部２４２は、画像基本画像処理部２４１から供給された処理対象の画像データに対し、影響度変更ＬＵＴデータ５０４の効果を適用した画像データを生成し、出力する。この後、システム制御部５０は、ＬＵＴ処理部２４２から出力された画像データを、ファイルとして外部記憶媒体１５０に記録したり、表示部２８若しくは外部表示装置１６０に表示する。

本実施形態では、ユーザ所望の影響度に基づきユーザの入力したＬＵＴデータとそれに対応したフォーマット変換情報から生成したＬＵＴデータとを合成することにより、影響度変更ＬＵＴを生成する方法について説明した。本実施形態によれば、影響度変更ＬＵＴは、フォーマット変換の効果を維持しながらルック変換の影響度のみを変更できるため、影響度を弱めた場合に画像のフォーマットが不適切なものになることを避けることができ、ＬＵＴ変換の強弱のみを調整した自然な画像を得ることができる。

［第２の実施形態］
上記第１の実施形態では、ユーザの入力したＬＵＴデータとユーザの入力したＬＵＴデータに含まれるフォーマット変換に対応したＬＵＴデータを影響度に応じて直接補間する方法について説明した。しかし、第１の実施形態では、補間が変換先フォーマットの空間で行われてしまうため、影響度を変更した場合のルック変換の様子がフォーマットによって異なることが起こり得る。そこで本第２の実施形態では、影響度による補間をデガンマした空間で行うことにより、変換先フォーマットが異なる場合でも得られる画像の見えに大きな差異が出ないようにする方法について説明する。

全体の流れとしては第１の実施形態と同様である。そのため、第１の実施形態と同じく図３のフローチャートと図２のブロック図を参照して説明することとする。また、この第２の実施形態における、図３のＳ３１からＳ３４までの処理は、第１の実施形態で説明したＳ３１～Ｓ３４と同様であるため、その説明は省略する。

Ｓ３５にて、システム制御部５０は、フォーマット変換ＬＵＴデータ５０２とユーザ入力ＬＵＴデータ５０１と影響度５０３とに基づき、影響度変更ＬＵＴデータ５０４を生成する。しかし、第１の実施形態とは異なり、システム制御部５０は、それぞれのＬＵＴから変換先フォーマットへの変換処理を除いた状態で影響度に基づいた補間を行い、補間後に、再度変換先フォーマットへの変換処理を適用する。具体例を示すのであれば次の通りである。

例えば、ユーザ入力ＬＵＴデータ５０１の変換元フォーマットがＩＴＵ－Ｒ ＢＴ．２１００のＰＱ準拠であり、変換先フォーマットとしてＩＴＵ－Ｒ ＢＴ．２１００のＨＬＧ（Hybrid Log Gamma）準拠とＩＴＵ－Ｒ ＢＴ．７０９準拠の２パターンのＬＵＴがある場合を考える。このとき、ＩＴＵ－Ｒ ＢＴ．２１００記載のＰＱのＥＯＴＦをＦ_PQ、ＩＴＵ－Ｒ ＢＴ．２１００記載のＨＬＧのＥＯＴＦをＦ_HLG、ＩＴＵ―Ｒ ＢＴ．７０９記載のＥＯＴＦをＦ₇₀₉と表すことにする。また、ＩＴＵ－Ｒ ＢＴ．２１００記載のＰＱの色域定義によるＸＹＺ色空間からＲＧＢ色空間への変換をＭ_PQ、ＩＴＵ－Ｒ ＢＴ．２１００のＨＬＧの色域定義によるＸＹＺ色空間からＲＧＢ色空間への変換をＭ_HLG、ＩＴＵ―Ｒ ＢＴ．７０９の色域定義によるＸＹＺ色空間からＲＧＢ色空間への変換をＭ₇₀₉と表すことにする。すると、入力画像の画素値をｘとしたときのＩＴＵ－Ｒ ＢＴ．２１００のＰＱからＩＴＵ－Ｒ ＢＴ．２１００のＨＬＧ、ＩＴＵ－Ｒ ＢＴ．２１００のＰＱからＩＴＵ－Ｒ ＢＴ．７０９への変換は下記のようになる。
・ＰＱからＨＬＧへの変換の場合
Ｆ_HLG ^-1(Ｍ_HLG(Ｍ^-1 _PQ(Ｆ_PQ(ｘ))))
・ＰＱからＢＴ．７０９への変換の場合
Ｆ₇₀₉ ^-1(Ｍ₇₀₉(Ｍ^-1 _PQ(Ｆ_PQ(ｘ))))

フォーマット変換ＬＵＴデータ５０２は上記の式に従ったものである。また、ユーザ入力ＬＵＴデータ５０１は、上記のフォーマット変換に対してさらに任意の変換処理が加わったものであるため、任意の変換処理をＣと表すと、ユーザ入力ＬＵＴデータ５０１は以下のようになる。
・ＰＱからＨＬＧへの変換の場合
Ｆ_HLG ^-1(Ｍ_HLG(Ｃ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))))
・ＰＱからＢＴ．７０９への変換の場合
Ｆ₇₀₉ ^-1(Ｍ₇₀₉(Ｃ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))))

任意の変換処理Ｃ以外の変換処理が可逆的であれば、任意の変換処理Ｃの位置は実際にユーザ入力ＬＵＴデータ５０１がどのような計算順序で作られたかによらず上記のようにＭＰＱ^-1の後に有るとみなすことができる。実際の定義では０未満を０とするなどの非可逆的な処理が含まれている場合もあるため、それらを除外した処理に置換すればユーザ入力ＬＵＴデータ５０１は上記のような順序で計算されたものとみなすことができる。上記のようにＰＱ→ＨＬＧとＰＱ→ＢＴ．７０９の変換のＣが一致している場合、それぞれのユーザ入力ＬＵＴデータ５０１を適用した画像をそれぞれに適した視聴環境で視聴することによりほぼ同じ見えとなる。なぜならば、適した視聴環境で視聴する場合、表示装置によりＦ_HLG ^-1(Ｍ_HLG(ｘ))、Ｆ₇₀₉(Ｍ₇₀₉(x))がキャンセルされ、どちらもＣ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))として扱われるためである。

このとき、影響度をαとして変換先フォーマットをキャンセルした状態で補間を行い、その後に変換先フォーマットへの変換を適用した場合の影響度変更ＬＵＴデータ５０４はそれぞれ下記のようになる。
・ＰＱからＨＬＧへの変換の場合
Ｆ_HLG ^-1(Ｍ_HLG(αＣ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))＋(１－α)(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))))
・ＰＱからＢＴ．７０９への変換の場合
Ｆ₇₀₉ ^-1(Ｍ₇₀₉(αＣ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))＋(１－α)(Ｍ_PQ ^-1(Ｆ_PQ(x)))))

どちらも適切な視聴環境においてはαＣ(Ｍ_PQ ^-1(Ｆ_PQ(ｘ)))＋(１－α)(Ｍ_PQ ^-1(Ｆ_PQ(x)))として扱われるため、任意の影響度αによりＬＵＴ変換の強弱を調整した場合であっても変換先フォーマットによらずほぼ同じ見えとなる調整を実現できる。

Ｓ３６にて、システム制御部５０は、第１の実施形態と同様、Ｓ３５で生成した影響度変更ＬＵＴデータ５０４をＬＵＴ処理部２４２に適用し、ＬＵＴ処理部２４２に基本画像処理部２４１から供給された画像データに対するＬＵＴ変換を行わせる。

本第２の実施形態では、変換先フォーマットへの変換処理を除いた状態でＬＵＴ同士の補間を行い、その後に変換先フォーマットへの変換処理を適用しなおすことで影響度変更ＬＵＴを生成し、そのＬＵＴを適用する方法について説明した。本第２の実施形態によれば変換先フォーマットの異なる同じ見えへの変換を行う複数のユーザ入力ＬＵＴにおいて、同じ影響度であれば同様の見えとなる整合のとれた影響度変更機能をユーザに提供することができる。

［第３の実施形態］
上記第１の実施形態では、ＬＵＴ同士の補間を行うことにより影響度変更を行う方法について説明したが、画像同士の補間として実現する方法もある。その方法を図５のブロック図を参照し、第３の実施形態として説明する。

図５のＡ／Ｄ変換器２３は、図２のＡ／Ｄ変換器２３と同様のため説明は省略する。図５における画像処理部２４は、フォーマット変換処理部２４３を備える。フォーマット変換処理部２４３は、基本画像処理部２４１から入力された画像に対してフォーマット変換情報５０５に基づいたフォーマット変換処理を行う。第１の実施形態で述べたように変換元フォーマットと変換先フォーマットが既知であれば変換元フォーマットから変換先フォーマットへの変換は演算により行うことができる。第１の実施形態ではその演算によりフォーマット変換ＬＵＴデータ５０２を生成したが、フォーマット変換処理部２４３により基本画像処理部２４１から入力された画像自体を変換することも可能である。また、ＬＵＴ処理部２４２は、図２と同じく基本画像処理部２４１から入力された画像に対してＬＵＴによる変換処理を行うブロックであるが、本第３の実施形態では、図２とは異なり、ユーザ入力ＬＵＴデータ５０１をそのまま適用する。そして、補間処理部２４４はフォーマット変換処理部２４３とＬＵＴ処理部２４２から入力された画像を影響度５０３に基づき補間により合成する。このような構成とすることで、フォーマット変換処理部２４３から出力されたフォーマット変換画像とＬＵＴ処理部２４２から出力されたＬＵＴ適用画像とを補間処理部２４４で補間により合成することになる。これにより、第１の実施形態とほぼ同様の画像を画像処理部２４から得ることができる。第１の実施形態と比較するとフォーマット変換がＬＵＴによる処理ではなく演算となりより正確な計算となるため、特に影響度が小さくＬＵＴのグリッド数が少ない場合でも画像の破綻を抑えることができる。

また、第１、第２の実施形態においてフォーマット変換ＬＵＴデータ５０２はフォーマット変換情報のみに基づいて生成される形態で説明したが、それ以外の変換処理も含んだものであってもよい。例えば、ＩＴＵ－Ｒ ＢＴ．２１００のＰＱ準拠の画像をＩＴＵ－Ｒ ＢＴ．７０９準拠の画像にフォーマット変換する場合、単純に変換すると白飛びや色飽和が多く発生してしまう。このような白飛びや色飽和は画像の品位を損なってしまうことが多いため、白飛びや色飽和を緩和・軽減するような処理をフォーマット変換ＬＵＴデータ５０２に含むことが考えられる。例えば、白飛びに対しては階調圧縮処理を含めることが考えられる。また、色飽和に対してはガマットマッピングと呼ばれる色域外の色を色域内の色にマッピングするような処理を含めることが考えられる。これらの処理を含めることで純粋なフォーマット変換とは異なった変換となるが、大部分が純粋なフォーマット変換から大きく逸脱したものでなければ、ユーザに大きな違和感を与えずに得られる画像の品位を向上させることができる。階調圧縮処理やガマットマッピングに限らず、その他の処理を含んでもよい。

そのほか、第１、第２の実施例ではフォーマット変換ＬＵＴデータ５０２をフォーマット変換情報に基づく演算により生成する形態で説明したが、予めフォーマット変換情報とフォーマット変換ＬＵＴデータ５０２を紐づけた形で不揮発性メモリ５６に保持しておき、それを取り出して使用する形態でもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の画像処理装置、方法及びプログラムを含む。
（項目１）
所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得手段と、
前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得手段と、
処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、
前記影響度に基づき、前記第１のＬＵＴと前記第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成手段と、
前記第１の画像に対し、前記第３のＬＵＴを用いて、色変換を行う処理手段と
を有することを特徴とする画像処理装置。
（項目２）
前記第２のＬＵＴは、前記所定のフォーマット変換の効果に加え、前記所定のフォーマット変換とは異なる変換処理の効果を適用するためのＬＵＴである
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記所定のフォーマット変換が、第１の部分フォーマット変換と第２の部分フォーマット変換を含むように構成され、
前記合成手段は、
前記第１のＬＵＴから前記第２の部分フォーマット変換を除いた第４のＬＵＴと、前記第２のＬＵＴから前記第２の部分フォーマット変換を除いた第５のＬＵＴを生成し、
前記影響度に基づき前記第４のＬＵＴと前記第５のＬＵＴを合成し、
当該合成後に前記第２の部分フォーマット変換を適用することにより前記第３のＬＵＴを生成する
ことを特徴とする項目１又は２に記載の画像処理装置。
（項目４）
前記所定のフォーマット変換は、ユーザからの入力により特定される
ことを特徴とする項目１乃至３のいずれか１つに記載の画像処理装置。
（項目５）
前記所定のフォーマット変換は、前記第１のＬＵＴに付随した情報から特定される
ことを特徴とする項目１乃至３のいずれか１つに記載の画像処理装置。
（項目６）
所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する取得手段と、
前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を特定する特定手段と、
処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、
前記影響度と前記第１のＬＵＴと前記所定のフォーマット変換に基づいて、前記第１の画像から第２の画像を生成する処理手段と、
を有する画像処理装置。
（項目７）
前記処理手段は、
前記第１の画像に前記第１のＬＵＴを適用した第３の画像と、前記第１の画像に前記所定のフォーマット変換の効果を適用した第４の画像とを前記影響度に基づき合成することにより前記第２の画像を生成する
ことを特徴とする項目６に記載の画像処理装置。
（項目８）
前記所定のフォーマット変換が第１の部分フォーマット変換と第２の部分フォーマット変換を含むように構成され、
前記処理手段は、
前記第１のＬＵＴから前記第２の部分フォーマット変換を除いた第３のＬＵＴを前記第１の画像に適用して得た第３の画像と、前記所定のフォーマット変換から前記第２の部分フォーマット変換を除いた第３の部分フォーマット変換を前記第１の画像に適用して得た第４の画像とを生成し、
前記影響度に基づいて、前記第３の画像と前記第４の画像を合成した第５の画像を生成し、
前記第５の画像に、前記第２の部分フォーマット変換を適用することで、前記第２の画像を生成する
ことを特徴とする項目６に記載の画像処理装置。
（項目９）
前記第１の画像を取得するための撮像手段を更に有することを特徴とする項目１または６に記載の画像処理装置。
（項目１０）
所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得工程と、
前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得工程と、
処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定工程と、
前記影響度に基づき、前記第１のＬＵＴと前記第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成工程と、
前記第１の画像に対し、前記第３のＬＵＴを用いて、色変換を行う処理工程と
を有することを特徴とする画像処理方法。
（項目１１）
所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する取得工程と、
前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を特定する特定工程と、
処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定工程と、
前記影響度と前記第１のＬＵＴと前記所定のフォーマット変換に基づいて、前記第１の画像から第２の画像を生成する処理工程と、
を有する画像処理方法。
（項目１２）
コンピュータが読み込み実行することで、前記コンピュータに、項目１０又は１１に記載の方法が有する各工程を実行させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２２…撮像部、２３…Ａ／Ｄ変換器、２４…画像処理部、５０…システム制御部、５２…システムメモリ、５６…不揮発性メモリ、６０…モード切替スイッチ、７０…操作部、１００…撮像装置、２４１…基本画像処理部、２４２…ＬＵＴ処理部、２４３…フォーマット変換処理部、２４４…補間処理部、５０１…ユーザ入力ＬＵＴデータ、５０２…フォーマット変換ＬＵＴ、５０３…影響度、５０４…影響度変更ＬＵＴデータ、５０５…フォーマット変換情報

Claims (12)

1. 所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得手段と、
   前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得手段と、
   処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、
   前記影響度に基づき、前記第１のＬＵＴと前記第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成手段と、
   前記第１の画像に対し、前記第３のＬＵＴを用いて色変換を行う処理手段と
   を有することを特徴とする画像処理装置。
2. 前記第２のＬＵＴは、前記所定のフォーマット変換の効果に加え、前記所定のフォーマット変換とは異なる変換処理の効果を適用するためＬＵＴである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定のフォーマット変換が、第１の部分フォーマット変換と第２の部分フォーマット変換を含むように構成され、
   前記合成手段は、
   前記第１のＬＵＴから前記第２の部分フォーマット変換を除いた第４のＬＵＴと、前記第２のＬＵＴから前記第２の部分フォーマット変換を除いた第５のＬＵＴを生成し、
   前記影響度に基づき前記第４のＬＵＴと前記第５のＬＵＴを合成し、
   当該合成後に前記第２の部分フォーマット変換を適用することにより前記第３のＬＵＴを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記所定のフォーマット変換は、ユーザからの入力により特定される
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記所定のフォーマット変換は、前記第１のＬＵＴに付随した情報から特定される
   ことを特徴とする請求項１に記載の画像処理装置。
6. 所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する取得手段と、
   前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を特定する特定手段と、
   処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定手段と、
   前記影響度と前記第１のＬＵＴと前記所定のフォーマット変換に基づいて、前記第１の画像から第２の画像を生成する処理手段と、
   を有する画像処理装置。
7. 前記処理手段は、
   前記第１の画像に前記第１のＬＵＴを適用した第３の画像と、前記第１の画像に前記所定のフォーマット変換の効果を適用した第４の画像とを前記影響度に基づき合成することにより前記第２の画像を生成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記所定のフォーマット変換が第１の部分フォーマット変換と第２の部分フォーマット変換を含むように構成され、
   前記処理手段は、
   前記第１のＬＵＴから前記第２の部分フォーマット変換を除いた第３のＬＵＴを前記第１の画像に適用して得た第３の画像と、前記所定のフォーマット変換から前記第２の部分フォーマット変換を除いた第３の部分フォーマット変換を前記第１の画像に適用して得た第４の画像とを生成し、
   前記影響度に基づいて、前記第３の画像と前記第４の画像を合成した第５の画像を生成し、
   前記第５の画像に、前記第２の部分フォーマット変換を適用することで、前記第２の画像を生成する
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記第１の画像を取得するための撮像手段を更に有することを特徴とする請求項１または６に記載の画像処理装置。
10. 所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する第１の取得工程と、
    前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を適用する第２のＬＵＴを取得する第２の取得工程と、
    処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定工程と、
    前記影響度に基づき、前記第１のＬＵＴと前記第２のＬＵＴとを合成し、第３のＬＵＴを生成する合成工程と、
    前記第１の画像に対し、前記第３のＬＵＴを用いて、色変換を行う処理工程と
    を有することを特徴とする画像処理方法。
11. 所定のフォーマット変換及び目標とする色変換の効果を適用するための第１のＬＵＴを取得する取得工程と、
    前記第１のＬＵＴの効果のうち、前記所定のフォーマット変換の効果を特定する特定工程と、
    処理対象の第１の画像に適用するＬＵＴの影響度を設定する設定工程と、
    前記影響度と前記第１のＬＵＴと前記所定のフォーマット変換に基づいて、前記第１の画像から第２の画像を生成する処理工程と、
    を有する画像処理方法。
12. コンピュータが読み込み実行することで、前記コンピュータに、請求項１０又は１１に記載の方法が有する各工程を実行させるためのプログラム。

Images