JP4221577B2

JP4221577B2 - Image processing device

Info

Publication number: JP4221577B2
Application number: JP2003073505A
Authority: JP
Inventors: 優奥津; 吉晴日比
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-03-18
Filing date: 2003-03-18
Publication date: 2009-02-12
Anticipated expiration: 2023-03-18
Also published as: JP2004282570A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラ等で撮影されたディジタル画像と、ディジタル画像に添付された付加情報とを取得して、この付加情報を画像処理に利用する画像処理装置、画像処理方法、およびそのプログラムに関する。
【０００２】
【従来の技術】
ディジタルスチルカメラの中には、撮影時の日時、露出、シャッター速度、または、撮影シーンタイプなどのカメラ情報を、画像データに添付することができるものがある。また、このように画像データに添付されたカメラ情報（付加情報）を用いて、撮影者の撮影時の意図を反映させた画質補正処理を行う画像処理装置が提案されている（例えば、特許文献１）。
しかしながら、撮影者が誤った設定で画像を撮影した場合に、この設定がカメラ情報として画像処理装置に出力されるため、画像処理装置がこの誤った設定に応じて画像補正を行ってしまう。一般に、風景画像では高コントラスト高シャープネスが好まれ、ポートレート画像では高いコントラストや極端に高いシャープネスは好まれない傾向にあるが、例えば、ポートレート撮影時に誤って風景撮影用の撮影モードで撮影されると、画像処理装置は、風景撮影モードであると判断して、画像のコントラストやシャープネスを上げるなど、ポートレート画像に不適当な画像補正を行ってしまう。
【０００３】
【特許文献１】
特開２００２−３１４８０９号公報
【０００４】
【発明が解決しようとする課題】
本発明は、上述した背景からなされたものであり、ディジタル画像に添付された付加情報の信頼度を判定することができる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる画像処理装置は、ディジタル画像に基づいて、このディジタル画像の属性を解析する属性解析手段と、ディジタル画像に添付された付加情報を取得する付加情報取得手段と、前記属性解析手段により解析された画像属性に基づいて、前記付加情報取得手段により取得された付加情報の信頼度を判定する判定手段とを有する。
【０００６】
また、本発明にかかる画像処理装置は、ディジタル画像に添付された複数の付加情報を取得する付加情報取得手段と、前記付加情報取得手段により取得された複数の付加情報に基づいて、この付加情報の信頼度を判定する判定手段とを有する。
【０００７】
好適には、前記判定手段により判定された信頼度に応じて、ディジタル画像の画質を調整する画質調整手段をさらに有する。
【０００８】
好適には、前記判定手段は、撮影シーンに関する付加情報の信頼度を判定する。
好適には、前記判定手段は、前記ディジタル画像を撮影したときの撮影モードを示す付加情報について、信頼度を判定する。
【０００９】
好適には、前記判定手段により判定された信頼度が、予め定められた基準よりも低い場合に、警告情報を発信する警告手段をさらに有する。
【００１０】
［画像処理方法］
また、本発明にかかる画像処理方法は、ディジタル画像に基づいて、このディジタル画像の属性を解析し、ディジタル画像に添付された付加情報を取得し、解析された画像属性に基づいて、取得された付加情報の信頼度を判定する。
【００１１】
また、本発明にかかる画像処理方法は、ディジタル画像に添付された複数の付加情報を取得し、取得された複数の付加情報に基づいて、この付加情報の信頼度を判定する。
【００１２】
［プログラム］
また、本発明にかかるプログラムは、コンピュータを含む画像処理装置において、ディジタル画像に基づいて、このディジタル画像の属性を解析するステップと、ディジタル画像に添付された付加情報を取得するステップと、解析された画像属性に基づいて、取得された付加情報の信頼度を判定するステップとを前記画像処理装置のコンピュータに実行させる。
【００１３】
また、本発明にかかるプログラムは、コンピュータを含む画像処理装置において、ディジタル画像に添付された複数の付加情報を取得するステップと、取得された複数の付加情報に基づいて、この付加情報の信頼度を判定するステップとを前記画像処理装置のコンピュータに実行させる。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて説明する。
図１は、本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
図１に示すように、プリンタ装置１は、制御装置２およびプリンタ装置本体１０から構成される。
制御装置２は、ＣＰＵ２０２およびメモリ２０４などを含む制御装置本体２０と、通信装置２２と、ＨＤＤ・ＣＤ装置などの記録装置２４と、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６とから構成される。
プリンタ装置１は、ディジタルスチルカメラ等で撮影された画像データと、撮影条件などを示す付加情報（以下、タグ情報）とを、通信装置２２または記録装置２４を介して取得し、画像データを解析してタグ情報の信頼度を判定し、信頼度とタグ情報とに応じた画質補正処理を行う。
タグ情報は、画像データに添付された情報であり、この画像データの撮影モードを示す情報、撮影に用いられたディジタルスチルカメラを特定する情報、撮影時のシャッタースピード、撮影時のレンズＦ値、撮影時の被写体までの距離（以下、被写体距離）、フラッシュの有無、撮影輝度値、または撮影コントラストなどを含む。
【００１５】
図２は、制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の構成を示す図である。
図２に示すように、画像処理プログラム５は、タグ取得部５１０（付加情報取得手段）、画像取得部５２０、画像解析部５３０（属性解析手段）、信頼度判定部５４０（判定手段）、警告部５４５、補正量算出部５５０、画質補正処理部５６０（画質調整手段）、および画像出力部５８０から構成される。
また、画質補正処理部５６０は、ノイズ除去部５６２、ホワイトバランス補正部（ＷＢ補正部）５６４、露出補正部５６６、コントラスト補正部５６８、彩度補正部５７０、記憶色補正部５７２およびシャープネス補正部５７４を含む。
画像処理プログラム５は、例えば記録媒体２４０（図１）またはネットワークを介して制御装置２に供給され、メモリ２０４にロードされて実行される。
【００１６】
画像処理プログラム５において、タグ取得部５１０は、画像データに添付されたタグ情報を取得し、信頼度判定部５４０に対して出力する。タグ取得部５１０は、例えば、ディジタルスチルカメラ撮影の画像データなどに添付された、撮影状況を記録したチャンク情報やタグ情報を取得する。このタグ情報は、所定の画像形式（例えば、ＥＸＩＦ２．２）で画像データと共に同一のデータファイル内に保持されており、画像画素数、解像度、またはシーン分類等に関わる付加情報を含む。なお、ＥＸＩＦの画像形式の付加情報はディジタルスチルカメラ画像形式に限らない。また、タグ取得部５１０は、可逆圧縮にて高精度の撮影情報を保持できる画像形式ＴＩＦＦ等に基づいて、同様にタグ情報（付加情報）を取得してもよい。
画像取得部５２０は、通信装置２２または記録装置２４を介して、ディジタル画像の画像データを取得すると、画像解析部５３０および画質補正処理部５６０に対して出力する。
【００１７】
画像解析部５３０は、画像取得部５２０から入力された画像データの少なくとも一部を解析し、画像に含まれる色、輝度、またはシャープネス等の特徴を示す特徴量を算出し、画像属性として信頼度判定部５４０に対して出力する。
例えば、画像解析部５３０は、ＲＧＢヒストグラムまたは画像データのＨＳＬヒストグラムなどに基づいて、画像内の明度分布、彩度分布およびカラーバランスを特徴づける特徴量を算出したり、画像サイズ、画像データのエッジ量およびエッジ強度などに基づいて、画像シャープネスのエッジ度を特徴量として算出する。
また、画像解析部５３０は、画像内部の肌色、空色、および緑色等の分布を示す特徴量（肌色面積、空面積、緑面積等）を算出する。
また、画像解析部５３０は、画像内部の局所的な明るさの分布状態などからシーンの撮影状況（フラッシュの有無、主要被写体の逆光状況、および人物の大きさ等）などの特徴量を、画像属性として算出してもよい。
【００１８】
信頼度判定部５４０は、画像解析部５３０から入力された画像属性（解析結果）に基づいて、タグ取得部５１０から入力されたタグ情報の信頼度を判定し、警告部５４５および補正量算出部５５０に対して出力する。なお、本例では、信頼度判定部５４０が、後述する判定方法により、撮影モードを示すタグ情報の信頼度を判定する場合を具体例として説明する。ここで、撮影モードとは、撮影者が画像撮影時に設定した設定モードであり、例えば、人物撮影モード、風景撮影モード、および夜景撮影モード等である。これらの撮影モードは、シャッタースピード、レンズ絞り値、ストロボの有無等の撮影条件等（画像の撮影属性情報）に対応付けられており、選択された撮影モードに対応する少なくとも１つの撮影条件を包括的に指定する設定情報である。
信頼度判定部５４０は、撮影日時、撮影場所、撮影時の温度などの他の属性情報に基づいて、タグ情報の信頼度を判定してもよい。また、信頼度判定部５４０は、撮影モードの変更履歴に基づいて、タグ情報の信頼度を判定してもよい。
【００１９】
警告部５４５は、信頼度判定部５４０から入力された信頼度が基準値以下の場合に、信頼度が低い旨の警告を出力する。警告部５４５は、例えば、ＵＩ装置２６を制御して、表示装置上に警告を表示させる。警告部５４５は、警告音、光の点滅、または印刷媒体上の印字等により、警告を発してもよい。さらに、警告部５４５は、信頼度が基準値以下の場合に、印刷処理を一時停止させ、利用者の指示を待って印刷処理を再開させてもよい。
【００２０】
補正量算出部５５０は、信頼度判定部５４０から入力された信頼度およびタグ情報に基づいて、補正量を算出し、画質補正処理部５６０に対して出力する。例えば、補正量算出部５５０は、撮影モードと補正パラメータとを互いに対応付けるテーブルを参照し、撮影モードに対応する補正パラメータを信頼度に応じて調整して、補正量を求める。この補正パラメータ調整は、信頼度が高いほど、撮影モードに対応する補正パラメータの寄与度が大きくなるように係数を作用させることにより行われる。
【００２１】
画質補正処理部５６０は、ノイズ除去部５６２、ＷＢ補正部５６４、露出補正部５６６、コントラスト補正部５６８、彩度補正部５７０、記憶色補正部５７２およびシャープネス補正部５７４を含み、画像取得部５２０から入力された画像データに対して、補正量算出部５５０から入力された補正量に応じた画質補正処理を施して、画像出力部５８０に対して出力する。
ノイズ除去部５６２は、画像データに平滑化処理を施して、ノイズを除去する。ＷＢ補正部５６４は、ノイズ除去がなされた画像データに対して、ホワイトバランスの調整処理を行う。露出補正部５６６は、ホワイトバランスの調整がなされた画像データに対して、露出量の補正を行う。コントラスト補正部５６８は、露出量が補正された画像データに対して、コントラストの調整を行う。彩度補正部５７０は、コントラスト調整がなされた画像データに対して、彩度の調整を行う。記憶色補正部５７２は、彩度調整がなされた画像データに対して、記憶色補正を行う。シャープネス補正部５７４は、記憶色補正がなされた画像データに対して、シャープネスを強調する処理を行う。
【００２２】
画像出力部５８０は、画質補正処理部５６０から入力された画像データを、ＣＭＹＫ色空間に変換し、プリンタ装置本体１０のプリントエンジン（不図示）を制御してシート上に印刷する。
【００２３】
図３は、信頼度判定部５４０がタグ情報の信頼度を判定するときの判定テーブルを例示する図である。
図３に例示するように、信頼度判定部５４０は、画像解析結果および他のタグ情報に関する評価項目および評価基準を示す判定テーブルを有し、撮影モードを示すタグ情報の信頼度を判定するときに参照する。本例の場合、信頼度判定部５４０は、タグ情報で特定された撮影モードの信頼度を算出する場合に、この撮影モードに対応する複数の評価項目（「画像解析結果」および「タグ情報」）について、解析結果（肌色面積、被写体の有無等）およびタグ情報の内容が評価基準（肌面積率、レンズＦ値、被写体距離等）を満たすか否か判定し、評価基準を満たすと判定された評価項目の数に基づいて撮影モードの信頼度を算出する。
例えば、人物撮影シーンであることを示すタグ情報の信頼度を判定する場合に、信頼度判定部５４０は、肌色面積の大きさおよび被写体の有無に関する画像解析を取得し、さらに、撮影時のレンズＦ値および被写体距離を示すタグ情報を取得し、これらの評価項目に対する評価条件に合致する項目数を信頼度とする。
【００２４】
［動作］
以下、プリンタ装置１の動作を説明する。
図４は、プリンタ装置１（画像処理プログラム５）の動作（Ｓ１０）を示すフローチャートである。
ステップ１００（Ｓ１００）において、プリンタ装置１の画像取得部５２０は、通信装置２２または記録装置２４を介して、画像データを取得し、画像解析部５３０および画質補正処理部５６０に対して出力する。また、タグ取得部５１０は、画像取得部５２０が取得した画像データに添付されたタグ情報を取得し、信頼度判定部５４０に対して取得する。
【００２５】
ステップ１０２（Ｓ１０２）において、画像解析部５３０は、画像取得部５２０から入力された画像データに基づいて、肌色、空、または緑などの面積の大きさ、被写体の有無、ヒストグラム分布、および、輝度平均値などを解析し、信頼度判定部５４０に対して出力する。
【００２６】
ステップ１０４（Ｓ１０４）において、信頼度判定部５４０は、図３に例示するような判定テーブルを参照して、画像解析部５３０から入力された解析結果、および、タグ取得部５１０から入力されたタグ情報に対応する信頼度を判定し、警告部５４５および補正量算出部５５０に対して出力する。
【００２７】
ステップ１０６（Ｓ１０６）において、警告部５４５は、信頼度判定部５４０から入力された信頼度と、警告の基準値とを比較する。画像処理プログラム５は、信頼度が基準値以下の場合に、Ｓ１０６の処理に移行し、これ以外の場合に、Ｓ１１０の処理に移行する。
ステップ１０８（Ｓ１０８）において、警告部５４５は、信頼度が基準値以下の場合に、ＵＩ装置２６（図１）を制御して、タグ情報の信頼度が低い旨を表示する。
【００２８】
ステップ１１０（Ｓ１１０）において、補正量算出部５５０は、信頼度判定部５４０から入力されたタグ情報、および、このタグ情報の信頼度に応じて、補正量を算出し、画質補正処理部５６０に対して出力する。
ステップ１１２（Ｓ１１２）において、画質補正処理部５６０は、補正量算出部５５０から入力された補正量に応じて、画像取得部５２０から入力された画像データの画質補正を行い、画像出力部５８０に対して出力する。
ステップ１１４（Ｓ１１４）において、画像出力部５８０は、プリンタ装置本体１０（図１）を制御して、画質補正処理部５６０から入力された補正後の画像データを印刷する。
【００２９】
以上のよう、本実施形態のプリンタ装置１は、入力されたタグ情報の信頼度を画像解析に基づいて判定するので、撮影者が設定ミスした状態で画像を撮影した場合でも、撮影者が撮影意図に合致した設定であるか否かを判定し、撮影意図から外れた画質補正を行うことを防止して、高画質の出力画像を得ることができる。
【００３０】
［変形例］
次に、本発明の変形例について説明する。上記実施形態では、画像解析の結果に基づいて、タグ情報の信頼度を判定したが、本変形例では、複数のタグ情報に基づいてタグ情報の信頼度を判定する。例えば、プリンタ装置１は、撮影者による設定内容を示すタグ情報と、操作者の設定に影響されない撮影パラメータを示すタグ情報とを取得し、これらの対応関係に基づいて、撮影者による設定内容を示すタグ情報の信頼性を判定する。
【００３１】
図５は、本変形例における画像処理プログラム５２の構成を説明する図である。
図５に示すように、画像処理プログラム５２は、図２に示した画像処理プログラム５から画像解析部５３０を削除した構成をとる。なお、図５に示した各構成のうち、図２に示したものと実質的に同一なものには、同一の符号が付されている。
【００３２】
画像処理プログラム５２におけるタグ取得部５２０は、複数のタグ情報を取得し、信頼度判定部５４０に対して出力する。
信頼度判定部５４０は、タグ取得部５２０から入力された複数のタグ情報に基づいて、撮影シーンに関するタグ情報の信頼度を判定し、警告部５４５および補正量算出部５５０に対して出力する。
【００３３】
図６は、本変形例において信頼度判定部５４０（図５）が参照する判定テーブルを例示する図である。
図６に例示するように、信頼度判定部５４０は、複数のタグ情報に基づいて、タグ情報（撮影シーン情報）の信頼度を判定する。本例の信頼度判定部５４０は、撮影者により設定された撮影者設定情報（レンズＦ値またはシャッタースピード等）を示すタグ情報Ａと、撮影者の設定によらずディジタルスチルカメラにより自動的に設定または計測されたカメラ設定情報（被写体距離または輝度値等）を示すタグ情報Ｂとに基づいて、撮影シーンを示すタグ情報の信頼度を判定する。
例えば、レンズＦ値が基準ｂよりも小さく、被写体距離が基準ｃよりも小さい場合には、レンズ開放に近い状態で近距離の被写体を撮影したものと考えられ、信頼度判定部５４０は、人物撮影シーン（人物撮影モード）であることを示すタグ情報の信頼度が高いと判断する。また、レンズＦ値が基準ｄよりも大きく、かつ、被写体距離（自動焦点距離）が基準ｅよりも大きい場合には、被写界深度を深くして遠景を撮影したものと考えられ、信頼度判定部５４０は、風景撮影シーン（風景撮影モード）であることを示すタグ情報の信頼度を高いと判断する。
【００３４】
このように、複数のタグ情報に基づいてタグ情報の信頼度を判定することにより、画像解析等のように負荷の大きな処理を行わずにタグ情報の信頼度を判定することができる。
【００３５】
また、他の変形例としては、信頼度判定部５４０は、画像解析結果およびタグ情報に対して、評価値を付与して、この評価値に基づいてタグ情報の信頼度を判定してもよい。
図７は、信頼度判定部５４０が用いる評価値のグラフを例示する図である。図７（Ａ）は、画像全体に対する肌面積率と、タグ情報（人物撮影シーン）に対する評価値との関係を示し、図７（Ｂ）は、被写体距離と、タグ情報（人物撮影シーン）に対する評価値との関係を示し、図７（Ｃ）は、レンズＦ値と、タグ情報（人物撮影シーン）に対する評価値との関係を示す。
信頼度判定部５４０は、図７（Ａ）に例示するように、画像全体に対する肌面積率が高いほど人物撮影シーンである可能性が高いので、人物撮影シーンを示すタグ情報に対して、より高い評価値を付与し、図７（Ｂ）に例示するように、被写体距離が近いほど人物撮影シーンである可能性が高いので、人物撮影シーンを示すタグ情報に対して、より高い評価値を付与する。また、信頼度判定部５４０は、図７（Ｃ）に例示するように、レンズＦ値が小さいほど人物撮影シーンである可能性が高いので、人物撮影シーンを示すタグ情報に対して、より高い評価値を付与する。
例えば、信頼度判定部５４０は、図３に例示した判定テーブルを参照して、人物撮影シーンであることを示すタグ情報の信頼度を判定する場合には、画像解析結果に基づいて肌面積率（図７（Ａ）を参照）および被写体の有無に応じた評価値を算出し、さらに、タグ情報に基づいてレンズＦ値（図７（Ｃ）を参照）および被写体距離（図７（Ｂ）を参照）に応じた評価値を算出し、それぞれに重み付け係数を掛けて合算する。なお、被写体の有無に対する評価値は、例えば、被写体の有無に応じて予め設定された２値である。
このように、画像解析結果およびタグ情報の内容に対して、連続的な評価値を設定することにより、信頼度判定の確度をさらに向上させることができる。
【００３６】
【発明の効果】
以上説明したように、本発明にかかる画像処理装置によれば、ディジタル画像に添付された付加情報の信頼度を判定することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
【図２】制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の構成を示す図である。
【図３】信頼度判定部５４０がタグ情報の信頼度を判定するときの判定テーブルを例示する図である。
【図４】プリンタ装置１（画像処理プログラム５）の動作（Ｓ１０）を示すフローチャートである。
【図５】本変形例における画像処理プログラム５２の構成を説明する図である。
【図６】本変形例において信頼度判定部５４０（図５）が参照する判定テーブルを例示する図である。
【図７】（Ａ）は、画像全体に対する肌面積率と、タグ情報（人物撮影シーン）に対する評価値との関係を例示し、（Ｂ）は、被写体距離と、タグ情報（人物撮影シーン）に対する評価値との関係を例示し、（Ｃ）は、レンズＦ値と、タグ情報（人物撮影シーン）に対する評価値との関係を例示するグラフである。
【符号の説明】
１・・・プリンタ装置
１０・・・プリンタ装置本体
２・・・制御装置
２０・・・制御装置本体
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記録装置
２４０・・・記録媒体
２６・・・ＵＩ装置
５，５２・・・画像処理プログラム
５１０・・・タグ取得部
５２０・・・画像取得部
５３０・・・画像解析部
５４０・・・信頼度判定部
５４５・・・警告部
５５０・・・補正量算出部
５６０・・・画質補正処理部
５６２・・・ノイズ除去部
５６４・・・ホワイト・バランス補正部
５６６・・・露出補正部
５６８・・・コントラスト補正部
５７０・・・彩度補正部
５７２・・・記憶色補正部
５７４・・・シャープネス補正部
５８０・・・画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention acquires a digital image photographed by a digital still camera or the like and additional information attached to the digital image and uses the additional information for image processing, an image processing method, and a program thereof About.
[0002]
[Prior art]
Some digital still cameras can attach camera information such as shooting date / time, exposure, shutter speed, or shooting scene type to image data. In addition, an image processing apparatus has been proposed that performs image quality correction processing that reflects the photographer's intention at the time of shooting using the camera information (additional information) attached to the image data in this way (for example, Patent Documents). 1).
However, when the photographer takes an image with an incorrect setting, the setting is output to the image processing apparatus as camera information, and the image processing apparatus performs image correction according to the incorrect setting. In general, landscape images tend to favor high contrast and sharpness, while portrait images tend not to favor high contrast or extremely high sharpness.For example, when shooting portraits, they are mistakenly shot in landscape shooting mode. Then, the image processing apparatus determines that it is the landscape shooting mode, and performs image correction inappropriate for the portrait image, such as increasing the contrast and sharpness of the image.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-314809
[Problems to be solved by the invention]
The present invention has been made from the above-described background, and an object thereof is to provide an image processing apparatus capable of determining the reliability of additional information attached to a digital image.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention is based on a digital image, attribute analysis means for analyzing the attribute of the digital image, and additional information acquisition for acquiring additional information attached to the digital image. And determination means for determining the reliability of the additional information acquired by the additional information acquisition means based on the image attribute analyzed by the attribute analysis means.
[0006]
The image processing apparatus according to the present invention includes additional information acquisition means for acquiring a plurality of additional information attached to a digital image, and the additional information based on the plurality of additional information acquired by the additional information acquisition means. And determining means for determining the reliability of.
[0007]
Preferably, the image processing apparatus further includes image quality adjusting means for adjusting the image quality of the digital image in accordance with the reliability determined by the determining means.
[0008]
Preferably, the determination unit determines the reliability of the additional information regarding the shooting scene.
Preferably, the determination unit determines the reliability of additional information indicating a shooting mode when the digital image is shot.
[0009]
Preferably, the information processing apparatus further includes warning means for transmitting warning information when the reliability determined by the determination means is lower than a predetermined reference.
[0010]
[Image processing method]
The image processing method according to the present invention analyzes the attribute of the digital image based on the digital image, acquires additional information attached to the digital image, and acquires the additional information attached based on the analyzed image attribute. The reliability of the additional information is determined.
[0011]
The image processing method according to the present invention acquires a plurality of additional information attached to a digital image, and determines the reliability of the additional information based on the acquired plurality of additional information.
[0012]
[program]
The program according to the present invention is analyzed in an image processing apparatus including a computer, based on the digital image, the step of analyzing the attribute of the digital image, and the step of acquiring additional information attached to the digital image. And determining the reliability of the acquired additional information based on the obtained image attribute.
[0013]
The program according to the present invention includes a step of acquiring a plurality of additional information attached to a digital image in an image processing apparatus including a computer, and the reliability of the additional information based on the acquired plurality of additional information. And a step of determining the image processing apparatus.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration of a printer apparatus 1 to which an image processing method according to the present invention is applied, centering on a control apparatus 2 thereof.
As shown in FIG. 1, the printer device 1 includes a control device 2 and a printer device body 10.
The control device 2 includes a control device main body 20 including a CPU 202 and a memory 204, a communication device 22, a recording device 24 such as an HDD / CD device, a user interface including an LCD display device or a CRT display device, and a keyboard / touch panel. And a device (UI device) 26.
The printer device 1 acquires image data photographed by a digital still camera or the like and additional information (hereinafter referred to as tag information) indicating photographing conditions and the like via the communication device 22 or the recording device 24, and analyzes the image data. Then, the reliability of the tag information is determined, and an image quality correction process according to the reliability and the tag information is performed.
The tag information is information attached to the image data, information indicating the shooting mode of the image data, information specifying the digital still camera used for shooting, shutter speed during shooting, lens F value during shooting, It includes the distance to the subject at the time of shooting (hereinafter referred to as the subject distance), the presence or absence of flash, the shooting brightness value, or the shooting contrast.
[0015]
FIG. 2 is a diagram showing a configuration of an image processing program 5 that is executed by the control device 2 (FIG. 1) and realizes the image processing method according to the present invention.
As shown in FIG. 2, the image processing program 5 includes a tag acquisition unit 510 (additional information acquisition unit), an image acquisition unit 520, an image analysis unit 530 (attribute analysis unit), a reliability determination unit 540 (determination unit), a warning. 545, a correction amount calculation unit 550, an image quality correction processing unit 560 (image quality adjustment means), and an image output unit 580.
The image quality correction processing unit 560 includes a noise removal unit 562, a white balance correction unit (WB correction unit) 564, an exposure correction unit 566, a contrast correction unit 568, a saturation correction unit 570, a memory color correction unit 572, and a sharpness correction unit. 574.
The image processing program 5 is supplied to the control device 2 via, for example, the recording medium 240 (FIG. 1) or a network, loaded into the memory 204, and executed.
[0016]
In the image processing program 5, the tag acquisition unit 510 acquires tag information attached to the image data and outputs the tag information to the reliability determination unit 540. The tag acquisition unit 510 acquires, for example, chunk information and tag information that records the shooting state attached to image data of a digital still camera. This tag information is held in the same data file together with image data in a predetermined image format (for example, EXIF 2.2), and includes additional information related to the number of image pixels, resolution, scene classification, and the like. The additional information in the EXIF image format is not limited to the digital still camera image format. The tag acquisition unit 510 may similarly acquire tag information (additional information) based on an image format TIFF or the like that can hold high-accuracy shooting information by lossless compression.
When the image acquisition unit 520 acquires image data of a digital image via the communication device 22 or the recording device 24, the image acquisition unit 520 outputs the digital image data to the image analysis unit 530 and the image quality correction processing unit 560.
[0017]
The image analysis unit 530 analyzes at least a part of the image data input from the image acquisition unit 520, calculates a feature amount indicating a feature such as color, brightness, or sharpness included in the image, and has reliability as an image attribute. It outputs to the determination part 540.
For example, the image analysis unit 530 calculates a feature amount that characterizes the lightness distribution, the saturation distribution, and the color balance in the image based on the RGB histogram or the HSL histogram of the image data, and the image size and the edge of the image data. Based on the amount, edge strength, and the like, the edge degree of image sharpness is calculated as a feature amount.
In addition, the image analysis unit 530 calculates a feature amount (skin color area, sky area, green area, etc.) indicating the distribution of skin color, sky blue, green, and the like inside the image.
In addition, the image analysis unit 530 calculates a feature amount such as a shooting state of a scene (the presence / absence of a flash, a backlight condition of a main subject, a size of a person, etc.) from a local brightness distribution state in the image, and the like. It may be calculated as an attribute.
[0018]
The reliability determination unit 540 determines the reliability of the tag information input from the tag acquisition unit 510 based on the image attribute (analysis result) input from the image analysis unit 530, and outputs a warning unit 545 and a correction amount calculation unit. 550 is output. In this example, a case where the reliability determination unit 540 determines the reliability of tag information indicating a shooting mode by a determination method described later will be described as a specific example. Here, the shooting mode is a setting mode set by the photographer at the time of shooting an image, such as a portrait shooting mode, a landscape shooting mode, a night scene shooting mode, or the like. These shooting modes are associated with shooting conditions such as shutter speed, lens aperture value, presence / absence of strobe (image shooting attribute information), and include at least one shooting condition corresponding to the selected shooting mode. Setting information to be specified.
The reliability determination unit 540 may determine the reliability of the tag information based on other attribute information such as the shooting date and time, the shooting location, and the temperature at the time of shooting. Further, the reliability determination unit 540 may determine the reliability of the tag information based on the shooting mode change history.
[0019]
The warning unit 545 outputs a warning that the reliability is low when the reliability input from the reliability determination unit 540 is equal to or less than the reference value. For example, the warning unit 545 controls the UI device 26 to display a warning on the display device. The warning unit 545 may issue a warning by a warning sound, flashing light, printing on a print medium, or the like. Further, the warning unit 545 may pause the printing process when the reliability is equal to or lower than the reference value, and resume the printing process after waiting for a user instruction.
[0020]
The correction amount calculation unit 550 calculates a correction amount based on the reliability and tag information input from the reliability determination unit 540 and outputs the correction amount to the image quality correction processing unit 560. For example, the correction amount calculation unit 550 refers to a table that associates the shooting mode and the correction parameter with each other, adjusts the correction parameter corresponding to the shooting mode according to the reliability, and obtains the correction amount. This correction parameter adjustment is performed by applying a coefficient so that the higher the reliability, the greater the contribution of the correction parameter corresponding to the shooting mode.
[0021]
The image quality correction processing unit 560 includes a noise removal unit 562, a WB correction unit 564, an exposure correction unit 566, a contrast correction unit 568, a saturation correction unit 570, a memory color correction unit 572, and a sharpness correction unit 574, and an image acquisition unit 520. Is subjected to image quality correction processing corresponding to the correction amount input from the correction amount calculation unit 550 and output to the image output unit 580.
The noise removal unit 562 performs a smoothing process on the image data to remove noise. The WB correction unit 564 performs white balance adjustment processing on the image data from which noise has been removed. The exposure correction unit 566 corrects the exposure amount for the image data for which the white balance has been adjusted. The contrast correction unit 568 adjusts the contrast of the image data whose exposure amount has been corrected. The saturation correction unit 570 adjusts the saturation of the image data that has undergone contrast adjustment. The memory color correction unit 572 performs memory color correction on the image data that has been subjected to saturation adjustment. The sharpness correction unit 574 performs processing for enhancing sharpness on the image data that has undergone memory color correction.
[0022]
The image output unit 580 converts the image data input from the image quality correction processing unit 560 into a CMYK color space, and controls the print engine (not shown) of the printer apparatus main body 10 to print on the sheet.
[0023]
FIG. 3 is a diagram illustrating a determination table used when the reliability determination unit 540 determines the reliability of the tag information.
As illustrated in FIG. 3, the reliability determination unit 540 includes a determination table indicating evaluation items and evaluation criteria related to image analysis results and other tag information, and determines the reliability of tag information indicating a shooting mode. Refer to. In the case of this example, the reliability determination unit 540 calculates a plurality of evaluation items (“image analysis result” and “tag information”) corresponding to this shooting mode when calculating the reliability of the shooting mode specified by the tag information. ), Whether the analysis result (skin color area, subject presence / absence, etc.) and the content of the tag information satisfy the evaluation criteria (skin area ratio, lens F value, subject distance, etc.) are determined to satisfy the evaluation criteria. The reliability of the shooting mode is calculated based on the number of evaluation items.
For example, when determining the reliability of tag information indicating a person-captured scene, the reliability determination unit 540 obtains image analysis regarding the size of the skin color area and the presence or absence of the subject, and further, the lens at the time of shooting Tag information indicating the F value and subject distance is acquired, and the number of items that match the evaluation conditions for these evaluation items is defined as the reliability.
[0024]
[Operation]
Hereinafter, the operation of the printer apparatus 1 will be described.
FIG. 4 is a flowchart showing the operation (S10) of the printer apparatus 1 (image processing program 5).
In step 100 (S100), the image acquisition unit 520 of the printer apparatus 1 acquires image data via the communication device 22 or the recording device 24, and outputs the acquired image data to the image analysis unit 530 and the image quality correction processing unit 560. Further, the tag acquisition unit 510 acquires tag information attached to the image data acquired by the image acquisition unit 520 and acquires the tag information from the reliability determination unit 540.
[0025]
In step 102 (S102), the image analysis unit 530, based on the image data input from the image acquisition unit 520, the size of the area such as skin color, sky, or green, presence / absence of the subject, histogram distribution, and luminance The average value is analyzed and output to the reliability determination unit 540.
[0026]
In step 104 (S104), the reliability determination unit 540 refers to the determination table illustrated in FIG. 3 and the analysis result input from the image analysis unit 530 and the tag input from the tag acquisition unit 510. The reliability corresponding to the information is determined and output to the warning unit 545 and the correction amount calculation unit 550.
[0027]
In step 106 (S106), the warning unit 545 compares the reliability input from the reliability determination unit 540 with the warning reference value. The image processing program 5 proceeds to the process of S106 when the reliability is equal to or lower than the reference value, and proceeds to the process of S110 in other cases.
In step 108 (S108), the warning unit 545 controls the UI device 26 (FIG. 1) to display that the reliability of the tag information is low when the reliability is below the reference value.
[0028]
In step 110 (S110), the correction amount calculation unit 550 calculates the correction amount according to the tag information input from the reliability determination unit 540 and the reliability of the tag information, and sends the correction amount to the image quality correction processing unit 560. Output.
In step 112 (S112), the image quality correction processing unit 560 corrects the image quality of the image data input from the image acquisition unit 520 in accordance with the correction amount input from the correction amount calculation unit 550, and sends it to the image output unit 580. Output.
In step 114 (S114), the image output unit 580 controls the printer apparatus body 10 (FIG. 1) to print the corrected image data input from the image quality correction processing unit 560.
[0029]
As described above, the printer apparatus 1 according to the present embodiment determines the reliability of the input tag information based on the image analysis. Therefore, even when the photographer captures an image with a setting error, the photographer captures the image. It can be determined whether or not the setting matches the intention, and it is possible to obtain a high-quality output image by preventing the image quality correction from being out of the shooting intention.
[0030]
[Modification]
Next, a modified example of the present invention will be described. In the above embodiment, the reliability of the tag information is determined based on the result of the image analysis. However, in the present modification, the reliability of the tag information is determined based on a plurality of tag information. For example, the printer apparatus 1 acquires tag information indicating the setting contents by the photographer and tag information indicating the shooting parameters that are not affected by the settings of the operator, and sets the setting contents by the photographer based on these correspondences. The reliability of the tag information shown is determined.
[0031]
FIG. 5 is a diagram illustrating the configuration of the image processing program 52 in the present modification.
As shown in FIG. 5, the image processing program 52 has a configuration in which the image analysis unit 530 is deleted from the image processing program 5 shown in FIG. 5 that are substantially the same as those shown in FIG. 2 are denoted by the same reference numerals.
[0032]
The tag acquisition unit 520 in the image processing program 52 acquires a plurality of tag information and outputs it to the reliability determination unit 540.
The reliability determination unit 540 determines the reliability of the tag information related to the shooting scene based on the plurality of tag information input from the tag acquisition unit 520, and outputs the determination to the warning unit 545 and the correction amount calculation unit 550.
[0033]
FIG. 6 is a diagram illustrating a determination table referred to by the reliability determination unit 540 (FIG. 5) in the present modification.
As illustrated in FIG. 6, the reliability determination unit 540 determines the reliability of tag information (shooting scene information) based on a plurality of tag information. The reliability determination unit 540 of this example automatically uses tag information A indicating photographer setting information (lens F value, shutter speed, etc.) set by the photographer and a digital still camera regardless of the photographer's setting. Based on the tag information B indicating the set or measured camera setting information (subject distance, brightness value, etc.), the reliability of the tag information indicating the shooting scene is determined.
For example, when the lens F value is smaller than the reference b and the subject distance is smaller than the reference c, it is considered that a subject at a close distance was photographed in a state close to the lens open, and the reliability determination unit 540 It is determined that the reliability of the tag information indicating the shooting scene (person shooting mode) is high. Further, when the lens F value is larger than the reference d and the subject distance (automatic focal length) is larger than the reference e, it is considered that the far field is photographed with a deep depth of field, and the reliability The determination unit 540 determines that the reliability of the tag information indicating a landscape shooting scene (landscape shooting mode) is high.
[0034]
Thus, by determining the reliability of the tag information based on a plurality of tag information, the reliability of the tag information can be determined without performing a heavy processing such as image analysis.
[0035]
As another modification, the reliability determination unit 540 may assign an evaluation value to the image analysis result and the tag information, and determine the reliability of the tag information based on the evaluation value. .
FIG. 7 is a diagram illustrating a graph of evaluation values used by the reliability determination unit 540. FIG. 7A shows the relationship between the skin area ratio for the entire image and the evaluation value for the tag information (person photographing scene), and FIG. 7B shows the subject distance and the tag information (person photographing scene). FIG. 7C shows the relationship between the lens F value and the evaluation value for the tag information (person photographing scene).
As illustrated in FIG. 7A, the reliability determination unit 540 is more likely to be a person photographing scene as the skin area ratio with respect to the entire image is higher. As shown in FIG. 7B, a higher evaluation value is assigned, and as the subject distance is shorter, there is a higher possibility of a person shooting scene. Therefore, a higher evaluation value is given to tag information indicating a person shooting scene. Give. Further, as illustrated in FIG. 7C, the reliability determination unit 540 is more likely to be a person photographing scene as the lens F value is smaller, and thus is higher than the tag information indicating the person photographing scene. Assign an evaluation value.
For example, the reliability determination unit 540 refers to the determination table illustrated in FIG. 3, and determines the skin area ratio based on the image analysis result when determining the reliability of tag information indicating a person-captured scene. (See FIG. 7A) and an evaluation value corresponding to the presence or absence of the subject are calculated. Further, based on the tag information, the lens F value (see FIG. 7C) and the subject distance (FIG. 7B) are calculated. The evaluation value according to the above is calculated, and each is multiplied by a weighting coefficient and added up. Note that the evaluation value for the presence or absence of the subject is, for example, a binary value set in advance according to the presence or absence of the subject.
Thus, the accuracy of reliability determination can be further improved by setting continuous evaluation values for the image analysis results and the content of the tag information.
[0036]
【The invention's effect】
As described above, according to the image processing apparatus of the present invention, the reliability of additional information attached to a digital image can be determined.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a hardware configuration of a printer apparatus 1 to which an image processing method according to the present invention is applied, centering on a control apparatus 2;
FIG. 2 is a diagram showing a configuration of an image processing program 5 that is executed by the control device 2 (FIG. 1) and implements the image processing method according to the present invention.
FIG. 3 is a diagram illustrating a determination table used when the reliability determination unit 540 determines the reliability of tag information.
FIG. 4 is a flowchart illustrating an operation (S10) of the printer apparatus 1 (image processing program 5).
FIG. 5 is a diagram illustrating a configuration of an image processing program 52 in the present modification.
FIG. 6 is a diagram illustrating a determination table referred to by a reliability determination unit 540 (FIG. 5) in the present modification.
7A illustrates the relationship between the skin area ratio for the entire image and the evaluation value for tag information (person photographed scene), and FIG. 7B illustrates the subject distance and tag information (person photographed scene). (C) is a graph illustrating the relationship between the lens F value and the evaluation value for the tag information (person photographed scene).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Printer apparatus 10 ... Printer apparatus main body 2 ... Control apparatus 20 ... Control apparatus main body 202 ... CPU
204 ... Memory 22 ... Communication device 24 ... Recording device 240 ... Recording medium 26 ... UI device 5, 52 ... Image processing program 510 ... Tag acquisition unit 520 ... Image Acquisition unit 530 ... Image analysis unit 540 ... Reliability determination unit 545 ... Warning unit 550 ... Correction amount calculation unit 560 ... Image quality correction processing unit 562 ... Noise removal unit 564 ... White balance correction unit 566 ... Exposure correction unit 568 ... Contrast correction unit 570 ... Saturation correction unit 572 ... Memory color correction unit 574 ... Sharpness correction unit 580 ... Image output unit

Claims

Attribute analysis means for analyzing attributes of the digital image based on the digital image;
Additional information acquisition means for acquiring additional information attached to the digital image;
A determination unit that determines the reliability of the additional information acquired by the additional information acquisition unit based on the image attribute analyzed by the attribute analysis unit ;
An image processing apparatus comprising: image quality adjusting means for adjusting image quality of a digital image in accordance with the additional information acquired by the additional information acquiring means and the reliability determined by the determining means .

Additional information acquisition means for acquiring a plurality of additional information attached to the digital image;
Determination means for determining the reliability of the additional information based on the plurality of additional information acquired by the additional information acquisition means ;
An image processing apparatus comprising: a plurality of additional information acquired by the additional information acquisition unit; and an image quality adjustment unit that adjusts an image quality of the digital image according to the reliability determined by the determination unit.

The additional information acquisition means acquires additional information related to a shooting scene of the digital image,
The determination means is an image processing apparatus according to claim 1 or 2 determines the reliability of the additional information related to a shooting scene acquired by the additional information acquisition unit.

The additional information acquisition means acquires additional information indicating a shooting mode set when the digital image was shot;
The image processing apparatus according to claim 3 , wherein the determination unit determines the reliability of additional information indicating a shooting mode acquired by the additional information acquisition unit.

The reliability determined by determining means is lower than a predetermined reference, the image processing apparatus according to any one of claims 1 to 4, further comprising a warning means for transmitting the warning information.

Analyzing the attributes of this digital image based on the digital image,
Acquire additional information attached to digital images,
Based on the analyzed image attributes, determine the reliability of the acquired additional information ,
An image processing method for adjusting the image quality of a digital image in accordance with the acquired additional information and the determined reliability .

Acquire multiple additional information attached to digital images,
Based on the acquired additional information, determine the reliability of the acquired additional information ,
An image processing method for adjusting the image quality of a digital image in accordance with a plurality of acquired additional information and the determined reliability .

In an image processing apparatus including a computer,
Analyzing the attributes of the digital image based on the digital image;
Obtaining additional information attached to the digital image;
Determining the reliability of the acquired additional information based on the analyzed image attributes ;
A program for causing the computer of the image processing apparatus to execute the step of adjusting the image quality of the digital image according to the acquired additional information and the determined reliability .

In an image processing apparatus including a computer,
Obtaining a plurality of additional information attached to the digital image;
Determining the reliability of the acquired additional information based on the plurality of acquired additional information ;
A program for causing a computer of the image processing apparatus to execute a step of adjusting the image quality of a digital image according to a plurality of acquired additional information and the determined reliability .