JP3966461B2 - 電子カメラ装置 - Google Patents
電子カメラ装置 Download PDFInfo
- Publication number
- JP3966461B2 JP3966461B2 JP2002232475A JP2002232475A JP3966461B2 JP 3966461 B2 JP3966461 B2 JP 3966461B2 JP 2002232475 A JP2002232475 A JP 2002232475A JP 2002232475 A JP2002232475 A JP 2002232475A JP 3966461 B2 JP3966461 B2 JP 3966461B2
- Authority
- JP
- Japan
- Prior art keywords
- roi
- area
- image data
- recognition
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 111
- 238000007906 compression Methods 0.000 claims description 65
- 230000006835 compression Effects 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 2
- 230000006837 decompression Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000013139 quantization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的には画像処理の分野に係り、特に、電子カメラ装置等の電子処理装置において画像の注目領域（ＲＯＩ領域）を設定する技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等の電子カメラ装置においては、撮影した画像は圧縮処理されてから記録媒体に記録されることが一般的である。
【０００３】
この画像の圧縮処理にはＪＰＥＧが広く用いられているが、これに代えて新しい画像圧縮方式であるＪＰＥＧ２０００（ISO/IEC FCD 15444-1）を利用するための研究が盛んになされている。ＪＰＥＧ２０００には、画像全体の圧縮率を下げることなく、画像の注目領域（Region of Interest：ＲＯＩ）の圧縮率を下げる（高画質化する）ための選択的領域画質向上機能（ＲＯＩ機能）がある。
【０００４】
このようなＲＯＩ機能は電子カメラ装置には極めて魅力的である。撮影した画像の重要な領域をＲＯＩ領域として設定することにより、その領域について高画質を維持しつつ画像全体のデータ量を大幅に削減可能であるからである。
【０００５】
ＲＯＩ機能を利用するためには、撮影した個々の画像についてＲＯＩ領域を指定する必要がある。このＲＯＩ領域の指定に関する公知文献としては、特開２００１−２３０９４７号公報がある。同公報に記載されている電子カメラ装置においては、ＥＶＦ（電子ファインダ）画面にガイダンス枠又はテンプレート画像を表示させ、ガイダンス枠又はテンプレート画像を基準にフレーミングして撮影する。そして、ガイダンス枠内領域又はテンプレート画像以外の領域をＲＯＩ領域として扱って撮影画像の圧縮処理を行う。また、画像ファイルのヘッダにＲＯＩ情報を記録し、画像再生時にＲＯＩ領域を再生画像に重ねて表示する。
【０００６】
また、特開２００１−１１９６２５号公報に、撮影画像の主要被写体の範囲をユーザ操作により指定し、その範囲をＲＯＩ領域として、他の領域より低い圧縮率で圧縮し、そのＲＯＩ領域の情報を圧縮画像ファイルのヘッダに記述するデジタルカメラが記載されている。主要被写体の範囲を、画像のエッジやヒストグラムによって自動的に判断してよい旨が記載されている。ただし、ＪＰＥＧ２０００への言及はない。
【０００７】
【発明が解決しようとする課題】
特開２００１−２３０４７号公報に記載されているようなガイダンス枠などを利用するＲＯＩ領域設定方法は、フレーミングや撮影シーンの自由度がない。
【０００８】
また、特開２００１−１１９６２５号公報に記載されているように、ＲＯＩ領域としての主要被写体の範囲を手動で設定する方法は、操作が煩わしいうえに、静止画の連続撮影や動画撮影には対応できない。同公報には主要被写体の範囲を、画像のエッジやヒストグラムによって自動的に判断してよい旨が記載されているが、具体的な判断方法は開示されていない。その具体的な判断方法こそが重要であり、その方法によって設定結果の適否が決まる。
【０００９】
また、一般的に、ＲＯＩ領域設定を自動化するにしても多様な撮影シーンに対応可能でなければならない。撮影者の好みも様々であるため、撮影者（ユーザ）がある程度は関与できる方が実用的である。
【００１０】
本発明は、以上の諸点に鑑み、より実用的なＲＯＩ領域設定機能を電子カメラ装置等の画像処理装置に付与するためのＲＯＩ領域設定装置及び方法と、より実用的なＲＯＩ領域設定機能を有するデジタルカメラ等の電子カメラ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
【００１２】
請求項１記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データのコントラストの急激な変化のある図柄が集中している領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１３】
請求項２記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記被写体の撮像時のＡＥ評価領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１４】
請求項３記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲ ＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの、その直前のモニタリング画像データより明るい領域を抽出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１５】
請求項４記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１６】
請求項５記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域から画像上部の広い高輝度領域を除いた領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１７】
請求項６記載の発明による電子カメラ装置は、請求項１乃至５のいずれか１に記載の構成において、前記圧縮手段は、前記ＲＯＩ領域情報に基づき、前記画像データのＲＯＩ領域を他の領域より低い圧縮率で圧縮することを特徴とする。
【００１８】
請求項７記載の発明による電子カメラ装置は、請求項１乃至６のいずれか 1 に記載の構成において、前記被写体の撮像に関する機能は、撮影モード、自動フォーカス、自動露出、ストロボ撮影のいずれか 1 つであることを特徴とする。
【００１９】
請求項８記載の発明による電子カメラ装置は、請求項１乃至７のいずれか 1 に記載の構成において、前記ＲＯＩ制御手段は、ユーザの指示に基づいて前記ＲＯＩ認識手段で認識された領域の拡大処理、又は縮小処理を行うことを特徴とする。
【００２０】
【発明の実施の形態】
以下に説明する本発明の実施の形態においては、画像の圧縮処理にＪＰＥＧ２０００に準拠したアルゴリズムが用いられる。ＪＰＥＧ２０００の画像圧縮アルゴリズムについては、例えば、書籍「次世代画像符号化方式 ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、その概略を図２乃至図４を参照して説明する。
【００２１】
図２はＪＰＥＧ２０００の画像圧縮／伸長処理の概略を説明するための簡略化されたブロック図である。圧縮処理の対象となる画像データ（動画を扱う場合には各フレーム画像データ）は、タイルと呼ばれる重複しない矩形領域に分割されて処理される。まず、タイル画像はＤＣレベル・色空間変換／逆変換部２００において、圧縮率の向上を目的として、レベルシフト操作と色空間変換処理を施される。レベルシフトは、ＲＧＢ値のような符号無し整数値からダイナミックレンジの半分を減算する操作である。入力画像データが例えばＹＣｒＣｂデータの場合、Ｃｒ，Ｃｂコンポーネントのような符号付き整数値に対してレベルシフトは行われない。色空間変換処理は、入力画像データがＲＧＢデータやＣＭＹデータの場合に、ＹＣｒＣｂデータに変換する処理である。ただし、ＤＣレベル・色空間変換／逆変換部２００を省くことも可能である。
【００２２】
ＤＣレベル・色空間変換／逆変換部２００により処理後の各コンポーネントの各タイルの画像データは、２次元ウェーブレット変換／逆変換部２０２により２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）を施される。
【００２３】
図３はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図３（ａ）に示すタイル画像に対する２次元ウェーブレット変換により、図３（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図３（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図３（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００２４】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られた各サブバンドの係数は、量子化／逆量子化部２０４によって量子化された後にエントロピー符号化／復号化部２０６により符号化される。ＪＰＥＧ２０００では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロッシー圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００２５】
エントロピー符号化／復号化部２０６はウェーブレット係数のエントロピー符号化を行う。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数）であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。
【００２６】
エントロピー符号化／復号化部２０６で生成された符号列はタグ処理部２０８に送られ、タグ情報を付加された１本のコードストリームにまとめられて出力される。このコードストリーム（圧縮画像データ）は図４に示すような構造を持ち、ＳＯＣマーカの後に符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に各タイル毎のコードストリームが続く。各タイルのコードストリームは、ＳＯＴマーカで始まり、タイルヘッダ、ＳＯＤマーカ、タイルデータで構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。タイルデータは、プリシンクトと呼ばれる領域毎に各サブバンド係数の符号がパケット化されている。
【００２７】
このＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００２８】
その１つは、前述した選択的領域画質向上（ＲＯＩ）機能である。ＪＰＥＧ２０００の基本方式（JPEG2000 Part１）では、ウェーブレット係数の符号化前に、選択した領域のウェーブレット係数値を上位ビット側へシフトし、その領域外のウェーブレット係数値を下位ビット側へシフトするＲＯＩ方式（Max Shift 方式）が採用されている。ただし、量子化段階で、ＲＯＩ領域のウェーブレット係数値を他の領域よりも細かい量子化ステップで量子化する方法によってＲＯＩ機能を実現することも可能である。いずれのＲＯＩ方式であっても、画像の注目した部分（ＲＯＩ領域）の画質を落とさず全体の符号量を減らすことができる。
【００２９】
コードストリームの伸長処理は圧縮処理と逆の処理となる。タグ処理部２０８によって、入力したコードストリームのタグ情報が解釈され、各コンポーネントの各タイルの符号列に分解され、エントロピー符号化／復号化部２０６によってタグ情報に基づく順番でウェーブレット係数に復号される。復号されたウェーブレット係数は量子化／逆量子化部２０４で逆量子化を施されたのち、２次元ウエーブレット変換／逆変換部２０２で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、ＤＣレベル・色空間変換／逆変換部２００で圧縮時と逆の変換処理を施されてから出力される。
【００３０】
図１は、本発明の１つの実施の形態を説明するための簡略化されたブロック図である。ここに示す電子カメラ装置は、撮像部１００、記憶部１０２、表示部１０４、圧縮／伸長部１０６、書き込み／読み出し部１０８に加え、ＲＯＩ領域設定装置を構成するＲＯＩ制御部１２０とＲＯＩ認識部１２２、ＲＯＩ領域設定に関連した指示を撮影者（ユーザ）が入力するための指示部１２４を有する。
【００３１】
撮像部１００は、一般的なデジタルカメラなどの撮像部と同様に、被写体を光学レンズを介しイメージセンサにより撮像して画像データを出力するもので、静止画撮影モードと動画撮影モードを有する。また、自動フォーカス（ＡＦ）、自動露出（ＡＥ）、ストロボ撮影等の機能も備える。この実施の形態にあっては、画像上の複数の評価領域を用いて合焦条件又は露出条件を判断するＡＦ方式とＡＥ方式が用いられるものとする。
【００３２】
記憶部１０２は、撮像部１００より出力される画像データや圧縮／伸長部１０６により伸長された画像データを一時的に記憶するための手段である。表示部１０４は、記憶部１０２に記憶されている画像データや各種情報を液晶パネルなどに表示する手段であり、ＥＶＦとしても利用される。圧縮／伸長部１０６は、前述のＪＰＥＧ２０００に準拠したアルゴリズムにより画像データの圧縮処理とコードストリームの伸長処理を行う手段である。書き込み／読み出し部１０８は、圧縮／伸長部１０６より出力されるコードストリームを画像ファイルとして記録媒体１１０に書き込み、又は、記録媒体１１０より画像ファイルを読み出す手段である。
【００３３】
ＲＯＩ認識部１２２は画像のＲＯＩ領域を自動的に認識するもので、認識方法の異なる１０種類のＲＯＩ認識手段（１）〜（１０）からなる。これら各ＲＯＩ認識手段におけるＲＯＩ領域の認識方法については後述する。ＲＯＩ制御部１２０は、ＲＯＩ認識部１２２のＲＯＩ認識手段の選択、選択されたＲＯＩ認識手段の制御、ＲＯＩ認識手段により認識されたＲＯＩ領域（候補）の情報に基づいて最終的なＲＯＩ領域情報の設定を行う手段であり、ＲＯＩ領域認識条件（パラメータ値）の保存も行う。
【００３４】
ＲＯＩ領域設定に関連した撮影者からの指示は操作部１２４よりＲＯＩ制御部１２０に入力される。操作部１２４より入力される指示としては、
（ａ）撮影者が関与するＲＯＩ領域設定の指示、
（ｂ）撮影者が関与するＲＯＩ領域設定において自動認識されたＲＯＩ領域（候補）が複数ある場合に特定の領域を選択する指示、
（ｃ）撮影者が関与するＲＯＩ領域設定において自動認識されたＲＯＩ領域（候補）の拡大／縮小の指示、
（ｄ）撮影者が関与するＲＯＩ領域設定においてＲＯＩ領域認識処理に関連したパラメータの変更指示、
（ｅ）ＲＯＩ領域の認識方法（手段）の選択指示、
（ｆ）静止画に対するＲＯＩ領域の自動設定指示、
（ｇ）動画撮影時のＲＯＩ領域の自動設定の指示、
等がある。
【００３５】
また、ＲＯＩ制御部１２０には、撮像部１００より、撮影モード情報（静止画撮影モードと動画撮影モードの別を示す情報）、ストロボ情報（ストロボ撮影であることを示す情報）、ＡＦ情報（撮影時に合焦評価に最終的に用いられたＡＦ評価領域を示す情報）、ＡＥ情報（撮影時に最適露出評価に最終的に用いられたＡＥ評価領域を示す情報）、シーンセレクト情報（シーンセレクトスイッチにより選択されたシーン種類を示す情報）などが与えられる。
【００３６】
まず、静止画像の撮影の都度、撮影者が関与するＲＯＩ領域設定を行う場合の動作について、図５のフローチャートを参照して説明する。この場合には、静止画撮影モードにおいて、撮像部１００で撮像された画像（モニタリング画像又はスルー画像）が逐次に表示部１０４に表示されるモニタリング中（スルー画像表示中）に、前記（ａ）の撮影者が関与するＲＯＩ領域設定の指示を与える。
【００３７】
まず、ＲＯＩ制御部１２０はＲＯＩ認識部１２２の１つのＲＯＩ認識手段（方法）を１つ選択する（ステップＳ１）。撮像部１００のシーンセレクトスイッチで特定のシーン種類が選択されている場合には、シーンセレクト情報に基づいて選択されているシーン種類に対応した１つのＲＯＩ認識手段（方法）を選択する。シーン種類が選択されていない場合は、デフォルトのＲＯＩ認識手段、又は、予め撮影者から指定されたＲＯＩ認識手段（方法）を選択する。
【００３８】
撮像部１００は、レリーズスイッチが押下されるまでモニタリングを行い、モニタリング画像のデータを連続的に出力し、それが記憶部１０２に記憶される。このモニタリング画像は表示部１０４により表示される。なお、モニタリング画像は一般に走査線が間引きされた画像である。
【００３９】
レリーズスイッチが押下されると撮像部１００は静止画撮影を行い、走査線の間引きのない画像のデータが記憶部１０２に記憶され、この撮影画像が表示部１０４に表示される。この時に、直前の１つ以上のモニタリング画像データも記憶部１０２に保存されている。
【００４０】
ＲＯＩ制御部１２０は、この静止画撮影画像データに対するＲＯＩ領域認識処理を選択したＲＯＩ認識手段に実行させ、認識されたＲＯＩ領域を静止画撮影画像と重ねて表示部１０４に表示させる（ステップＳ２）。この段階で自動認識されたＲＯＩ領域の拡大／縮小、選択、ＲＯＩ領域認識条件を決定するパラメータ値の変更等が可能であるが、これについては後述する。
【００４１】
撮影者が操作部１２４より確定の指示を入力すると（ステップＳ３，確定）、ＲＯＩ制御部１２０は、その時のＲＯＩ領域に基づきＲＯＩ領域情報を確定し、その情報を圧縮／伸長部１０６及び書き込み／読み出し部１０８に設定するとともに、ＲＯＩ領域認識に用いられたパラメータ値を内部に保存する（ステップＳ５）。そして、記憶部１０２に記憶されている静止画撮影画像データは圧縮／伸長部１０６によって圧縮され、得られたコードストリームは書き込み／読み出し部１０８により画像ファィルとして記録媒体１１０に書き込まれる（ステップＳ６）。この圧縮処理においては、設定されたＲＯＩ領域情報に従ってＲＯＩ領域が他の領域に比べ低い圧縮率で圧縮される。また、画像ファイルのヘッダにＲＯＩ領域情報が記述される。
【００４２】
撮影者は、ステップＳ２の後で前記（ｅ）の指示を入力することにより、ＲＯＩ認識手段（方法）を変更することができる。この指示を与えることにより、ＲＯＩ制御部１２０は、現在選択しているＲＯＩ認識手段（方法）以外のＲＯＩ認識手段を選択し（ステップＳ４）、そのＲＯＩ認識手段により改めてＲＯＩ領域の認識を行わせ、認識されたＲＯＩ領域を表示部１０４に表示させる（ステップＳ２）。
【００４３】
ステップＳ２における動作の詳細について、図６のフローチャートを参照し説明する。
【００４４】
まず、ＲＯＩ制御部１２０は、選択したＲＯＩ認識手段（方法）に対し認識条件を制御するためのパラメータ値（後述）を設定する（ステップＳ１１）。このパラメータ値は、デフォルト値であるか、以前用いられて保存されている値である。そして、そのＲＯＩ認識手段によりＲＯＩ領域認識を行わせ、認識されたＲＯＩ領域（この段階ではＲＯＩ領域候補である）を表示部１０４により画像と重ねて表示させる（ステップＳ１２）。
【００４５】
撮影者は、表示されたＲＯＩ領域候補を観察し、必要に応じて前記（ｂ），（ｃ），（ｄ）の指示を入力することができる。より具体的に述べると、撮影者は、複数のＲＯＩ領域候補が認識された場合に、例えば、表示部１０４の画面上のカーソルを操作し、必要な領域又は不要な領域を指定することができる（前記（ｂ）の指示）。また、撮影者は、例えば、表示部１０４に表示された拡大／縮小インジケータを操作することにより、認識されたＲＯＩ領域候補の必要な量の拡大／縮小を指示し、あるいは、個々のＲＯＩ領域候補毎にカーソル操作によって拡大又は縮小を指示することができる（前記（ｃ）の指示）。また、撮影者は、例えば、表示部１０４に表示されたパラメータ値インジケータを操作することにより、ＲＯＩ認識条件を制御するためのパラメータ値の増減を指示することができる（前記（ｄ）の指示）。
【００４６】
ＲＯＩ制御部１２０は、操作部１２４から入力される指示の種類を判定し（ステップＳ１４）、指示に応じた操作を行う。
【００４７】
前記（ｂ）の領域選択指示が入力された場合には、ＲＯＩ制御部１２０はＲＯＩ認識候補の中で撮影者により選択された領域以外は無効とする（ステップＳ１５）。したがって、撮影者は、複数のＲＯＩ領域候補が認識された場合に、希望するＲＯＩ領域候補のみを有効にすることができる。この操作は繰り返して行うことができる。なお、この操作が行われた場合、ステップＳ１２では表示の変更が行われるのみである。
【００４８】
前記（ｃ）の領域拡大／縮小指示が入力された場合には、ＲＯＩ制御部１２０は、指示に従ってＲＯＩ領域候補を拡大又は縮小させる操作を行う（ステップＳ１６）。したがって、撮影者は、自動認識されたＲＯＩ領域候補を必要な分だけ拡大又は縮小させることができる。この操作は繰り返して行うことができる。なお、この操作が行われた場合、ステップＳ１２では表示の変更が行われるのみである。
【００４９】
前記（ｄ）のパラメータ変更指示が入力された場合には、ＲＯＩ制御部１２０は、指示に従ってパラメータ値を変更し（ステップＳ１７）、ＲＯＩ認識手段に認識処理を再度実行させ、認識されたＲＯＩ領域候補を表示部１０４に表示させる（ステップＳ１２）。
【００５０】
ここで、ＲＯＩ認識部１２２の各ＲＯＩ認識手段（方法）と、それに関連したパラメータについて説明する。
【００５１】
ＲＯＩ認識手段（１）は、図７に示すように、画像データに対して人間の目、鼻、口等の特徴に着目した顔認識処理を行い、画像中の人の顔の中心領域を検出し（ステップＳ２１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ２２）、その範囲を幾分拡大した領域をＲＯＩ領域候補として認識する（ステップＳ２３）。この有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。このＲＯＩ認識手段（１）は、シーンセレクトスイッチにより「人物」が選択されている場合に、優先的に選択される。なお、ステップＳ２２で検出した範囲を、拡大することなくＲＯＩ領域候補とすることも可能である。
【００５２】
ＲＯＩ認識手段（２）は、図８に示すように、画像中の高周波成分が集中している領域を検出し（ステップＳ３１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ３２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ３３）。高周波成分の検出閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。なお、ステップＳ３２で検出した範囲を拡大することなくＲＯＩ領域候補とするとも可能である。
【００５３】
ＲＯＩ認識手段（３）は、図９に示すように、バーコードや文字のようにコントラストの急激な変化のある図柄が集中している領域を検出し（ステップＳ４１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ４２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ４３）。急激なコントラストの判定閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。なお、ステップＳ４２で検出された範囲をＲＯＩ領域候補とすることも可能である。
【００５４】
ＲＯＩ認識手段（４）は、図１０に示すように、画像中心部分の物体認識を行い（ステップ゜Ｓ５１）、物体の範囲（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ５２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ５３）。有意なコントラストの判定閾値、及び／又は、領域を拡大する程度がそれぞれ前記パラメータ値である。なお、ステップＳ５２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００５５】
ＲＯＩ認識手段（５）は、図１１に示すように、合焦判定に最終的に用いられたＡＦ評価領域（撮像部１００よりＡＦ情報として与えられる）を含む有意なコントラストのある範囲を検出し（ステップＳ６１）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ６２）。有意なコントラストの判定位置、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ６１で検出した範囲をＲＯＩ領域候補とすることも可能である。なお、記録媒体１１０に記録された画像に対してＲＯＩ認識手段（５）を適用するには、撮影時のＡＦ情報を画像ファイルのヘッダに記録しておく必要がある。
【００５６】
ＲＯＩ認識手段（６）は、図１２に示すように、最適露出判定に最終的に用いられたＡＥ評価領域（撮像部１００よりＡＥ情報として与えられる）を含む有意なコントラストのある範囲を検出し（ステップＳ７１）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ７２）。有意なコントラストの判定位置、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ７１で検出した範囲をＲＯＩ領域候補とすることも可能である。なお、記録媒体１１０に記録された画像に対してＲＯＩ認識手段（６）を適用するには、撮影時のＡＥ情報を画像ファイルのヘッダに記録しておく必要がある。
【００５７】
ＲＯＩ認識手段（７）は、図１３に示すように、対象画像と撮影直前のモニタリング画像間あるいはモニタリング画像と対象画像との比較により、対象画像の動きのあった範囲を検出し（ステップＳ８１）、その範囲（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ８２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ８３）。動きの判定閾値、有意なコントラストの判定閾値、及び／又は領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ８２で検出した範囲をＲＯＩ領域候補とすることも可能である。このＲＯＩ認識手段（７）は、シーンセレクトスイッチにより「動体」が選択された場合に優先的に選択される。なお、記録媒体１１０に記録された静止画像に対してＲＯＩ認識手段（７）を適用するには、撮影段階で動きのある範囲を検出し、その情報を画像ファイルのヘッダに記録しておく必要がある。
【００５８】
ＲＯＩ認識手段（８）は、ストロボ撮影画像に適用される。図１４に示すように、対象画像における、直前のモニタリング画像（ストロボ点灯前）にくらべ大幅に明るい領域（手前にある人物、その他の物体）を検出し（ステップＳ９１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ９２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ９３）。モニタリング画像に比べて明るいと判定するための閾値、有意なコントラストの判定閾値、及び／又は領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ９２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００５９】
ＲＯＩ認識手段（９）は、図１５に示すように、画像中の高輝度領域を検出し（ステップＳ１０１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ１０２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ１０３）。高輝度の判定閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度が前記パラメータ値である。ステップＳ１０２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００６０】
ＲＯＩ認識手段（１０）は、ＲＯＩ認識手段（９）と同様の方法で認識した領域から、画像上部の一定面積以上の広い高輝度領域（空などに対応する）を除いた領域をＲＯＩ領域候補とする。
【００６１】
静止画撮影モードにおいて、前記（ｆ）のＲＯＩ領域の自動設定指示が与えられた場合の動作について、図５を参照し説明する。
【００６２】
この場合、ＲＯＩ制御部１２０は、予め撮影者により指定されたＲＯＩ認識手段、又はシーンセレクトスイッチにより選択されたシーン種類に対応したＲＯＩ認識手段を選択し（ステップＳ１）、撮影された各画像に対して、そのＲＯＩ認識手段によりＲＯＩ領域候補を認識させる（ステップＳ２）。なお、ＲＯＩ認識処理に関連したパラメータ値としては、そのＲＯＩ認識手段に関して保存されているパラメータ値があるときにはそのパラメータ値を、それが存在しないときにはデフォルトのパラメータ値をＲＯＩ認識手段に設定する。そして、撮影者からの確定指示を待つことなく、認識されたＲＯＩ領域候補をそのままＲＯＩ領域として確定し、そのＲＯＩ領域情報を圧縮／伸長部１０６及び書き込み／読み出し部１０８に設定する（ステップＳ５）。ＲＯＩ認識手段の変更（ステップＳ４）は可能であるが、領域選択（図６，ステップＳ１５）、領域の拡大／縮小（図６，ステップＳ１６）、パラメータ値の変更（図６，ステップＳ１７）は行うことができない。
【００６３】
動画撮影モードにおいて、前記（ｇ）のＲＯＩ領域の自動設定指示が与えられた場合の動作は、撮影された各フレームの画像に対してＲＯＩ領域が自動的に設定される以外は、静止画撮影モードで前記（ｆ）のＲＯＩ領域自動設定が指示が与えられた場合の動作と同様である。なお、動画データは、各フレームの画像がそれぞれ独立した静止画として圧縮され、モーションＪＰＥＧ２０００（ISO/IEC FCD 15444-1）のファイルフォーマットで記録媒体１１０に記録される。
【００６４】
画像再生モードにおいて、前記（ａ）の指示を与えることにより、ロスレス又は低圧縮率で圧縮されて記録媒体１１０に記録されている静止画像又は動画の各フレーム画像に対して、前述のような撮影者が関与するＲＯＩ領域設定を行うことができる。この場合の動作について、図５を参照して説明する。
【００６５】
画像再生モードにおいては、例えば、記録媒体１１０に記録済みの複数の画像のサムネール画像やリストが表示部１０４に表示され、撮影者は画像を選択することができる。
【００６６】
ある画像が選択されると、その画像ファイルが書き込み／読み出し部１０８により読み出されて圧縮／伸長部１０６により伸長処理され、伸長された画像データが記憶部１０２に記憶される。その画像は表示部１０４に表示される。この画像データを対象として、選択されたＲＯＩ認識手段によるＲＯＩ領域の認識が行われる（ステップＳ２）。これ以外の動作は撮影直後のＲＯＩ領域設定の場合と同様である。ただし、対象とした画像ファイルのヘッダにＡＦ情報やＡＥ情報が記述されていない限り、ＲＯＩ認識手段（５）とＲＯＩ認識手段（６）は利用できない。また、静止画の場合はＲＯＩ認識手段（７）とＲＯＩ認識手段（８）も利用できない。動画の場合は、相前後するフレーム画像間で動きの検出が可能であるのでＲＯＩ認識手段（７）を利用できるが、ＲＯＩ認識手段（８）は利用できない。
【００６７】
再生された画像が既にＲＯＩ領域を設定されたものである場合、その画像ファイルヘッダにＲＯＩ領域情報が記述されているので、ＲＯＩ制御部１２０は、そのＲＯＩ領域情報に基づいて、表示部１０４にＲＯＩ領域を画像に重ねて表示させる。したがって、撮影者は、その画像がＲＯＩ領域を設定済みであることを認識し、ＲＯＩ領域設定の対象から外すことができる。
【００６８】
以上に説明した動作例においてはＲＯＩ認識部１２２が利用された。領域認識部１２２を利用しないＲＯＩ領域認識方法を選ぶこともできる。この場合の動作について図５を援用して説明する。
【００６９】
このＲＯＩ領域認識方法がステップＳ１又はステップＳ４で選択された場合、ステップＳ２において、ＲＯＩ制御部１２０は、圧縮／伸長部１０６で画像データのロスレス又は低圧縮率の圧縮処理を行わせる。この圧縮処理は、例えば、デコンポジションレベル１のウェーブレット係数のみについて行わせる。そして、各タイルデータ中の各パケットのサイズ（符号量）を圧縮／伸長部１０６より取得し、判定閾値と比較し、サイズが判定閾値を超えたパケットに対応した領域（プリシンクト）をＲＯＩ領域として認識する。すなわち、この動作においては、ＲＯＩ制御部１２０が圧縮／伸長部１０６と協働してＲＯＩ認識手段として作用する。もちろん、同様のＲＯＩ領域認識を行う手段をＲＯＩ制御部１２０から独立させてもよい。ステップＳ６において、このＲＯＩ領域の情報を圧縮／伸長部１０６に設定して圧縮処理を実行させ、また、書き込み／読み出し部１０８にＲＯＩ領域情報を設定して記録媒体１１０に書き込まれる画像ファイルのヘッダに記述させる。
【００７０】
このＲＯＩ認識方法においても撮影者を関与させることができる。その場合には、認識したＲＯＩ領域が表示部１０４に表示される。撮影者は、領域の選択（図６のステップＳ１５に対応）、領域の拡大／縮小（図６のステップＳ１６に対応）、パケットサイズの判定閾値の変更（図６のステップＳ１７に対応）を行うことができる。そして、撮影者より完了指示が入力された時に、ＲＯＩ制御部１２０はＲＯＩ領域を確定し、ＲＯＩ領域情報を設定する（図５のステップＳ５）。
【００７１】
なお、圧縮／伸長部１０６でＲＯＩ領域を意識することなく圧縮処理を実行させ、パケットサイズが判定閾値を越えたパケットのヘッダを書き換えることによって同パケットに対応したプリシンクトをＲＯＩ化することも可能である。
【００７２】
以上の説明から明らかなように、図１に示したＲＯＩ制御部１２０、ＲＯＩ認識部１２２、さらには圧縮／伸長部１０６の全部又は一部（その機能もしくは処理）を、パソコンやマイクロコンピュータ等のコンピュータを利用してプログラムにより実現することもできる。そのようなプログラム、及び、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、本発明のＲＯＩ領域設定装置及び方法は、デジタルカメラ等の電子カメラ装置に限らず、画像を圧縮して記録する各種の画像処理装置にも同様に適用可能である。
【００７３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、電子カメラ装置等において、フレーミングの制限が少なく、完全な手操作に依存する方法のような煩わしさがなく、多様なシーンやユーザの好みなどに対応でき、さらに静止画の連続撮影や動画撮影の場合にも対応できる実用的なＲＯＩ領域設定機能を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を説明するための概略ブロック図である。
【図２】 ＪＰＥＧ２０００の画像圧縮／伸長アルゴリズムを説明するための概略ブロック図である。
【図３】 ２次元ウェーブレット変換の説明のための図である。
【図４】 ＪＰＥＧ２０００による圧縮画像データ（コードストリーム）の構造の説明のための図である。
【図５】 ＲＯＩ領域設定動作を説明するためのフローチャートである。
【図６】 図５中のステップＳ２を説明するためのフローチャートである。
【図７】 ＲＯＩ認識手段（１）を説明するためのフローチャートである。
【図８】 ＲＯＩ認識手段（２）を説明するためのフローチャートである。
【図９】 ＲＯＩ認識手段（３）を説明するためのフローチャートである。
【図１０】 ＲＯＩ認識手段（４）を説明するためのフローチャートである。
【図１１】 ＲＯＩ認識手段（５）を説明するためのフローチャートである。
【図１２】 ＲＯＩ認識手段（６）を説明するためのフローチャートである。
【図１３】 ＲＯＩ認識手段（７）を説明するためのフローチャートである。
【図１４】 ＲＯＩ認識手段（８）を説明するためのフローチャートである。
【図１５】 ＲＯＩ認識手段（９）を説明するためのフローチャートである。
【符号の説明】
１００ 撮像部
１０２ 記憶部
１０４ 表示部
１０６ 圧縮／伸長部
１０８ 書き込み／読み出し部
１１０ 記録媒体
１２０ ＲＯＩ制御部
１２２ ＲＯＩ認識部（ＲＯＩ認識手段群）
１２４ 操作部
【発明の属する技術分野】
本発明は、一般的には画像処理の分野に係り、特に、電子カメラ装置等の電子処理装置において画像の注目領域（ＲＯＩ領域）を設定する技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等の電子カメラ装置においては、撮影した画像は圧縮処理されてから記録媒体に記録されることが一般的である。
【０００３】
この画像の圧縮処理にはＪＰＥＧが広く用いられているが、これに代えて新しい画像圧縮方式であるＪＰＥＧ２０００（ISO/IEC FCD 15444-1）を利用するための研究が盛んになされている。ＪＰＥＧ２０００には、画像全体の圧縮率を下げることなく、画像の注目領域（Region of Interest：ＲＯＩ）の圧縮率を下げる（高画質化する）ための選択的領域画質向上機能（ＲＯＩ機能）がある。
【０００４】
このようなＲＯＩ機能は電子カメラ装置には極めて魅力的である。撮影した画像の重要な領域をＲＯＩ領域として設定することにより、その領域について高画質を維持しつつ画像全体のデータ量を大幅に削減可能であるからである。
【０００５】
ＲＯＩ機能を利用するためには、撮影した個々の画像についてＲＯＩ領域を指定する必要がある。このＲＯＩ領域の指定に関する公知文献としては、特開２００１−２３０９４７号公報がある。同公報に記載されている電子カメラ装置においては、ＥＶＦ（電子ファインダ）画面にガイダンス枠又はテンプレート画像を表示させ、ガイダンス枠又はテンプレート画像を基準にフレーミングして撮影する。そして、ガイダンス枠内領域又はテンプレート画像以外の領域をＲＯＩ領域として扱って撮影画像の圧縮処理を行う。また、画像ファイルのヘッダにＲＯＩ情報を記録し、画像再生時にＲＯＩ領域を再生画像に重ねて表示する。
【０００６】
また、特開２００１−１１９６２５号公報に、撮影画像の主要被写体の範囲をユーザ操作により指定し、その範囲をＲＯＩ領域として、他の領域より低い圧縮率で圧縮し、そのＲＯＩ領域の情報を圧縮画像ファイルのヘッダに記述するデジタルカメラが記載されている。主要被写体の範囲を、画像のエッジやヒストグラムによって自動的に判断してよい旨が記載されている。ただし、ＪＰＥＧ２０００への言及はない。
【０００７】
【発明が解決しようとする課題】
特開２００１−２３０４７号公報に記載されているようなガイダンス枠などを利用するＲＯＩ領域設定方法は、フレーミングや撮影シーンの自由度がない。
【０００８】
また、特開２００１−１１９６２５号公報に記載されているように、ＲＯＩ領域としての主要被写体の範囲を手動で設定する方法は、操作が煩わしいうえに、静止画の連続撮影や動画撮影には対応できない。同公報には主要被写体の範囲を、画像のエッジやヒストグラムによって自動的に判断してよい旨が記載されているが、具体的な判断方法は開示されていない。その具体的な判断方法こそが重要であり、その方法によって設定結果の適否が決まる。
【０００９】
また、一般的に、ＲＯＩ領域設定を自動化するにしても多様な撮影シーンに対応可能でなければならない。撮影者の好みも様々であるため、撮影者（ユーザ）がある程度は関与できる方が実用的である。
【００１０】
本発明は、以上の諸点に鑑み、より実用的なＲＯＩ領域設定機能を電子カメラ装置等の画像処理装置に付与するためのＲＯＩ領域設定装置及び方法と、より実用的なＲＯＩ領域設定機能を有するデジタルカメラ等の電子カメラ装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
【００１２】
請求項１記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データのコントラストの急激な変化のある図柄が集中している領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１３】
請求項２記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記被写体の撮像時のＡＥ評価領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１４】
請求項３記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲ ＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの、その直前のモニタリング画像データより明るい領域を抽出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１５】
請求項４記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１６】
請求項５記載の発明による電子カメラ装置は、
被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域から画像上部の広い高輝度領域を除いた領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする。
【００１７】
請求項６記載の発明による電子カメラ装置は、請求項１乃至５のいずれか１に記載の構成において、前記圧縮手段は、前記ＲＯＩ領域情報に基づき、前記画像データのＲＯＩ領域を他の領域より低い圧縮率で圧縮することを特徴とする。
【００１８】
請求項７記載の発明による電子カメラ装置は、請求項１乃至６のいずれか 1 に記載の構成において、前記被写体の撮像に関する機能は、撮影モード、自動フォーカス、自動露出、ストロボ撮影のいずれか 1 つであることを特徴とする。
【００１９】
請求項８記載の発明による電子カメラ装置は、請求項１乃至７のいずれか 1 に記載の構成において、前記ＲＯＩ制御手段は、ユーザの指示に基づいて前記ＲＯＩ認識手段で認識された領域の拡大処理、又は縮小処理を行うことを特徴とする。
【００２０】
【発明の実施の形態】
以下に説明する本発明の実施の形態においては、画像の圧縮処理にＪＰＥＧ２０００に準拠したアルゴリズムが用いられる。ＪＰＥＧ２０００の画像圧縮アルゴリズムについては、例えば、書籍「次世代画像符号化方式 ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、その概略を図２乃至図４を参照して説明する。
【００２１】
図２はＪＰＥＧ２０００の画像圧縮／伸長処理の概略を説明するための簡略化されたブロック図である。圧縮処理の対象となる画像データ（動画を扱う場合には各フレーム画像データ）は、タイルと呼ばれる重複しない矩形領域に分割されて処理される。まず、タイル画像はＤＣレベル・色空間変換／逆変換部２００において、圧縮率の向上を目的として、レベルシフト操作と色空間変換処理を施される。レベルシフトは、ＲＧＢ値のような符号無し整数値からダイナミックレンジの半分を減算する操作である。入力画像データが例えばＹＣｒＣｂデータの場合、Ｃｒ，Ｃｂコンポーネントのような符号付き整数値に対してレベルシフトは行われない。色空間変換処理は、入力画像データがＲＧＢデータやＣＭＹデータの場合に、ＹＣｒＣｂデータに変換する処理である。ただし、ＤＣレベル・色空間変換／逆変換部２００を省くことも可能である。
【００２２】
ＤＣレベル・色空間変換／逆変換部２００により処理後の各コンポーネントの各タイルの画像データは、２次元ウェーブレット変換／逆変換部２０２により２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）を施される。
【００２３】
図３はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図３（ａ）に示すタイル画像に対する２次元ウェーブレット変換により、図３（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図３（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図３（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００２４】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られた各サブバンドの係数は、量子化／逆量子化部２０４によって量子化された後にエントロピー符号化／復号化部２０６により符号化される。ＪＰＥＧ２０００では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロッシー圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００２５】
エントロピー符号化／復号化部２０６はウェーブレット係数のエントロピー符号化を行う。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数）であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。
【００２６】
エントロピー符号化／復号化部２０６で生成された符号列はタグ処理部２０８に送られ、タグ情報を付加された１本のコードストリームにまとめられて出力される。このコードストリーム（圧縮画像データ）は図４に示すような構造を持ち、ＳＯＣマーカの後に符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に各タイル毎のコードストリームが続く。各タイルのコードストリームは、ＳＯＴマーカで始まり、タイルヘッダ、ＳＯＤマーカ、タイルデータで構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。タイルデータは、プリシンクトと呼ばれる領域毎に各サブバンド係数の符号がパケット化されている。
【００２７】
このＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００２８】
その１つは、前述した選択的領域画質向上（ＲＯＩ）機能である。ＪＰＥＧ２０００の基本方式（JPEG2000 Part１）では、ウェーブレット係数の符号化前に、選択した領域のウェーブレット係数値を上位ビット側へシフトし、その領域外のウェーブレット係数値を下位ビット側へシフトするＲＯＩ方式（Max Shift 方式）が採用されている。ただし、量子化段階で、ＲＯＩ領域のウェーブレット係数値を他の領域よりも細かい量子化ステップで量子化する方法によってＲＯＩ機能を実現することも可能である。いずれのＲＯＩ方式であっても、画像の注目した部分（ＲＯＩ領域）の画質を落とさず全体の符号量を減らすことができる。
【００２９】
コードストリームの伸長処理は圧縮処理と逆の処理となる。タグ処理部２０８によって、入力したコードストリームのタグ情報が解釈され、各コンポーネントの各タイルの符号列に分解され、エントロピー符号化／復号化部２０６によってタグ情報に基づく順番でウェーブレット係数に復号される。復号されたウェーブレット係数は量子化／逆量子化部２０４で逆量子化を施されたのち、２次元ウエーブレット変換／逆変換部２０２で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、ＤＣレベル・色空間変換／逆変換部２００で圧縮時と逆の変換処理を施されてから出力される。
【００３０】
図１は、本発明の１つの実施の形態を説明するための簡略化されたブロック図である。ここに示す電子カメラ装置は、撮像部１００、記憶部１０２、表示部１０４、圧縮／伸長部１０６、書き込み／読み出し部１０８に加え、ＲＯＩ領域設定装置を構成するＲＯＩ制御部１２０とＲＯＩ認識部１２２、ＲＯＩ領域設定に関連した指示を撮影者（ユーザ）が入力するための指示部１２４を有する。
【００３１】
撮像部１００は、一般的なデジタルカメラなどの撮像部と同様に、被写体を光学レンズを介しイメージセンサにより撮像して画像データを出力するもので、静止画撮影モードと動画撮影モードを有する。また、自動フォーカス（ＡＦ）、自動露出（ＡＥ）、ストロボ撮影等の機能も備える。この実施の形態にあっては、画像上の複数の評価領域を用いて合焦条件又は露出条件を判断するＡＦ方式とＡＥ方式が用いられるものとする。
【００３２】
記憶部１０２は、撮像部１００より出力される画像データや圧縮／伸長部１０６により伸長された画像データを一時的に記憶するための手段である。表示部１０４は、記憶部１０２に記憶されている画像データや各種情報を液晶パネルなどに表示する手段であり、ＥＶＦとしても利用される。圧縮／伸長部１０６は、前述のＪＰＥＧ２０００に準拠したアルゴリズムにより画像データの圧縮処理とコードストリームの伸長処理を行う手段である。書き込み／読み出し部１０８は、圧縮／伸長部１０６より出力されるコードストリームを画像ファイルとして記録媒体１１０に書き込み、又は、記録媒体１１０より画像ファイルを読み出す手段である。
【００３３】
ＲＯＩ認識部１２２は画像のＲＯＩ領域を自動的に認識するもので、認識方法の異なる１０種類のＲＯＩ認識手段（１）〜（１０）からなる。これら各ＲＯＩ認識手段におけるＲＯＩ領域の認識方法については後述する。ＲＯＩ制御部１２０は、ＲＯＩ認識部１２２のＲＯＩ認識手段の選択、選択されたＲＯＩ認識手段の制御、ＲＯＩ認識手段により認識されたＲＯＩ領域（候補）の情報に基づいて最終的なＲＯＩ領域情報の設定を行う手段であり、ＲＯＩ領域認識条件（パラメータ値）の保存も行う。
【００３４】
ＲＯＩ領域設定に関連した撮影者からの指示は操作部１２４よりＲＯＩ制御部１２０に入力される。操作部１２４より入力される指示としては、
（ａ）撮影者が関与するＲＯＩ領域設定の指示、
（ｂ）撮影者が関与するＲＯＩ領域設定において自動認識されたＲＯＩ領域（候補）が複数ある場合に特定の領域を選択する指示、
（ｃ）撮影者が関与するＲＯＩ領域設定において自動認識されたＲＯＩ領域（候補）の拡大／縮小の指示、
（ｄ）撮影者が関与するＲＯＩ領域設定においてＲＯＩ領域認識処理に関連したパラメータの変更指示、
（ｅ）ＲＯＩ領域の認識方法（手段）の選択指示、
（ｆ）静止画に対するＲＯＩ領域の自動設定指示、
（ｇ）動画撮影時のＲＯＩ領域の自動設定の指示、
等がある。
【００３５】
また、ＲＯＩ制御部１２０には、撮像部１００より、撮影モード情報（静止画撮影モードと動画撮影モードの別を示す情報）、ストロボ情報（ストロボ撮影であることを示す情報）、ＡＦ情報（撮影時に合焦評価に最終的に用いられたＡＦ評価領域を示す情報）、ＡＥ情報（撮影時に最適露出評価に最終的に用いられたＡＥ評価領域を示す情報）、シーンセレクト情報（シーンセレクトスイッチにより選択されたシーン種類を示す情報）などが与えられる。
【００３６】
まず、静止画像の撮影の都度、撮影者が関与するＲＯＩ領域設定を行う場合の動作について、図５のフローチャートを参照して説明する。この場合には、静止画撮影モードにおいて、撮像部１００で撮像された画像（モニタリング画像又はスルー画像）が逐次に表示部１０４に表示されるモニタリング中（スルー画像表示中）に、前記（ａ）の撮影者が関与するＲＯＩ領域設定の指示を与える。
【００３７】
まず、ＲＯＩ制御部１２０はＲＯＩ認識部１２２の１つのＲＯＩ認識手段（方法）を１つ選択する（ステップＳ１）。撮像部１００のシーンセレクトスイッチで特定のシーン種類が選択されている場合には、シーンセレクト情報に基づいて選択されているシーン種類に対応した１つのＲＯＩ認識手段（方法）を選択する。シーン種類が選択されていない場合は、デフォルトのＲＯＩ認識手段、又は、予め撮影者から指定されたＲＯＩ認識手段（方法）を選択する。
【００３８】
撮像部１００は、レリーズスイッチが押下されるまでモニタリングを行い、モニタリング画像のデータを連続的に出力し、それが記憶部１０２に記憶される。このモニタリング画像は表示部１０４により表示される。なお、モニタリング画像は一般に走査線が間引きされた画像である。
【００３９】
レリーズスイッチが押下されると撮像部１００は静止画撮影を行い、走査線の間引きのない画像のデータが記憶部１０２に記憶され、この撮影画像が表示部１０４に表示される。この時に、直前の１つ以上のモニタリング画像データも記憶部１０２に保存されている。
【００４０】
ＲＯＩ制御部１２０は、この静止画撮影画像データに対するＲＯＩ領域認識処理を選択したＲＯＩ認識手段に実行させ、認識されたＲＯＩ領域を静止画撮影画像と重ねて表示部１０４に表示させる（ステップＳ２）。この段階で自動認識されたＲＯＩ領域の拡大／縮小、選択、ＲＯＩ領域認識条件を決定するパラメータ値の変更等が可能であるが、これについては後述する。
【００４１】
撮影者が操作部１２４より確定の指示を入力すると（ステップＳ３，確定）、ＲＯＩ制御部１２０は、その時のＲＯＩ領域に基づきＲＯＩ領域情報を確定し、その情報を圧縮／伸長部１０６及び書き込み／読み出し部１０８に設定するとともに、ＲＯＩ領域認識に用いられたパラメータ値を内部に保存する（ステップＳ５）。そして、記憶部１０２に記憶されている静止画撮影画像データは圧縮／伸長部１０６によって圧縮され、得られたコードストリームは書き込み／読み出し部１０８により画像ファィルとして記録媒体１１０に書き込まれる（ステップＳ６）。この圧縮処理においては、設定されたＲＯＩ領域情報に従ってＲＯＩ領域が他の領域に比べ低い圧縮率で圧縮される。また、画像ファイルのヘッダにＲＯＩ領域情報が記述される。
【００４２】
撮影者は、ステップＳ２の後で前記（ｅ）の指示を入力することにより、ＲＯＩ認識手段（方法）を変更することができる。この指示を与えることにより、ＲＯＩ制御部１２０は、現在選択しているＲＯＩ認識手段（方法）以外のＲＯＩ認識手段を選択し（ステップＳ４）、そのＲＯＩ認識手段により改めてＲＯＩ領域の認識を行わせ、認識されたＲＯＩ領域を表示部１０４に表示させる（ステップＳ２）。
【００４３】
ステップＳ２における動作の詳細について、図６のフローチャートを参照し説明する。
【００４４】
まず、ＲＯＩ制御部１２０は、選択したＲＯＩ認識手段（方法）に対し認識条件を制御するためのパラメータ値（後述）を設定する（ステップＳ１１）。このパラメータ値は、デフォルト値であるか、以前用いられて保存されている値である。そして、そのＲＯＩ認識手段によりＲＯＩ領域認識を行わせ、認識されたＲＯＩ領域（この段階ではＲＯＩ領域候補である）を表示部１０４により画像と重ねて表示させる（ステップＳ１２）。
【００４５】
撮影者は、表示されたＲＯＩ領域候補を観察し、必要に応じて前記（ｂ），（ｃ），（ｄ）の指示を入力することができる。より具体的に述べると、撮影者は、複数のＲＯＩ領域候補が認識された場合に、例えば、表示部１０４の画面上のカーソルを操作し、必要な領域又は不要な領域を指定することができる（前記（ｂ）の指示）。また、撮影者は、例えば、表示部１０４に表示された拡大／縮小インジケータを操作することにより、認識されたＲＯＩ領域候補の必要な量の拡大／縮小を指示し、あるいは、個々のＲＯＩ領域候補毎にカーソル操作によって拡大又は縮小を指示することができる（前記（ｃ）の指示）。また、撮影者は、例えば、表示部１０４に表示されたパラメータ値インジケータを操作することにより、ＲＯＩ認識条件を制御するためのパラメータ値の増減を指示することができる（前記（ｄ）の指示）。
【００４６】
ＲＯＩ制御部１２０は、操作部１２４から入力される指示の種類を判定し（ステップＳ１４）、指示に応じた操作を行う。
【００４７】
前記（ｂ）の領域選択指示が入力された場合には、ＲＯＩ制御部１２０はＲＯＩ認識候補の中で撮影者により選択された領域以外は無効とする（ステップＳ１５）。したがって、撮影者は、複数のＲＯＩ領域候補が認識された場合に、希望するＲＯＩ領域候補のみを有効にすることができる。この操作は繰り返して行うことができる。なお、この操作が行われた場合、ステップＳ１２では表示の変更が行われるのみである。
【００４８】
前記（ｃ）の領域拡大／縮小指示が入力された場合には、ＲＯＩ制御部１２０は、指示に従ってＲＯＩ領域候補を拡大又は縮小させる操作を行う（ステップＳ１６）。したがって、撮影者は、自動認識されたＲＯＩ領域候補を必要な分だけ拡大又は縮小させることができる。この操作は繰り返して行うことができる。なお、この操作が行われた場合、ステップＳ１２では表示の変更が行われるのみである。
【００４９】
前記（ｄ）のパラメータ変更指示が入力された場合には、ＲＯＩ制御部１２０は、指示に従ってパラメータ値を変更し（ステップＳ１７）、ＲＯＩ認識手段に認識処理を再度実行させ、認識されたＲＯＩ領域候補を表示部１０４に表示させる（ステップＳ１２）。
【００５０】
ここで、ＲＯＩ認識部１２２の各ＲＯＩ認識手段（方法）と、それに関連したパラメータについて説明する。
【００５１】
ＲＯＩ認識手段（１）は、図７に示すように、画像データに対して人間の目、鼻、口等の特徴に着目した顔認識処理を行い、画像中の人の顔の中心領域を検出し（ステップＳ２１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ２２）、その範囲を幾分拡大した領域をＲＯＩ領域候補として認識する（ステップＳ２３）。この有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。このＲＯＩ認識手段（１）は、シーンセレクトスイッチにより「人物」が選択されている場合に、優先的に選択される。なお、ステップＳ２２で検出した範囲を、拡大することなくＲＯＩ領域候補とすることも可能である。
【００５２】
ＲＯＩ認識手段（２）は、図８に示すように、画像中の高周波成分が集中している領域を検出し（ステップＳ３１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ３２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ３３）。高周波成分の検出閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。なお、ステップＳ３２で検出した範囲を拡大することなくＲＯＩ領域候補とするとも可能である。
【００５３】
ＲＯＩ認識手段（３）は、図９に示すように、バーコードや文字のようにコントラストの急激な変化のある図柄が集中している領域を検出し（ステップＳ４１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ４２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ４３）。急激なコントラストの判定閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。なお、ステップＳ４２で検出された範囲をＲＯＩ領域候補とすることも可能である。
【００５４】
ＲＯＩ認識手段（４）は、図１０に示すように、画像中心部分の物体認識を行い（ステップ゜Ｓ５１）、物体の範囲（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ５２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ５３）。有意なコントラストの判定閾値、及び／又は、領域を拡大する程度がそれぞれ前記パラメータ値である。なお、ステップＳ５２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００５５】
ＲＯＩ認識手段（５）は、図１１に示すように、合焦判定に最終的に用いられたＡＦ評価領域（撮像部１００よりＡＦ情報として与えられる）を含む有意なコントラストのある範囲を検出し（ステップＳ６１）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ６２）。有意なコントラストの判定位置、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ６１で検出した範囲をＲＯＩ領域候補とすることも可能である。なお、記録媒体１１０に記録された画像に対してＲＯＩ認識手段（５）を適用するには、撮影時のＡＦ情報を画像ファイルのヘッダに記録しておく必要がある。
【００５６】
ＲＯＩ認識手段（６）は、図１２に示すように、最適露出判定に最終的に用いられたＡＥ評価領域（撮像部１００よりＡＥ情報として与えられる）を含む有意なコントラストのある範囲を検出し（ステップＳ７１）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ７２）。有意なコントラストの判定位置、及び／又は、領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ７１で検出した範囲をＲＯＩ領域候補とすることも可能である。なお、記録媒体１１０に記録された画像に対してＲＯＩ認識手段（６）を適用するには、撮影時のＡＥ情報を画像ファイルのヘッダに記録しておく必要がある。
【００５７】
ＲＯＩ認識手段（７）は、図１３に示すように、対象画像と撮影直前のモニタリング画像間あるいはモニタリング画像と対象画像との比較により、対象画像の動きのあった範囲を検出し（ステップＳ８１）、その範囲（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ８２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ８３）。動きの判定閾値、有意なコントラストの判定閾値、及び／又は領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ８２で検出した範囲をＲＯＩ領域候補とすることも可能である。このＲＯＩ認識手段（７）は、シーンセレクトスイッチにより「動体」が選択された場合に優先的に選択される。なお、記録媒体１１０に記録された静止画像に対してＲＯＩ認識手段（７）を適用するには、撮影段階で動きのある範囲を検出し、その情報を画像ファイルのヘッダに記録しておく必要がある。
【００５８】
ＲＯＩ認識手段（８）は、ストロボ撮影画像に適用される。図１４に示すように、対象画像における、直前のモニタリング画像（ストロボ点灯前）にくらべ大幅に明るい領域（手前にある人物、その他の物体）を検出し（ステップＳ９１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ９２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ９３）。モニタリング画像に比べて明るいと判定するための閾値、有意なコントラストの判定閾値、及び／又は領域の拡大程度がそれぞれ前記パラメータ値である。ステップＳ９２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００５９】
ＲＯＩ認識手段（９）は、図１５に示すように、画像中の高輝度領域を検出し（ステップＳ１０１）、その領域（基準領域）を含む有意なコントラストのある範囲を検出し（ステップＳ１０２）、その範囲を幾分拡大した範囲をＲＯＩ領域候補として認識する（ステップＳ１０３）。高輝度の判定閾値、有意なコントラストの判定閾値、及び／又は、領域の拡大程度が前記パラメータ値である。ステップＳ１０２で検出した範囲をＲＯＩ領域候補とすることも可能である。
【００６０】
ＲＯＩ認識手段（１０）は、ＲＯＩ認識手段（９）と同様の方法で認識した領域から、画像上部の一定面積以上の広い高輝度領域（空などに対応する）を除いた領域をＲＯＩ領域候補とする。
【００６１】
静止画撮影モードにおいて、前記（ｆ）のＲＯＩ領域の自動設定指示が与えられた場合の動作について、図５を参照し説明する。
【００６２】
この場合、ＲＯＩ制御部１２０は、予め撮影者により指定されたＲＯＩ認識手段、又はシーンセレクトスイッチにより選択されたシーン種類に対応したＲＯＩ認識手段を選択し（ステップＳ１）、撮影された各画像に対して、そのＲＯＩ認識手段によりＲＯＩ領域候補を認識させる（ステップＳ２）。なお、ＲＯＩ認識処理に関連したパラメータ値としては、そのＲＯＩ認識手段に関して保存されているパラメータ値があるときにはそのパラメータ値を、それが存在しないときにはデフォルトのパラメータ値をＲＯＩ認識手段に設定する。そして、撮影者からの確定指示を待つことなく、認識されたＲＯＩ領域候補をそのままＲＯＩ領域として確定し、そのＲＯＩ領域情報を圧縮／伸長部１０６及び書き込み／読み出し部１０８に設定する（ステップＳ５）。ＲＯＩ認識手段の変更（ステップＳ４）は可能であるが、領域選択（図６，ステップＳ１５）、領域の拡大／縮小（図６，ステップＳ１６）、パラメータ値の変更（図６，ステップＳ１７）は行うことができない。
【００６３】
動画撮影モードにおいて、前記（ｇ）のＲＯＩ領域の自動設定指示が与えられた場合の動作は、撮影された各フレームの画像に対してＲＯＩ領域が自動的に設定される以外は、静止画撮影モードで前記（ｆ）のＲＯＩ領域自動設定が指示が与えられた場合の動作と同様である。なお、動画データは、各フレームの画像がそれぞれ独立した静止画として圧縮され、モーションＪＰＥＧ２０００（ISO/IEC FCD 15444-1）のファイルフォーマットで記録媒体１１０に記録される。
【００６４】
画像再生モードにおいて、前記（ａ）の指示を与えることにより、ロスレス又は低圧縮率で圧縮されて記録媒体１１０に記録されている静止画像又は動画の各フレーム画像に対して、前述のような撮影者が関与するＲＯＩ領域設定を行うことができる。この場合の動作について、図５を参照して説明する。
【００６５】
画像再生モードにおいては、例えば、記録媒体１１０に記録済みの複数の画像のサムネール画像やリストが表示部１０４に表示され、撮影者は画像を選択することができる。
【００６６】
ある画像が選択されると、その画像ファイルが書き込み／読み出し部１０８により読み出されて圧縮／伸長部１０６により伸長処理され、伸長された画像データが記憶部１０２に記憶される。その画像は表示部１０４に表示される。この画像データを対象として、選択されたＲＯＩ認識手段によるＲＯＩ領域の認識が行われる（ステップＳ２）。これ以外の動作は撮影直後のＲＯＩ領域設定の場合と同様である。ただし、対象とした画像ファイルのヘッダにＡＦ情報やＡＥ情報が記述されていない限り、ＲＯＩ認識手段（５）とＲＯＩ認識手段（６）は利用できない。また、静止画の場合はＲＯＩ認識手段（７）とＲＯＩ認識手段（８）も利用できない。動画の場合は、相前後するフレーム画像間で動きの検出が可能であるのでＲＯＩ認識手段（７）を利用できるが、ＲＯＩ認識手段（８）は利用できない。
【００６７】
再生された画像が既にＲＯＩ領域を設定されたものである場合、その画像ファイルヘッダにＲＯＩ領域情報が記述されているので、ＲＯＩ制御部１２０は、そのＲＯＩ領域情報に基づいて、表示部１０４にＲＯＩ領域を画像に重ねて表示させる。したがって、撮影者は、その画像がＲＯＩ領域を設定済みであることを認識し、ＲＯＩ領域設定の対象から外すことができる。
【００６８】
以上に説明した動作例においてはＲＯＩ認識部１２２が利用された。領域認識部１２２を利用しないＲＯＩ領域認識方法を選ぶこともできる。この場合の動作について図５を援用して説明する。
【００６９】
このＲＯＩ領域認識方法がステップＳ１又はステップＳ４で選択された場合、ステップＳ２において、ＲＯＩ制御部１２０は、圧縮／伸長部１０６で画像データのロスレス又は低圧縮率の圧縮処理を行わせる。この圧縮処理は、例えば、デコンポジションレベル１のウェーブレット係数のみについて行わせる。そして、各タイルデータ中の各パケットのサイズ（符号量）を圧縮／伸長部１０６より取得し、判定閾値と比較し、サイズが判定閾値を超えたパケットに対応した領域（プリシンクト）をＲＯＩ領域として認識する。すなわち、この動作においては、ＲＯＩ制御部１２０が圧縮／伸長部１０６と協働してＲＯＩ認識手段として作用する。もちろん、同様のＲＯＩ領域認識を行う手段をＲＯＩ制御部１２０から独立させてもよい。ステップＳ６において、このＲＯＩ領域の情報を圧縮／伸長部１０６に設定して圧縮処理を実行させ、また、書き込み／読み出し部１０８にＲＯＩ領域情報を設定して記録媒体１１０に書き込まれる画像ファイルのヘッダに記述させる。
【００７０】
このＲＯＩ認識方法においても撮影者を関与させることができる。その場合には、認識したＲＯＩ領域が表示部１０４に表示される。撮影者は、領域の選択（図６のステップＳ１５に対応）、領域の拡大／縮小（図６のステップＳ１６に対応）、パケットサイズの判定閾値の変更（図６のステップＳ１７に対応）を行うことができる。そして、撮影者より完了指示が入力された時に、ＲＯＩ制御部１２０はＲＯＩ領域を確定し、ＲＯＩ領域情報を設定する（図５のステップＳ５）。
【００７１】
なお、圧縮／伸長部１０６でＲＯＩ領域を意識することなく圧縮処理を実行させ、パケットサイズが判定閾値を越えたパケットのヘッダを書き換えることによって同パケットに対応したプリシンクトをＲＯＩ化することも可能である。
【００７２】
以上の説明から明らかなように、図１に示したＲＯＩ制御部１２０、ＲＯＩ認識部１２２、さらには圧縮／伸長部１０６の全部又は一部（その機能もしくは処理）を、パソコンやマイクロコンピュータ等のコンピュータを利用してプログラムにより実現することもできる。そのようなプログラム、及び、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、本発明のＲＯＩ領域設定装置及び方法は、デジタルカメラ等の電子カメラ装置に限らず、画像を圧縮して記録する各種の画像処理装置にも同様に適用可能である。
【００７３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、電子カメラ装置等において、フレーミングの制限が少なく、完全な手操作に依存する方法のような煩わしさがなく、多様なシーンやユーザの好みなどに対応でき、さらに静止画の連続撮影や動画撮影の場合にも対応できる実用的なＲＯＩ領域設定機能を実現することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を説明するための概略ブロック図である。
【図２】 ＪＰＥＧ２０００の画像圧縮／伸長アルゴリズムを説明するための概略ブロック図である。
【図３】 ２次元ウェーブレット変換の説明のための図である。
【図４】 ＪＰＥＧ２０００による圧縮画像データ（コードストリーム）の構造の説明のための図である。
【図５】 ＲＯＩ領域設定動作を説明するためのフローチャートである。
【図６】 図５中のステップＳ２を説明するためのフローチャートである。
【図７】 ＲＯＩ認識手段（１）を説明するためのフローチャートである。
【図８】 ＲＯＩ認識手段（２）を説明するためのフローチャートである。
【図９】 ＲＯＩ認識手段（３）を説明するためのフローチャートである。
【図１０】 ＲＯＩ認識手段（４）を説明するためのフローチャートである。
【図１１】 ＲＯＩ認識手段（５）を説明するためのフローチャートである。
【図１２】 ＲＯＩ認識手段（６）を説明するためのフローチャートである。
【図１３】 ＲＯＩ認識手段（７）を説明するためのフローチャートである。
【図１４】 ＲＯＩ認識手段（８）を説明するためのフローチャートである。
【図１５】 ＲＯＩ認識手段（９）を説明するためのフローチャートである。
【符号の説明】
１００ 撮像部
１０２ 記憶部
１０４ 表示部
１０６ 圧縮／伸長部
１０８ 書き込み／読み出し部
１１０ 記録媒体
１２０ ＲＯＩ制御部
１２２ ＲＯＩ認識部（ＲＯＩ認識手段群）
１２４ 操作部
Claims (8)
- 被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データのコントラストの急激な変化のある図柄が集中している領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする電子カメラ装置。 - 被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記被写体の撮像時のＡＥ評価領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする電子カメラ装置。 - 被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの、その直前のモニタリング画像データより明るい領域を抽出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする電子カメラ装置。 - 被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする電子カメラ装置。 - 被写体を撮像して画像データを出力する撮像手段と、
前記画像データにおけるＲＯＩ領域を異なる複数のＲＯＩ認識方法によって認識するＲＯＩ認識手段と、
前記被写体の撮像に関する機能に応じたＲＯＩ認識方法、又は予めユーザが指定したＲ ＯＩ認識方法を前記異なる複数のＲＯＩ認識方法の中から選択し、当該選択されたＲＯＩ認識方法による認識結果に基づきＲＯＩ領域情報を設定するＲＯＩ制御手段と、
前記ＲＯＩ制御手段で設定されたＲＯＩ領域情報に応じた圧縮処理を前記画像データに行う圧縮手段とを有し、
前記選択されたＲＯＩ認識方法が、前記画像データの高輝度領域を検出し当該領域から画像上部の広い高輝度領域を除いた領域を基準領域としてＲＯＩ領域を認識するＲＯＩ認識方法であることを特徴とする電子カメラ装置。 - 前記圧縮手段は、前記ＲＯＩ領域情報に基づき、前記画像データのＲＯＩ領域を他の領域より低い圧縮率で圧縮することを特徴とする請求項１乃至５のいずれか１に記載の電子カメラ装置。
- 前記被写体の撮像に関する機能は、撮影モード、自動フォーカス、自動露出、ストロボ撮影のいずれか 1 つであることを特徴とする請求項１乃至６のいずれか 1 に記載の電子カメラ装置。
- 前記ＲＯＩ制御手段は、ユーザの指示に基づいて前記ＲＯＩ認識手段で認識された領域の拡大処理、又は縮小処理を行うことを特徴とする請求項１乃至７のいずれか 1 に記載の電子カメラ装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002232475A JP3966461B2 (ja) | 2002-08-09 | 2002-08-09 | 電子カメラ装置 |
| US10/637,420 US20040095477A1 (en) | 2002-08-09 | 2003-08-08 | ROI setting method and apparatus, electronic camera apparatus, program, and recording medium |
| CNB03158683XA CN1256839C (zh) | 2002-08-09 | 2003-08-09 | Roi设置方法和设备、电子照相机设备 |
| US12/351,768 US8115821B2 (en) | 2002-08-09 | 2009-01-09 | Method and apparatus for setting a region of interest in image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002232475A JP3966461B2 (ja) | 2002-08-09 | 2002-08-09 | 電子カメラ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004072655A JP2004072655A (ja) | 2004-03-04 |
| JP3966461B2 true JP3966461B2 (ja) | 2007-08-29 |
Family
ID=32017864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002232475A Expired - Lifetime JP3966461B2 (ja) | 2002-08-09 | 2002-08-09 | 電子カメラ装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20040095477A1 (ja) |
| JP (1) | JP3966461B2 (ja) |
| CN (1) | CN1256839C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009119133A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (91)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1655620B (zh) | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
| US8659619B2 (en) | 2004-03-26 | 2014-02-25 | Intellectual Ventures Fund 83 Llc | Display device and method for determining an area of importance in an original image |
| KR100686289B1 (ko) * | 2004-04-01 | 2007-02-23 | 주식회사 메디슨 | 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법 |
| JP4763312B2 (ja) | 2004-04-23 | 2011-08-31 | 住友電気工業株式会社 | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
| US7720295B2 (en) | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| JP2006014121A (ja) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | 画像符号化方法、画像符号化装置および撮像装置 |
| JP2006025060A (ja) * | 2004-07-07 | 2006-01-26 | Sony Corp | 画像保護装置、撮像装置及びプログラム |
| JP4578197B2 (ja) * | 2004-09-29 | 2010-11-10 | 三洋電機株式会社 | 画像表示装置 |
| US7542613B2 (en) | 2004-09-21 | 2009-06-02 | Sanyo Electric Co., Ltd. | Image processing apparatus |
| JP4007986B2 (ja) * | 2004-09-21 | 2007-11-14 | オリンパス株式会社 | 撮像装置 |
| JP4632417B2 (ja) * | 2004-10-26 | 2011-02-16 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
| JP4656912B2 (ja) | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
| JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
| US7440626B2 (en) * | 2004-12-02 | 2008-10-21 | Mitsubishi Electric Research Laboratories, Inc. | Image transcoding |
| US7506817B2 (en) * | 2004-12-14 | 2009-03-24 | Ricoh Co., Ltd. | Location of machine readable codes in compressed representations |
| US20080225130A1 (en) * | 2004-12-23 | 2008-09-18 | Nokia Corporation | Method for Extracting of Multiple Sub-Windows of a Scanning Area by Means of a Digital Video Camera |
| US7733375B2 (en) * | 2005-03-23 | 2010-06-08 | Marvell International Technology Ltd. | Setting imager parameters based on configuration patterns |
| JP4720255B2 (ja) * | 2005-03-31 | 2011-07-13 | カシオ計算機株式会社 | カメラ装置、撮影方法並びに撮影プログラム |
| JP4720252B2 (ja) * | 2005-03-31 | 2011-07-13 | カシオ計算機株式会社 | カメラ装置、撮像方法並びに撮像プログラム |
| JP2006287517A (ja) * | 2005-03-31 | 2006-10-19 | Casio Comput Co Ltd | カメラ装置、撮影方法並びに撮影プログラム |
| JP4934983B2 (ja) * | 2005-03-31 | 2012-05-23 | カシオ計算機株式会社 | カメラ装置、撮影方法並びに撮影プログラム |
| JP4618676B2 (ja) * | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| JP4693522B2 (ja) * | 2005-06-29 | 2011-06-01 | キヤノン株式会社 | 撮像装置 |
| US8019170B2 (en) * | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
| US8208758B2 (en) | 2005-10-05 | 2012-06-26 | Qualcomm Incorporated | Video sensor-based automatic region-of-interest detection |
| JP2007157063A (ja) | 2005-12-08 | 2007-06-21 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| GB2435141A (en) * | 2006-02-13 | 2007-08-15 | Snell & Wilcox Ltd | Adaptive re-framing of images |
| KR20090006068A (ko) | 2006-02-13 | 2009-01-14 | 스넬 앤드 윌콕스 리미티드 | 동영상 시퀀스를 수정하는 방법 및 그 장치 |
| JP2007251521A (ja) * | 2006-03-15 | 2007-09-27 | Canon Inc | 画像処理装置、画像処理装置の制御方法、プログラム、記憶媒体 |
| DE602007007067D1 (de) * | 2006-03-17 | 2010-07-22 | Philips Intellectual Property | Systeme und verfahren zur interaktiven bestimmung von interessensbereichen und -volumen |
| JP4789192B2 (ja) * | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| JP2008052566A (ja) * | 2006-08-25 | 2008-03-06 | Canon Inc | 画像処理装置及び画像処理方法 |
| US20090225213A1 (en) * | 2006-10-05 | 2009-09-10 | Matsushita Electric Industrial Co., Ltd. | Luminescent display device |
| WO2008043160A1 (en) * | 2006-10-11 | 2008-04-17 | Tagmotion Pty Limited | Method and apparatus for managing multimedia files |
| JP2008236075A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 撮像装置およびその画像データ記録方法 |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| JP2008245033A (ja) * | 2007-03-28 | 2008-10-09 | Institute Of National Colleges Of Technology Japan | 被写界深度制御方法、画像処理装置及びプログラムと記録媒体 |
| CN101653004A (zh) * | 2007-04-04 | 2010-02-17 | Nxp股份有限公司 | 从编码比特流选择性地解码预定数据单元的解码器 |
| US8237830B2 (en) | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
| TWI451755B (zh) | 2007-04-11 | 2014-09-01 | Red Com Inc | 影像攝影機 |
| EP2174500A2 (en) * | 2007-06-29 | 2010-04-14 | Thomson Licensing | Video indexing method, and video indexing device |
| TR200800856A2 (tr) * | 2008-02-11 | 2009-08-21 | Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. | Bir eğlence sistemi için uyarlanabilir ölçekleme metodu. |
| JP5116513B2 (ja) * | 2008-03-10 | 2013-01-09 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
| KR101436326B1 (ko) | 2008-07-31 | 2014-09-01 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
| JP5116608B2 (ja) * | 2008-08-20 | 2013-01-09 | キヤノン株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP2010055194A (ja) | 2008-08-26 | 2010-03-11 | Sony Corp | 画像処理装置および方法、学習装置および方法、並びにプログラム |
| US8612286B2 (en) * | 2008-10-31 | 2013-12-17 | International Business Machines Corporation | Creating a training tool |
| US8429016B2 (en) * | 2008-10-31 | 2013-04-23 | International Business Machines Corporation | Generating an alert based on absence of a given person in a transaction |
| US8345101B2 (en) * | 2008-10-31 | 2013-01-01 | International Business Machines Corporation | Automatically calibrating regions of interest for video surveillance |
| KR101520068B1 (ko) | 2008-12-16 | 2015-05-13 | 삼성전자 주식회사 | 다중영상 합성장치 및 그 방법 |
| JP5285632B2 (ja) * | 2009-01-26 | 2013-09-11 | パナソニック株式会社 | 動画像処理装置、動画像処理方法および撮像装置 |
| JP5521334B2 (ja) | 2009-01-29 | 2014-06-11 | 株式会社リコー | 撮像装置及び撮像方法 |
| JP2010256536A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 画像処理装置及び画像表示装置 |
| WO2011079442A1 (en) * | 2009-12-30 | 2011-07-07 | Nokia Corporation | Methods and apparatuses for facilitating content-based image retrieval |
| US20110234887A1 (en) * | 2010-03-25 | 2011-09-29 | Panasonic Corporation | Image capture device |
| JP5569206B2 (ja) * | 2010-07-15 | 2014-08-13 | ソニー株式会社 | 画像処理装置および方法 |
| EP2587826A4 (en) * | 2010-10-29 | 2013-08-07 | Huawei Tech Co Ltd | EXTRACTIOM, ASSOCIATED PROCESS AND SYSTEM FOR CERTAIN OBJECTS OF A VIDEO |
| JP5025804B2 (ja) * | 2011-01-31 | 2012-09-12 | キヤノン株式会社 | 撮像装置 |
| CN104093018B (zh) * | 2011-03-10 | 2017-08-04 | 华为技术有限公司 | 变换系数的编码方法、变换系数的解码方法，和装置 |
| CN102685503B (zh) | 2011-03-10 | 2014-06-25 | 华为技术有限公司 | 变换系数的编码方法、变换系数的解码方法，和装置 |
| CN104093020B (zh) * | 2011-03-10 | 2017-11-17 | 华为技术有限公司 | 变换系数的编码方法、变换系数的解码方法，和装置 |
| JP6014651B2 (ja) * | 2011-03-30 | 2016-10-25 | ゼネラル・エレクトリック・カンパニイ | 画像内容に基づく自動輝度検出方法及び装置 |
| JP5870533B2 (ja) * | 2011-08-09 | 2016-03-01 | 株式会社リコー | 撮像装置および撮像方法 |
| CN103765374A (zh) * | 2011-09-08 | 2014-04-30 | 英特尔公司 | 交互式屏幕观看 |
| JP5000781B1 (ja) | 2011-11-09 | 2012-08-15 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
| TW201329783A (zh) * | 2012-01-05 | 2013-07-16 | Pixart Imaging Inc | 遙控裝置及遙控系統 |
| KR101382873B1 (ko) * | 2012-06-29 | 2014-04-08 | 엘지이노텍 주식회사 | 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법 |
| US9513470B1 (en) * | 2013-02-05 | 2016-12-06 | Vanderbilt University | Telecentric lens assembly providing a collimated light space |
| US9521384B2 (en) | 2013-02-14 | 2016-12-13 | Red.Com, Inc. | Green average subtraction in image data |
| CN103179331B (zh) * | 2013-04-18 | 2017-02-08 | 华中科技大学 | 一种快速成像的扫描采样和图像处理方法 |
| KR101458944B1 (ko) * | 2013-05-31 | 2014-11-10 | 한국산업은행 | 포커스 정보를 이용한 스피커 좌표 지정 장치 및 방법 |
| US20150009364A1 (en) * | 2013-06-25 | 2015-01-08 | Glen Anderson | Management and access of media with media capture device operator perception data |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| CN104079934B (zh) * | 2014-07-14 | 2017-02-15 | 武汉大学 | 一种实时视频通信中的感兴趣区域提取方法 |
| US20170054897A1 (en) * | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of automatically focusing on region of interest by an electronic device |
| US11715556B2 (en) | 2016-08-11 | 2023-08-01 | DiamondFox Enterprises, LLC | Handheld arthropod detection device |
| US10496893B2 (en) | 2016-08-11 | 2019-12-03 | DiamondFox Enterprises, LLC | Handheld arthropod detection device |
| US10771745B2 (en) | 2016-08-23 | 2020-09-08 | Nec Corporation | Image processing apparatus, image processing method, and storage medium having program stored therein |
| KR101827168B1 (ko) * | 2016-11-04 | 2018-02-08 | 재단법인대구경북과학기술원 | 얼굴 합성 콘텐츠를 출력하는 장치 및 얼굴 합성 콘텐츠를 출력하는 방법 |
| KR102402096B1 (ko) * | 2017-03-27 | 2022-05-26 | 삼성전자주식회사 | 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치 |
| JP7313330B2 (ja) | 2017-07-05 | 2023-07-24 | レッド．コム，エルエルシー | 電子機器でのビデオ画像データ処理 |
| JP6882136B2 (ja) * | 2017-10-12 | 2021-06-02 | 日本メジフィジックス株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP7050509B2 (ja) | 2018-01-31 | 2022-04-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10839694B2 (en) * | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
| EP3893485A4 (en) * | 2018-12-06 | 2021-12-29 | Sony Semiconductor Solutions Corporation | Reception device and transmission device |
| US10963675B2 (en) * | 2019-01-30 | 2021-03-30 | Realnetworks, Inc. | Method for selecting images in video of faces in the wild |
| JP2020136899A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器、および撮像方法 |
| CN109995999A (zh) * | 2019-03-14 | 2019-07-09 | Oppo广东移动通信有限公司 | 场景识别方法、装置、电子设备及存储介质 |
| WO2020205981A1 (en) | 2019-04-05 | 2020-10-08 | Realnetworks, Inc. | Adaptive learning and matching of face modalities |
| JP7441682B2 (ja) * | 2020-03-06 | 2024-03-01 | 株式会社日立製作所 | データ処理システムおよびデータ圧縮方法 |
| US11576364B2 (en) | 2020-03-30 | 2023-02-14 | Cnh Industrial America Llc | System and method for determining agricultural vehicle guidance quality based on a crop row boundary consistency parameter |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000041694A (ja) | 1990-03-08 | 2000-02-15 | Hayashibara Biochem Lab Inc | ラクトスクロ―ス高含有物とその製造方法並びに用途 |
| JP3252941B2 (ja) * | 1994-11-29 | 2002-02-04 | 日本電信電話株式会社 | 画像切り出し認識装置 |
| US5889582A (en) * | 1997-03-10 | 1999-03-30 | Virtek Vision Corporation | Image-directed active range finding system |
| US7705891B2 (en) * | 1997-07-15 | 2010-04-27 | Silverbrook Research Pty Ltd | Correction of distortions in digital images |
| JPH11294343A (ja) | 1998-04-14 | 1999-10-26 | Mitsubishi Motors Corp | 電磁式ポンプの制御装置 |
| JP2000209590A (ja) * | 1999-01-11 | 2000-07-28 | Canon Inc | 画像符号化装置及び方法、記憶媒体並びに撮像装置 |
| JP4331314B2 (ja) * | 1999-04-12 | 2009-09-16 | オリンパス株式会社 | 一眼レフレックスタイプの電子的撮影装置 |
| JP3810943B2 (ja) * | 1999-05-06 | 2006-08-16 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
| JP2000358183A (ja) * | 1999-06-14 | 2000-12-26 | Canon Inc | 画像処理装置及びその方法 |
| US6490319B1 (en) * | 1999-06-22 | 2002-12-03 | Intel Corporation | Region of interest video coding |
| JP2001036901A (ja) * | 1999-07-15 | 2001-02-09 | Canon Inc | 画像処理装置及び画像処理方法並びにメモリ媒体 |
| JP4294805B2 (ja) * | 1999-08-10 | 2009-07-15 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
| JP2001119696A (ja) * | 1999-10-20 | 2001-04-27 | Canon Inc | 画像符号化方法及び装置 |
| JP2001145101A (ja) * | 1999-11-12 | 2001-05-25 | Mega Chips Corp | 人物画像圧縮装置 |
| JP2001230947A (ja) * | 2000-02-18 | 2001-08-24 | Canon Inc | 画像処理装置およびその処理方法 |
| JP3758452B2 (ja) * | 2000-02-28 | 2006-03-22 | コニカミノルタビジネステクノロジーズ株式会社 | 記録媒体、並びに、画像処理装置および画像処理方法 |
| JP2002064790A (ja) * | 2000-05-31 | 2002-02-28 | Canon Inc | 画像処理装置及びその方法プログラムコード、記憶媒体 |
| JP4686854B2 (ja) * | 2000-12-08 | 2011-05-25 | 株式会社ニコン | 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体 |
| JP4517504B2 (ja) * | 2000-12-22 | 2010-08-04 | 株式会社ニコン | 画像符号化装置、電子カメラおよび記録媒体 |
| US7423686B2 (en) * | 2002-03-14 | 2008-09-09 | Canon Kabushiki Kaisha | Image pickup apparatus having auto-focus control and image pickup method |
-
2002
- 2002-08-09 JP JP2002232475A patent/JP3966461B2/ja not_active Expired - Lifetime
-
2003
- 2003-08-08 US US10/637,420 patent/US20040095477A1/en not_active Abandoned
- 2003-08-09 CN CNB03158683XA patent/CN1256839C/zh not_active Expired - Lifetime
-
2009
- 2009-01-09 US US12/351,768 patent/US8115821B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009119133A (ja) * | 2007-11-16 | 2009-06-04 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| US8428329B2 (en) | 2007-11-16 | 2013-04-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US8115821B2 (en) | 2012-02-14 |
| US20040095477A1 (en) | 2004-05-20 |
| CN1256839C (zh) | 2006-05-17 |
| US20090122164A1 (en) | 2009-05-14 |
| CN1496110A (zh) | 2004-05-12 |
| JP2004072655A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3966461B2 (ja) | 電子カメラ装置 | |
| JP3956360B2 (ja) | 撮像装置及び画像処理方法 | |
| JP4973098B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US7444031B2 (en) | Image processing apparatus | |
| US20040212843A1 (en) | Image processing method, image processing apparatus, electronic camera and computer-readable storage medium | |
| JP4218446B2 (ja) | 電子カメラ | |
| JP2000358183A (ja) | 画像処理装置及びその方法 | |
| JP2008028534A (ja) | デジタルカメラ | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN1210953C (zh) | 数字图像信号处理、数字图像记录设备和方法 | |
| CN107509019A (zh) | 摄像设备、摄像方法及非瞬态计算机可读介质 | |
| JP6871727B2 (ja) | 撮像装置、画像処理方法、及び、プログラム | |
| JP2006074114A (ja) | 画像処理装置及び撮像装置 | |
| JP2006279397A (ja) | 画像強調装置 | |
| TWI390959B (zh) | 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 | |
| JP2001333430A (ja) | 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体 | |
| JP3966460B2 (ja) | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4375662B2 (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
| JP3888622B2 (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
| JP4097130B2 (ja) | 画像処理装置、画像処理方法、電子カメラ装置、プログラム、記録媒体 | |
| JP4143535B2 (ja) | 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP2005151018A (ja) | 画像符号化装置及び画像復号化装置 | |
| JP2004213202A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070524 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3966461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |