JP2000209425A - 画像処理装置及び方法並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 抽出した被写体を背景画像に合成する。 【解決手段】 ユーザは、抽出すべき被写体を含む画像
を撮影し（Ｓ１）、指示選択装置２６などを用いて抽出
範囲を指定し（Ｓ２）、被写体抽出回路により抽出する
（Ｓ３）。抽出された被写体領域の画像データは圧縮符
号化され、撮影条件とともに記憶装置に格納される（Ｓ
４）。次に、背景画像を撮影又は入力する（Ｓ５）。背
景画像を表示しながら、先に抽出した被写体画像を記憶
装置から読み出す（Ｓ６）。背景画像と被写体画像との
間の階調及び色調などの差異を抑制するように、被写体
画像の階調及び色調を調整し（Ｓ７）、被写体の輪郭付
近での背景画像との混合および平滑化を行って、被写体
画像を背景画像に上書きする合成して、表示する（Ｓ
８）。ユーザの指示に従い被写体画像の位置及びサイズ
を調整する（Ｓ９）。合成画像データを記録媒体に記録
する（Ｓ１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体切り出し及
び画像合成機能を有する画像処理装置及び方法並びに記
憶媒体に関する。

【０００２】

【従来の技術】従来、撮像装置では、信号処理のディジ
タル化に伴って映像情報の処理加工の自由度が向上する
に従い、装置内部で、輝度レベルまたは色調の変換、色
バランス調整及び量子化サイズ変換などの比較的簡易な
処理から、エッジ抽出機能、及び色成分の逐次成長法を
用いた被写体抽出機能（テレビジョン学会技術報告、Ｖ
ｏｌ．１８、ｐｐ．１３〜１８、１９９４年）を有する
ものなど、画像処理機能を付加したものが種々、提案さ
れている。

【０００３】また、背景画像との差分に基づいて画像を
抽出する方法において、背景画像の撮像時に平均輝度が
適正となるように露光量を制御した上で、背景画像と同
じ設定値を用いて原画像を撮像した後、それらの差分デ
ータに基づき対象画像を抽出する構成が知られている
（例えば、特開平６−２５３１９７号公報参照）。

【０００４】入力画像から特定領域と他の領域に異なる
処理を施す画像伝送又は撮像技術として、以下に示す技
術が知られる。例えば、特定対象領域の抽出手段を有
し、入力画像から人物などの特定対象の領域の画像デー
タと背景となる部分の画像データとで、その符号化特性
又は伝送特性（特定領域の伝送の有無を含む。）等を異
ならせる技術が、特開平５−１４５９１４号公報、特開
平５−３３６３７４号公報、特開平６−３１９１３０号
公報、特開平７−２２２０４８号公報、特開平７−２３
０５５４号公報及び特開平７−２５０３１２号公報に記
載されている。

【０００５】また、画像から複数の領域を切り出し、そ
れらを任意の配置で合成する手段を備えた映像伝送装置
が、特開平７−２９８２３８号公報に記載され、被写体
抽出手段、被写体と背景についての信号処理パラメータ
制御手段又は加工回路及び置換回路を有する装置が、特
開平５−１１０９３６号公報、特開平６−１６９４２５
号公報、特開６−２２５３２８号公報及び特開平８−１
５４２５９号公報に記載されている。

【０００６】

【発明が解決しようとする課題】被写体抽出機能を有す
る従来の画像処理装置は、特定撮影条件下での被写体を
分離抽出することを目的とするので、一般的な背景で被
写体を抽出することが困難であるという問題点のほか、
別途用意された背景との画像合成などの画像の編集加工
処理を行う際に、以下のような問題があった。即ち、分
離抽出した被写体の姿態が背景画像の構図などと合うか
どうかは、撮影時には判断できず、合成時でないと分か
らない。また、ユーザが別途用意した背景画像と抽出さ
れた被写体画像との間で、撮影条件、例えば照明条件、
露光条件、倍率及び合焦度などが異なると、非常に不自
然且つ違和感のある合成画像となり、時に色調の変換又
は階調補正などの処理を加える必要が生じる。

【０００７】本発明は、このような不都合を解消した画
像処理装置及び方法並びに記憶媒体を提示することを目
的とする。

【０００８】特開平５−１４５９１４号公報等に記載の
従来例は、撮像システム又は画像伝送システムにおいて
符号化効率を上げることを目的とするものあり、画像の
一部を加工しようとするものではない。

【０００９】特開平７−２９８２３８号公報に記載され
る従来例は、画像中の矩形領域を抽出して合成するもの
であり、任意形状の被写体部分等に特化した処理ができ
ない。

【００１０】特開平５−１１０９３６号公報及び特開平
６−２２５３２８号公報に記載される従来例は、輝度、
色相又は色差の範囲を抽出条件として設定し、この条件
を満たす部分を被写体とみなすので、任意の背景色と被
写体との組み合わせでは、所望の被写体領域を抽出して
加工処理することができない。

【００１１】特開平６−１６９４２５号公報に記載され
るビデオカメラでは、ビューファインダの表示画面中の
所定位置に被写体の映像と重畳してマーカを表示し、マ
ーカが位置する被写体部分の映像信号の色又は輝度レベ
ルに基づき被写体を抽出するが、ユーザは、マーカと所
望の被写体とが重なるように画角を調整して撮影する必
要があり、非常に面倒で、操作性が悪く、従って、被写
体の抽出精度も悪い。

【００１２】特開平８−１５４２５９号公報は、人物の
肌色を計測することにより人物の存在領域を推定し、そ
の人物像を抽出するものであり、汎用性に欠けている。

【００１３】このように、従来例では、画像中の任意形
状又は任意の配色を有する主被写体又は背景に所定のぼ
かし又は変形を加えるなどの画像加工を自動的又は簡易
な操作で半自動的に行うことは困難であった。

【００１４】本発明は、このような不都合を解消する画
像処理装置及び方法並びに記憶媒体を提示することを目
的とする。

【００１５】本発明はまた、画像中の任意形状又は任意
の配色を有する主被写体又は背景に所定のぼかし又は変
形を加えるなどの画像加工を自動的又は半自動的に行う
ことを可能にする画像処理装置及び方法並びに記憶媒体
を提示することを目的とする。

【００１６】

【課題を解決するための手段】本発明に係る画像処理装
置は、結像光学系、光電変換手段、映像信号処理手段、
記憶手段及び制御信号発生手段を含む画像入力手段、入
力された画像の特定部分を指示選択するための指示選択
手段、画像処理手段、画像符号化手段、画像記録手段、
画像記録媒体並びに画像表示手段を有し、画像処理手段
は入力された画像内の指示選択手段により指示選択され
た部分の画像情報を用いて画像内の特定被写体を抽出す
る特定被写体抽出手段と、記憶手段または画像記録媒体
に記憶された背景画像と抽出された該特定被写体を合成
する合成画像生成手段とを有することを特徴とする。

【００１７】これにより、任意の背景を含む被写体画像
を入力（撮影）して、その中の被写体を抽出したうえで
被写体画像中の背景と異なる背景画像と被写体との合成
画像の生成を行うことが簡易な操作により実現できる。
また合成された画像を画像表示手段に表示することによ
り、合成画像中の被写体の位置や大きさを確認すること
ができ、更に指示選択手段によりそれらを調整して背景
と適切なマッチングを取ったうえで合成画像を記録、保
存、または出力することができる。

【００１８】本発明に係る画像処理装置は、結像光学
系、光電変換手段、映像信号処理手段、記憶手段及び制
御信号発生手段を含む画像入力手段、入力された画像の
特定部分を指示選択するための指示選択手段、画像処理
手段、画像符号化手段、画像記録手段、通信制御手段、
画像記録媒体並びに画像表示手段を有し、画像処理手段
は入力された画像内の指示選択手段により指示選択され
た部分の画像情報を用いて画像内の特定被写体を抽出す
る特定被写体抽出手段と、通信制御手段を介した背景画
像の入力手段と、背景画像と抽出された特定被写体を合
成する合成画像生成手段とを有することを特徴とする。

【００１９】これにより、上記特徴に加えて背景画像を
外部から入力し、背最画像と任意の背景を含む被写体画
像中の被写体との合成が簡易な操作により実現できる。

【００２０】本発明において、制御信号発生手段は特定
被写体の形状と位置に関する補助データを記憶手段から
入力し、画像表示手段に補助データを表示することを特
徴とする。これにより、予め被写体の形状または姿態及
び位置などが概ね定まっている場合に、そのデータ（例
えば、矩形枠又は同じタイプの被写体モデルの輪郭線な
ど）を入力して入力画像に重ねて表示することにより、
撮影などの画像入力の現場においてその補助データに適
合するように被写体画像中の被写体の姿勢などを調整で
きる場合には、指示選択手段による被写体抽出のための
画像の部分指定を行わずに被体抽出が実行可能となる。

【００２１】本発明において、制御信号発生手段は特定
被写体の形状と位置に関する補助データを通信制御手段
から入力し、画像表示手段に補助データを表示すること
を特徴とする。これにより、前記特徴に加えて補助デー
タを撮像画像処理手段の外部から入力することができ
る。

【００２２】本発明に係る画像処理装置は、結像光学
系、光電変換手段、映像信号処理手段、記憶手段及び制
御信号発生手段を含む画像入力手段、画像処理手段、画
像フォーマット変換手段を有する画像符号化手段、画像
記録手段、画像記録媒体並びに画像表示手段を有し、画
像符号化手段内の画像フォーマット変換手段は、記憶手
段または画像記録媒体に記憶された画像を所定のフォー
マットに変換し、画像符号化手段は記憶手段または画像
記録媒体に記録された所定の画像データのフォーマット
を変換し、画像処理手段は、入力された画像内の特定被
写体抽出処理を行い、抽出された特定被写体画像と画像
フォーマット変換手段によりフォーマット変換された画
像を画像合成することを特徴とする。

【００２３】これにより、前述した特徴を有する被写体
抽出と画像合成処理機能を備えた画像処理手段におい
て、内部に画像合成処理のために適切なフォーマットへ
の変換処理手段を内蔵したので、入力される画像データ
のフォーマットの選択範囲を大幅に広げることができ
る。

【００２４】本発明に係る画像処理装置は、結像光学
系、光電変換手段、映像信号処理手段、記憶手段及び制
御信号発生手段を含む画像入力手段、画像処理手段、画
像符号化手段、画像記録手段、画像記録媒体並びに画像
表示手段を有し、制御信号発生手段は撮影条件計測制御
手段を有し、画像符号化手段は画像データを符号化し、
符号化された画像データとともに撮影条件を記録媒体ま
たは記憶手段に所定のフォーマットで記録し、画像処理
手段は入力された画像内の特定被写体抽出処理を行い、
抽出された特定被写体と記憶手段または画像記録媒体に
記録された（背景）画像とを、撮影条件に基づいて合成
することを特徴とする。

【００２５】これにより、撮影条件に基づいて階調変換
などを行った上で、抽出された被写体の画像と背景画像
の撮影条件の違いをなくした自然な合成画像が自動的に
得られる。

【００２６】本発明において、補助データは、特定被写
体に関する所定サイズの輪郭線またはマスクデータであ
ることを特徴とする。これにより被写体形状が概ね定ま
っている場合には、その輪郭線またはその内部領域を入
力画像に重ねて表示（着色等の特殊表示）することによ
り、画像入力（撮影）の現場で補助データに適合した被
写体の姿勢又は姿態などを得て補助輪郭線内部の領域を
抽出することにより被写体抽出を自動的に行うことがで
きる。更に、背景画像と被写体画像の背景とがほぼ一致
する場合には、被写体抽出の精度が大幅に向上する。

【００２７】本発明において、補助データは、所定形状
の閉輪郭線であることを特徴とする。被写体の形状を近
似していなくても、その縦横サイズを反映した矩形また
は楕円などの閉輪郭線によって与えられるごく大まかな
形状により被写体領域を指定することにより、前述した
ように背景画像と被写体画像の背景とがほぼ一致する場
合には被写体抽出の精度が大幅に向上する。

【００２８】本発明において、撮影条件は、露光量また
はシャッタ−スピード、合焦量、撮影倍率、照明光の種
類及び視線方向を含むことを特徴とする。被写体画像と
背景画像との間でこれらの撮影条件の違いを吸収して自
然な合成画像が得られるようにするためである。なお、
視線方向は単に被写体の存在する領域の指定などに用い
る。

【００２９】本発明において、画像処理手段は、入力さ
れた画像の撮影時の撮影条件と背景画像の撮影条件との
差異に基づき、一方の画像が他方の画像の撮影条件と略
一致する様に一方の画像の少なくとも一部の領域に対し
て所定の変換処理を行った後、画像の合成処理を実行す
る。これにより、撮影条件に基づいて一方の画像の階
調、色調、コントラスト又は鮮鋭度などを変換して他方
の画像と合成した時に自然な画像が得られるようにする
ことができる。

【００３０】本発明において、制御信号発生手段は、特
定被写体の形状と位置に関する補助データを記憶手段か
ら入力し、補助データの形状または位置を撮影条件に基
づいて変化させることを特徴とする。これにより、背景
画像を入力（撮影）した時の撮影条件（倍率、照明条件
及び露光条件など）と被写体画像の入力時の撮影条件と
が異なる場合、或いは変化する場合でも、入力画像の撮
影条件に応じて自動的に補助デ−タの特徴（輪郭線の形
状、コントラストなど）を適正に変化させることができ
るので、その後の被写体抽出処理を簡略化して行うこと
ができる。

【００３１】本発明に係る画像処理方法は、所定の画像
入力手段から画像を入力するステップ、入力された画像
の画像入力条件の計測または設定ステップ、画像入力条
件を所定の記憶手段に記録するステップ、入力された画
像から特定被写体の抽出を行う被写体抽出ステップ、画
像入力条件に基づいて抽出された被写体の画像と所定の
記憶手段に記録された背景画像を合成する画像合成ステ
ップ、画像合成ステップで得られた合成画像の所定記憶
手段への所定フォーマットによる記録または所定表示手
段への出力を行う画像出力制御手段ステップとからなる
ことを特徴とする。

【００３２】これにより、画像入力条件の違いや変動に
関わらず、所定の入力画像中の特定被写体と背景画像と
の画像合成を自然なものにできる。また、その処理手順
に従う限り、機器構成によらずに安定した画像合成が可
能になる。

【００３３】本発明は、画像入力手段又はステップと、
撮像条件抽出手段又はステップと、画像変換モード設定
手段又はステップと、入力画像から撮像条件を用いて所
定の対象領域を求める領域抽出手段又はステップと、入
力画像のうち対象領域又は対象領域を除いた背景領域の
画像に所定の変換を施す画像変換手段又はステップとを
具備することを特徴とする。これにより、被写体の部分
形状を撮像条件などから確実に特定することができ、所
望の変換を加えて撮像することのできる撮像装置又は画
像入力装置を実現できる。

【００３４】本発明は、画像入力手段と、画像表示手段
と、撮像条件抽出手段と、画像変換モード設定手段と、
入力画像から当該画像変換モード又は当該撮像条件に基
づき所定の対象領域を設定する領域設定手段と、設定領
域の境界線を入力画像に重畳して画像表示手段に表示す
る境界線表示手段と、入力画像のうち対象領域又は対象
領域を除いた背景領域の画像に所定の変換を施す画像変
換手段とを具備することを特徴とする。本発明は、画像
入力ステップと、撮像条件抽出ステップと、画像変換モ
ード設定ステップと、入力画像から当該画像変換モード
又は当該撮像条件に基づき所定の対象領域を設定する領
域設定ステップと、設定領域の境界線を入力画像に重畳
して画像表示手段に表示する境界線表示ステップと、入
力画像のうち対象領域又は対象領域を除いた背景領域の
画像に所定の変換を施す画像変換ステップとを具備する
ことを特徴とする。これにより、被写体に応じた変換領
域の設定を自動的に行うことができ、またユーザが設定
された領域を視認したうえで該当する領域において被写
体が変換されるような撮影、又は変換後の映像を確認す
ることが出来る画像入力を実現する。

【００３５】また本発明は、画像入力手段又はステップ
と、撮像条件抽出手段又はステップと、画像変換モード
設定手段又はステップと、当該撮像条件又は当該画像変
換モードに基づいて入力画像から所定の対象領域を求め
る領域抽出手段又はステップと、入力画像のうち対象領
域又は対象領域を除いた背景領域の画像に所定の変換を
施す画像変換手段又はステップとを具備することを特徴
とする。これにより、被写体の領域を撮像条件等に基づ
いて画像から自動的に抽出することができ、且つ、その
抽出領域に対して所望の変換を施した上で画像入力する
ことができる。

【００３６】本発明において、画像変換手段又はステッ
プは対象領域に撮像条件又は画像変換モードに基づき所
定のテクスチャマッピング処理を施すことを特徴とす
る。また、画像変換手段は、所定の記憶手段から他の画
像を入力し、対象領域を撮像条件又は画像変換モードに
基づき他の画像で変換することを特徴とする。これらに
より、撮像条件又は画像変換モードに応じた特定領域の
変換を行うことのできる画像入力手段を提供する。

【００３７】また、画像変換手段又はステップは、対象
領域の特定色成分を他の色成分に変換することを特徴と
する。これにより、撮像条件などを用いて特定された対
象領域の色成分を自動的に変換することのできる画像入
力手段を実現できる。

【００３８】本発明において、画像変換手段又はステッ
プは対象領域に所定の幾何学的変形を施すことを特徴と
する。これにより、撮像条件などを用いて特定された対
象領域にアフィン変換などの幾何学的変形を加えること
ができる画像入力手段を実現できる。

【００３９】本発明において、画像変換手段又はステッ
プは変換後の画像データに所定の透かし情報を付加する
ことを特徴とする。これにより、変換部分の領域及び変
換モードなどの情報を画像とともに視覚的に知覚されな
いように記録することができる。更に、これらの情報に
基づいて変換前の画像を復元するなどの後処理が簡易に
実行できる。

【００４０】本発明において、領域抽出手段又はステッ
プは予め入力された背景画像と入力画像との差分データ
に基づき対象領域を求めることを特徴とする。これによ
り、自動的に変換対象の領域を特定することができる。

【００４１】本発明において、領域抽出手段は、所定の
テンプレートモデル画像の記憶手段と、テンプレートモ
デルと入力画像との類似度検出手段と、類似度が所定閾
値以下又は極大となる領域を抽出する領域抽出手段とを
具備することを特徴とする。領域抽出ステップは、記憶
手段に記憶されるテンプレートモデルと入力画像との類
似度を検出する類似度検出ステップと、類似度が所定閾
値以下又は極大となる領域を抽出する領域抽出ステップ
とを具備することを特徴とする。これにより、撮像条件
などを用いてテンプレートサイズを適切に変換するとと
もに、テンプレート形状と類似度の高い領域として変換
対象の領域を自動的に特定することができる画像入力装
置を実現できる。

【００４２】本発明において、画像変換手段又はステッ
プは、対象領域又は背景領域の一部について撮像条件に
基づき輝度レベル又は色成分値の変換を行うことを特徴
とする。これにより、変換対象として特定された領域の
中で予め変換すべき部分を特定して画像変換することの
できる画像入力装置を実現できる。

【００４３】本発明において、領域抽出手段又はステッ
プは、抽出領域の境界線を入力画像に重畳して前記画像
表示手段に表示することを特徴とする。これにより、ユ
ーザは抽出された領域の範囲を確認したうえで画像変換
撮影を行うことができる。

【００４４】本発明において、領域設定手段又はステッ
プは領域の位置又はサイズ変更手段を有することを特徴
とする。これにより、設定された変換領域の位置又はサ
イズを簡易に調整することができる変換撮影を行うこと
ができる。

【００４５】本発明において、領域抽出手段又はステッ
プは撮像条件に基づいてテンプレートモデル画像の入力
画像中の位置とサイズを設定し、設定されたテンプレー
トモデル画像の輪郭線を初期輪郭として対象領域の輪郭
線を求めることを特徴とする。これにより、テンプレー
トモデルで指定される形状と多少異なる輪郭線を有する
被写体であっても、正しい輪郭線内部の領域について画
像変換を自動的に実行することができる変換撮影が可能
となる。

【００４６】本発明において、輪郭線表示手段又はステ
ップは所定の表示選択手段により輪郭線の表示動作が選
択されたときにその輪郭線を表示することを特徴とす
る。これにより、通常撮影モードから変換撮影モードへ
の変換（又はその逆）、変換対象の確認などを行うこと
ができる。

【００４７】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００４８】図１は、本発明の第１実施例の概略構成ブ
ロック図を示す。撮像画像処理装置１０は、撮影レンズ
及びズーム撮影用駆動制御機構を含む結像光学系１２、
ＣＣＤイメージセンサのような撮像素子１４、撮像パラ
メータを計測及び制御する計測制御回路１６、映像信号
処理回路１８、記憶装置２０、撮像動作の制御、撮像条
件の制御、画像処理及び画像出力の制御信号を発生する
制御信号発生回路２２、ＥＶＦ（電子ビュー・ファイン
ダ）などのファインダを兼用する表示ディスプレイ２
４、ペン型キー又は十字キ−などからなる指示選択装置
２６、ストロボ発光装置２８、記録媒体３０、画像符号
化回路３２、画像出力回路３４、被写体抽出回路３６、
並びに、画像合成回路３８を具備する。

【００４９】撮像パラメータ計測制御回路１８は、撮影
倍率を変更自在なズームレンズの倍率を検出する倍率検
出回路、撮像素子１４の撮像面上の合焦状態を検出する
合焦状態検出回路、撮像素子１４の電荷蓄積時間及び／
又は結像光学系１２の絞りの開口径を制御する露光量制
御回路、ストロボ発光制御回路、並びに、ガンマ特性、
ニー特性及び色バランスなどの映像信号特性の制御信号
を発生する制御信号発生回路を具備する。これらの一部
は、ソフトウエアによって実現される。撮像パラメータ
は、撮影倍率、合焦度及び露光量のほかに、視線方向、
ストロボ発光の有無、照明光の種類（例えば日光、蛍光
灯、白熱灯及びストロボ光など）などを含む。視線方向
は、映像信号処理回路１８に内蔵される視線検出装置
（図示せず。）により検出される。

【００５０】映像信号処理回路１８は、ガンマ、ニー及
びホワイトバランスなどの補正回路、オートフォーカス
（ＡＦ）回路、自動露出制御（ＡＥ）回路、自動利得制
御（ＡＧＣ）回路などを有する。

【００５１】指示選択装置２６はペン型キー及び／又は
十字キ−などからなる。しかし、表示ディスプレイ２４
にタッチパネルが一体化されており、表示ディスプレイ
２４の画面に操作用パネルが表示されるときには、その
表示された操作用パネルは、指示選択装置２６の一形態
となる。

【００５２】記録媒体３０は、例えば、磁気テープ、光
ディスク又は光磁気ディスクなどのディスク媒体、フラ
ッシュメモリ及びＩＣメモリなどの各種媒体からなる。
本実施例では、記録媒体３０は、特別の媒体に限定され
ない。記録媒体３０は、撮像画像処理装置１０に着脱自
在である。

【００５３】画像符号化回路３２は、画像データを、撮
影条件などの付帯データと共に所定フォーマットで圧縮
符号化する。

【００５４】図２を参照して、本実施例の特徴的な動作
である被写体の抽出及び背景画像との合成過程を説明す
る。

【００５５】ユーザは、抽出すべき被写体を含む画像を
撮影し（Ｓ１）、指示選択装置２６などを用いて被写体
抽出回路３６により被写体の存在する領域画像を抽出す
る（Ｓ２，Ｓ３）。例えば、表示ディスプレイ２４に表
示された入力画像の被写体の輪郭線上の数点を指示選択
装置２６により指示して、被写体抽出の基準点を被写体
抽出回路３６に設定する。被写体抽出回路３６は、隣り
合う基準点間を結ぶようなエッジ追跡を所定の方法で実
行して、一つの閉曲線としての被写体の輪郭線を得る。
エッジデータは、入力画像に対して、周知の方法によ
り、例えばＳＯＢＥＬ及びラプラシアンなどの空間微分
フィルタリング処理により得ることができる。このよう
にして得られる閉曲線内部の領域の画像が、被写体画像
として抽出される（Ｓ３）。被写体の輪郭に相当する閉
曲線の抽出方法は、上述した方法に限定されない。

【００５６】抽出された被写体領域の画像データは、所
定の圧縮方式（例えば、ウエーブレット変換及びＤＣＴ
変換などを用いた圧縮符号化方式）により圧縮符号化さ
れ、また、撮影倍率及び露光条件（撮像素子の電荷蓄積
時間及びストロボ発光の有無など）などの撮影条件とと
もに所定のフォーマットで記憶装置２０に格納される
（Ｓ４）。

【００５７】次に、背景画像を撮影又は入力する（Ｓ
５）。背景画像を表示しながら、先に抽出した被写体画
像を記憶装置２０又は記録媒体３０から読み出す（Ｓ
６）。背景画像と被写体画像との間の撮影条件の違いに
よる階調及び色調などの差異を抑制するように、被写体
画像の階調及び色調を調整し（Ｓ７）、被写体の輪郭付
近での背景画像との混合及び平滑化を行い、被写体画像
を背景画像に上書きするように合成して、表示ディスプ
レイ２４の画面上に表示する（Ｓ８）。表示ディスプレ
イ２４の表示速度を上げるために、撮影条件に依存した
補正処理は、合成画像の記録時に行なうようにしてもよ
い。

【００５８】図３は、表示ディスプレイ２４の表示画面
例を示す。表示ディスプレイ２４上には、抽出処理の結
果として得られた３つの被写体画像を表示する被写体画
像表示領域４０ａ，４０ｂ，４０ｃ、合成画像表示領域
４２、拡大表示を指示する拡大ボタン４４、縮小表示を
指示する縮小ボタン４６、上下左右への移動を指示する
移動キー４８、前処理への戻りを指示する戻りキー５０
ａ、及び次の処理への以降を指示する送りキー５０ｂが
表示される。

【００５９】ユーザの指示に従い、被写体画像の位置及
びサイズを調整する（Ｓ９）。この時点では、被写体の
サイズと位置を大まかに表わす補助枠５２が、合成画像
上の被写体画像を囲むように表示される。選択された被
写体画像（図３では、被写体画像表示領域４０ａに表示
される画像）は、それと分かるように太枠などで強調表
示される。このような表現方法は周知である。図４は、
更に、同じ被写体画像を少し離して追加した合成例を示
す。被写体画像が結果的に大きくなるので、被写体画像
の位置とサイズを示す補助枠５２が、図３の場合よりも
大きくなっている。

【００６０】ユーザは、拡大ボタン４４、縮小ボタン４
６及び位置変更用の移動キー４８をタッチペン、マウス
又は指により操作して、被写体画像のサイズ及び位置を
変更できる。このようなボタン類を使ったグラフィカル
・ユーザ・インターフェース自体は周知である。いうま
でもないが、このような操作ボタン等を本体装置表面の
所定位置に設定してもよい。戻りボタン５０ａにより前
の処理段階に戻ることができ、送りボタン５０ｂにより
次の処理段階に移行できる。

【００６１】抽出された被写体画像のサイズ及び位置の
調整の結果、背景画像内の適切な配置及びサイズにある
とユーザが判断して、ユーザが、操作パネル上の合成記
録ボタンを押すと、合成画像データ（勿論、補助枠５２
を除く。）は、記憶装置２０又は記録媒体３０に圧縮符
号化されて記録される（Ｓ１０）。この記録の際に、合
成画像生成時に用いた撮影条件を付帯情報として符号化
し、画像データ・ファイルのヘッダ部などに記録しても
よい。付帯情報としては、撮影条件の他に、合成記録時
の被写体部分の輪郭線上の各点の座標、その輪郭線に外
接する矩形枠（例えば、図３の補助枠５２）の重心位置
及び縦横サイズ、又は、その輪郭線に外接する楕円の重
心位置、その主軸のサイズと方向及び楕円率などのパラ
メータを含めても良い。

【００６２】このような、被写体の形状、位置及びサイ
ズに関する付帯情報は、合成画像とは別に、後の撮影で
読み出して表示ディスプレイ２４に補助データとして画
像に重ねて表示することもできる。このようにすること
により、同種の被写体について行う被写体の抽出から背
景との合成までの一連の処理において、被写体抽出に要
する手間を省くことができる。

【００６３】図５は、抽出被写体画像の輪郭線を先に背
景画像に重畳表示し、被写体画像の位置及びサイズを調
整してから、被写体画像を合成するようにした変更フロ
ーチャートを示す。Ｓ１１〜Ｓ１５は、図２のＳ１〜Ｓ
５と同じである。抽出被写体画像の輪郭線を背景画像に
重畳表示し（Ｓ１６）、被写体画像の位置及びサイズを
調整する（Ｓ１７）。その後、抽出被写体画像データ及
び付帯情報データを入力して、被写体画像を輪郭線の中
に入るようにして背景画像に合成し（Ｓ１８）、撮影条
件等に応じて被写体画像を補正し（Ｓ１９）、合成画像
を記録媒体３０に記録する（Ｓ２０）。

【００６４】なお、背景画像と、抽出処理の行われる前
の被写体画像中の背景とが殆ど同じである場合には、抽
出されるべき画像領域は、背景部分をある程度含んでい
ても、撮影条件の違いなどの要因によって生じる変動分
を除いては合成時に殆ど問題とならない。従って、この
ような場合には、上述したように矩形枠や楕円などで被
写体を大まかに背景を含めて抽出して用いてもよいこと
はいうまでもない。

【００６５】従って、撮影時に被写体抽出処理により不
要人物又は不要物体を除去して得られる画像、即ち、図
６に示すように或る領域が欠落した画像を第１の画像と
し、次に、背最画像を撮影すると、該当箇所の矩形枠５
４内に相当する領域を自動抽出して、除去後の背景部分
の画像領域を補填するように第１の画像を合成してもよ
い。図６の被写体画像４０ｃは、矩形枠５４内の画像を
抽出して得られたものである。この場合も、表示手段に
合成結果を表示し、ユーザの指示により、合成結果画像
を符号化して所定の記録媒体に記録する。

【００６６】次に、本発明の第２実施例を説明する。第
２実施例では、予め用意された画像（第１画像：動画又
は静止画を問わない。）を本体の着脱自在な記録媒体ま
たは通信手段等を介して取り込み、現場で撮影した画像
（第２画像：動画・静止画を問わない。）と合成し、そ
の結果得られる合成画像を、本体の記録媒体または記憶
装置に記録するか、又は、外部に出力する。図７は、そ
の実施例の概略構成ブロック図を示す。図１と同じ構成
要素には同じ符号を付してある。１４０は着脱自在な記
録媒体、１４２は通信制御回路、１４４は、画像データ
・フォーマット変換回路である。画像データフォーマッ
ト変換回路１４４は、通信制御回路１４２等を介して入
力する種々のフォーマットの画像データを所定の内部形
式に変換し、画像データを通信制御回路１４２を介して
外部に出力する際には、内部形式から外部の所定の形式
に変換する。

【００６７】本実施例では、第１画像が、切り出しが既
に実行された被写体画像である場合、第１画像の入力
後、前述した被写体抽出処理を行わずに、第１画像を第
２画像（背景画像）と合成する。なお、第２画像に対し
て被写体抽出処理を行って、第１画像と合成してもよ
い。

【００６８】通信制御回路１４２を介して外部から入力
する画像の形態及び画像の種類としては、例えば、ＴＶ
またはビデオ画像、電話回線などを経由しての外部端末
から送信されたファイル形式の文書画像及び写真画像
等、並びに、他の画像入力機器（デジタルカメラ、スキ
ャナ及びＦＡＸなど）からの無線又は有線で送信された
画像データなど多様であり、本実施例は、いずれかに限
定されるものではないが、データ形式は周知のものであ
るとする。同様に、記録媒体１４０に記録される画像デ
ータの種別も、そのフォーマットが周知のものであれば
よい。

【００６９】本実施例では、入力可能なデータ形式が予
め定められ、ユーザはその中から選択する。具体的に
は、入力データ形式として符号化画像データを扱い、入
力時にはその種別を判定（自動判定またはユーザによる
手動判定）して、それがＤＰＣＭ等の符号化された映像
信号か、或いは所定の符号化されたファイル形式かを識
別する。映像信号としては、ＤＰＣＭ符号化またはＭＲ
（モディファイド・リード）などのランレングス符号化
された画像データ、ファイル形式としてＭＰＥＧ及びＱ
ｕｉｃｋＴｉｍｅ（米国アップルコンピュータ社の商
標）などの動画対応のもの、ＪＰＥＧ、ＴＩＦＦ、ＢＭ
Ｐ／ＤＩＢ、ＧＩＦ、ＰＩＣＴ及びＰＣＸなどのビット
マップ形式、ＲＩＢなどのレンダリングアプリケーショ
ン用３次元シーン記述形式、ＰＣＬに代表されるプリン
タのデータストリームと組み込みビットイメージ形式、
その他ＰＰＴなどの描画データ形式、並びにＸＬＳなど
のスプレッドシートイメージ形式が入力可能である。

【００７０】入力された画像データは復号化され、誤り
訂正された後、必要に応じて、内部の画像処理に適合す
る一定の形式（ＴＩＦＦ、ＢＭＰ／ＤＩＢ又はＪＰＥＧ
などのビットマップ形式が代表的である。）にフォーマ
ットを変換される。

【００７１】第１画像が動画像であって、その中の１フ
レームから被写体を抽出して第２画像（背景画像）と合
成する場合には、ユーザが選択した１フレームが静止画
像のデータ形式に変換される。

【００７２】第１画像が既に被写体抽出された動画像で
あり、第２画像も動画形式の場合には、本体内部の画像
処理手段の一部としてキー信号発生同路と合成回路を設
けておき、第１画像内の被写体領域についてキー信号を
発生して、被写体画像（前景画像）と背景画像を動画の
ままで合成しても良い。

【００７３】図８を参照して、図７に示す実施例の操作
及び処理手順を説明する。先ず、ユーザは、第１画像の
画像入力モードとして撮影入力、通信入力及び媒体入力
の３種類の１つを選択し（Ｓ２１）、指定の画像入力モ
ードで入力された画像を記憶装置２０に格納し（Ｓ２
２）、表示ディスクプレイ２４に表示する（Ｓ２３）。
通信入力の場合には、通信形態またはソースを指定し、
所定のプロトコル又は通信方法により画像データを一定
時間または一定枚数入力し、記憶装置２０に記憶すると
共に、表示ディスプレイ２４に表示する。媒体入力の場
合には、記録媒体１４０の記録画像の一覧を表示し、そ
のなかから１又は複数の所望の画像を選択して記憶装置
２０に読み込む。撮影入力の場合も、撮影した後の画像
の表示・選択は同様である。

【００７４】ユーザは、ディスプレイ２４に表示される
画像から適当な１枚の画像フレームまたは一連の動画像
フレームを選択し（Ｓ２４）、第１画像として記憶装置
２０に格納する（Ｓ２５）。

【００７５】ユーザは、第１画像に対して未だ被写体抽
出処理がなされていない場合には、指示選択装置２６を
使用して、第１画像から抽出すべき被写体画像を指定
し、被写体抽出装置３６が、先の実施例と同様の処理に
より被写体画像を抽出する（Ｓ２６）。背景画像に対す
る被写体画像の位置及びサイズを調整する（Ｓ２７）。
この時、背景画像に上書きして被写体画像を表示する
か、或いは表示ディスプレイ２４への表示速度を下げな
いために被写体画像の輪郭線のみを背景画像に重ねて表
示するかを指定する。そのための手段は、先に説明した
実施例と同様で良い。

【００７６】被写体画像及び／又は背景画像にその撮影
条件が付帯情報として付属している場合には、第１実施
例と同様に、撮影条件の差異に基づいて一方の画像の階
調及び色調等を他方の画像とほぼ合致するように変換し
て（Ｓ２８）、合成画像を生成し（Ｓ２９）、記録媒体
１４０に記録する（Ｓ３０）。

【００７７】なお、撮影条件として照明光の種類及び露
光条件が画像データに付属していない場合には、マニュ
アルで階調及び／又は色調を調整できるようにする（Ｓ
３１〜３３）。これは、撮影条件が画像データに付属し
ていても、階調及び色調の自動補正に満足できない場合
にも利用できる。具体的には、マニュアル調整モードに
設定し（Ｓ３１）、図９に例示するように、表示パネル
に明度変換用スライドバー（又はボタン）１５０、及び
彩度変換用スライドバー（又はボタン）１５２を表示
し、ユーザが何れかのスライドバー（又はボタン）１５
０，１５２を操作すると、被写体画像部分の色調及びコ
ントラスト（又は明度及び彩度）が調整される（Ｓ３
２）。勿論、被写体の特定部分を指定してから、その色
調などを調整することもできる。ユーザが合成結果を確
認し、記録指示を入力すると（Ｓ３３）、合成画像が記
録媒体１３０に記録される（Ｓ３０）。

【００７８】このようにして、撮影の現場で簡易な操作
により自然な合成画像を生成し、記録することができ
る。

【００７９】上記各実施例で、被写体の抽出処理結果と
して得られる被写体輪郭線またはその輪郭線に略外接す
る矩形枠データを補助輪郭線データとして記憶装置２０
又は記録媒体３０，１４０に記録しておいてもよい。図
１０に示すように、表示パネルに補助輪郭表示ボタン１
５４を設け、そのボタン１５４が押されると、制御信号
発生回路２２が、その補助輪郭線データを記憶装置２０
又は記録媒体３０，１４０から読み出し、表示ディスプ
レイ２４の画面上に補助輪郭線１５６として入力画像に
重ねて表示させる。補助輪郭線１５６に囲まれる被写体
像１５８は、被写体画像４０ｃと一致しなくても良い。

【００８０】設定された撮影条件（特に撮影倍率及び視
線方向など）が変動すると、これに連動して、補助輪郭
線１５６のサイズ位置及び形状が自動的に変更される。
この場合、被写体に固有のサイズＡが予め付帯情報とし
て与えられていれば、撮影倍率及び概略の被写体距離
（合焦度などから推定する。）などの撮影条件によって
決まる画面上でのサイズが計算され、そのサイズにあう
大きさで補助輪郭線１５６が表示ディスプレイ２４に表
示される。

【００８１】例えば、焦点距離をｆ、合焦レベルの最大
値からのずれをｄｐ、被写体の標準サイズをＡ、結像光
学系の第２主点位置から撮像素子面までの距離をｖとす
ると、画面上の被写体サイズＳは、下式で与えられる。
即ち、 Ｓ＝Ａ（ｖ−ｆ）（１＋（ｖ−ｆ）ｄｐ／ｆ）／ｆ （１） 但し、被写体距離の変動と合焦信号レベルの変動とが線
形とする。従って、ｄｐを計測し、ｆをレンズ位置から
求めれば、式（１）に基づき、補助データのサイズを倍
率Ｓ／Ａに従って変更すればよい。

【００８２】また、ユーザは、必要に応じて指示選択手
段２６を用いて補助データを適切な位置に設定し直し、
またそのサイズなどを修正してもよい。

【００８３】上記実施例で使用した被写体抽出技術を説
明する。一般的には、補助輪郭線（または補助輪郭線内
部の領域データとしてのマスクデータ）を初期輪郭（又
は初期領域）として入力画像上の適切な位置に設定表示
し、それを初期データとして、以下の被写体切り出し処
理を実行する。

【００８４】具体的には、動的輪郭をベースとする方法
を使用する（ Ｍ．Ｋａｓｓ， Ａ．Ｗｉｔｋｉｎ，
Ｄ．Ｔｅｒｚｏｐｏｕ１ｏｓ，”Ｓｎａｋｅｓ：Ａｃｔ
ｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅ１ｓ”，１ｎｔｅｒ
ｎａｔｉｏｎａ１ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕ
ｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．３２１−３３１，１９８
８）。動的輪郭法は、エッジ情報から物体の輪郭を抽出
する方法であり、輪郭が滑らかであることと、エッジ上
にあること等を拘束条件として表したエネルギー評価関
数が最小となるように輪郭線モデルを変形することによ
り、初期輪郭線を物体上の輪郭に収束させるものであ
る。また、これを発展させた具体的な手法として、例え
ば、初期輪郭の近傍領域の画像と被写体部分の局所的な
領域に関する画像の特徴量との差異に基づいて、動的輪
郭の輪郭上の点に内向きまたは外向きの外力を作用させ
る手法が知られている（例えば、Ｒ．Ｒｏｎｆａｒｄ，
“Ｒｅｇｉｏｎ−Ｂａｓｅｄ Ｓｔｒａｔｅｇｉｅｓ
ｆｏｒ Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅ１
ｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａ１ｏ
ｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．２２９−
２５１，１９９４、及び、栄藤他「クラスタリングから
得られる領域の記述に基づく動的な輪郭抽出」、電子情
報通信学会論文誌Ｄ−ＩＩ、ｖｏ１．Ｊ７５−Ｄ−Ｉ
Ｉ、ｐｐ．１１１１−１１１９、１９９２など）。

【００８５】画像切り出しの手法は特に限定されない
が、上記の方法は、初期輪郭形状が被写体形状をよく近
似する条件において自動的に切り出しが実行可能な方法
であり、この点で好ましい。

【００８６】切り出し対象の位置と大きさに関する大ま
かな指定（例えば、対象を囲む閉曲線又は矩形枠など）
を行い、付帯データとして画像と共に予め記録しておい
てもよい。撮影終了後、他の端末上で後処理により画像
切り出し又は画像合成を行う。また、輪郭線内部の画像
データをそのまま抽出し、背景画像と合成して記録して
もよい。

【００８７】図１１は、本発明の第３実施例の概略構成
ブロック図を示す。撮像画像処理装置２１０は、撮影レ
ンズ及びズーム撮影用駆動制御機構を含む結像光学系２
１２、ＣＣＤイメージセンサのような撮像素子２１４、
撮像パラメータを計測及び制御する計測制御回路２１
６、映像信号処理回路２１８、記憶装置２２０、撮像動
作の制御、撮像条件の制御、画像処理及び画像出力の制
御信号を発生する制御回路２２２、ＥＶＦ（電子ビュー
・ファインダ）などのファインダを兼用する表示ディス
プレイ２２４、ペン型キー又は十字キ−などからなる指
示選択装置２２６、ストロボ発光装置２２８、記録媒体
２３０、画像符号化回路２３２、画像出力回路２３４、
被写体抽出回路２３６、画像変換回路２３８、並びに撮
影モード設定装置２４０を具備する。

【００８８】図１２に示すように、装置２１０を本体２
１０ａと画像処理部２１０ｂに分離し、画像処理部２１
０ｂに被写体抽出回路２３６、画像変換回路２３８及び
表示ディスプレイ２２４ｂを収容し、残りを本体２１０
ａに収容するようにしてもよい。

【００８９】表示ディスプレイ２２４にタッチパネルが
一体化されており、表示ディスプレイ２２４の画面に操
作用パネルが表示されるときには、その表示された操作
用パネルは、指示選択装置２２６の一形態となる。

【００９０】映像信号処理回路２１８は、撮影倍率を変
更自在なズームレンズの倍率を検出する倍率検出回路、
撮像素子２１４の撮像面上の合焦状態を検出する合焦状
態検出回路、撮像素子２１４の電荷蓄積時間及び／又は
結像光学系２１２の絞りの開口径を制御する露光量制御
回路、ストロボ発光制御回路、並びに、ガンマ特性、ニ
ー特性及び色バランスなどの映像信号特性の制御信号を
発生する制御信号発生回路を具備する。これらの一部
は、ソフトウエアによって実現される。撮像パラメータ
は、撮影倍率、合焦度及び露光量のほかに、視線方向、
ストロボ発光の有無、照明光の種類（例えば日光、蛍光
灯、白熱灯及びストロボ光など）などを含む。視線方向
は、撮像画像処理装置２１０に内蔵される視線検出装置
（図示せず。）により検出される。

【００９１】映像信号処理回路２１８は、ガンマ、ニー
及びホワイトバランスなどの補正回路、オートフォーカ
ス（ＡＦ）回路、自動露出制御（ＡＥ）回路、自動利得
制御（ＡＧＣ）回路などを有する。

【００９２】記憶装置２２０は、フレームバッファ、ビ
デオＲＡＭ、変換撮影に用いるテンプレートデータ及び
画像変換に用いる処理プログラムなどを格納するＲＯ
Ｍ、並びにその他の一次記憶手段からなる。

【００９３】記録媒体２３０は、例えば、磁気テープ、
光ディスク又は光磁気ディスクなどのディスク媒体、フ
ラッシュメモリ及びＩＣメモリなどの各種媒体からな
る。本実施例では、記録媒体２３０は、特別の媒体に限
定されない。記録媒体２３０は、撮像画像処理装置２１
０に着脱自在である。

【００９４】画像符号化回路２３２は、画像データを、
撮影条件などの付帯データと共に所定フォーマットで圧
縮符号化する。

【００９５】本実施例では、撮影時に自動的に撮影画像
に所望の処理を施すことができる。これを、本明細書で
は、変換撮影モードと呼ぶ。変換撮影モードには、赤目
補正モード、髭除去モード及びシミそばかすの除去／付
加モードなどがある。ユーザは、被写体の画面中のサイ
ズ及び位置などについて、自動検出モードとマニュアル
設定モードの２モードから一つを選択可能であり、本実
施例では、特にユーザからの指定がなければ、自動検出
モードが設定されるものとする。

【００９６】本実施例では、被写体カテゴリに属するモ
デル輪郭線又はその輪郭線に略外接する所定形状（矩形
又は楕円等）の枠の輪郭線座標データを補助輪郭線デー
タとして予め記憶装置２２０又は画像記録媒体２３０に
記録して用意しておくものとする。また、モデル輪郭線
としては、抽出対象のカテゴリを表わす形状の部分的輪
郭線からなるもの、例えば、本出願と同じ出願人による
特開平７−３２００８６号公報に記載された局所特徴要
素からなるモデルを用いてもよい。

【００９７】自動検出モードでは、後述する方法によ
り、倍率及び被写体距離などの撮影条件に基づき設定さ
れるサイズを有する補助輪郭線（上述のモデル輪郭線）
データを画面上の端から順に走査し、各場所で入力画像
のエッジ強度分布との一致度（例えば、相関値）を評価
し、その一致度の極大位置を最適位置として求める。こ
のようにして、抽出対象領域が複数含まれているような
場合であっても、複数の被写体領域の位置の検出及び領
域抽出を自動実行することができる。

【００９８】各変換モードの内容を簡単に説明する。髭
除去（付加）モード及びシミそばかす除去モード等で
は、入力画像から先ず人物の頭部又は顔を検出する。

【００９９】顔又は目の検出処理としては、他に標準テ
ンプレート画像（濃淡画像又はカラー画像）を用い、撮
影条件に基づきそれを適切なサイズに変更して画像中の
各位置で相関値を求め、相関が最大又は極大となる位置
を検出する方法でよい。

【０１００】マニュアル設定モードでは、制御回路２２
２は、以下に示すように補助輪郭線（閉曲線等で表示さ
れる顔の輪郭線など）をディスプレイ２２４の画面上に
表示し、その補助輪郭線内に概略収まるように、ユーザ
が倍率及び視野方向などの撮像条件を調節し、又は、補
助輪郭線の位置及びサイズを変更する。

【０１０１】自動検出モードにおける赤目補正では、入
力画像中の目を検出し、赤目に相当する画素を選択的に
黒色などに変換する。この処理の詳細は後述する。マニ
ュアル設定モードでは、目のモデル輪郭線（両眼又は片
眼）を補助輪郭線としてディスプレイ２２４の画面上に
表示し、撮像条件をユーザに設定してもらう。

【０１０２】髭除去モードでは、顔領域の検出後、顔の
肌色成分を抽出し、顔の中の頭髪を除き、髭の存在しう
る領域において黒色又は灰白色の領域画素を肌色に変換
する。

【０１０３】シミそばかす除去モードでは、顔領域の検
出後、顔の肌色成分の代表色成分値を抽出し、顔の中の
特に頬、顎及び額の各領域において肌色代表色成分値と
異なる色成分を有する領域の画素値を代表色の色成分値
に変換する。

【０１０４】以上の各モードは、被写体の特定部分を変
換するものであり、その変換対象範囲を高い精度で特定
することが必要となる。図１３を参照して、被写体領域
の抽出過程及び被写体部分の画像変換過程の詳細を説明
する。

【０１０５】ユーザは先ず、撮影モード設定装置２４０
により変換撮影モードを設定する（Ｓ４１）。変換撮影
モード設定後、変換の対象となる被写体を含む画像を撮
影し（Ｓ４２）、自動検出モードかマニュアル設定モー
ドかを判別する（Ｓ４３）。

【０１０６】マニュアル設定モードの場合（Ｓ４３）、
指示選択装置２２６などを用いて被写体抽出装置２３６
により被写体の存在する位置を指定する（Ｓ４４）。例
えば、指示選択装置２２６９としてペンタイプのものを
用いる場合には、表示ディスプレイ２２４に表示された
入力画像の被写体の基準点（顔の中心など）に相当する
点をそのペンで指示する。視線検出手段により検出して
得られる視線方向の位置を基準点としてもよい。

【０１０７】自動検出モードの場合（Ｓ４３）、（図１
４に示すように）、制御回路２２２は、補助輪郭線デー
タを記憶装置２２０又は記録媒体２３０から読み出す
（Ｓ４５）。更に、表示ディスプレイ２２４の画面上
に、基準点位置を中心に入力画像に重ねて補助輪郭線２
５０（図１４）を表示してもよい。補助輪郭表示用のボ
タン２４８（図１４）を押すことにより、この表示動作
が起動されるようにしてもよい。この補助輪郭線は、前
述したように、閉曲線等で表される顔の輪郭線などであ
り、変換されるべき領域の概略形状等を示すものであ
る。即ち、単に対象の位置を示すだけのマーカとは異な
る。

【０１０８】制御回路２２２は、設定された撮影条件
（特に倍率及び視線方向など）に応じて、又はその変動
に応じて、補助輪郭線データのサイズ、位置又は形状を
自動的に設定し変更する（Ｓ４６）。この場合、被写体
に固有のサイズＡが予め付帯情報として与えられている
ものとし、制御回路２２２は、倍率及び概略の被写体距
離（合焦度などから推定）などの撮影条件から画面上で
の補助データサイズを計算し、適切なサイズに変換して
閉輪郭線として表示ディスプレイ２２４に表示させる。
例えば、焦点距離をｆ、合焦レベルの最大値からのずれ
をｄｐ、被写体の標準サイズをＡ、結像光学系の第二主
点位置から撮像素子２１４の撮像面までの距離をｖとす
ると、画面上の被写体サイズＳは、下記式で与えられ
る。即ち、 Ｓ＝Ａ（ｖ−ｆ）｛１＋（ｖ−ｆ）ｄｐ／ｆ｝／ｆ （２） 但し、被写体距離の変動と合焦信号レベルの変動が線形
であるとする。

【０１０９】従って、ｄｐを計測し、ｆをレンズ位置計
測等により求めることにより、式（２）に基づいて補助
データのサイズを倍率Ｓ／Ａに従って変更すればよい。
被写体距離は、他の手段（例えばレーザ光等を用いた測
距手段）により推定してもよいことは言うまでもない。

【０１１０】被写体抽出装置２３６は、補助輪郭線（又
は補助輪郭線内部の領域データとしてのマスクデータ）
を初期輪郭（初期領域）として入力画像上の適切な位置
に設定し、それを初期データとして被写体領域の抽出処
理を実行する（Ｓ４７）。但し、マニュアル設定モード
が選択されている場合には、設定された補助輪郭線内部
を被写体領域として抽出する。撮影モードとして例えば
赤目補正モードを設定した場合、補助輪郭線として、両
眼の形状輪郭線モデル又は標準撮影距離に対応する人物
画像の両眼を包含し両眼の間隔と同程度のサイズを有す
る矩形などが用いられる。

【０１１１】本実施例では、本出願と同じ出願人による
特開平９−１８５７１９号公報に記載される動的輪郭法
をべースとした方式を用いる。動的輪郭法とは、輪郭線
モデル（初期輪郭：本実施例では、補助輪郭線に相当す
る。）が与えられ、輪郭形状が滑らかであることとエッ
ジ上にあること等を拘束条件として表したエネルギー評
価関数が最小となるように、輪郭線モデルを変形するこ
とにより物体上の輪郭に収束させる方法である。

【０１１２】撮像条件に基づき補助輪郭線に関するサイ
ズ等を変換することにより、補助輪郭線と抽出されるべ
き被写体の輪郭線とを、自動的に概略一致させることが
できるので、背景部分の画像パターンの複雑さ及び被写
体形状の複雑さによらずに、変換されるべき被写体領域
を高速かつ安定に抽出できる。

【０１１３】このようにして自動的に得られる輪郭線
（閉曲線）内部の領域を被写体領域として抽出した後、
被写体領域内では’１’、それ以外で’０’となるよう
な２値のマスクデータが生成される。マスク領域（例え
ば、マスク値が’１’の領域）に属する画像に対して、
画像変換装置２３８は、変換撮影モードに応じた変換処
理を実行する（Ｓ４８）。

【０１１４】例えば、撮影モードとして赤目補正モード
が設定されている場合、抽出された領域の赤色成分の画
素に赤目補正処理が行われる。具体的には、図１５に示
すように、マスク領域において特定色である赤色成分を
多く含む画素を探索し（Ｓ６１）、その連結領域を抽出
する（Ｓ６２）。そして、その連結領域に隣接する領域
であって、黒又は茶など予定された色成分の範囲内にあ
る画素の集合から代表色成分を抽出し（Ｓ６３）、該当
する画素の色成分値を代表色（黒色など）に変換する
（Ｓ６４）。代表色としては許容する色成分値を予め定
めるのではなく、該当する画素の近傍にある画素であっ
て非赤色かつ非白色の色成分値を有するものの色成分値
（例えば、茶色、青色又は金色成分など）を用いてもよ
い。連結領域を抽出せずに、マスク領域内の赤色成分画
素を予め設定された色成分値を有するように一律に変換
してもよい。

【０１１５】赤目補正モード、シミそばかす除去モード
及び髭除去モードなどに共通して用いられる変換部分の
領域の特定が可能な自動処理（図１３のＳ４７で特定さ
れるべき領域の抽出処理に該当する。）の一例を、図１
６を参照して説明する。ここでは、補助輪郭線は、変換
すべき対象の輪郭線モデルとして与えられ、上述したよ
うに、倍率及び被写体距離などの撮像条件に基づき予め
スケーリングがなされるものとする。

【０１１６】先ず、輪郭線モデルの特徴点としてその変
曲点、コーナー及び曲率極大点などの種別のうちの一つ
に該当する点を抽出し（Ｓ７１）、それぞれの種別と位
置を記録しておく。このデータは、輪郭線モデルの付帯
データとして予め与えておいてもよい。

【０１１７】入力画像のエッジ強度分布をＳｏｂｅｌ、
Ｐｒｅｗｉｔｔ又はＣａｎｎｙなどの空間微分演算を伴
うフィルタリングにより求める（Ｓ７２）。得られたエ
ッジ強度分布を所定の閾値により２値化し、必要に応じ
て細線化又はエッジ強度分布の最大位置追跡などの処理
を加えて輪郭線データを抽出する（Ｓ７３）。

【０１１８】抽出された輪郭線からモデルデータと同様
に特徴点（及びその種別）を検出し（Ｓ７４）、両輪郭
線データ間の特徴点間を対応付けし（Ｓ７５）、対応点
間の位置ずれベクトルを抽出する（Ｓ７６）。この位置
ずれベクトルは、重心を中心とした相対変位を与えるの
で、そのオフセット量がゼロとなるようにするなどし
て、正規化される（Ｓ７６）。

【０１１９】位置ずれベクトル量に対応する変位を各特
徴点に与え（Ｓ７７）、移動後の隣接する特徴点間を結
ぶ曲線をスプライン補間などにより生成して、輪郭線モ
デルを変形する（Ｓ７８）。

【０１２０】曲線間の対応付けは、上述した方法に限定
されるものではなく、他の方式を用いてもよいことは言
うまでもない。

【０１２１】このようにして得られる、変形された輪郭
線モデルの輪郭線（閉曲線）内部の領域が、画像変換の
対象となる特定された領域である。更に、必要に応じ
て、動的輪郭法など他の手法を用いて補正してもよい。
上述のマッチング処理と変形領域の特定により、変換が
必要な部分の形状の複雑さなどによらずに、撮影画像
（撮像素子２１４の出力画像）に所望の画像変換が自動
的に施される。

【０１２２】以上のような被写体領域抽出及び画像変換
処理の後、符号化回路２３２が、変換後の画像を圧縮符
号化し（Ｓ５０）、記録媒体２３０に記録する（Ｓ５
１）。これと同時に、又は、画像出力信号発生回路２３
４が、変換後の画像から映像信号（ＮＴＳＣ方式又はＰ
ＡＬ方式など）を生成し、出力する（Ｓ５２）。

【０１２３】符号化回路２３２から出力される画像フォ
ーマットでは、例えば、ヘッダ又は別途作成される付帯
情報データファイルに画像変換の実行の有無、変換撮影
モード、変換位置、補助輪郭線データ、並びに、必要に
応じて、撮像条件、撮影日時、圧縮率及び圧縮方式など
の付帯情報が記録される。これらの項目の記録フォーマ
ットに関する表現方法の一例を図１７に示す。

【０１２４】付帯情報は、画像上に視覚的には知覚でき
ないように電子的透かしデータ（Ｐｒｏｃ ｏｆ ｔｈ
ｅ ＩＥＥＥ、ｖｏｌ．８３、ｐｐ．９４４−９５７．
１９９５）として記録しても良い。例えば、画像データ
を表す最下位ビットをこれらデータの書き込みビットと
して割り当て、画像中のエッジ部分に埋め込むなどの方
法がある。この場合、特に変換部分の輪郭線を画像デー
タに重畳して記録することができる。

【０１２５】本実施例では、図１４の被写体２５２と抽
出用モデルとなる被写体画像２４２ｃとは必ずしも一致
しなくてよい。動的輪郭法等により正しい被写体の輪郭
線を求めることができるからである。

【０１２６】本実施例では、抽出された対象領域に画像
変換を施したが、逆に、その背景部分に画像変換を行っ
てもよいことはいうまでもない。これは、以下の実施例
についても同様である。

【０１２７】図１２に示す構成では、撮影後、撮像条
件、画像データ及びモデル輪郭線などを被写体抽出回路
２３６に供給し、撮像条件を活用して変換領域を求め、
上述したような画像変換を行なってもよい。この場合、
本体２１０ａから分離した画像処理部２１０ｂは、例え
ば、コンピュータにより実現できる。被写体抽出回路２
３６及び画像変換回路２３８の機能は、図１３及び図１
５等に示す手順のプログラムにより実現される。

【０１２８】次に、入力画像に対し上述の実施例で示し
た方法で設定又は抽出された所定の画像部分に対して、
幾何学的変換処理又は置換処理等を行なう実施例を説明
する。全体的な手順のフローチャートを図１８に示す。
図１８は、変換撮影モードの設定を除いて、基本的に図
図１３に示す処理フローと同じである。

【０１２９】対象となる変換処理（図１８のＳ８９）
は、例えば、髪型変換、髭付加変換、顔型変換、似顔絵
化、顔又は身体のパーツ（腕及び足など）又は身体全部
について画像領域を太らせ又は細らせる処理、顔の構成
要素である目、鼻及び口など各部の変形又は各部間の幾
何学的配置の変更、並びに、各部の予め用意されたパー
ツ画像データへの置換処理などである。

【０１３０】この実施例では、変換撮影モードを設定し
（Ｓ８１）、その後、上述したような変換の種別ととも
にその程度を設定し、又は同一変換カテゴリのうちの更
に細分化したタイプ等を選択する（Ｓ８２）。

【０１３１】変換対象となる被写体領域を抽出し（Ｓ８
８）、その後、撮像条件又は抽出領域のサイズ等を用い
て、変換対象の形状によく適合するような変換処理を実
行する（Ｓ８９）。

【０１３２】髭付加変換モードは、予め選択された髭の
画像データを画像中の顔の所定位置にいわゆるテクスチ
ャマッピング（竹村伸一著「レイトレーシング」オーム
社刊を参照）する処理である。図１９に、髭付加の変換
撮影モードが設定された場合の髭タイプの選択画面の一
例を示す。髭のタイプ別画像の一覧が表示され、ユーザ
は、その中の一つを指示選択装置２４０を用いて選択す
る。例えば、十字キーを用いて画像を囲む枠を移動し、
不図示の確認ボタンを押して選択する。画面右下のサブ
ウインドウに入力画像が表示されている。髭のタイプを
選択した後、画面に表示される‘次へ’のボタンを押す
と、図２０に示すように、処理結果がディスプレイに表
示される。ユーザが確認ボタン等を押すことにより、変
換撮影（変換画像を符号化して記録媒体に記録するこ
と、又は変換画像の映像信号を外部へ出力することな
ど）が最終的に完了する。髭のテクスチャマッピング
は、髭画像のテクスチャーデータを式（２）及び抽出領
域の形状を用いて適切なサイズと位置にマッピングされ
るようにして行なわれる。

【０１３３】顔型変換モードでは、入力画像中の顔画像
とターゲットとなるべき顔画像データとの間のいわゆる
モーフィング又は置換などが行なわれる。本出願と同じ
出願人による特開平７−３２００８６号公報に記載され
た局所特徴要素からなるモデルを用いて、入力画像とタ
ーゲット画像の顔の各部品（目、鼻及び口など）間の対
応をとることにより、自動的に顔型変換が実行される。
この場合、上述の実施例で説明したのと同様に、ターゲ
ットの顔画像が撮像条件に基づく自動スケーリングによ
り適切なサイズに変換された後、モーフィングや置換な
どの処理が実行される。

【０１３４】似顔絵化モードでは、顔領域を検出した
後、予め用意してある顔のスケッチモデルデータ（いわ
ゆる、テンプレートモデル）を先に説明したように自動
スケーリングし、入力画像の顔領域のエッジ強度分布と
スケッチモデルの顔の部品との間で対応をとり、更に部
品間配置（各重心位置など）のモデルデータからの移動
量及び各部品の変形量を線形又は非線形に増幅して顔の
造作を誇張する。これにより、似顔絵化した顔の線画像
が生成される。

【０１３５】以上の変換処理において、変換対象領域
（顔領域など）の位置を検出するには、図１３以降を参
照して説明したのと同様に、変換対象（顔など）のモデ
ル輪郭線データを記憶装置から入力し、これを式（２）
などにより撮像条件を用いて適切なサイズに変換したも
のを画像中で走査し、入力画像のエッジ強度分布から求
めた輪郭線との相関値が最大（又は極大）となる位置を
求めればよい。

【０１３６】これらの変換処理の前処理を一般化した処
理フローの一例を図２１に示す。テンプレートモデル
は、撮像条件（倍率、被写体距離及び視線方向など）に
基づき適切なサイズに変換され（Ｓ１０１）、テンプレ
ートモデルの特徴点としてその輪郭線データ上の変曲
点、コーナー及び曲率極大点などが抽出され、又は、特
徴点データが記憶装置からテンプレートモデルデータの
付帯情報として読み込まれる（Ｓ１０２）。入力画像の
エッジ強度分布を抽出し（Ｓ１０３）、２値化及び輪郭
線抽出等を行い（Ｓ１０４）、テンプレートモデルで抽
出された特徴点と同様の特徴点を探索及び抽出する（Ｓ
１０５）。

【０１３７】特徴点間を対応付けする（Ｓ１０６）。こ
れにより、目、鼻及び口などの顔を構成する部品間を対
応付けることができる。即ち、テンプレートモデルの画
像上での重心位置及びサイズが、撮像条件等に基づき予
め適切に設定されているので、テンプレートモデルでの
各部品（目、鼻及び口など）上の特徴点ごとに入力画像
において各特徴点ごとの近傍範囲で対応する特徴点を探
索し、検出することができる。

【０１３８】対応点間の位置ずれベクトルを抽出し、重
心位置を基準として正規化する（Ｓ１０７）。この結果
に基づき、各種画像変換を実行する（Ｓ１０８）。

【０１３９】顔領域の細らせ（太らせ）処理を例に、変
換対象領域（顔画像領域など）の変形処理を説明する。
顔の細らせ処理は、輪郭線内部の領域について縦倍率が
１に対して横倍率をａ（ここに、０＜ａ＜１）とする変
倍変換（アフィン変換）である。太らせ処理では、ａ＞
１となる。

【０１４０】顔領域の位置（重心などの基準点位置）が
検出された後、その輪郭線を図１６に示す方法で求め
る。図２２は、顔の細らせ処理の変換前後の一例を示
す。細らせ変換撮影では、細くした顔と背景部分との間
に隙間が発生する。この間隙部分の画像データは、以下
のようにして生成される。即ち、元の画像中の顔領域の
各輪郭線に隣接する背景部分の画像データの色成分値又
はテクスチャパターンを抽出し、該当部分の画素にその
隣接する部分の色成分値を与えるか、又は隣接領域のテ
クスチャパターンをマッピングする。予め背景全体の画
像を撮影しておき、間隙部分を、該当する背景画像で置
換してもよい。

【０１４１】太らせ処理では逆に元の画像データの背景
領域に変換対象領域がはみだすことになるが、変換後の
領域の輪郭線内部の画像データを元の変換対象部分のア
フィン変換画像データで補間すればよい。

【０１４２】その他の変換処理として他の顔画像に置換
する場合は、変換対象の画像領域を上述したように設定
されたテンプレートサイズに変換された他のターゲット
画像で置換するとともに、形状が一致しないことにより
生ずる間隙部分（図２２（２）参照）などの領域に、顔
の細らせ処理の場合と同様に背景画像データをテクスチ
ャマッピング又は色成分の外挿などにより挿入する。

【０１４３】似顔絵化を行う場合には、抽出された各部
品間の位置ずれベクトルを誇張の程度を表す誇張率を与
えて所定最増幅することのできる中割り（ｉｎ−ｂｅｔ
ｗｅｅｎ）法などの線形外挿法により、元のテンプレー
トモデルの輪郭線データを変形する。例えば、本出願と
同じ出願人による特開平７−３２００８６号公報に記載
された局所特徴要素からなるテンプレートモデルに基づ
き、各局所特徴要素の各特徴点の新たな位置を線形外挿
法により求め、その結果得られる新たな局所特徴要素を
滑らかに結ぶ曲線を生成する。これにより、似顔絵化し
た顔画像が求められる。

【０１４４】変換後の画像の符号化及び記録に際して
は、変換対象となった領域の元の画像データも変換後の
対象領域の輪郭線データとともに保存しておくことがで
きる。これにより、後で必要な時にコンピュータなどの
処理装置を用いて元の画像データを容易に復元すること
ができる。その記録形態としては、変換後の画像データ
ファイルとは別個のファイルに変換前の対象領域の部分
画像を記録したり、或いは変換後の画像データファイル
のヘッダ部分に記録してもよい。変換前の部分画像デー
タファイルを生成する場合には、そのヘッダ部に変換後
の画像データファイル名などを記録する。

【０１４５】背景画像を予め撮影しておき、その背景画
像と変換対象を含む入力画像との差分に基づき対象の領
域を抽出し、その領域にユーザの指定する画像変換を施
すようにしてもよい。ここでは、撮像装置は三脚などに
固定されない手持ち撮影で使用されるものとし、背景画
像撮影時と被写体を含む入力画像撮影時とでピントや露
光条件等が異なることを前提条件とする。ピンと及び／
又は露光条件が一致する場合には、処理はより容易にな
る。

【０１４６】撮影動作並びに対象領域の抽出及び変換処
理過程のフローチャートを図２３に示す。

【０１４７】背景画像を撮影し（Ｓ１１１）、このとき
の撮像条件を抽出し（Ｓ１２５）、記憶装置２２０など
に記憶しておく。変換撮影モードを設定し（Ｓ１１
２）、必要に応じて変換ターゲット（髪型、髭型及び顔
型など）及び変換の程度を指定する（Ｓ１１３）。被写
体画像（先の実施例での入力画像）を撮影し（Ｓ１１
４）、このときの撮像条件も抽出し（Ｓ１２６）、記憶
装置２２０に記憶する。

【０１４８】その後、背景画像と入力画像間の対応点を
抽出し（Ｓ１１５）、手持ち撮影ゆえに生じる回転、平
行移動及び倍率変動などの影響を除去するために、対応
点抽出データ及び画像間の撮像条件の違いを考慮した背
景画像の幾何学的変換パラメータ（アフィン変換又は透
視変換パラメータ）を推定し、抽出する（Ｓ１１６）。
撮像条件の違いを考慮することにより、対応点抽出処理
における誤対応を除去し、高い精度での幾何学的変換を
可能にする（Ｓ１１７）。

【０１４９】対応点間の画素値及び露光条件などの撮像
条件の相違を考慮して階調変換パラメータを求めて、背
景画像の階調を変換する（Ｓ１１８）。具体的には、対
応点間の画素値（ＲＧＢ各色成分値など）を参照して、
０から２５５レベルでの各階調に対する背景画像から入
力画像の対応点への画素値変換テーブルを推定する。そ
の際、撮影条件（露光条件など）を考慮して、明らかに
撮像条件の変動量に不適合な対応点どうしの画素値デー
タを排除することにより、一層の高精度化を達成でき
る。

【０１５０】このようにして変換された背景画像と入力
画像との差分をとり、所定の閾値で２値化するなどの処
理により、被写体領域が抽出される（Ｓ１１９）。以後
の処理は、図１８の場合と同じであるので、詳細な説明
を省略する。

【０１５１】

【発明の効果】以上説明したように、本発明によれば、
集合写真、記念写真又はカタログ写真において、その場
に存在しない人物又は物体を入れた自然な合成画像を、
現場の構図及び撮影条件に合わせて簡易な操作により生
成し、また撮影現場で記録できる。

【０１５２】予め記録された被写体の形状及びサイズな
どに関する補助輪郭線を用いることにより、同じ背景で
あれば補助輪郭線内の画像を用いるだけで自動的に被写
体抽出と合成画像生成を行うことができる。

【０１５３】不要な人物または物体の除去も、その形状
の複雑さによらず、背景のみの画像の撮影を行うことに
より、簡単に除去して、除去後の部分に相当する背景部
分のはめ込みを簡易な操作で行うことができる。

【０１５４】また、本発明によれば、撮像条件を用いる
ことにより、撮像時（画像入力時）に画像入力手段にお
いて任意の形状を有する主被写体画像部分又は主被写体
を除いた背景画像部分を、背景の画像パターン及び照明
条件などに影響されずに精度よく特定し、該当部分に任
意の変換又は加工処理を施す自動（半自動）変換撮影が
可能になり、そのような変換を施した画像を記録又は伝
送できる。

【０１５５】また、撮影条件を参照して、モデル輪郭線
を画像中の適切な位置に設定できるので、高速かつ自動
で、変換対象となる部分の領域を画像から抽出でき、所
望の変換撮影を行うことができるようになる。

【図面の簡単な説明】

【図１】 本発明の第１実施例の概略構成ブロック図を
示す。

【図２】 被写体の抽出及び背景画像との合成過程のフ
ローチャートである。

【図３】 表示ディスプレイ２４の表示画面例を示す。

【図４】 同じ被写体画像を少し離して追加した合成例
である。

【図５】 本実施例の合成処理の別のフローチャートで
ある。

【図６】 本実施例の別の画面例である。

【図７】 本発明の第２実施例の概略構成ブロック図で
ある。

【図８】 図７に示す実施例の動作フローチャートであ
る。

【図９】 マニュアルで階調及び／又は色調を調整でき
るようにした画面例である。

【図１０】 補助輪郭表示ボタン１５４を具備する画面
例である。

【図１１】 本発明の第３実施例の概略構成ブロック図
である。

【図１２】 第３実施例の変更例の概略構成ブロック図
である。

【図１３】 第３実施例における変換撮影処理の手順を
示すフローチャートである。

【図１４】 第３実施例における表示画面例である。

【図１５】 第３実施例における画像変換処理のフロー
チャートである。

【図１６】 第３実施例における被写体領域自動抽出処
理のフローチャートである。

【図１７】 第３実施例における画像記録フォーマット
の表現例である。

【図１８】 画像変換処理の別のフローチャートであ
る。

【図１９】 髭付加変換撮影時の選択メニュー表示画面

【図２０】 髭付加変換後の画像例である。

【図２１】 図１８に示す画像変換の前処理のフローチ
ャートである。

【図２２】 細らせ変換撮影の変換前後の被写体画像の
一例である。

【図２３】 画像変換処理の更に別のフローチャートで
ある。

【符号の説明】

１０：撮像画像処理装置 １２：結像光学系 １４：撮像素子 １６：計測制御回路 １８：映像信号処理回路 ２０：記憶装置 ２２：制御信号発生回路 ２４：表示ディスプレイ ２６：指示選択装置 ２８：ストロボ発光装置 ３０：記録媒体 ３２：画像符号化回路 ３４：画像出力回路 ３６：被写体抽出回路 ３８：画像合成回路 ４０ａ，４０ｂ，４０ｃ：被写体画像表示領域 ４２：合成画像表示領域 ４４：拡大ボタン ４６：縮小ボタン ４８：移動キー ５０ａ：戻りキー ５０ｂ：送りキー ５２：補助枠 ５４：矩形枠 １４０：記録媒体 １４２：通信制御回路 １４４：画像データ・フォーマット変換回路 １５０：明度変換用スライドバー（又はボタン） １５２：彩度変換用スライドバー（又はボタン） １５４：補助輪郭表示ボタン １５６：補助輪郭線 １５８：補助輪郭線１５６に囲まれる被写体像 ２１０：撮像画像処理装置 ２１０ａ：本体 ２１０ｂ：画像処理部 ２１２：結像光学系 ２１４：撮像素子 ２１６：計測制御回路 ２１８：映像信号処理回路 ２２０：記憶装置 ２２２：制御回路 ２２４，２２４ｂ：表示ディスプレイ ２２６：指示選択装置 ２２８：ストロボ発光装置 ２３０：記録媒体 ２３２：画像符号化回路 ２３４：画像出力回路 ２３６：被写体抽出回路 ２３８：画像変換回路 ２４０：撮影モード設定装置 ２４２ａ，２４２ｂ，２４２ｃ：抽出用モデル ２４４：方向キー ２４６：送り／戻りキー ２４８：補助輪郭表示用のボタン ２５０：補助輪郭線 ２５２：被写体

フロントページの続き (72)発明者 高橋 史明 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 5B057 BA02 BA24 BA25 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CB19 CC03 CD02 CD05 CD11 CE05 CE08 CE09 CE17 CE20 CG01 CH08 CH09 CH11 CH18 DA07 DA08 DA16 DA17 DB02 DB06 DB09 DC04 DC05 DC07 DC08 DC16 DC17 DC36 5C076 AA02 AA14 AA17 AA18 AA19 AA21 AA22 AA23 AA26 AA27 AA32 AA40 BA06 BB32 CA02 CA10 CA11 CA12 CB02 5E501 AC34 BA05 CB02 CB05 CB09 CB11 CB14 EA10 EA13 EB06 EB20 FA03 FA14 FB03 FB04 FB22 FB28

Claims (64)

【特許請求の範囲】
1. 【請求項１】 結像光学系、光電変換手段、映像信号処
   理手段、記憶手段及び制御信号発生手段を含む画像入力
   手段と、 入力された画像の特定部分を指示選択するための指示選
   択手段と、 画像処理手段と、 画像符号化手段と、 画像記録手段と、 画像記録媒体と、 画像表示手段とを有し、前記画像処理手段は、入力され
   た画像内の前記指示選択手段により指示選択された部分
   の画像情報を用いて前記画像内の特定被写体を抽出する
   特定被写体抽出手段と、前記記憶手段及び前記画像記録
   媒体の何れか一方に記憶された背景画像と抽出された前
   記特定被写体を合成する合成画像生成手段とを有するこ
   とを特徴とする画像処理装置。
2. 【請求項２】 結像光学系、光電変換手段、映像信号処
   理手段、記憶手段及び制 御信号発生手段を含む画像入力手段と、 入力された画像の特定部分を指示選択するための指示選
   択手段と、 画像処理手段と、 画像符号化手段と、 画像記録手段と、 通信制御手段と、 画像記録媒体と、 画像表示手段とを有し、前記画像処理手段は、入力され
   た画像内の前記指示選択手段により指示選択された部分
   の画像情報を用いて前記画像内の特定被写体を抽出する
   特定被写体抽出手段と、前記通信制御手段を介した背景
   画像の入力手段と、前記背景画像と抽出された前記特定
   被写体とを合成する合成画像生成手段とを有することを
   特徴とする画像処理装置。
3. 【請求項３】 前記制御信号発生手段は、前記特定被写
   体の形状と位置に関する補助データを前記記憶手段から
   入力し、前記画像表示手段に前記補助データを表示する
   請求項１に記載の画像処理装置。
4. 【請求項４】 前記制御信号発生手段は前記特定被写体
   の形状と位置に関する補助データを前記通信制御手段か
   ら入力し、前記画像表示手段に前記補助データを表示す
   る請求項２に記載の画像処理装置。
5. 【請求項５】 結像光学系、光電変換手段、映像信号処
   理手段、記憶手段及び制御信号発生手段を含む画像入力
   手段と、 画像処理手段と、 画像フォーマット変換手段と、 画像符号化手段と、 画像記録手段と、 画像記録媒体と、 画像表示手段とを有し、前記画像フォーマット変換手段
   は前記記憶手段及び前記画像記録媒体の何れか一方に記
   憶された画像を所定のフォーマットに変換し、前記画像
   処理手段は、入力された画像内の特定被写体抽出処理を
   行い、抽出された特定被写体画像と前記画像フォーマッ
   ト変換手段によりフォーマット変換された画像を合成す
   ることを特徴とする画像処理装置。
6. 【請求項６】 結像光学系、光電変換手段、映像信号処
   理手段、記憶手段及び制御信号発生手段を含む画像入力
   手段と、 画像処理手段と、 画像符号化手段と、 画像記録手段と、 画像記録媒体と、 画像表示手段とを有し、前記制御信号発生手段は撮影条
   件計測制御手段を有し、前記画像符号化手段は画像デー
   タを符号化し、符号化された画像データとともに前記撮
   影条件計測制御手段による撮影条件を前記記録媒体及び
   前記記憶手段の少なくとも一方に所定のフォーマットで
   記録し、前記画像処理手段は入力された画像内の特定被
   写体抽出処理を行い、抽出された特定被写体画像と前記
   記憶手段及び前記画像記録媒体の少なくとも一方に記録
   された画像を、前記撮影条件に基づき合成することを特
   徴とする画像処理装置。
7. 【請求項７】 前記補助データは前記特定被写体に関す
   る所定サイズの輪郭線及びマスクデータの何れかである
   請求項３又は４に記載の画像処理装置。
8. 【請求項８】 前記補助データは所定形状の輪郭線であ
   る請求項３又は４に記載の画像処理装置。
9. 【請求項９】 前記撮影条件は、露光量及びシャッター
   スピードの少なくとも一方、合焦量、撮影倍率、照明光
   の種類並びに視線方向を含む請求項６に記載の画像処理
   装置。
10. 【請求項１０】 前記画像処理手段は、入力された画像
    の撮影時の撮影条件と前記背景画像の撮影条件との差異
    に基づき、一方の画像が他方の画像の撮影条件と略一致
    する様に、一方の画像の、少なくとも一部の領域に対し
    て所定の変換処理を行った後、画像の合成処理を行う請
    求項１、２、５又は６に記載の画像処理装置。
11. 【請求項１１】 前記制御信号発生手段は、前記特定被
    写体の形状と位置に関する補助データを前記記憶手段か
    ら入力し、該補助データの形状及び位置を前記撮影条件
    に基づいて変化させる請求項６に記載の画像処理装置。
12. 【請求項１２】 所定の画像入力手段から画像を入力す
    るステップと、 入力された画像の画像入力条件の計測または設定ステッ
    プと、 前記画像入力条件を所定の記憶手段に記録するステップ
    と、 入力された画像から特定被写体を抽出する被写体抽出ス
    テップと、 前記画像入力条件に基づいて該抽出された被写体の画像
    と所定の記憶手段に記録された背最画像との合成画像の
    生成処理を行う画像合成ステップと、 前記合成画像の所定記憶手段へ所定フォーマットによる
    記録または所定表示手段への出力を行う画像出力制御手
    段ステップとからなることを特徴とする画像処理方法。
13. 【請求項１３】 所定の画像入力手段から画像を入力す
    るステップと、 入力された画像の画像入力条件の計測または設定ステッ
    プと、 前記画像入力条件を所定の記憶手段に記録するステップ
    と、 入力された画像から特定被写体を抽出する被写体抽出ス
    テップと、 前記画像入力条件に基づいて、抽出された被写体の画像
    と所定の記憶手段に記録された背景画像とを合成する画
    像合成ステップと、 前記画像合成ステップにより得られた合成画像の所定記
    憶手段及び記録媒体の少なくとも一方への所定フォーマ
    ットによる記録、または所定表示手段への出力を行う画
    像出力制御手段ステップ とからなる処理手順のプログラム・ソフトウエアを記憶
    することを特徴とする記録媒体。
14. 【請求項１４】 結像光学系、光電変換手段、映像信号
    処理手段、記憶手段及び制御信号発生手段を含む画像入
    力手段と、 画像処理手段と、 画像符号化手段と、 画像記録手段と、 画像記録媒体と、 画像表示手段とを有し、前記画像処理手段は前記記録媒
    体及び前記記憶手段の一方に記録された第１画像データ
    と前記画像入力手段により入力された第２画像とを、前
    記第２画像の画像入力条件及び前記第１画像の画像入力
    条件の少なくとも一方を用いて合成し、前記制御信号発
    生手段は、前記画像処理手段により得られる合成画像を
    前記画像表示手段に表示する制御信号を発生することを
    特徴とする画像処理装置。
15. 【請求項１５】 所定の画像入力手段から画像を入力す
    るステップと、 所定の記憶手段及び画像記録媒体の一方に記録された第
    １画像の所定表示手段への表示及び選択ステップと、 選択された第１画像と入力画像を合成する画像合成ステ
    ップと、 前記画像合成ステップで得られる合成画像の所定記憶手
    段への所定フォーマットによる記録、または所定表示手
    段への出力を行う画像出力制御手段ステップとからなる
    ことを特徴とする画像処理方法。
16. 【請求項１６】 所定の画像入力手段から画像を入力
    するステップと、 所定の記憶手段及び画像記録媒体の一方に記録された第
    １画像の所定表示手段への表示及び選択ステップと、 選択された第１画像と入力画像を合成する画像合成ステ
    ップと、 前記画像合成ステップで得られる合成画像の所定記憶手
    段への所定フォーマットによる記録、または所定表示手
    段への出力を行う画像出力制御手段ステップとからなる
    処理手順のプログラム・ソフトウエアを記憶する記録媒
    体。
17. 【請求項１７】 画像入力手段と、 前記画像入力手段により入力された第１画像を表示する
    画像表示手段と、 前記第１画像の所望の部分を指示選択する指示選択手
    段、 前記第１画像内で前記指示選択手段により指示選択され
    た部分の画像情報を用いて、前記入力画像内の特定領域
    を抽出する特定領域抽出手段と、 前記特定領域抽出手段により抽出され前記特定領域の画
    像を、第２の画像と合成する画像合成手段とを具備する
    ことを特徴とする画像処理装置。
18. 【請求項１８】 前記画像入力手段が、結像光学系、光
    電変換手段、映像信号処理手段、記憶手段及び制御信号
    発生手段を含む請求項１７に記載の画像処理装置。
19. 【請求項１９】 前記画像入力手段が、通信媒体を介し
    て画像を取り込む通信手段を具備する請求項１７に記載
    の画像処理装置。
20. 【請求項２０】 前記通信媒体からの画像データのフォ
    ーマットを所定のフォーマットに変換するフォーマット
    変換手段を具備する請求項１９に記載の画像処理装置。
21. 【請求項２１】 更に、前記画像表示手段により表示さ
    れる前記第１の画像上に、抽出したい前記特定領域の指
    定を補助する補助線図を表示させる補助表示手段を具備
    する請求項１７に記載の画像処理装置。
22. 【請求項２２】 前記補助線図は、抽出したい前記特定
    領域を示す所定サイズの輪郭線である請求項２１に記載
    の画像処理装置。
23. 【請求項２３】 前記補助線図は、抽出したい前記特定
    領域を示すマスクデータに従って描画される請求項２１
    に記載の画像処理装置。
24. 【請求項２４】 前記画像入力手段が、前記第１画像と
    共にその撮影条件を入力し、前記画像合成手段が、前記
    特定領域抽出手段により抽出され前記特定領域の画像を
    前記撮影条件に従い調整して第２の画像と合成する請求
    項１７に記載の画像処理装置。
25. 【請求項２５】 前記撮影条件は、露光量、合焦量、撮
    影倍率、照明光の種類及び視線方向の何れか１つを含む
    請求項２４に記載の画像処理装置。
26. 【請求項２６】 前記画像合成手段は、前記第１画像の
    撮影条件と前記第２画像の撮影条件との差異に基づき、
    一方の画像が他方の画像の撮影条件と略一致するように
    一方の画像の、少なくとも一部の領域に対して所定の変
    換処理を行った後、画像の合成処理を行う請求項１７又
    は２４に記載の画像処理装置。
27. 【請求項２７】 更に、前記第１画像から抽出した特定
    被写体の形状と位置に関する補助データを記憶する補助
    データ記憶手段と、前記第１画像の撮影条件に従い、前
    記補助データ記憶手段に記憶される補助データの位置と
    サイズを変化させる補助データ補正手段と、前記画像表
    示手段により表示される前記第１の画像上に、前記補助
    データ補正手段により補正された補助データに基づく補
    助線図を表示させる補助表示手段を具備する請求項１７
    に記載の画像処理装置。
28. 【請求項２８】 所定の画像入力手段から画像を入力す
    る画像入力ステップと、 入力された画像の画像入力条件を計測又は設定する計測
    設定ステップと、 前記画像入力条件を所定の記憶手段に記憶する入力条件
    記憶ステップと、 入力された画像から特定被写体を抽出する被写体抽出ス
    テップと、 前記画像入力条件に基づいて、前記被写体抽出ステップ
    で抽出された被写体の画像と所定の記憶手段に記録され
    た背最画像とを合成する画像合成ステップと、 前記画像合成ステップで得られた合成画像を出力する合
    成画像出力ステップとからなることを特徴とする画像処
    理方法。
29. 【請求項２９】 前記合成画像出力ステップが、前記合
    成画像を記録媒体に記録するステップである請求項２８
    に記載の画像処理方法。
30. 【請求項３０】 請求項２８に記載の画像処理方法を実
    行するプログラム・ソフトウエアを外部読み出し自在に
    記憶することを特徴とする記憶媒体。
31. 【請求項３１】 結像光学系、光電変換手段、映像信号
    処理手段、記憶手段及び制御信号発生手段を含む画像入
    力手段、画像処理手段、画像符号化手段、画像記録手
    段、画像記録媒体並びに画像表示手段を有し、前記画像
    処理手段は前記記録媒体及び前記記憶手段の何れか一方
    に記録された第１画像データと前記画像入力手段により
    入力された第２画像とを、前記第２画像の画像入力条件
    及び前記第１画像の画像入力条件の少なくとも一つを用
    いて合成し、前記制御信号発生手段は、前記画像表示手
    段に前記画像処理手段により得られた合成画像を表示す
    る制御信号を発生することを特徴とする画像処理装置。
32. 【請求項３２】 所定の画像入力手段から画像を入力す
    るステップ、所定の記憶手段及び画像記録媒体の何れか
    一方に記録された第１画像の所定表示手段への表示及び
    選択ステップ、前記選択された第１画像と入力画像を合
    成する画像合成ステップ、並びに、前記画像合成ステッ
    プによる合成画像の所定記憶手段へ所定フォーマットに
    よる記録または所定表示手段への出力を行う画像出力ス
    テップからなることを特徴とする画像処理方法。
33. 【請求項３３】 請求項３２に記載の画像処理方法を実
    行するプログラム・ソフトウエアを外部読み出し自在に
    記憶することを特徴とする記憶媒体。
34. 【請求項３４】 画像入力手段と、 撮像条件抽出手段と、 画像変換モード設定手段と、 入力画像から当該撮像条件を用いて所定の対象領域を求
    める領域抽出手段と、 当該入力画像のうち当該対象領域の画像に所定の変換を
    施す画像変換手段とを具備することを特徴とする画像処
    理装置。
35. 【請求項３５】 画像入力手段と、 画像表示手段と、 撮像条件抽出手段と、 画像変換モード設定手段と、 入力画像から当該画像変換モード又は当該撮像条件に基
    づき所定の対象領域を設定する領域設定手段と、 設定領域の境界線を入力画像に重畳して当該画像表示手
    段に表示する境界線表示手段と、 当該入力画像のうち当該対象領域又は当該対象領域を除
    いた背景領域の画像に所定の変換を施す画像変換手段と
    を具備することを特徴とする画像処理装置。
36. 【請求項３６】 画像入力手段と、 撮像条件抽出手段と、 画像変換モード設定手段と、 当該撮像条件又は当該画像変換モードに基づいて入力画
    像から所定の対象領域を求める領域抽出手段と、 当該入力画像のうち当該対象領域又は当該対象領域を除
    いた背景領域の画像に所定の変換を施す画像変換手段と
    を具備することを特徴とする画像処理装置。
37. 【請求項３７】 前記画像変換手段は前記対象領域に前
    記撮像条件又は前記画像変換モードに基づき所定のテク
    スチャマッピング処理を施すことを特徴とする請求項３
    ４、３５又は３６に記載の画像処理装置。
38. 【請求項３８】 前記画像変換手段は所定の記憶手段か
    ら他の画像を入力し、前記対象領域を前記撮像条件又は
    前記画像変換モードに基づき当該他の画像で置換するこ
    とを特徴とする請求項３４、３５又は３６に記載の画像
    処理装置。
39. 【請求項３９】 前記画像変換手段は前記対象領域の特
    定色成分を他の色成分に変換することを特徴とする請求
    項３４、３５又は３６に記載の画像処理装置。
40. 【請求項４０】 前記画像変換手段は前記対象領域に所
    定の幾何学的変形を施すことを特徴とする請求項３４、
    ３５又は３６に記載の画像処理装置。
41. 【請求項４１】 前記画像変換手段は変換後の画像デー
    タに所定の透かし情報を付加することを特徴とする請求
    項３４、３５又は３６に記載の画像処理装置。
42. 【請求項４２】 前記領域抽出手段は予め入力された背
    景画像と前記入力画像との差分データに基づき前記対象
    領域を求めることを特徴とする請求項３４又は３６に記
    載の画像処理装置。
43. 【請求項４３】 前記領域抽出手段は所定のテンプレー
    トモデル画像の記憶手段、当該テンプレートモデルと前
    記入力画像との類似度検出手段、当該類似度が所定閾値
    以上又は極大となる領域を抽出する領域抽出手段とを具
    備することを特徴とする請求項３４又は３６に記載の画
    像処理装置。
44. 【請求項４４】 前記画像変換手段は前記対象領域又は
    前記背景領域の一部について撮像条件に基づき輝度レベ
    ル、又は色成分値を変換することを特徴とする請求項３
    ４、３５又は３６に記載の画像処理装置。
45. 【請求項４５】 前記領域抽出手段は抽出領域の境界線
    を入力画像に重畳して前記画像表示手段に表示すること
    を特徴とする請求項３４又は３６に記載の画像処理装
    置。
46. 【請求項４６】 前記領域設定手段は当該領域の位置又
    はサイズ変更手段を有することを特徴とする請求項３５
    に記載の画像処理装置。
47. 【請求項４７】 前記領域抽出手段は前記撮像条件に基
    づいて前記テンプレートモデル画像の前記入力画像中の
    位置とサイズを設定し、当該設定されたテンプレートモ
    デル画像の輪郭線を初期輪郭として前記対象領域の輪郭
    線を求めることを特徴とする請求項４３に記載の画像処
    理装置。
48. 【請求項４８】 前記輪郭線表示手段は所定の表示選択
    手段により輪郭線の表示動作が選択されたときに前記境
    界線を表示することを特徴とする請求項３５に記載の画
    像処理装置。
49. 【請求項４９】 画像入力ステップと、 撮像条件抽出ステップと、 画像変換モード設定ステップと、 入力画像から当該撮像条件を用いて所定の対象領域を求
    める領域抽出ステップと、 当該入力画像のうち当該対象領域の画像に所定の変換を
    施す画像変換ステップとを具備することを特徴とする画
    像処理方法。
50. 【請求項５０】 画像入力ステップと、 撮像条件抽出ステップと、 画像変換モード設定ステップと、 入力画像から当該画像変換モード又は当該撮像条件に基
    づき所定の対象領域を設定する領域設定ステップと、 設定領域の境界線を入力画像に重畳して画像表示手段の
    画面上に表示する境界線表示ステップと、 当該入力画像のうち当該対象領域又は当該対象領域を除
    いた背景領域の画像に所定の変換を施す画像変換ステッ
    プとを具備することを特徴とする画像処理方法。
51. 【請求項５１】 画像入力ステップと、 撮像条件抽出ステップと、 画像変換モード設定ステップと、 当該撮像条件又は当該画像変換モードに基づいて入力画
    像から所定の対象領域を求める領域抽出ステップと、 当該入力画像のうち当該対象領域又は当該対象領域を除
    いた背景領域の画像に所定の変換を施す画像変換ステッ
    プとを具備することを特徴とする画像処理方法。
52. 【請求項５２】 前記画像変換ステップは前記対象領域
    に前記撮像条件又は前記画像変換モードに基づき所定の
    テクスチャマッピング処理を施すことを特徴とする請求
    項４９、５０又は５１に記載の画像処理方法。
53. 【請求項５３】 前記画像変換ステップは所定の記憶手
    段から他の画像を入力し、前記対象領域を前記撮像条件
    又は前記画像変換モードに基づき当該他の画像で置換す
    ることを特徴とする請求項４９、５０又は５１に記載の
    画像処理方法。
54. 【請求項５４】 前記画像変換ステップは前記対象領域
    の特定色成分を他の色成分に変換することを特徴とする
    請求項４９、５０又は５１に記載の画像処理方法。
55. 【請求項５５】 前記画像変換ステップは前記対象領域
    に所定の幾何学的変形を施すことを特徴とする請求項４
    ９、５０又は５１に記載の画像処理方法。
56. 【請求項５６】 前記画像変換ステップは変換後の画像
    データに所定の透かし情報を付加することを特徴とする
    請求項４９、５０又は５１に記載の画像処理方法。
57. 【請求項５７】 前記領域抽出ステップは予め入力され
    た背景画像と前記入力画像との差分データに基づき前記
    対象領域を求めることを特徴とする請求項４９又は５１
    に記載の画像処理方法。
58. 【請求項５８】 前記領域抽出ステップは、記憶手段に
    記憶されるテンプレートモデルと前記入力画像との類似
    度を検出する類似度検出ステップ、当該類似度が所定閾
    値以上又は極大となる領域を抽出する領域抽出ステップ
    とを具備することを特徴とする請求項４９又は５１に記
    載の画像処理方法。
59. 【請求項５９】 前記画像変換ステップは前記対象領域
    又は前記背景領域の一部について撮像条件に基づき輝度
    レベル又は色成分値を変換することを特徴とする請求項
    ３４、３５又は３６に記載の画像処理方法。
60. 【請求項６０】 前記領域抽出ステップは抽出領域の境
    界線を入力画像に重畳して前記画像表示手段に表示する
    ことを特徴とする請求項４９又は５０に記載の画像処理
    方法。
61. 【請求項６１】 前記領域設定ステップは当該領域の位
    置又はサイズを変更するステップを有することを特徴と
    する請求項５０に記載の画像処理方法。
62. 【請求項６２】 前記領域抽出ステップは前記撮像条件
    に基づいて前記テンプレートモデル画像の前記入力画像
    中の位置とサイズを設定し、当該設定されたテンプレー
    トモデル画像の輪郭線を初期輪郭として前記対象領域の
    輪郭線を求めることを特徴とする請求項５８に記載の画
    像処理方法。
63. 【請求項６３】 前記輪郭線表示ステップは所定の表示
    選択手段により輪郭線の表示動作が選択されたときに前
    記境界線を表示することを特徴とする請求項５０に記載
    の画像処理方法。
64. 【請求項６４】 請求項４９に記載の画像処理方法を実
    行するプログラム・ソフトウエアを記憶することを特徴
    とする記憶媒体。