JP2004005265A

JP2004005265A - 画像合成方法、画像合成装置、画像合成システム

Info

Publication number: JP2004005265A
Application number: JP2002160625A
Authority: JP
Inventors: Keisuke Okamoto; 岡本　圭介
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2004-01-08
Also published as: CN1490764A; US20030222891A1; CN1301486C

Abstract

【課題】顔画像の合成処理において、リアルな顔画像を合成するとともに、元の画像にはない特徴を付加する。
【解決手段】顔画像合成サーバ２０は、２つの画像をモーフィング合成するモーフィング合成部２４と、２つの顔画像Ａ，Ｂを取得し、これらをモーフィング合成部２４によって合成してベース画像Ｃを生成するベース画像生成部２２と、特徴顔画像Ｎを取得し、当該特徴顔画像Ｎとベース画像Ｃとをモーフィング合成部２４によって合成して特徴付加画像Ｄを生成する特徴付加部２３とを備える。これにより、リアルな顔画像を合成するとともに、元の画像にはない特徴を付加した合成画像を生成できる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像を合成する画像合成方法、画像合成装置、画像合成システムに関するものである。
【０００２】
【従来の技術】
登録実用新案公報「第３０４２４７７号（発行日：平成９年（１９９７）１０月２１日）」には、男女のカップルの画像データから、二人の赤ちゃんの画像を合成し、さらにその画像を編集して子供を成長させるゲーム装置が記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記ゲーム装置には、次のような問題があった。画像の合成方法がモンタージュであるため、自然かつ精巧な合成ができない。また、子供の成長後の画像を自動生成できない。さらに、ゲームをするためには、利用者がゲーム装置の設置場所に行く必要があった。それゆえ、上記ゲーム装置は、娯楽性が低かった。
【０００４】
本発明は、上記の問題点を解決するためになされたもので、その目的は、リアルな顔画像を合成するとともに、元の画像にはない特徴を付加することができる画像合成方法、画像合成装置、画像合成システムを提供することにある。
【０００５】
【課題を解決するための手段】
上記の課題を解決するために、本発明の画像合成方法は、２つの顔画像を取得する顔画像取得ステップと、上記２つの顔画像をモーフィング合成によって合成してベース画像を生成するベース画像生成ステップと、特徴顔画像を取得する特徴顔画像取得ステップと、上記特徴顔画像と上記ベース画像とをモーフィング合成によって合成して特徴付加画像を生成する特徴付加ステップと、を含むことを特徴としている。
【０００６】
また、本発明の画像合成装置は、２つの画像をモーフィング合成するモーフィング合成手段と、２つの顔画像を取得し、これらを上記モーフィング合成手段によって合成してベース画像を生成するベース画像生成手段と、特徴顔画像を取得し、当該特徴顔画像と上記ベース画像とを上記モーフィング合成手段によって合成して特徴付加画像を生成する特徴付加手段と、を備えることを特徴としている。
【０００７】
上記の方法および構成により、２つの顔画像をモーフィングによって合成するため、自然かつ精巧な顔画像を合成できる。そして、元の２つの顔画像を任意の合成比率で合成できるため、どの部分を、どちらの顔画像に、どれくらい似せるかなどの微妙な調整が可能である。
【０００８】
また、ベース画像に特徴顔画像を合成するため、元の２つの顔画像にはない特徴を付加できる。例えば、特徴顔画像として各年代ごとの平均的な顔画像をあらかじめ用意すれば、その中から適宜選択した年代の様子の顔画像を作り出すことができる。
【０００９】
よって、男女カップルの顔画像から予想される子供の顔画像を生成し、誕生直後から老年に至るまでの任意の年齢の顔画像を生成するなどの顔画像合成処理が可能となる。したがって、上記のような顔画像合成処理を利用することにより娯楽性を向上させた体験型ゲーム等を実現することが可能となる。
【００１０】
さらに、本発明の画像合成方法は、上記ベース画像生成ステップおよび／または上記特徴付加ステップに先立って、当該ステップにおいて合成する顔画像の特徴点を自動抽出する特徴点抽出ステップをさらに含むことを特徴としている。
【００１１】
また、さらに、本発明の画像合成装置は、上記モーフィング合成手段は、合成する顔画像の特徴点を自動抽出する特徴点抽出手段を具備することを特徴としている。
【００１２】
上記の方法および構成により、さらに、モーフィング合成で使用する特徴点を自動抽出できるため、これを利用者が入力する必要がない。よって、操作機能に制限のある携帯電話等の機器からでも、上記の顔画像合成処理を快適に利用できる。
【００１３】
さらに、本発明の画像合成方法は、上記ベース画像生成ステップおよび／または上記特徴付加ステップにおいて、合成する２つの顔画像の合成比率を顔の部位ごとに設定することを特徴としている。
【００１４】
また、さらに、本発明の画像合成装置は、上記モーフィング合成手段は、合成する２つの顔画像の合成比率が顔の部位ごとに設定可能であることを特徴としている。
【００１５】
上記の方法および構成により、さらに、モーフィング合成の合成比率を顔の部位ごとに設定できるため、多様な顔画像を生成することが可能となる。なお、顔全体に対してまとめて合成比率を設定することもできる。
【００１６】
さらに、本発明の画像合成装置は、上記特徴顔画像をあらかじめ格納した特徴顔画像データベースをさらに具備し、かつ、上記特徴付加手段が、上記特徴顔画像データベースより特徴顔画像を取得するものであることを特徴としている。
【００１７】
上記の構成により、さらに、特徴顔画像データベースには、例えば、年代、性別、好みの顔ごとの特徴顔画像をあらかじめ格納しておくことができる。そして、ベース画像と特徴顔画像との合成処理に先立って、ベース画像に付加する特徴を特徴付加手段に指定すれば、特徴付加手段が、指定された特徴に応じた特徴顔画像を特徴顔画像データベースから取得し、これをベース画像と合成することで、元の画像にはない特徴をベース画像に付加できる。
【００１８】
さらに、本発明の画像合成方法は、上記顔画像取得ステップにおいて、上記顔画像を通信ネットワークを介して携帯端末より取得するとともに、上記特徴付加ステップにおいて、上記特徴付加画像を上記携帯端末へ送信する特徴付加画像送信ステップをさらに含むことを特徴としている。
【００１９】
また、さらに、本発明の画像合成装置は、上記画像合成装置は、通信ネットワークを介して携帯端末と接続されるとともに、上記ベース画像生成手段が顔画像を上記携帯端末より取得するものであり、かつ、上記特徴付加手段が生成した上記特徴付加画像を上記携帯端末へ送信するものであることを特徴としている。
【００２０】
また、本発明の画像合成システムは、上記画像合成装置と上記携帯端末とを含むことを特徴としている。
【００２１】
上記の方法および構成により、さらに、上記画像合成システムによれば、携帯端末が送信した顔画像を画像合成装置で合成し、得られた特徴付加画像を当該携帯端末で表示することができる。また、顔画像合成システムは、演算量の多い処理をサーバで実行するようにネットワーク上に構成できるため、顔画像合成処理を簡易な携帯端末を用いて、場所、時間を選ばず利用することが可能となる。
【００２２】
したがって、上記画像合成システムによれば、リアルな顔画像合成を利用することにより娯楽性を向上させた体験型ゲーム等を通信ネットワーク上で提供することが可能となる。すなわち、通信ネットワークにおいてリアルな顔画像を使ったコンテンツ（例えば、子育てゲームのような育成型ゲーム等）を提供することが可能となる。
【００２３】
【発明の実施の形態】
本発明の一実施の形態について図１から図６に基づいて説明すれば、以下のとおりである。
【００２４】
図１を参照しながら、本実施の形態に係る顔画像合成システム（画像合成システム）１の概略について説明する。
【００２５】
顔画像合成システム１は、携帯端末１０と顔画像合成サーバ（画像合成装置）２０とが通信ネットワーク３０を介して通信可能に接続されて構成されている。なお、通信ネットワーク３０には、通信事業者の基地局や交換局、あるいは、インターネット接続事業者のサーバ等も含まれる。そして、顔画像合成システム１は、携帯端末１０で撮影した２人のユーザの顔画像を顔画像合成サーバ２０で合成し、得られた画像を携帯端末１０に表示させる機能を有する。
【００２６】
まず、携帯端末１０は、通信ネットワーク３０を介して顔画像合成サーバ２０と通信可能な携帯電話等の情報通信機器である。本実施の形態では、携帯端末１０を携帯電話として説明する。
【００２７】
携帯端末１０は、通信部１１、制御部１２、カメラ１３、表示部１４、操作入力部１５を少なくとも備えて構成されている。
【００２８】
通信部１１は、通信ネットワーク３０とのインターフェイスである。制御部１２は、携帯端末１０の全体を制御する。カメラ１３は、利用者の顔画像を撮影できる。表示部１４は、ＬＣＤ（ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｄｉｓｐｌａｙ）等であり、操作入力部１５は、タッチパネル、ボタン、ダイアル等である。すなわち、携帯端末１０は表示部１４および操作入力部１５によって、ユーザインターフェイスが実現される。
【００２９】
携帯端末１０は、カメラ１３で利用者の顔画像を撮影して顔画像合成サーバ２０に送信し、顔画像合成サーバ２０で生成した特徴付加画像Ｄを受信して表示部１４に表示する機能を有する。そのため、制御部１２は、顔画像合成サーバ２０にアクセスして、顔画像合成サーバ２０が提供するサービスを携帯端末１０から利用するクライアントとしての機能を実現する。
【００３０】
なお、本実施の形態では、男女カップルの顔画像を携帯端末１０で撮影して、それを顔画像合成サーバ２０で合成する場合について説明する。ただし、顔画像合成サーバ２０が合成する顔画像の枚数は３枚以上であってもよい。また、顔画像合成サーバ２０に接続する携帯端末１０は１台でもよいし、複数台であってもよい。具体的には、利用者の顔画像Ａ，Ｂは、１台の携帯端末１０から送信されてもよいし、異なる２台の携帯端末１０・１０から送信されてもよい。なお、顔画像合成サーバ２０は、２台の携帯端末１０から画像Ａ，Ｂを受信した場合には、特徴付加画像Ｄを両方の携帯端末１０・１０に送信する。
【００３１】
また、顔画像合成サーバ２０は、通信部２１、ベース画像生成部２２、特徴付加部２３、モーフィング合成部２４、特徴顔画像データベース２５（以下、特徴顔画像ＤＢ２５と記す）を少なくとも備えて構成されている。
【００３２】
通信部２１は、通信ネットワーク３０とのインターフェイスである。
【００３３】
ベース画像生成部（ベース画像生成手段）２２は、２つの顔画像Ａ，Ｂを携帯端末１０から取得し、これらをモーフィング合成部２４によって合成したベース画像Ｃを、特徴付加部２３へ入力する。
【００３４】
特徴付加部（特徴付加手段）２３は、特徴顔画像ＤＢ２５から特徴顔画像Ｎを取得し、当該特徴顔画像Ｎと、ベース画像生成部２２で生成されたベース画像Ｃとを、モーフィング合成部２４によって合成して特徴付加画像Ｄを生成し、これを顔画像Ａ，Ｂを送信してきた携帯端末１０へ送信する。なお、特徴顔画像Ｎについては後述する。
【００３５】
モーフィング合成部（モーフィング合成手段）２４は、ベース画像生成部２２および特徴付加部２３からの要求に応じて、２つの顔画像をモーフィング合成する機能を有する。また、モーフィング合成部２４は、合成する顔画像の特徴点を自動抽出する特徴点抽出部（特徴点抽出手段）２４ａを具備する。また、モーフィング合成部２４は、合成する２つの顔画像の合成比率が顔の部位ごとに設定可能である。
【００３６】
ここで、一般的なモーフィングでは、オペレータが手動で特徴点をポインティングし、さらに特徴点を結んで輪郭を指定して、２枚の画像の対応付けを行う。しかし、この作業は、携帯端末１０の狭い画面とボタン操作では困難である。そこで、顔画像合成システム１では、２つの顔画像をモーフィング合成するに先立って、特徴点抽出部２４ａが各顔画像の特徴点を自動的に抽出する処理を行う。その後、モーフィング合成部２４が、２枚の顔画像の特徴点どうしを対応づけて、モーフィング合成を行う。
【００３７】
具体的には、特徴点抽出部２４ａは、２枚の顔画像Ａ，Ｂから、それぞれの顔の特徴点（目、眉、鼻、口、顔等の輪郭上の点群）を自動抽出する。そして、抽出結果のスコア（確信度）を算出し、これをあらかじめ設定されている閾値と比較して、閾値以下の場合には抽出失敗と判定し、合成を中止する。例えば、画質が悪い、顔が切れている、顔が写っていないなどの場合には、抽出失敗と判定する。さらに、特徴点の自動抽出に失敗した場合、ベース画像生成部２２に報告され、顔画像の再送信を利用者に求め、再撮影を利用者に促す。
【００３８】
また、モーフィング合成部２４におけるモーフィング合成の合成比率は、携帯端末１０からのユーザによる指定、あるいは、モーフィング合成部２４による自動指定のいずれかによって設定される。具体的な設定方法としては、例えば、顔の各部（眉、目、鼻、口、顔の輪郭）について個別に設定してもよいし、顔全体についてまとめて設定してもよい。そして、２つの顔画像のそれぞれの合成比率は、和が１００％となるように０〜１００％の範囲で連続的に指定できる。
【００３９】
次に、特徴顔画像Ｎは、ベース画像Ｃとモーフィング合成されることで、ベース画像Ｃに特徴を付加するための画像である。例えば、各年齢の平均的な顔画像を特徴顔画像Ｎとして特徴顔画像ＤＢ２５に格納しておけば、特徴付加部２５は、所望の年齢に対応する特徴顔画像Ｎを抽出し、これとベース画像Ｃとをモーフィング合成することにより、ベース画像Ｃに所望の年齢の顔の特徴を付加できる。
【００４０】
顔画像合成サーバ２０では、特徴顔画像Ｎを、各年代および性別ごとに１パターンではなく、さまざまなタイプの顔を用意して、特徴顔画像ＤＢ２５にあらかじめ格納している。具体的には、特徴顔画像ＤＢ２５には、有名人の誰々風の顔のように何パターンもの特徴顔画像Ｎを準備することができ、それをユーザに選ばせる、もしくは特徴付加部２３が選択する。これにより、利用者が繰り返し遊んでも、飽きないようにできる。
【００４１】
特徴顔画像Ｎの作成方法としては、例えば、まず、大量の顔画像を収集し、年齢、性別、顔の特徴、撮影条件などによって分類する。「顔の特徴」による分類は、例えば、「丸顔である」、「おでこが広い」、「目じりが下がっている」、「有名人の誰に似ている（誰々風の顔である）」のような観点で行う。また、「撮影条件」による分類は、例えば、「背景（ブルーバック、屋内／外）」、「画質」、「照明環境（昼間撮影／夜間撮影など）」。「被写体の写り方（正面顔、横顔、全身像）」のような観点で行う。なお、撮影条件による分類は、合成して平均する際の品質をそろえ、合成時の合成顔と平均顔の品質を揃えるために行う。最後に、各分類ごとに顔画像を合成して、平均顔の顔画像（特徴顔画像Ｎ）を作成する。
【００４２】
顔画像合成サーバ２０は、上記のようにあらかじめ用意された特徴顔画像Ｎと、携帯端末１０から取得して合成したベース画像Ｃとをモーフィング合成することにより、利用者の顔画像Ａ，Ｂになかった特徴を特徴付加画像Ｄに付加できる。例えば、特徴顔画像Ｎが各年齢ごとに用意された平均顔である場合には、ベース画像Ｃに、年齢に応じた顔の各パーツの位置関係、輪郭、肌の色、しわなどの微妙な変化を、画像の自然さを損なわずに簡単に付加できる。
【００４３】
また、特徴顔画像Ｎとベース画像Ｃとの合成を、モーフィングによって連続的に補完可能に合成することにより、特徴付加画像Ｄの状態を調整できる。例えば、▲１▼元の２人の特徴重視か、年齢的特徴重視かを調整できる。また、▲２▼どの程度「〜さん風の子供顔」にするかを調整できる。すなわち、ベース画像Ｃの合成比率を高くすれば、特徴付加画像Ｄには、元の２人の特徴がよく現れるが、年齢等の特徴が反映されにくくなる。これに対して、特徴顔画像Ｎの比率を高くすれば、特徴付加画像Ｄには、元の２人の特徴は薄れるが、年齢等の特徴がよく現れる。
【００４４】
次に、図２を参照しながら、顔画像合成システム１の動作について、顔画像合成サーバ２０の処理を中心に説明する。
【００４５】
まず、携帯端末１０が利用者の顔画像Ａを顔画像合成サーバ２０へ送信する（Ｓ１１）。なお、顔画像Ａはカメラ１３で撮影されたものであってもよいし、携帯端末１０のメモリ（図示せず）に格納されていたものでもよい。
【００４６】
次に、顔画像合成サーバ２０は、取得した顔画像Ａをベース画像生成部２２からモーフィング合成部２４に入力し、特徴点抽出部２４ａによってモーフィングのための特徴点を自動抽出する（Ｓ１２）。このとき、特徴点抽出部２４ａが特徴点の抽出に失敗すると（Ｓ１３で「再撮影」）、ベース画像生成部２２が携帯端末１０に対して顔画像の再撮影・再送信を要求する。
【００４７】
次に、顔画像合成サーバ２０が顔画像Ａの取得および特徴点抽出に成功すると、顔画像合成サーバ２０は、顔画像Ａと同様に、顔画像Ｂの取得および特徴点抽出を行う（Ｓ１４〜Ｓ１６）。
【００４８】
つづいて、携帯端末１０が利用者の設定した顔画像Ａ，Ｂの合成比率を送信し、これを受信した顔画像合成サーバ２０では、ベース画像生成部２２が合成比率をモーフィング合成部２４に設定する（Ｓ１７）。この合成比率は、顔の部位ごとに設定されてもよいし、顔全体について１つ設定されてもよい。
【００４９】
次に、モーフィング合成部２４が、顔画像Ａ，Ｂを合成比率に応じてモーフィング合成して、ベース画像Ｃを生成する（Ｓ１８）。そして、生成されたベース画像Ｃを、ベース画像生成部２２が特徴付加部２３へ入力する。
【００５０】
次に、特徴付加部２３が、特徴顔画像ＤＢ２５から特徴顔画像Ｎを取得する（Ｓ１９）。なお、取得すべき特徴顔画像Ｎは、携帯端末１０から指定できる。
【００５１】
つづいて、携帯端末１０が利用者の設定したベース画像Ｃと特徴顔画像Ｎとの合成比率を送信し、これを受信した顔画像合成サーバ２０では、特徴付加部２３が合成比率をモーフィング合成部２４に設定する（Ｓ２０）。この合成比率は、顔の部位ごとに設定されてもよいし、顔全体について１つ設定されてもよい。
【００５２】
次に、モーフィング合成部２４が、ベース画像Ｃと特徴顔画像Ｎとを合成比率に応じてモーフィング合成して、特徴付加画像Ｄを生成する（Ｓ２１）。なお、ステップＳ１９において複数の異なる特徴顔画像Ｎを取得して、ともにベース画像Ｃと合成することもできる。また、特徴顔画像Ｎの特徴点については、あらかじめ抽出しておき、特徴顔画像Ｎの画像データに関連づけて特徴顔画像ＤＢ２５に格納しておく。また、ベース画像Ｃの特徴点については、ステップＳ１８において画像Ａ，Ｂをモーフィングにより合成する際の特徴点を利用する。もちろん、ステップＳ２１に先立って、ベース画像Ｃおよび特徴顔画像Ｎの特徴点を抽出してもよい。
【００５３】
最後に、特徴付加部２３は、特徴付加画像Ｄを、ステップＳ１１，Ｓ１４において顔画像Ａ，Ｂを取得した携帯端末１０へ送信する（Ｓ２２）。すなわち、特徴付加部２３は、２つの顔画像Ａ，Ｂを１台の携帯端末１０から取得した場合には当該１台に、２台の携帯端末１０・１０から取得した場合には当該２台に特徴付加画像Ｄを送信する。
【００５４】
以上より、上記顔画像合成システム１によれば、利用者の顔画像を合成するとともに、元の画像にはない特徴を付加する画像合成を、より自然かつ精巧に行うことができる。また、男女のどちらに、どの部分を、どれくらい似せるかなどの微妙な調整ができる。したがって、リアルな顔画像合成を利用することにより娯楽性を向上させた体験型ゲーム等を実現することが可能となる。加えて、上記顔画像合成システム１は、ネットワーク上に構成して、演算量の多い処理をサーバで実行することができるため、簡易な携帯端末を用いて、場所、時間を選ばず遊ぶことを可能とする。
【００５５】
次に、上述した画像合成方法の適用例として、ネットワークコンテンツである子育てゲームについて説明する。
【００５６】
この子育てゲームは、顔画像合成以外の処理も顔画像合成サーバ２０が行う。すなわち、顔画像合成サーバ２０が、ネットワークゲームサーバとなる。なお、顔画像合成サーバ２０は、ユーザが作成した子供のデータを格納し、ユーザがアクセスした時点での年齢に応じた顔画像を合成して、携帯端末１０に送信する機能を有する。また、顔画像合成サーバ２０は、ユーザがアクセスすることにより、あるいは、ユーザのアクセスに関わりなく、子供を成長させる。
【００５７】
また、携帯端末１０は、男女が１台を共用してもよいし、それぞれが１台ずつ使用してもよい。すなわち、画像Ａ，Ｂを異なる携帯端末１０から顔画像合成サーバ２０へ送信してもよい。そして、２台の携帯端末１０から画像Ａ，Ｂが送信された場合には、顔画像合成サーバ２０は、合成した特徴付加画像Ｄを両方の携帯端末１０に送信する。
【００５８】
図３から図６は、上記子育てゲームにおいて、携帯端末１０に表示される画面例である。なお、以下で説明するゲームの内容および画面例は説明のための一例であり、本発明はこれに限定されない。
【００５９】
ユーザが携帯端末１０で子育てゲームを起動すると、画面Ｆ１１（図３）が表示される。画面Ｆ１１では、選択メニューとして、「新しい子供を作る」、「二人の子供の様子」がある。新規の場合には、「新しい子供を作る」を選択して、画面Ｆ１２（図３）へ移行する。継続の場合、すなわち、過去に作成した子供の状態を確認する場合には、「こども名」のプルダウンメニューから子供の名前を選択後、「子供の様子を見る！」を選択して、画面Ｆ１３（図３）へ移行する。
【００６０】
画面Ｆ１２（図４）では、「お嫁さんを選んで！」のプルダウンメニューから女性の顔画像を選択し、「決定！」を選択することで、女性の顔画像が顔画像合成サーバ２０へ送信される。なお、各操作画面において、「二人で子育て！へ」を選択すれば、ゲームの開始画面Ｆ１１へ復帰する。また、「トップメニュー」を選択すれば、携帯端末１０のメニュー画面（図示せず）へ復帰する。
【００６１】
次に、画面Ｆ２２（図４）では、「相手の男性は誰？」のプルダウンメニューから男性の顔画像を選択し、「この人と結婚！」を選択することで、男性の顔画像が顔画像合成サーバ２０へ送信される。なお、「まだ結婚は早いわ」を選択すれば、画面Ｆ１２へ復帰する。また、画面Ｆ２２で、「この人と結婚！」を選択すると、画面Ｆ２３（図４）へ移行する。
【００６２】
なお、上記の画面Ｆ１２および画面Ｆ２２は、既に撮影済みの顔画像の中から、ゲームで使用する顔画像を選択して、顔画像合成サーバ２０へ送信する場合である。よって、適当な顔画像が携帯端末１０に格納されていない場合には、顔画像を撮影するための操作画面（図示せず）が表示される。
【００６３】
次に、画面Ｆ２３では、「新婚生活へ！」を選択すると、成長確認画面が表示される。もちろん、成長確認画面に画面Ｆ２３から移行した場合には、新生児風に特徴が付加された顔画像が表示される。また、「婚約取り消し」を選択すれば、画面Ｆ２２へ復帰する。また、「設定へ」を選択すれば、子供画像生成のパラメータ設定画面（図６の図面Ｆ４１，Ｆ４２）へ移行する。
【００６４】
次に、画面Ｆ１１（図５）で、「こども名」のプルダウンメニューから子供の名前を選択後、「子供の様子を見る！」を選択すると、画面Ｆ３２（図５）が表示される。画面Ｆ３２（図５）は、子供が６歳の時に表示される画面であり、プルダウンメニューからリストＦ３２ａを表示させて幼稚園を選択する。このように、顔画像合成サーバ２０には、子供の年齢に応じたイベントが発生するように、子育てのストーリーがあらかじめ設定されている。
【００６５】
そして、成長確認画面である画面Ｆ３３には、上述した画像合成方法（ベース画像生成部２２、特徴付加部２３、モーフィング合成部２４、特徴顔画像ＤＢ２５）により、年齢に応じた特徴が付加された顔画像（特徴付加画像Ｄ）が表示される。また、成長確認画面には、年齢に応じた説明が表示される。
【００６６】
ここで、成長確認画面（画面Ｆ１３，Ｆ３３）では、子供の相手をするコマンド（「ミルクを与える」、「おもちゃで遊ぶ」、「言葉を教える」、「話しかける」等）が表示される。このコマンドをユーザが選択した結果に応じて、子供の個性パラメータが変化する。なお、個性パラメータは、子供の成長や発生するイベントに反映される。
【００６７】
つづいて、パラメータ設定画面について説明する。図面Ｆ４１（図６の）では、「こどもは父親似、それとも母親似？」、「好きな顔のタイプは？」、「有名人の誰似にする？」が設定できる。なお、「決定！」を選択することにより、成長確認画面（画面Ｆ１３，Ｆ３３）に移行する。
【００６８】
第１に、「こどもは父親似、それとも母親似？」では、男性の顔画像と女性の顔画像とをモーフィング合成する際の合成比率を設定する。この合成比率は、デフォルト値が５０％であり、男性の比率が大きいと父親似に、女性の比率が大きいと母親似になる。さらに、画面Ｆ４２（図６）に示すように、合成比率は、顔の部位ごとに設定できる。そして、画面Ｆ４１，Ｆ４２で設定された合成比率は、顔画像合成サーバ２０へ送信されて、男女の顔画像Ａ、Ｂからベース画像Ｃを生成する際の合成比率として、ベース画像生成部２２によりモーフィング合成部２４に設定される。
【００６９】
第２に、「好きな顔のタイプは？」では、プルダウンメニューのリストＦ４１ａから顔の特徴（顔全体の特徴として「まるがお」、「しかくがお」、「細め」、「太め」等。例えば、目の特徴として「上がり目」、「下がり目」、「普通」、「ぱっちり」、「切れ長」等）が選択できる。そして、この特徴情報は、顔画像合成サーバ２０へ送信されて、特徴付加部２３が特徴顔画像ＤＢ２５から特徴顔画像Ｎを取得する際に利用される。そのために、特徴顔画像ＤＢ２５には、上記特徴情報に対応する特徴顔画像Ｎがあらかじめ格納されている。
【００７０】
第３に、「有名人の誰似にする？」では、プルダウンメニューのリストＦ４１ｂから有名人の名前（「小泉首相」、「森元首相」、「小渕元首相」、「橋本元首相」等）が選択できる。そして、この特徴情報（有名人の名前）は、顔画像合成サーバ２０へ送信されて、特徴付加部２３が特徴顔画像ＤＢ２５から特徴顔画像Ｎを取得する際に利用される。そのために、特徴顔画像ＤＢ２５には、上記特徴情報（有名人の名前）に対応する特徴顔画像Ｎがあらかじめ格納されている。
【００７１】
このように、成長確認画面に表示される子供の顔画像は、携帯端末１０の利用者を撮影した顔画像Ａ，Ｂを合成したベース画像Ｃに、特徴顔画像Ｎとして、年齢の特徴を付加する顔画像、「好きな顔」の特徴を付加する顔画像および「有名人」の特徴を付加する顔画像をモーフィング合成することにより生成される。そして、ベース画像Ｃに対して各特徴顔画像Ｎを合成する際の合成比率は、画像合成サーバ２０が自動的に設定してもよいし、ベース画像Ｃの合成比率と同様に携帯端末１０から設定できるようにしてもよい。
【００７２】
以上のように、上記顔画像合成システム１によれば、通信ネットワークにおいてリアルな顔画像を使ったコンテンツ（例えば、上記子育てゲームのような育成型ゲーム等）を提供することが可能となる。すなわち、顔画像合成サーバ２０をコンテンツ配信サーバとして、集客力の向上を狙う携帯電話会社等の通信事業者に対して、娯楽性の高いコンテンツの配信サービスが可能となる。
【００７３】
なお、上記携帯端末１０は、携帯電話等であり、汎用のコンピュータをベースに構成できる。例えば、携帯端末１０は、インターネット閲覧機能（以下、ウェブブラウザソフト）を有し、ＷＥＢサーバである顔画像合成サーバ２０に通信ネットワーク３０を介して接続可能に構成できる。具体的には、携帯端末１０としては、パソコン、ＰＤＡ、インターネット対応ＴＶ、テレビゲーム機、セットトップボックス等やインターネットサービス接続対応携帯電話機などが考えられる。また、上記顔画像合成サーバ２０は、ワークステーションやパーソナルコンピュータ等の汎用のコンピュータをベースに構成できる。
【００７４】
すなわち、上記の携帯端末１０および顔画像合成サーバ２０は、それぞれの機能を実現するプログラムの命令を実行するＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）、ブートロジックを格納したＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）、上記プログラムおよび各種データベースを格納するハードディスク等の記憶装置（記録媒体）、キーボード、マウス、カメラ等の入力機器、モニタ、スピーカー等の出力機器、外部のネットワークに接続するネットワーク接続機器が、内部バスによって接続されて構成されている。
【００７５】
最後に、本発明の目的は、上述した機能を実現するソフトウエアである顔画像合成プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ、ＤＳＰ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７６】
具体的には、上記携帯端末１０の制御部１２、および、顔画像合成サーバ２０のベース画像生成部２２、特徴付加部２３、モーフィング合成部２４は、それぞれの装置のメモリ（図示せず）に格納された所定のプログラムを、マイクロプロセッサなどが実行することにより実現される。
【００７７】
上記プログラムコードを供給するための記録媒体は、システムあるいは装置と分離可能に構成することができる。また、上記記録媒体は、プログラムコードを供給可能であるように固定的に担持する媒体であってもよい。そして、上記記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにシステムあるいは装置に装着されるものであっても、外部記憶装置としてシステムあるいは装置に接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。
【００７８】
例えば、上記記録媒体としては、磁気テープやカセットテープ等のテープ系、フロッピーディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７９】
また、上記プログラムコードは、コンピュータが記録媒体から読み出して直接実行できるように記録されていてもよいし、記録媒体から主記憶のプログラム記憶領域へ転送された後コンピュータが主記憶から読み出して実行できるように記録されていてもよい。
【００８０】
さらに、システムあるいは装置を通信ネットワーク（インターネット、イントラネット等を含む）と接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。
【００８１】
なお、プログラムコードを記録媒体から読み出して主記憶に格納するためのプログラム、および、通信ネットワークからプログラムコードをダウンロードするためのプログラムは、コンピュータによって実行可能にあらかじめシステムあるいは装置に格納されているものとする。
【００８２】
上述した機能は、コンピュータが読み出した上記プログラムコードを実行することによって実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うことによっても実現される。
【００８３】
さらに、上述した機能は、上記記録媒体から読み出された上記プログラムコードが、コンピュータに装着された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても実現される。
【００８４】
【発明の効果】
以上のように、本発明の画像合成方法は、２つの顔画像を取得する顔画像取得ステップと、上記２つの顔画像をモーフィング合成によって合成してベース画像を生成するベース画像生成ステップと、特徴顔画像を取得する特徴顔画像取得ステップと、上記特徴顔画像と上記ベース画像とをモーフィング合成によって合成して特徴付加画像を生成する特徴付加ステップと、を含む方法である。
【００８５】
また、本発明の画像合成装置は、２つの画像をモーフィング合成するモーフィング合成手段と、２つの顔画像を取得し、これらを上記モーフィング合成手段によって合成してベース画像を生成するベース画像生成手段と、特徴顔画像を取得し、当該特徴顔画像と上記ベース画像とを上記モーフィング合成手段によって合成して特徴付加画像を生成する特徴付加手段と、を備える構成である。
【００８６】
それゆえ、２つの顔画像をモーフィングによって合成するため、自然かつ精巧な顔画像を合成できる。また、ベース画像に特徴顔画像を合成するため、元の２つの顔画像にはない特徴を付加できる。
【００８７】
よって、男女カップルの顔画像から予想される子供の顔画像を生成し、誕生直後から老年に至るまでの任意の年齢の顔画像を生成するなどの顔画像合成処理が可能となる。したがって、上記のような顔画像合成処理を利用することにより娯楽性を向上させた体験型ゲーム等を実現することが可能となるという効果を奏する。
【００８８】
さらに、本発明の画像合成方法は、上記ベース画像生成ステップおよび／または上記特徴付加ステップに先立って、当該ステップにおいて合成する顔画像の特徴点を自動抽出する特徴点抽出ステップをさらに含む方法である。
【００８９】
また、さらに、本発明の画像合成装置は、上記モーフィング合成手段は、合成する顔画像の特徴点を自動抽出する特徴点抽出手段を具備する構成である。
【００９０】
それゆえ、さらに、操作機能に制限のある携帯電話等の機器からでも、上記の顔画像合成処理を快適に利用できるという効果を奏する。
【００９１】
さらに、本発明の画像合成方法は、上記ベース画像生成ステップおよび／または上記特徴付加ステップにおいて、合成する２つの顔画像の合成比率を顔の部位ごとに設定する方法である。
【００９２】
また、さらに、本発明の画像合成装置は、上記モーフィング合成手段は、合成する２つの顔画像の合成比率が顔の部位ごとに設定可能な構成である。
【００９３】
それゆえ、さらに、モーフィング合成の合成比率を顔の部位ごとに設定できるため、多様な顔画像を生成することが可能となるという効果を奏する。
【００９４】
さらに、本発明の画像合成装置は、上記特徴顔画像をあらかじめ格納した特徴顔画像データベースをさらに具備し、かつ、上記特徴付加手段が、上記特徴顔画像データベースより特徴顔画像を取得する構成である。
【００９５】
それゆえ、さらに、特徴付加手段が、指定された特徴に応じた特徴顔画像を特徴顔画像データベースから取得し、これをベース画像と合成することで、元の画像にはない特徴をベース画像に付加できるという効果を奏する。
【００９６】
さらに、本発明の画像合成方法は、上記顔画像取得ステップにおいて、上記顔画像を通信ネットワークを介して携帯端末より取得するとともに、上記特徴付加ステップにおいて、上記特徴付加画像を上記携帯端末へ送信する特徴付加画像送信ステップをさらに含む方法である。
【００９７】
また、さらに、本発明の画像合成装置は、上記画像合成装置は、通信ネットワークを介して携帯端末と接続されるとともに、上記ベース画像生成手段が顔画像を上記携帯端末より取得するものであり、かつ、上記特徴付加手段が生成した上記特徴付加画像を上記携帯端末へ送信する構成である。
【００９８】
また、本発明の画像合成システムは、上記画像合成装置と上記携帯端末とを含む構成である。
【００９９】
上記の方法および構成により、さらに、上記画像合成システムによれば、リアルな顔画像合成を利用することにより娯楽性を向上させた体験型ゲーム等を通信ネットワーク上で提供することが可能となるという効果を奏する。すなわち、通信ネットワークにおいてリアルな顔画像を使ったコンテンツ（例えば、子育てゲームのような育成型ゲーム等）を提供することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る顔画像合成システムの構成の概略を示す機能ブロック図である。
【図２】図１に示した顔画像合成システムにおける顔画像合成処理の概略を示すフローチャートである。
【図３】図１に示した顔画像合成システムを適用した子育てゲームにおいて、携帯端末に表示される画面例を示す説明図である。
【図４】図１に示した顔画像合成システムを適用した子育てゲームにおいて、携帯端末に表示される画面例を示す説明図である。
【図５】図１に示した顔画像合成システムを適用した子育てゲームにおいて、携帯端末に表示される画面例を示す説明図である。
【図６】図１に示した顔画像合成システムを適用した子育てゲームにおいて、携帯端末に表示される画面例を示す説明図である。
【符号の説明】
１　　画像合成システム
１０　　携帯端末
２０　　顔画像合成サーバ（画像合成装置）
２２　　ベース画像生成部（ベース画像生成手段）
２３　　特徴付加部（特徴付加手段）
２４　　モーフィング合成部（モーフィング合成手段）
２４ａ　特徴点抽出部（特徴点抽出手段）
２５　　特徴顔画像データベース
３０　　通信ネットワーク
Ａ，Ｂ　顔画像
Ｃ　　　ベース画像
Ｄ　　　特徴付加画像
Ｎ　　　特徴顔画像

Claims

２つの顔画像を取得する顔画像取得ステップと、
上記２つの顔画像をモーフィング合成によって合成してベース画像を生成するベース画像生成ステップと、
特徴顔画像を取得する特徴顔画像取得ステップと、
上記特徴顔画像と上記ベース画像とをモーフィング合成によって合成して特徴付加画像を生成する特徴付加ステップと、を含むことを特徴とする画像合成方法。
上記ベース画像生成ステップおよび／または上記特徴付加ステップに先立って、当該ステップにおいて合成する顔画像の特徴点を自動抽出する特徴点抽出ステップをさらに含むことを特徴とする請求項１に記載の画像合成方法。
上記ベース画像生成ステップおよび／または上記特徴付加ステップにおいて、合成する２つの顔画像の合成比率を顔の部位ごとに設定することを特徴とする請求項１または２に記載の画像合成方法。
上記顔画像取得ステップにおいて、上記顔画像を通信ネットワークを介して携帯端末より取得するとともに、
上記特徴付加ステップにおいて、上記特徴付加画像を上記携帯端末へ送信する特徴付加画像送信ステップをさらに含むことを特徴とする請求項１から３のいずれか１項に記載の画像合成方法。
２つの画像をモーフィング合成するモーフィング合成手段と、
２つの顔画像を取得し、これらを上記モーフィング合成手段によって合成してベース画像を生成するベース画像生成手段と、
特徴顔画像を取得し、当該特徴顔画像と上記ベース画像とを上記モーフィング合成手段によって合成して特徴付加画像を生成する特徴付加手段と、を備えることを特徴とする画像合成装置。
上記モーフィング合成手段は、合成する顔画像の特徴点を自動抽出する特徴点抽出手段を具備することを特徴とする請求項５に記載の画像合成装置。
上記モーフィング合成手段は、合成する２つの顔画像の合成比率が顔の部位ごとに設定可能であることを特徴とする請求項５または６に記載の画像合成装置。
上記特徴顔画像をあらかじめ格納した特徴顔画像データベースをさらに具備し、
かつ、上記特徴付加手段が、上記特徴顔画像データベースより特徴顔画像を取得するものであることを特徴とする請求項５から７のいずれか１項に記載の画像合成装置。
上記画像合成装置は、通信ネットワークを介して携帯端末と接続されるとともに、
上記ベース画像生成手段が顔画像を上記携帯端末より取得するものであり、
かつ、上記特徴付加手段が生成した上記特徴付加画像を上記携帯端末へ送信するものであることを特徴とする請求項５から８のいずれか１項に記載の画像合成装置。
請求項９に記載の画像合成装置と携帯端末とを含むことを特徴とする画像合成システム。