JP2015115741A - 画像管理装置、画像管理方法およびプログラム - Google Patents

Abstract

【課題】 ＳＮＳなどの顔情報が登録されている顔情報ＤＢから、顔情報が登録されていない顔画像を検出し、顔情報が登録されていない顔画像は、代替画像に変換することにより、顔情報を登録していない人物の個人情報を保護する。
【解決手段】
本発明は、複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置であって、撮像画像を受信する撮像画像受信手段と、前記撮像画像受信手段により受信した撮像画像に撮影された顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断手段と、前記顔画像一致判断手段により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換手段と、を有することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置で撮影された画像を管理する画像管理装置に関する。

近年のブログやＳＮＳでは、携帯端末や撮像装置で撮影された画像を、携帯端末や撮像装置に内蔵されている通信部により、Ｗｅｂサーバなどに簡単にアップロードし公開することが可能である。その携帯端末や撮像装置で撮影された画像には、撮影されている人の顔写真などが含まれることがあるが、撮影されている人（被写体人物）によっては、自分の顔が公開されることを望む人と望まない人がいる。

一方、ブログやＳＮＳでは、個人のプロフィールページで個人の顔写真をＷｅｂサーバに公開している場合がある。

また、特許文献１には、人物の写真画像を投稿する際に、投稿された画像を被写体の顔部分が本来の画像のイメージを損なわないように加工して公開する処理をユーザの負担を増やすことなく実施できる技術が開示されている。

特開２００９−２２３５００号公報

特許文献１の技術を利用すれば、写真画像に写っている人物を似顔絵にすることが可能であり、似顔絵にしない人物はその都度指定することにより、そのままの顔写真で公開することが可能である。

しかし、多数の人物が撮影されている写真で一人一人の顔写真をそのまま公開するか、似顔絵などの代用の情報にするかを指定する作業を携帯端末や撮像装置上で指定するのは煩わしい。また、顔写真をそのまま公開してよいかどうかを撮影されている人物全て対して確認を取ることは困難である。

本発明の目的は、上記課題を解決するものであり、ブログやＳＮＳなどの個人の情報紹介ページなどで顔写真が登録されているユーザの顔写真はそのまま公開し、顔写真が登録されていない顔である場合は代替画像で公開することにより、携帯端末や撮像装置からの写真投稿を容易にし、かつ顔情報を登録していないユーザは顔写真が公開されず、顔情報を登録していないユーザのプライバシーを保護できる点である。

上記課題を解決するために、本発明は、複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置であって、撮像画像を受信する撮像画像受信手段と、前記撮像画像受信手段により受信した撮像画像に撮影された顔画像を検出する顔画像検出手段と、前記顔画像検出手段により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断手段と、前記顔画像一致判断手段により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換手段と、を有することを特徴とする。

本発明によれば、携帯端末や撮像装置からの写真投稿を容易にし、かつ顔情報を登録していないユーザは顔写真が公開されず、顔情報を登録していないユーザのプライバシーを保護できるという効果を有する。

本発明の実施形態に係る画像管理システムのシステム構成を示すブロック図である。 本発明の実施形態に係る撮像装置２００のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像管理装置３００のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像管理システムのソフトウェア構成を示すブロック図である。 本発明の画像管理システムにおける画像管理処理の流れを説明するシーケンスチャートである。 本発明の画像管理装置における顔画像変換処理の流れを説明するフローチャートである。 本発明の画像管理装置における画像Ｗｅｂ登録処理の流れを説明するフローチャートである。 本発明の撮像装置２００のディスプレイ２１７に表示される画像管理装置へのログオンの画面イメージである。 本発明の撮像装置２００のディスプレイ２１７に表示されるメニューの画面イメージである。 本発明の撮像装置２００のディスプレイ２１７に表示される画像選択候補を表示した画面イメージである。 本発明の撮像装置２００のディスプレイ２１７に表示される撮影画像の一例を示す画面イメージである。 本発明の撮像装置２００のディスプレイ２１７に表示される撮影画像の一例を示す画面イメージである。 本発明の撮像装置２００のディスプレイ２１７に表示される顔画像を変換した撮影画像の一例を示す画面イメージである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図１を参照して、本発明を実施する画像管理システムのシステム構成について説明する。

図１は、本発明における画像管理装置３００（サーバ）と撮像装置２００（カメラ）との関係を説明した図で、撮像装置２００と画像管理装置３００は、Ｗｉ−Ｆｉや無線ＬＡＮ、携帯電話の３Ｇ回線などでつながっており、お互いに情報の送受信をすることができる。なお、撮像装置２００は必ずしも撮像専用ではなくてもよく、携帯端末や携帯電話が以下の図２の機能を有していてもよい。

次に、図２を参照して、本発明で利用する撮像装置２００のハードウェア構成について説明する。

図２は、本発明の実施携帯に係る撮像装置２００のハードウェア構成を示すブロック図である。

撮像装置２００は、いわゆるデジタルカメラから成り、撮影用のレンズ２０１、撮像素子（以下、「ＣＣＤ」と称する）２０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）２０３、画像処理部２０４、システムコントローラ２１０、バッファメモリ２１１、フラッシュＲＯＭ２１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）２１３、カードホルダ２１４、メモリカード２１５、ディスプレイドライバ２１６、および操作部２２０を備える。

レンズ２０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子２０２は、レンズ２０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。

カメラ信号処理部（ＡＤＣ）２０３は、撮像素子２０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ２１０は、画像処理部２０４、バッファメモリ２１１、フラッシュＲＯＭ２１２、Ｉ／Ｆ回路２１３、ディスプレイドライバ２１６、サウンドドライバ２１８、ＬＥＤドライバ２２８、および操作部２２０に接続されている

画像処理部２０４は、前処理部２０５、ＹＣ処理部２０６、電子ズーム処理部２０７、圧縮部２０８、および伸長部２０９を備え、カメラ信号処理部２０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部２０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部２０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部２０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部２０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。

電子ズーム処理部２０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

圧縮部２０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部２０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部２０８および伸長部２０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ２１１には、画像処理部２０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ２１２には、撮像装置２００の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路２１３は、システムコントローラ２１０から出力される画像データを、メモリカード２１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路２１３は、メモリカード２１５から読み出された画像データ等を、システムコントローラ２１０で処理可能なデータ形式に変換する。

カードホルダ２１４は、記録媒体であるメモリカード２１５を撮像装置２００に着脱可能にする機構を備えると共に、メモリカード２１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ２１４は、撮像装置２００で利用される記録媒体の種類に応じた構造を有する。メモリカード２１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ２１４に着脱可能なカード型の記録媒体である。メモリカード２１５には、撮像装置２００で撮影された画像データを記録することができる。

ディスプレイドライバ２１６は、システムコントローラ２１０から出力される画像データを液晶ディスプレイ２１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ２１６は、システムコントローラ２１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ２１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

サウンドドライバ２１８は、システムコントローラ２１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ２２８は、システムコントローラ２１０から出力される命令に従いランプ２２９の制御を行う。

操作部２２０は、電源スイッチ２２１、モードダイヤル２２２、撮影ボタン２２３、カーソルキー２２４、ズームボタン２２５、および閲覧（再生）ボタン２２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ２１０に出力する。なお、操作部２２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

モードダイヤル（選択ボタン）２２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル２２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル２２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。

閲覧ボタン２２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン２２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン２２６の押下に限定されず、液晶ディスプレイ２１７上のタッチパネル（不図示）などによる移行方法であってもよい。

閲覧モードでは、システムコントローラ２１０が、Ｉ／Ｆ回路２１３を介して、カードホルダ２１４に装着されているメモリカード２１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード２１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード２１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

メモリカード２１５から読み出された画像データは、Ｉ／Ｆ回路２１３およびシステムコントローラ２１０を介して、ディスプレイドライバ２１６へ入力される。ディスプレイドライバ２１６は、入力された画像データを液晶ディスプレイ２１７に表示させる。

カーソルキー２２４は、ユーザが撮像装置２００に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー２２４により、撮像装置２００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。

また、カーソルキー２２４により、液晶ディスプレイ２１７にメニュー画面や撮像装置２００に対して各種設定情報を設定するための画面を表示したり、撮像装置２００が有する所定の機能を選択したりすることができ、また、画面にキーボードや文字列を表示させて、カーソルキー２２４で選択することにより、文字を入力することもできる。

さらに、カーソルキー２２４により、撮像装置２００で撮影された画像データを液晶ディスプレイ２１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置２００で撮影した画像を、その直後に液晶ディスプレイ２１７に表示させる機能である。

なお、プレビュー表示については、液晶ディスプレイ２１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、カーソルキー２２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。

レンズ制御部２２７は、レンズ２０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置２００は、被写体を撮影して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。

なお、音声についてはマイクやスピーカを用いることで、撮像装置２００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部２０８および伸長部２０９で、映像と音声が多重化される。

また、撮像装置２００における撮影動作について図１を用いて説明する。まず、ユーザが電源スイッチ２２１を操作し、撮像装置２００の電源をＯＮにする。すると、撮像装置２００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置２００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。

撮像装置２００は、電源ＯＦＦ時に電源スイッチ２２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。

撮像装置２００が撮影モードに移行すると、光学画像がレンズ２０１を介して撮像装置２００内へ入射し、撮像素子（ＣＣＤ）２０２に結像される。ＣＣＤ２０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）２０３へ出力する。ＡＤＣ２０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ２０３から出力されるデジタル信号は画像処理部２０４に入力される。

画像処理部２０４内の前処理部２０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部２０４内のＹＣ処理部２０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。

色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部２０５およびＹＣ処理部２０６で画像処理を行う際は、画像データを一時的にバッファメモリ２１１に保存し、随時バッファメモリ２１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部２０４から出力される画像データ（非圧縮）はシステムコントローラ２１０に入力される。システムコントローラ２１０は、画像処理部２０４から出力される画像データを、ディスプレイドライバ２１６へ出力する。

ディスプレイドライバ２１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ２１７で表示可能なサイズに調整する。

また、ディスプレイドライバ２１６は、液晶ディスプレイ２１７に画像を表示させるよう制御する。このとき、液晶ディスプレイ２１７に表示される画像は、ＣＣＤ２０２、ＡＤＣ２０３、および画像処理部２０４で、連続的に信号処理されて生成される画像（スルー画像）である。

液晶ディスプレイ２１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン２２３を操作すると、システムコントローラ２１０は画像処理部２０４に制御信号を出力する。画像処理部２０４に制御信号が入力されると、圧縮部２０８は、前処理部２０５およびＹＣ処理部２０６で画像処理された画像データをバッファメモリ２１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ２１０およびディスプレイドライバ２１６を介して液晶ディスプレイ２１７に表示される。また、圧縮された画像データは、カードホルダ２１４を介してメモリカード２１５に記録される。

撮影ボタン２２３が操作される前にズームボタン２２５が操作されると、システムコントローラ２１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン２２５の操作後、撮影ボタン２２３が操作されると、拡大または縮小された画像の画像データがメモリカード２１５へ記録される。

書込み部２３０は、カーソルキー２２４により指示入力された設定情報を用いて、画像データに対して、書込みを行う。例えば、デジタルカメラの機種名や、撮影年月日、露出情報、撮影位置等が入力されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）に対して、書込み編集を行う。

通信部２４０は、Ｗｉ−Ｆｉや無線ＬＡＮ、携帯電話の３Ｇ回線などの無線通信を使って、外部の装置へ撮影情報や撮像装置２００の情報などを送信することができる。また通信部２４０は、外部の装置から情報を入手して、ディスプレイ２１７へ情報を表示し、ユーザからの操作部２２０への操作を受け付け、外部の装置へレスポンスすることができる。

次に、図３を参照して、本発明で利用する画像管理装置３００のハードウェア構成について説明する。

図３は、本発明の実施形態における画像管理装置（サーバ）３００に適用可能な情報処理装置のハードウェア構成図である。

図３において、３０１はＣＰＵで、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０３あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像管理を実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

３０２はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０３あるいは外部メモリ３１１からＲＡＭ３０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、３０５は入力コントローラで、キーボードやポインティングデバイス等の入力装置３０９からの入力を制御する。３０６はビデオコントローラで、ディスプレイ装置３１０等の表示器への表示を制御する。これらは必要に応じて操作者が使用するものである。

３０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。

また、外部メモリ３１１のハードディスク（ＨＤ）は、撮像装置２００から送信される撮像画像を受信し、記憶する大容量のメモリ領域を有している。

３０８は通信Ｉ／Ｆ（インタフェース）コントローラで、ネットワーク（例えば、無線ＬＡＮなど）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ３０１は、例えばＲＡＭ３０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置３１０上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ装置３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述するフローチャートに示す各ステップの処理は、コンピュータで読み取り実行可能なプログラムにより実行され、そのプログラムは外部メモリ３１１に記録されている。そして、必要に応じてＲＡＭ３０２にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ３１１に格納されており、これらについての詳細な説明も後述する。

次に、図４のソフトウェアブロック図を参照して、本発明のソフトウェア構成を説明する。

図４は、本発明の一実施形態を示すシステムのソフトウェア構成を示すソフトウェアブロック図の一例である。

撮像装置２００は、図２で説明した撮影機能を有する装置の例であり、ソフトウェアブロックとして撮像部４０１を有している。また、撮像装置２００は、撮影した撮影画像を画像管理装置３００などに送信する撮像画像送信部４０３を有しており、また、撮影した画像を加工したり送信したりするメニューを表示するメニュー表示部４０２を有する。

画像管理装置３００は、撮像装置などから撮影画像を受信する撮像画像受信部４１１と、受信した撮影画像から顔画像を検出する顔画像検出部４１２を有する。また、画像管理装置３００はＳＮＳのユーザプロファイルなどの顔情報を記憶した顔情報記憶部４１３を有しており、顔画像検出部４１２で検出した顔画像と顔情報記憶部４１３に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断部４１４も有している。

また、画像管理装置３００は、顔画像一致判断部４１４において、顔画像と特徴が一致する顔情報がないと判断された場合に、その顔画像を代替画像に変換する画像変換部４１５と、その変換された撮影画像をＷｅｂなどでコンテンツとして公開する公開処理部４１６を有している。また、画像管理装置３００に接続される撮像装置２００へ、顔画像変換メニューを送信して、撮像装置２００に表示制御するための顔画像変換メニュー表示制御部４１７を有している。

次に、図５のフローチャートを参照して、撮像装置が画像を撮影後、画像管理装置に登録される処理手順について説明する。

図５は、本発明の画像管理システムにおける画像管理処理の流れを説明するシーケンスチャートであり、撮像装置２００及び画像管理装置３００のそれぞれのシステムコントローラ（図２の２１０）及びＣＰＵ（図３の３０１）の制御の下、処理が実行される。なお、Ｓ５０１〜Ｓ５１２は各処理ステップを示す。

図５のシーケンスチャートは、撮像装置２００において撮影が行われると開始される処理になる（ステップＳ５０１）。

ステップＳ５０１において、画像が撮影されると、次に、撮像装置２００のシステムコントローラ２１０は、画像管理装置３００へログオンし画像を送信するため、ステップＳ５０２においてユーザからログオン操作を受け付ける。具体的には、ユーザからユーザアカウントとパスワードなどを取得する。ステップＳ５０２におけるログオンの画面イメージを図８を参照して説明する。

図８は、本発明の撮像装置２００のディスプレイ２１７に表示される画像管理装置へのログオンの画面イメージである。なお、このログオン画面８００は、撮像装置２００に内蔵されている画面を表示しても良いし、一旦画像管理装置から情報を取得後、取得した画面（たとえば、Ｗｅｂ画面など）をディスプレイ２１７に表示しても良い。

図８のログオン画面８００は、アカウント入力欄８０１と、パスワード入力欄８０２を有しており、ユーザによりアカウント入力欄８０１にユーザアカウント（ユーザＩＤなど）を、パスワード入力欄８０２にユーザアカウントに対応したパスワードが入力される。その後、ユーザによりログオンボタン８０３が押下されると、

なお、撮像装置にログオンアカウントやパスワードなどを登録しておいて、デフォルトで画像管理装置に接続できるようにしておいてもよい。通常、ログオン操作を受け付けるのは、ユーザが一連の撮影が終わった後だが、画像管理装置にログオンアカウントやパスワードなどをデフォルトで登録しておけば、１枚取るごとにログオンして画像データを送信しても良い。図５のフローチャートの説明に戻る。

次に、図５のステップＳ５０３において、画像管理装置３００のＣＰＵ３０１は、撮像装置２００がユーザから取得したログオンアカウントとパスワードを受信し、図示しない認証ＤＢから、ユーザアカウントとパスワードが一致するかを確認する。ユーザアカウントとパスワードが一致する場合は、次のステップＳ５０４へと処理を進める。

次に、ステップＳ５０４において、撮像装置２００のシステムコントローラ２１０は、ユーザにより選ばれる撮影画像を画像管理装置３００へ送信する。なお、ユーザにより撮像画像を選ぶ処理は公知の技術を用いる。たとえば、撮像装置２００のディスプレイ２１７に撮影した画像を順番に表示して、画像管理装置３００に送信する画像を選ばせても良いし、撮像装置２００のディスプレイ２１７に複数の撮像画像を表示して、タッチパネルになったディスプレイ２１７から選択させても良い。また、撮像画像にユニークな画像番号を対応させておき、その画像番号もしくは画像番号の範囲を入力させても良い。

撮像装置２００により選択された画像を、次のステップＳ５０５において、画像管理装置３００のＣＰＵ３０１は、ステップＳ５０４で選択され送信された撮像画像を受信し、画像管理装置３００の外部メモリ３１１に記憶する。

次に、ステップＳ５０６において、画像管理装置３００のＣＰＵ３０１は、撮像装置２００上に表示させるメニュー項目情報を撮像装置２００へ送信する。

送信されたメニュー項目情報を受信した撮像装置２００のシステムコントローラ２１０は、次のステップＳ５０７において、撮像装置２００のディスプレイ２１７にユーザの選択を促すメニュー画面を表示する。撮像装置２００のディスプレイ２１７に表示する画面イメージを図９を参照して説明する。

図９は、本発明の撮像装置２００のディスプレイ２１７に表示されるメニューの画面イメージである。なお、このログオン画面９００の内、顔画像変換メニュー９０１と画像Ｗｅｂ登録メニュー９０２以外のメニュー項目は、撮像装置２００に予め内蔵されているメニュー項目であり、顔画像変換メニュー９０１と画像Ｗｅｂ登録メニュー９０２のメニュー項目は、画像管理装置３００から受信した項目である。すなわち、撮像装置２００に内蔵されているメニュー項目と画像管理装置３００から取得したメニュー項目とを同じ画面に表示している。このことにより、ユーザは他のメニューと同様にシームレスに顔画像変換やＷｅｂへの登録が可能となる。

図９の９００は、ユーザが顔画像変換メニューボタン９０１を押下した直後のメニュー画面の例である。図５のフローチャートの説明に戻る。

図５のステップＳ５０７において、撮像装置２００のシステムコントローラ２１０は、メニュー画面９００を表示し、次のステップＳ５０８において、ユーザの入力を受け付ける。受け付けた入力メニューが顔画像変換メニューか、画像Ｗｅｂ登録メニューであれば、ステップＳ５０９へと処理を移行し、それ以外のメニューであれば、図示しない撮像装置２００が有する処理を実施する。

ステップＳ５０９へ処理を移行すると、画像管理装置３００のＣＰＵ３０１は、撮像装置２００から選択されたメニュー項目を受信し、次のステップＳ５１０でメニュー項目により分岐する。

ステップＳ５０８で選ばれたメニュー項目が顔画像変換メニューの場合は、ステップＳ５１１へと処理を移行し、Ｗｅｂ登録メニューの場合は、ステップＳ５１２へと処理を移行する。また、ステップＳ５０８で終了ボタンが押下されている場合は、一連の処理を終える。ステップＳ５１１の顔画像変換処理の詳細を図６を参照して説明する。

図６は、本発明の画像管理装置における顔画像変換処理の流れを説明するフローチャートであり、画像管理装置３００のＣＰＵ（図３の３０１）の制御の下、処理が実行される。なお、Ｓ６０１〜Ｓ６０６は各処理ステップを示す。

図６のフローチャートは、図５のステップＳ５１１の処理に到達すると開始される処理である。

まず、ステップＳ６０１において、画像管理装置３００のＣＰＵ３０１は、ステップＳ５０５で受信した撮影画像の内、どの撮影画像の顔を変換するのかの情報をユーザに選択させるため、画像選択候補表示画面を撮像装置２００に送信する。画像選択候補表示画面を受信した撮像装置２００は、ユーザにより顔画像を変換する撮影画像を選択される。撮像装置２００に送られる画像選択候補表示画面の例を図１０を参照して説明する。

図１０は、本発明の撮像装置２００のディスプレイ２１７に表示される画像選択候補を表示した画面イメージである。なお、この画面１０００に表示されている撮影画像１００６は、画像管理装置３００から画像データ全て受信して表示しても良いし、画像管理装置３００と撮像装置２００のどちらも撮影画像データは持っているので、画像に対応して付された画像番号のみを撮像装置に送信して、撮像画像１００６自体は撮像装置２００の画像データを使用して表示しても良い。

図１０の画像選択候補表示画面１０００には、ユーザに顔画像を変換する画像データを選択するよう促す文字が１００１に表示され、撮像画像１００６の中からユーザが１枚もしくは複数枚の撮影画像を選択することができる。画像選択候補表示画面１０００の例では、１００２の撮像画像をユーザが選択している状態である。この状態で選択ボタン１００３が押下されると、撮影画像１００２のみが選択されて、撮影画像１００２のみが顔画像変換対象の撮影画像となる。また、画像選択候補表示画面１０００の状態で全選択ボタン１００４が押下されると、撮影画像１００６の全ての撮像画像が顔画像変換対象となる。なお、キャンセルボタン１００５が押下されると、図６のフローチャートの処理を終了する。図６のフローチャートの説明に戻る。

ステップＳ６０１で撮像装置２００へ送信した画像選択候補表示画面１０００により、撮像装置２００で指定された選択画像を、次のステップＳ６０２で、画像管理装置３００のＣＰＵ３０１は、選択画像自体もしくは選択画像の画像番号として取得する。

ステップＳ６０２において、顔画像を変換する対象の撮影画像を取得・指定されると、次に、ステップＳ６０３において、画像管理装置３００のＣＰＵ３０１は、指定された撮影画像に撮影されている顔画像を検出します。顔画像の検出方法としては、たとえば、顔パーツ（目、鼻、口）の検出や、肌色検出、頭髪分布、シルエット（頭部、首の部分のくびれ、肩）からの検出などがあるが、これらにはこだわらない。

次に、ステップＳ６０４において、画像管理装置３００のＣＰＵ３０１は、画像管理装置３００が有する顔画像のデータである顔画像ＤＢから顔画像情報を取得する。この顔画像ＤＢは、たとえば、Ｆａｃｅｂｏｏｋ（登録商標）などのＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）に登録されているユーザプロファイルが有する顔画像情報などが良い。ＳＮＳのユーザプロファイルに顔情報を掲載していない人は、顔情報を公開したくない可能性が高く、またそもそもＳＮＳに登録していない人は、顔情報を公開してよいのかも分からないため、それらの顔画像を公開することは、個人情報保護上、リスクが高い。そのため、ＳＮＳに顔情報が登録されている人のみを顔画像を加工せずに公開し、それ以外の人は顔画像を加工して表示して、個人情報を保護する。なお、取得する顔画像情報はＳＮＳの全ての顔画像でもよいが、顔画像の一致不一致に時間がかかるようであれば、ステップＳ５０３で認証したユーザの関係するＳＮＳのグループ内の人のユーザプロファイルの顔画像のみを取得しても良い。

ステップＳ６０４において、顔画像情報を取得すると、次のステップＳ６０５において、それらの顔画像情報がと、顔の特徴がなどが一致している顔が撮像画像の中にあるかどうかを判断する。顔の特徴が一致する顔情報がない場合、ステップＳ６０６へと処理を移行し、顔の特徴が一致している顔情報がある場合は、ステップＳ６０６を実行せず、ステップＳ６０７へと処理を移行する。ここで撮影画像の顔画像と顔情報ＤＢの顔情報との特徴が一致しているかの判断は、たとえば、顔の外形、顔を形成する目、口、鼻、耳などのパーツの位置、形状、相互関係などを認識して数値化し、数値化された特徴をデータベースなどで照合して個人の識別をすることができる。

撮影画像の顔画像に、顔情報ＤＢの特徴が一致している顔情報がない場合は、ステップＳ６０６へと処理を移行し、ステップＳ６０６において、画像管理装置３００のＣＰＵ３０１は、顔情報と一致する画像がない顔画像に対して、顔が分からないような画像で上書きする。この処理により、顔情報が登録されていない、すなわち顔情報を公開していない被写体人物の顔は、そのまま公開されることがないという効果を有する。具体的に顔画像を上書きするイメージを図１１、図１２を参照して説明する。

図１１は、本発明の撮像装置２００のディスプレイ２１７に表示される撮影画像の一例を示す画面イメージである。

図１１の１１００には、人物像１１０１と人物像１１０２の２人が撮影されており、それぞれの人物の顔が顔情報ＤＢに登録されているかによって、１１００の顔画像を変換するか判断する。

たとえば、１１０１の人物の顔情報は、顔情報ＤＢに登録されており、１１０２の人物の顔情報は、顔情報ＤＢに登録されていない場合を考える。１１０１の人物の顔情報は顔情報ＤＢに登録されているので、そのままの画像で表示し、一方、１１０２の人物の顔情報は顔情報ＤＢに登録されていないので、別の画像により上書きされて表示される。顔画像が上書きされた画面イメージを図１２を参照して説明する。

図１２は、本発明の撮像装置２００のディスプレイ２１７に表示される撮影画像の一例を示す画面イメージであり、撮像画像の顔画像のうち、顔情報ＤＢに登録されていない顔画像を文字絵で上書き変換した例を示している。

図１２の１２００には、顔情報が登録されている人物像１１０１と、顔情報が登録されていない人物像１１０２とが撮影されていたため、顔情報が登録されていない顔画像である人物像１１０４には、上書きで文字絵を貼り付けている。この処理により、顔情報が登録されていない顔画像は、そのまま公開されることがないため、顔情報を登録していない人物の個人情報を保護できるという効果を有する。図６のフローチャートの説明に戻る。

ステップＳ６０５からステップＳ６０６までの処理を撮影画像の撮影された顔画像毎に繰り返し、全ての顔画像に対して、顔情報があるかを確認する。顔画像の確認と顔画像変換が終わると、次のステップＳ６０７へと処理を進める。

ステップＳ６０７へと処理を進めると、画像管理装置３００のＣＰＵ３０１は、変換した撮像画像を撮像装置２００へ送信する。送信された撮影画像を表示した表示イメージを図
１２を参照して説明する。

図１２の１２００には、顔情報が登録されていない人物像１１０４の顔画像を文字絵１２０１に変換された画像として、撮像装置２００のディスプレイ２１７に表示されている。この画面に保存ボタン１２０２とキャンセルボタン１２０３とが配置されており、保存ボタン１２０２が押下されると、撮像装置２００のシステムコントローラ２１０は、画像管理装置３００へ、顔変換画像１２００の画像を保存させる命令を送信する。

画像を保存する命令を受信した画像管理装置３００のＣＰＵ３０１は、次のステップＳ６０８で、ステップＳ６０７で送信した顔変換画像を画像管理装置３００の外部メモリ３１１に保存する。

以上で、図６の顔画像変換処理のフローチャートの説明を終える。

次に、ステップＳ５１２のＷｅｂ登録処理の詳細を図７を参照して説明する。

図７は、本発明の画像管理装置における画像Ｗｅｂ登録処理の流れを説明するフローチャートであり、画像管理装置３００のＣＰＵ（図３の３０１）の制御の下、処理が実行される。なお、Ｓ７０１〜Ｓ７０３は各処理ステップを示す。

図７のフローチャートは、図５のステップＳ５１２の処理に到達すると開始される処理である。

まず、ステップＳ７０１において、画像管理装置３００のＣＰＵ３０１は、図６のステップＳ６０８で保存した顔変換画像をＷｅｂに登録して公開するのか判断させるために、画像Ｗｅｂ登録画面を撮像装置２００に送信する。画像Ｗｅｂ登録画面を受信した撮像装置２００は、ユーザによりＷｅｂに登録して公開するのかを判断を受け付ける。撮像装置２００に送られる画像Ｗｅｂ登録画面の例を図１３を参照して説明する。

図１３は、本発明の撮像装置２００のディスプレイ２１７に表示される顔画像を変換した撮影画像の一例を示す画面イメージである。

図１３の１３００には、顔情報が登録されていない人物の顔画像を文字絵に変換された画像として、撮像装置２００のディスプレイ２１７に表示されており、また、この画面には、Ｗｅｂ登録ボタン１３０１とキャンセルボタン１３０２とが配置されている。この画面において、Ｗｅｂ登録ボタン１３０１が押下されると、撮像装置２００のシステムコントローラ２１０は、画像管理装置３００へ、顔変換画像１３００の画像をＷｅｂに登録させる命令を送信する。一方、キャンセルボタン１３０２が押下されると、Ｗｅｂ登録はしないという命令を送信する。図７のフローチャートの説明に戻る。

次に、図７のステップＳ７０２において、画像管理装置３００のＣＰＵ３０１は、撮像装置２００から受信したＷｅｂ登録するかどうかの情報により、処理を分ける。Ｗｅｂ登録をするという情報を受け取った場合は、ステップＳ７０３へと処理を進め、ステップＳ７０３において画像管理装置のＷｅｂ公開する領域に顔変換画像１３００を登録して、１枚の顔変換画像の処理を終える。一方、ステップＳ７０２において、Ｗｅｂ登録しないという情報を受け取った場合は、Ｗｅｂ公開する領域に顔変換画像１３００を登録せずに処理を終える。

以上で、図６の顔画像変換処理のフローチャートの説明を終え、図５のフローチャートの説明に戻る。

以上の図５のステップＳ５１１、すなわち図６の処理と、ステップＳ５１２、すなわち図７の処理とをＷｅｂに登録する回数だけ繰り返して、Ｗｅｂサーバに登録する画像を選択し、顔画像を変換する。なお、図６と図７の処理は、引き続いて行っても良く、またステップＳ６０２において、撮像装置から画像選択を受け付けると、ユーザへの確認のために撮像装置２００へ情報を送信することなく、画像管理装置３００側で自動的に顔画像ＤＢのデータと照合して、ステップＳ６０２で選択された画像全てに対して顔変換するかしないかを判断し、Ｗｅｂサーバへ登録しても良い。

以上の処理により、本発明の画像管理システムは、携帯端末や撮像装置からの写真投稿を容易にし、さらにＳＮＳなどの顔情報が登録されている顔情報ＤＢから、顔情報が登録されていない顔画像を検出し、顔情報が登録されていない顔画像は、代替画像に変換することにより、顔情報を登録していない人物の個人情報を保護できるという効果を有する。

上記実施形態では、画像管理装置と画像公開用のＷｅｂサーバとを共通の構成として説明したが、画像管理装置と画像公開用のＷｅｂサーバ構成は別の筐体としても良い。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図４、図５、図６に示す機能が外部からインストールされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。

プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

２００ 撮像装置
３００ 画像管理装置

Claims (5)

1. 複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置であって、
   撮像画像を受信する撮像画像受信手段と、
   前記撮像画像受信手段により受信した撮像画像に撮影された顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断手段と、
   前記顔画像一致判断手段により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換手段と、
   を有することを特徴とする画像管理装置。
2. 前記画像管理装置は、前記撮像画像をＷｅｂのコンテンツとして公開する公開処理手段を有し、
   前記公開処理手段は、前記画像変換手段により前記顔画像を代替画像に変換された撮像画像を、Ｗｅｂのコンテンツとして公開することを特徴とする請求項１に記載の画像管理装置。
3. 前記撮像画像を送信する撮像画像送信装置に対して、顔画像変換メニューを表示させる顔画像変換メニュー表示制御手段を有することを特徴とする請求項１または２に記載の画像管理装置。
4. 複数の顔情報を記憶する顔情報記憶手段を有する画像管理装置の画像管理方法であって、
   撮像画像を受信する撮像画像受信工程と、
   前記撮像画像受信工程により受信した撮像画像に撮影された顔画像を検出する顔画像検出工程と、
   前記顔画像検出工程により検出された顔画像と、前記顔情報記憶手段に記憶された顔情報との特徴が一致しているかを判断する顔画像一致判断工程と、
   前記顔画像一致判断工程により、前記複数の顔情報の中で前記顔画像と特徴が一致する顔情報がない場合、該顔画像を代替画像に変換する画像変換工程と、
   を有することを特徴とする画像管理方法。
5. 請求項４に記載された画像管理方法を実行するためのプログラム。

Images