WO2012131932A1 - 画像送信制御機能を含む情報処理装置 - Google Patents

Abstract

画像送信制御機能を含む情報処理装置は、話者の顔画像を撮像する撮像部と、撮像された画像を送信する送信部と、通信相手の装置において撮像された画像を受信する受信部と、前記受信した画像を表示する表示部と、通信相手の装置において顔画像が撮像されていない場合、前記撮像部により撮像された画像の送信を抑制する送信制御部とを備える。

Description

画像送信制御機能を含む情報処理装置

　本発明は、画像送信制御機能を含む情報処理装置に関する。

　近年、顔画像を送受信する情報処理装置の一例として、テレビ電話機能を含む携帯電話端末が普及している。

　このテレビ電話機能により、発呼者利用の携帯電話端末及び被呼者利用の携帯電話端末間において、音声情報と、カメラでリアルタイムに撮影（撮像）した画像情報とを双方向に送受信することが可能である。この結果、音声だけでは十分でない通信相手の状況を可視的に把握することができる。しかし、画像情報を双方向に送受信することに起因して、ネットワークを含む通信経路においては、広い伝送帯域が必要となる。

特開２００９－４９５９号公報 特開２００９－６０２７７号公報

　発呼者利用の携帯電話端末及び被呼者利用の携帯電話端末間において、テレビ電話により通話する場合、被呼者利用の携帯電話端末のカメラによって撮影された画像情報を発呼者利用の携帯電話端末のディスプレイに表示し、発呼者利用の携帯電話端末のカメラによって撮影された画像情報を被呼者利用の携帯電話端末のディスプレイに表示する。しかし、例えば、発呼者が別な作業をしていて、ディスプレイを見ていない状況においては、被呼者利用の携帯電話端末の画像情報は発呼者利用の携帯電話端末に送信する必要がない。

　特許文献には、携帯電話端末のカメラにより撮影した画像情報に基づいて顔認識処理を行い、顔認識できない場合は、音声通話モードに移行する技術を開示するものがある。この技術においては、通信相手の映像を見ようとしているにも関わらず、音声通話モードに移行するので、通信相手の映像を見ることができなくなってしまう。

　つまり、自端末で顔画像が撮像されているか否かに応じて、自端末の撮像画像の送信可否を制御している。そのため、風景、物などの顔画像を含まない画像を通信相手に送ることができない。

　本発明の課題は、テレビ電話機能と連携した効率的な画像送信制御を可能にする技術を提供することにある。

　上記課題を解決するために、本発明の情報処理装置は、話者の顔画像を撮像する撮像部と、撮像された画像を送信する送信部と、通信相手の装置において撮像された画像を受信する受信部と、前記受信した画像を表示する表示部と、通信相手の装置において顔画像が撮像されていない場合、前記撮像部により撮像された画像の送信を抑制する送信制御部とを備える。

　本発明によれば、不要な撮像画像の伝送及び可視表示を抑制して、消費電力を抑えることができる。さらには、通信リソースを有効に活用することができる。

　本発明の他の課題、特徴及び利点は、図面及び併記の請求の範囲とともに取り上げられる際に、以下に記載される発明を実施するための形態を読むことにより明らかになるであろう。

図１は本発明の一実施の形態の携帯電話端末を示す。 図２は本発明の一実施の形態の携帯電話端末の構成を示すブロック図。 図３は第１の画像送信制御処理を説明するための図。 図４Ａは第１の画像送信制御処理を説明するための状態遷移図。 図４Ｂは第１の画像送信制御処理を説明するための状態遷移図。 図５Ａは第１の画像送信制御処理を説明するためのフローチャート。 図５Ｂは第１の画像送信制御処理を説明するためのフローチャート。 図６は第２の画像送信制御処理を説明するための図。 図７Ａは第２の画像送信制御処理を説明するための状態遷移図。 図７Ｂは第２の画像送信制御処理を説明するための状態遷移図。 図８Ａは第２の画像送信制御処理を説明するためのフローチャート。 図８Ｂは第２の画像送信制御処理を説明するためのフローチャート。 図９は第３の画像送信制御処理を説明するための図。 図１０は第３の画像送信制御処理を説明するための図。

　以下、添付図面を参照して、本発明についてさらに詳細に説明する。図面には本発明の好ましい実施形態が示されている。しかし、本発明は、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されると解釈されてはならない。

　［携帯電話端末の構成］
　図１及び図２は本発明の一実施の形態における画像送信制御機能を含む携帯電話端末ＭＴの構成を示す。

　テレビ電話の発呼者（発信通話者）及び被呼者（着信通話者）が利用する携帯電話端末ＭＴは、制御機能部、通信機能部、情報入力機能部、情報表示機能部、情報指定機能部、情報保持機能部、及び撮像機能部などを備えていれば、ラップトップ型パーソナルコンピータなどの携帯情報端末であってもよい。

　この携帯電話端末ＭＴは、ハードウェア構成として、次の要素を含んでいる。つまり、制御機能部は、プロセッサとしてのＣＰＵ（Central Processing Unit）と、作業用メモリとしてのＲＡＭ（Random Access Memory）と、立ち上げのためのブートプログラムを格納したＲＯＭ（Read Only Memory）とを備える。

　通信機能部は、アンテナ１０と、無線送受信部１１と、マイクロホン１２と、スピーカ１３と、イヤレシーバ１４とを備える。また、情報入力機能部はテンキー２０及び各種機能ボタン（キー）２１，２２、情報表示機能部はディスプレイ３０、及び情報指定機能部はポインティング部４０及びカーソル送り部４１をそれぞれ備える。

　さらに、情報保持機能部はＯＳ（Operating System）、各種アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に保存する不揮発性のフラッシュメモリ５０、及び撮像機能部はカメラ６０をそれぞれ備える。

　後に詳述するテレビ電話機能と連携する画像送信制御機能を論理的に実現するには、携帯電話端末ＭＴにおいて、情報保持機能部のフラッシュメモリ５０に画像送信制御プログラムをアプリケーションプログラムとしてインストールしておくことにより、テレビ電話の発呼者及び被呼者からの要求、つまりテレビ電話ボタン２２による発信及びテレビ電話ボタン２２による応答をそれぞれ契機に、ＣＰＵがこの画像送信制御プログラムをＲＡＭに展開して実行する。

　画像送信制御プログラムは、制御機能部、通信機能部、情報入力機能部、情報表示機能部、情報指定機能部、情報保持機能部、及び撮像機能部などの上記ハードウェア構成要素と連携して、画像送信制御処理を遂行する。

　［動作］
　次に、図１及び図２に示す一実施の形態の携帯電話端末ＭＴにおけるテレビ電話機能と連携した画像送信制御機能について、関連図を併せ参照して説明する。

　テレビ電話の発呼者及び被呼者が利用する携帯電話端末ＭＴにおいては、通信相手端末で顔画像が撮像されているか否かに応じて、自端末における撮像画像の送信可否を制御することに特徴がある。

　［第１の画像送信制御処理］
　第１の画像送信制御処理においては、発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）が、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像に基づいて、Ａさんの顔認識不可の場合、Ａさん側端末ＭＴ（Ａ）から被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）に対して、画像送信抑止メッセージ「抑止ｍｓｇ」を送信する。この画像送信抑止メッセージ「抑止ｍｓｇ」を受信したＢさん側端末ＭＴ（Ｂ）では、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した画像を送信しないようにする。

　さらに、この状態で、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像において、顔認識可の場合、Ａさん側端末ＭＴ（Ａ）からＢさん側端末ＭＴ（Ｂ）に対して、画像送信抑止解除メッセージ「抑止解除ｍｓｇ」を送信する。この画像送信抑止解除メッセージ「抑止解除ｍｓｇ」を受信したＢさん側端末ＭＴ（Ｂ）では、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した画像の送信を再開する。

　図３は第１の画像送信制御処理の概要を時系列に示している。Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）のカメラ６０でそれぞれ撮影した画像情報を双方向に送受信（動画送受信）することにより、通信相手端末のディスプレイ（ＬＣＤ）３０に顔画像が表示される。

　Ｎｏ．２の状態においては、Ｎｏ．１の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外（ここでは、花）が撮影されているので、顔認識不可（顔認識ＮＧ）の場合である。顔認識不可の場合は、Ａさん側端末ＭＴ（Ａ）からＢさん側端末ＭＴ（Ｂ）に対して、画像送信抑止メッセージ「抑止ｍｓｇ」（以下、単に「抑止ｍｓｇ」と記載することもある）が送信される。この「抑止ｍｓｇ」を受信したＢさん側端末ＭＴ（Ｂ）においては、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した顔画像をＡさん側端末ＭＴ（Ａ）に送信しないように制御（送信停止）する。

　Ｎｏ．３の状態においては、Ｎｏ．２の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影されたＡさんの顔を認識した（顔認識ＯＫ）場合である。Ａさんの顔を認識した場合、Ａさん側端末ＭＴ（Ａ）から画像送信抑止解除メッセージ「抑止解除ｍｓｇ」（以下、単に「抑止解除ｍｓｇ」と記載することもある）が送信される。この「抑止解除ｍｓｇ」を受信したＢさん側端末ＭＴ（Ｂ）においては、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した顔画像をＡさん側端末ＭＴ（Ａ）へ送信する。したがって、双方向での画像送受信状態に戻る。

　Ｎｏ．４の状態においては、Ｎｏ．３の状態からの遷移として、Ｎｏ．２とは逆に、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０がＢさんの顔以外（ここでは、車）を撮影しているので、顔認識不可の場合である。この場合は、Ｂさん側端末ＭＴ（Ｂ）からＡさん側端末ＭＴ（Ａ）に対して「抑止ｍｓｇ」が送信される。この「抑止ｍｓｇ」を受信したＡさん側端末ＭＴ（Ａ）において、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像をＢさん側端末ＭＴ（Ｂ）に送信しないように制御する。

　Ｎｏ．５の状態においては、Ｎｏ．４の状態からの遷移として、更にＡさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外が撮影されているので、顔認識不可の場合である。Ａさんの顔認識不可の場合は、Ａさん側端末ＭＴ（Ａ）からＢさん側端末ＭＴ（Ｂ）に対して、「抑止ｍｓｇ」が送信される。この「抑止ｍｓｇ」を受信したＢさん側端末ＭＴ（Ｂ）においては、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した画像をＡさん側端末ＭＴ（Ａ）に送信しないように制御する。したがって、双方向での画像送受信停止状態になる。

　Ｎｏ．６の状態においては、Ｎｏ．５の状態からの遷移として、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影されたＢさんの顔が認識された場合である。この場合は、Ｂさん側端末ＭＴ（Ｂ）からＡさん側端末ＭＴ（Ａ）に「抑止解除ｍｓｇ」が送信される。これにより、「抑止解除ｍｓｇ」を受信したＡさん側端末ＭＴ（Ａ）においては、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像がＢさん側端末ＭＴ（Ｂ）に送信される。

　次に、図４Ａ及び図４Ｂに示す状態遷移図を参照して、第１の画像送信制御処理について詳述する。

　状態［０］は、初期状態であり、テレビ電話による通信（音声通話）を行っていないので、発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）及び被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）におけるカメラ６０及びディスプレイ（ＬＣＤ）３０は停止状態である。

　状態［１］は、自端末（例えば、Ａさん側端末ＭＴ（Ａ））のカメラ６０で撮影している画像を送信し、かつ通信相手端末（例えば、Ｂさん側端末ＭＴ（Ｂ））からの画像をディスプレイ３０に表示していない状態（画像送信、表示停止状態）である。

　状態［２］は、自端末のカメラ６０で撮影している画像を送信し、通信相手端末からの画像をディスプレイ３０に表示している状態（画像送信、表示中状態）である。

　状態［３］は、自端末のカメラ６０で撮影している画像を送信していない、かつ通信相手端末からの画像をディスプレイ３０に表示している状態（送信停止、表示中状態）である。

　状態［４］は、自端末のカメラ６０で撮影している画像を送信していない、かつ通信相手端末からの画像をディスプレイ３０に表示していない状態（送信停止、表示停止状態）である。

　状態［０］において、テレビ電話を開始すると、テレビ電話開始処理を行い、カメラ６０を起動し、自端末のカメラ６０で撮影した画像情報をテレビ電話の通信相手端末に送信することを開始し、状態［１］に遷移する。

　状態［１］において、テレビ電話を終了すると、自端末のカメラ６０で撮影している画像を送信停止し、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［１］において、自端末のカメラ６０で撮影している画像が顔認識不可になると、通信相手端末に対して画像送信抑止メッセージ「抑止ｍｓｇ」を送信し、状態［１］に留まる。

　状態［１］において、自端末のカメラ６０で撮影している画像が顔認識可能になると、通信相手端末に対して画像送信抑止解除メッセージ「抑止解除ｍｓｇ」を送信し、状態［１］に留まる。

　状態［１］において、通信相手端末から「抑止ｍｓｇ」を受信すると、自端末のカメラ６０で撮影している画像を送信停止し、状態［４］に遷移する。

　状態［１］において、通信相手端末からの画像を受信すると、ディスプレイ３０に通信相手端末からの画像を表示し、状態［２］に遷移する。

　状態［２］において、通信相手端末からの画像を受信しなくなると、ディスプレイ３０の表示を停止し、状態［１］に遷移する。

　状態［２］において、自端末のカメラ６０で撮影している画像が顔認識不可になると、通信相手端末に対して「抑止ｍｓｇ」を送信し、状態［２］に留まる。

　状態［２］において、自端末のカメラ６０で撮影している画像が顔認識可能になると、通信相手端末に対して「抑止解除ｍｓｇ」を送信し、状態［２］に留まる。

　状態［２］において、通信相手端末から「抑止ｍｓｇ」を受信すると、自端末のカメラ６０で撮影している画像を送信停止し、状態［３］に遷移する。

　状態［２］において、テレビ電話を終了すると、自端末のカメラ６０で撮影している画像を送信停止し、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［３］において、通信相手端末からの画像を受信しなくなると、ディスプレイ３０の表示を停止し、状態［４］に遷移する。

　状態［３］において、自端末のカメラ６０で撮影している画像が顔認識不可になると、通信相手端末に対して「抑止ｍｓｇ」を送信し、状態［３］に留まる。

　状態［３］において、自端末のカメラ６０で撮影している画像が顔認識可能になると、通信相手端末に対して「抑止解除ｍｓｇ」を送信し、状態［３］に留まる。

　状態［３］において、通信相手端末から「抑止解除ｍｓｇ」を受信すると、自端末のカメラ６０で撮影している画像を送信再開し、状態［２］に遷移する。

　状態［３］において、テレビ電話を終了すると、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［４］において、通信相手端末からの画像を受信すると、ディスプレイ３０に通信相手端末からの画像を表示し、状態［３］に遷移する。

　状態［４］において、自端末のカメラ６０で撮影している画像が顔認識不可になると、通信相手端末に対して「抑止ｍｓｇ」を送信し、状態［４］に留まる。

　状態［４］において、自端末のカメラ６０で撮影している画像が顔認識可能になると、通信相手端末に対して「抑止解除ｍｓｇ」を送信し、状態［４］に留まる。

　状態［４］において、通信相手端末から「抑止解除ｍｓｇ」を受信すると、自端末のカメラ６０で撮影している画像を送信再開し、状態［１］に遷移する。

　状態［４］において、テレビ電話を終了すると、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　次に、図５Ａ及び図５Ｂに示すフローチャートを参照して、第１の画像送信制御処理について詳述する。

　発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）及び被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）間でテレビ電話が開始されると、［Ｓ１］カメラ撮影を開始し、撮影した画像をテレビ電話の通信相手端末に対して送信する。［Ｓ２］通信相手端末からの画像を受信しているかを確認する。通信相手端末からの画像を受信している場合は、ステップＳ３へ行き、受信していない場合は、ステップＳ１２へ行く。［Ｓ３］通信相手端末からの画像を受信しているため、受信画像をディスプレイ３０に表示する。

　［Ｓ４］自端末のカメラ６０で撮影している画像において、顔認識しているか確認する。顔認識していれば、ステップＳ５へ行き、顔認識できなければ、ステップＳ１９へ行く。［Ｓ５］通信相手端末に対して、「抑止ｍｓｇ」を送信しているかを確認する。「抑止ｍｓｇ」を送信していれば、ステップＳ２０へ行き、「抑止ｍｓｇ」を送信していなければ、ステップＳ６へ行く。［Ｓ６］通信相手端末から「抑止ｍｓｇ」を受信しているかを確認する。「抑止ｍｓｇ」を受信していれば、ステップＳ２１へ行き、「抑止ｍｓｇ」を受信していなければ、Ｓ７へ行く。

　［Ｓ７］通信相手端末から「抑止解除ｍｓｇ」を受信しているかを確認する。「抑止解除ｍｓｇ」を受信していれば、ステップＳ２２へ行き、「抑止解除ｍｓｇ」を受信していなければ、Ｓ８へ行く。［Ｓ８］テレビ電話終了かを確認する。テレビ電話終了であれば、ステップＳ９へ行き、テレビ電話終了でなければ、ステップＳ２へ行く。［Ｓ９］画像送信中かどうかを確認する。送信中であれば、ステップＳ１０へ行き、送信中でなければ、ステップＳ１１へ行く。

　［Ｓ１０］送信していた自端末のカメラ６０で撮影していた画像の送信を停止する。［Ｓ１１］ディスプレイ３０の表示を停止し、カメラ６０を停止し、テレビ電話を終了する。［Ｓ１２］ディスプレイ３０の表示を停止する。［Ｓ１３］通信相手端末からの画像を受信しているかを確認する。受信していれば、ステップＳ２３へ行き、受信していなければ、ステップＳ１４へ行く。

　［Ｓ１４］自端末のカメラ６０で撮影している画像において、顔認識しているか確認する。顔認識していれば、ステップＳ１５へ行き、顔認識できなければ、ステップＳ２４へ行く。［Ｓ１５］通信相手端末に対して、「抑止ｍｓｇ」を送信しているかを確認する。「抑止ｍｓｇ」を送信していれば、ステップＳ２５へ行き、「抑止ｍｓｇ」を送信していなければ、ステップＳ１６へ行く。［Ｓ１６］通信相手端末から「抑止ｍｓｇ」を受信しているかを確認する。「抑止ｍｓｇ」を受信していれば、ステップＳ２６へ行き、「抑止ｍｓｇ」を受信していなければ、Ｓ１７へ行く。

　［Ｓ１７］通信相手端末から「抑止解除ｍｓｇ」を受信しているかを確認する。「抑止解除ｍｓｇ」を受信していれば、ステップＳ２７へ行き、「抑止解除ｍｓｇ」を受信していなければ、Ｓ１８へ行く。［Ｓ１８］テレビ電話終了かを確認する。テレビ電話終了であれば、ステップＳ９へ行き、テレビ電話終了でなければ、ステップＳ１３へ行く。
［Ｓ１９］通信相手端末に対して「抑止ｍｓｇ」を送信する。

　［Ｓ２０］通信相手端末に対して「抑止解除ｍｓｇ」を送信する。［Ｓ２１］自端末のカメラ６０で撮影している画像を通信相手端末に対して送信停止する。［Ｓ２２］自端末のカメラ６０で撮影している画像を通信相手端末に対して送信する。［Ｓ２３］通信相手端末から受信している画像をディスプレイ３０に表示する。

　［Ｓ２４］通信相手端末に対して「抑止ｍｓｇ」を送信する。［Ｓ２５］通信相手端末に対して「抑止解除ｍｓｇ」を送信する。
［Ｓ２６］自端末のカメラ６０で撮影している画像を通信相手端末に対して送信停止する。［Ｓ２７］自端末のカメラ６０で撮影している画像を通信相手端末に対して送信する。

　［第２の画像送信制御処理］
　第２の画像送信制御処理においては、被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）において、発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）がＢさん側端末ＭＴ（Ｂ）の画像情報を参照しているか否かをＢさん側端末ＭＴ（Ｂ）で受信している画像情報を顔認識することで確認する。このとき、Ａさん側端末ＭＴ（Ａ）がディスプレイを参照していないと判断できた場合、Ｂさん側端末ＭＴ（Ｂ）側のカメラで撮影している画像情報をＡさん側端末ＭＴ（Ａ）に送信しないことで、相互に特殊なインタフェースを介さず、無駄な画像情報を伝送しないようにする。

　図６は第２の画像送信制御処理の概要を時系列に示している。Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）のカメラ６０でそれぞれ撮影した画像情報を双方向に送受信（動画送受信）することにより、通信相手端末のディスプレイ（ＬＣＤ）３０に顔画像が表示される。

　Ｎｏ．２の状態においては、Ｎｏ．１の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外（ここでは、花）が撮影されている。Ｂさん側端末ＭＴ（Ｂ）においては、Ａさん側端末ＭＴ（Ａ）から受信した画像に基づいて、Ａさんの顔認識ができない。この顔認識不可（顔認識ＮＧ）の場合、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した顔画像をＡさん側端末ＭＴ（Ａ）に送信しないように制御（送信停止）する。

　Ｎｏ．３の状態においては、Ｎｏ．２の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔が撮影されている。Ｂさん側端末ＭＴ（Ｂ）においては、Ａさん側端末ＭＴ（Ａ）から受信した画像に基づいて、Ａさんの顔認識ができる。この顔認識可能（顔認識ＯＫ）の場合、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影した顔画像をＡさん側端末ＭＴ（Ａ）に送信する。したがって、双方向での画像送受信状態に戻る。

　Ｎｏ．４の状態においては、Ｎｏ．３の状態からの遷移として、Ｎｏ．２とは逆に、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で、Ｂさんの顔以外（ここでは、車）が撮影されている。この場合は、Ａさん側端末ＭＴ（Ａ）においては、Ｂさん側端末ＭＴ（Ｂ）から受信した画像から顔認識ができないので、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した顔画像をＢさん側端末ＭＴ（Ｂ）に送信しないように制御する。

　Ｎｏ．５の状態においては、Ｎｏ．４の状態からの遷移として、更にＡさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外が撮影されている。この場合、Ａさん側端末ＭＴ（Ａ）において、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像が顔認識できない状態となる。このため、画像については双方向停止している状態と判断し、音声通話へのベアラ切替えを行い、Ｎｏ．６の状態で示す音声通話中状態とする。

　次に、図７Ａ及び図７Ｂに示す状態遷移図を参照して、第２の画像送信制御処理について詳述する。

　状態［０］は、初期状態であり、テレビ電話による通信（音声通話）を行っていないので、発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）及び被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）におけるカメラ６０及びディスプレイ３０は停止状態である。

　状態［１］は、自端末（例えば、Ａさん側端末ＭＴ（Ａ））のカメラ６０で撮影している画像を送信し、かつ通信相手端末（例えば、Ｂさん側端末ＭＴ（Ｂ））からの画像をディスプレイ（ＬＣＤ）３０に表示していない画像未受信状態である。

　状態［２］は、自端末のカメラ６０で撮影している画像を送信し、通信相手端末からの画像をディスプレイ３０に表示している双方向通信状態である。

　状態［３］は、自端末のカメラ６０で撮影している画像を送信していない、かつ通信相手端末からの画像をディスプレイ３０に表示している画像送信停止状態である。

　状態［４］は、音声通話中状態であり、自端末及び通信相手端末におけるカメラ６０及びディスプレイ３０は停止状態である。

　状態［０］において、テレビ電話を開始すると、テレビ電話開始処理を行い、カメラ６０を起動し、自端末のカメラ６０で撮影した画像情報をテレビ電話の通信相手端末に送信することを開始し、状態［１］に遷移する。

　状態［１］において、テレビ電話を終了すると、自端末のカメラ６０で撮影している画像を送信停止し、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［１］において、通信相手端末からの画像を受信すると、通信相手端末からの画像を自端末のディスプレイ３０に表示し、状態［２］に遷移する。

　状態［１］において、自端末において手動、あるいは通信相手端末からベアラ切替えにより、音声通話に変更すると、音声通話を開始し、自端末のカメラ６０で撮影していた画像の送信を停止し、カメラ６０を停止し、状態［４］に遷移する。

　状態［２］において、通信相手端末からの画像を受信しなくなると、ディスプレイ３０を表示停止し、状態［１］に遷移する。

　状態［２］において、通信相手端末から受信している画像において、顔認識することができないと（顔認識不可であると）、自端末のカメラ６０で撮影している画像を通信相手端末に対して送信停止し、状態［３］に遷移する。

　状態［２］において、自端末において手動あるいは、通信相手端末からベアラ切替えにより、音声通話に変更すると、音声通話を開始し、自端末のカメラ６０で撮影していた画像の送信を停止し、カメラ６０を停止し、ディスプレイ３０を表示停止し、状態［４］に遷移する。

　状態［２］において、テレビ電話を終了すると、自端末のカメラ６０で撮影している画像を送信停止し、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［３］において、通信相手端末から受信している画像で、顔認識することができると、自端末のカメラ６０で撮影している画像を通信相手端末に対して送信（画像送信再開）し、状態［２］に遷移する。

　状態［３］において、通信相手端末からの画像を受信しなくなると、ディスプレイ３０の表示を停止し、状態［１］に遷移する。

　状態［３］において、自端末において手動、あるいは通信相手端末からベアラ切替えにより、音声通話に変更すると、音声通話を開始し、カメラ６０を停止し、ディスプレイ３０を停止し、状態［４］に遷移する。

　状態［３］において、一定時間以上、自端末のカメラ６０で撮影した画像で、顔認識することができないと、ディスプレイ３０の表示を停止し、カメラ６０を停止し、音声通話を開始し、状態［４］に遷移する。

　状態［３］において、テレビ電話を終了すると、ディスプレイ３０を表示停止し、カメラ６０を停止し、テレビ電話終了処理を行い、状態［０］に遷移する。

　状態［４］において、自端末において手動、あるいは通信相手端末からベアラ切替えにより、テレビ電話に変更すると、音声通話を終了し、自端末のカメラ６０を起動し、自端末のカメラ６０で撮影していた画像を送信し、状態［１］に遷移する。

　状態［４］において、音声通話を終了すると、音声通話終了処理を行い、状態［０］に遷移する。

　次に、図８Ａ及び図８Ｂに示すフローチャートを参照して、第２の画像送信制御処理について詳述する。

　発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）及び被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）間でテレビ電話が開始されると、［Ｓ３１］カメラ撮影を開始し、撮影した画像をテレビ電話の通信相手端末に対して送信する。［Ｓ３２］通信相手端末からの画像を受信しているかを確認する。通信相手端末からの画像を受信している場合は、ステップＳ３３へ行き、受信していない場合は、ステップＳ４０へ行く。［Ｓ３３］通信相手端末からの画像を受信しているため、受信した画像をディスプレイ３０に表示する。

　［Ｓ３４］通信相手端末からの画像について、顔認識しているか確認する。顔認識可能であれば、ステップＳ３５へ行き、顔認識できなければ、ステップＳ３７へ行く。［Ｓ３５］音声通話への切替えが行われているかを確認する。音声通話への切替えが行われていれば、ステップＳ４４へ行き、音声通話への切替えが行われていなければ、ステップＳ３６へ行く。［Ｓ３６］テレビ電話終了かを確認する。テレビ電話終了であれば、ステップＳ４７へ行き、テレビ電話終了でなければ、ステップＳ５８へ行く。

　［Ｓ３７］自端末のカメラ６０で撮影した画像について、通信相手端末への画像送信を停止する。［Ｓ３８］自端末のカメラ６０で撮影した画像において、一定時間顔認識可能かを確認する。顔認識可能であれば、ステップＳ３９へ行き、顔認識不可であれば、ステップＳ４５へ行く。［Ｓ３９］音声通話への切替えが行われているかを確認する。音声通話への切替えが行われていれば、ステップＳ４５へ行き、音声通話への切替えが行われていなければ、ステップＳ５７へ行く。

　［Ｓ４０］通信相手端末からの画像を受信していないため、ディスプレイ３０の表示を停止する。［Ｓ４１］通信相手端末からの画像を受信しているかどうかを確認する。通信相手端末からの画像を受信している場合は、ステップＳ５０へ行き、通信相手端末からの画像を受信していない場合は、ステップＳ４２へ行く。［Ｓ４２］音声通話への切替えが行われているかを確認する。音声通話への切替えが行われていれば、ステップＳ５１へ行き、音声通話への切替えが行われていなければ、ステップＳ４３へ行く。

　［Ｓ４３］テレビ電話終了かを確認する。テレビ電話終了であれば、ステップＳ４９へ行き、テレビ電話終了でなければ、ステップＳ４１へ行く。［Ｓ４４］自端末のカメラ６０で撮影した画像について、通信相手端末への送信を停止する。［Ｓ４５］ディスプレイ３０の表示を停止する。［Ｓ４６］カメラ６０を停止する。

　［Ｓ４７］自端末のカメラ６０で撮影した画像について、通信相手端末への送信を停止する。［Ｓ４８］ディスプレイ３０の表示を停止する。［Ｓ４９］カメラ６０を停止する。［Ｓ５０］通信相手端末からの画像をディスプレイ３０に表示する。［Ｓ５１］自端末のカメラ６０で撮影した画像について、通信相手端末への送信を停止する。

　［Ｓ５２］音声通話を開始する。［Ｓ５３］テレビ電話への切替えが行われているかを確認する。テレビ電話への切替えが行われていれば、ステップＳ５５へ行き、テレビ電話への切替えが行われていなければ、ステップＳ５４へ行く。［Ｓ５４］音声通話終了かを確認する。音声通話終了であれば、ステップＳ５６へ行き、音声通話終了でなければ、ステップＳ５２へ行く。［Ｓ５５］音声通話終了処理を行う。［Ｓ５６］音声通話終了処理を行う。

　［Ｓ５７］テレビ電話終了かを確認する。テレビ電話終了であれば、ステップＳ４８へ行き、テレビ電話終了でなければ、ステップＳ３２へ行く。［Ｓ５８］自分の画像送信停止中かを確認する。画像送信停止中であれば、ステップＳ５９へ行き、画像送信停止中でなければ、ステップＳ３２へ行く。［Ｓ５９］自端末のカメラ６０で撮影した画像について、通信相手端末への送信を開始する。

　［第３の画像送信制御処理］
　図９は第３の画像送信制御処理の第１概要を時系列に示している。

　この第３の画像送信制御処理の第１概要において、発呼者利用の携帯電話端末（Ａさん側端末）ＭＴ（Ａ）は、上述した第２の画像送信制御処理機能を有し、被呼者利用の携帯電話端末（Ｂさん側端末）ＭＴ（Ｂ）は、上述した第２の画像送信制御処理機能を有しない場合である。

　Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）のカメラ６０でそれぞれ撮影した画像情報を双方向に送受信（動画送受信）することにより、通信相手端末のディスプレイ（ＬＣＤ）３０に顔画像が表示される。

　このＮｏ．１の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［２］に対応する。また、Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３１からステップＳ３２、Ｓ３３、Ｓ３４、Ｓ３５、Ｓ３６、Ｓ５８を経由し、ステップＳ３２に戻るループの処理を繰り返す。

　Ｎｏ．２の状態においては、Ｎｏ．１の状態からの遷移として、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で、Ｂさんの顔以外（ここでは、車）が撮影されている。Ａさん側端末ＭＴ（Ａ）においては、Ｂさん側端末ＭＴ（Ｂ）から受信した画像に基づいて、Ｂさんの顔認識ができない。この顔認識不可（顔認識ＮＧ）の場合、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した顔画像をＢさん側端末ＭＴ（Ｂ）に送信しないように制御（送信停止）する。

　このＮｏ．２の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［１］，［３］に対応する。また、Ｎｏ．２の状態においては、Ａさん側端末ＭＴ（Ａ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３２からステップＳ３３、Ｓ３４、Ｓ３７、Ｓ３８、Ｓ３９、Ｓ５７を経由し、ステップＳ３２に戻るループの処理を繰り返す。また、Ｂさん側端末ＭＴ（Ｂ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３２からステップＳ４０、Ｓ４１、Ｓ４２、Ｓ４３を経由し、ステップＳ４１に戻るループの処理を繰り返す。

　Ｎｏ．３の状態においては、Ｎｏ．２の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外が撮影されている。この場合、Ａさん側端末ＭＴ（Ａ）において、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像が顔認識できない状態となる。このため、画像については双方向停止している状態と判断し、音声通話へのベアラ切替えを行い、Ｎｏ．４の状態で示す音声通話中状態とする。

　このＮｏ．３の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［３］から状態［４］への過渡状態［※］に対応する。また、Ｎｏ．４の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［４］に対応する。

　Ｎｏ．３からＮｏ．４においては、Ａさん側端末ＭＴ（Ａ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３８からステップＳ４５、Ｓ４６、Ｓ５２、Ｓ５３、Ｓ５４を経由し、ステップＳ５２に戻るループの処理を繰り返す。また、Ｂさん側端末ＭＴ（Ｂ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ４２からステップＳ５１、Ｓ４６、Ｓ５２、Ｓ５３、Ｓ５４を経由し、ステップＳ５２に戻るループの処理を繰り返す。

　図１０は第３の画像送信制御処理の第２概要を時系列に示している。

　この第３の画像送信制御処理の第２概要において、Ａさん側端末ＭＴ（Ａ）は、上述した第２の画像送信制御処理機能を有し、Ｂさん側端末ＭＴ（Ｂ）は、上述した第２の画像送信制御処理機能を有しない場合である。

　Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）のカメラ６０でそれぞれ撮影した画像情報を双方向に送受信（動画送受信）することにより、通信相手端末のディスプレイ（ＬＣＤ）３０に顔画像が表示される。

　このＮｏ．１の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［２］に対応する。また、Ｎｏ．１の状態においては、Ａさん側端末ＭＴ（Ａ）及びＢさん側端末ＭＴ（Ｂ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３１からステップＳ３２、Ｓ３３、Ｓ３４、Ｓ３５、Ｓ３６、Ｓ５８を経由し、ステップＳ３２に戻るループの処理を繰り返す。

　Ｎｏ．２の状態においては、Ｎｏ．１の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外（ここでは、車）が撮影されている。Ｂさん側端末ＭＴ（Ｂ）においては、本発明の一実施の形態の画像送信制御機能を搭載していないので、Ａさん側端末ＭＴ（Ａ）から受信したＡさんの顔以外の画像はそのまま表示され、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で撮影したＢさんの顔画像はそのままＡさん側端末ＭＴ（Ａ）に送信される。

　このＮｏ．２におけるＡさん側端末ＭＴ（Ａ）の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［２］に対応する。また、Ｎｏ．２の状態においては、Ａさん側端末ＭＴ（Ａ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３１からステップＳ３２、Ｓ３３、Ｓ３４、Ｓ３５、Ｓ３６、Ｓ５８を経由し、ステップＳ３２に戻るループの処理を繰り返す。

　Ｎｏ．３の状態においては、Ｎｏ．２の状態からの遷移として、Ｂさん側端末ＭＴ（Ｂ）のカメラ６０で、Ｂさんの顔以外（ここでは、車）が撮影されている。この場合は、Ａさん側端末ＭＴ（Ａ）においては、Ｂさん側端末ＭＴ（Ｂ）から受信した画像から顔認識ができないので、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像をＢさん側端末ＭＴ（Ｂ）に送信しないように制御（送信停止）する。

　このＮｏ．３におけるＡさん側端末ＭＴ（Ａ）の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［３］に対応する。また、Ｎｏ．３の状態においては、Ａさん側端末ＭＴ（Ａ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３２からステップＳ３３、Ｓ３４、Ｓ３７、Ｓ３８、Ｓ３９、Ｓ５７を経由し、ステップＳ３２に戻るループの処理を繰り返す。

　Ｎｏ．４の状態においては、Ｎｏ．３の状態からの遷移として、Ａさん側端末ＭＴ（Ａ）のカメラ６０で、Ａさんの顔以外が撮影されている。この場合、Ａさん側端末ＭＴ（Ａ）において、Ａさん側端末ＭＴ（Ａ）のカメラ６０で撮影した画像が顔認識できない状態となる。このため、画像については双方向停止している状態と判断し、音声通話へのベアラ切替えを行い、Ｎｏ．５の状態で示す音声通話中状態とする。

　このＮｏ．４の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［３］から状態［４］への過渡状態［※］に対応する。また、Ｎｏ．５の状態は、第２の画像送信制御処理の図７Ａ及び図７Ｂに示す状態遷移図中の状態［４］に対応する。

　Ｎｏ．４からＮｏ．５においては、Ａさん側端末ＭＴ（Ａ）は、図８Ａ及び図８Ｂに示すフローチャートにおけるステップＳ３８からステップＳ４５、Ｓ４６、Ｓ５２、Ｓ５３、Ｓ５４を経由し、ステップＳ５２に戻るループの処理を繰り返す。

　［変形例］
　上述した一実施の形態における処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの記録媒体、さらには通信回線を経て提供可能である。

　さらに、上述した一実施の形態における各処理は、その任意の複数または全てを選択し組合せて実施することもできる。

ＭＴ　　　　　携帯電話端末
ＭＴ（Ａ）　　携帯電話端末
ＭＴ（Ｂ）　　携帯電話端末
３０　　　　　ディスプレイ（ＬＣＤ）
６０　　　　　カメラ

Claims (7)

1. 　話者の顔画像を撮像する撮像部と、
   　撮像された画像を送信する送信部と、
   　通信相手の装置において撮像された画像を受信する受信部と、
   　前記受信した画像を表示する表示部と、
   　通信相手の装置において顔画像が撮像されていない場合、前記撮像部により撮像された画像の送信を抑制する送信制御部と、
   を備えることを特徴とする情報処理装置。
2. 　前記通信相手の装置において顔画像が撮像されていない場合、前記通信相手の装置から送信される第１の制御信号を受信する第１の制御信号受信部を更に備え、
   　前記送信制御部における、前記通信相手の装置において顔画像が撮像されていない場合とは、前記第１の制御信号を受信した場合である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 　前記第１の制御信号を送信した後の前記通信相手の装置において顔画像が撮像された場合、前記通信相手の装置から送信される第２の制御信号を受信する第２の制御信号受信部を更に備え、
   　前記第２の制御信号を受信した場合、前記送信制御部は前記撮像部により撮像された画像の送信に対する抑制を解除する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 　自装置が有する前記撮像部により撮像された画像において顔画像が含まれていることを検知する顔検知部と、
   　前記撮像された画像において顔画像が含まれていることを前記顔検知部が検知しない場合、前記第１の制御信号を送信する第１の制御信号送信部と、
   を更に備えることを特徴とする請求項２または３に記載の情報処理装置。
5. 　前記第１の制御信号を送信した後に、前記撮像された画像において顔画像が含まれていることを前記顔検知部が検知した場合、前記第２の制御信号を送信する第２の制御信号送信部、
   を更に備えることを特徴とする請求項４に記載の情報処理装置。
6. 　前記受信した画像において顔画像が含まれていることを検知する顔検知部を更に備え、
   　前記送信制御部における、前記通信相手の装置において顔画像が撮像されていない場合とは、前記受信した画像において顔画像が含まれていることが前記顔検知部により検知されない場合である、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 　情報処理装置を、
   　話者の顔画像を撮像する撮像部と、
   　撮像された画像を送信する送信部と、
   　通信相手の装置において撮像された画像を受信する受信部と、
   　前記受信した画像を表示する表示部と、
   　通信相手の装置において顔画像が撮像されていない場合、前記撮像部により撮像された画像の送信を抑制する送信制御部、
   として動作させることを特徴とするプログラム。

Images