JP2013140574A - 電子機器、情報処理方法およびプログラム - Google Patents

Abstract

【課題】使い勝手の良い電子機器を提供する。
【解決手段】ユーザを撮像可能な撮像部と、前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出部と、を備え、この時、撮像した画像中に顔が含まれている場合には、顔認識を行い、顔の下の領域と予め登録されている服装データとを、パターンマッチングすることにより、ユーザの服装の種別を分類して、身なり情報とする。
【選択図】図１

Description

本発明は、電子機器、情報処理方法およびプログラムに関する。

従来より、衣服を着た人を撮像して、色及び生地等を判別したり、襟及び袖等の形状を判別したりして、この衣服の種類を分類するシステムが提案されている（例えば、特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−２６２４２５号公報

しかしながら、従来のシステムでは、ユーザの衣服を撮像し分類するための設備を準備したり、カメラマンを必要としたりしなければならなく、使い勝手が悪かった。

本発明の第１の態様においては、ユーザを撮像可能な撮像部と、前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出部と、を備える電子機器を提供する。

本発明の第２の態様においては、ユーザを撮像可能な撮像部によりユーザを撮像する撮像ステップと、前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出ステップと、を備える情報処理方法を提供する。

本発明の第３の態様においては、ユーザを撮像可能な撮像部によりユーザを撮像する撮像ステップと、前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出ステップと、をコンピュータに実行させるためのプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る携帯端末１０の外観構成を示す。 本実施形態に係る携帯端末１０の機能構成を示す。 本実施形態に係る携帯端末１０の制御フローを示す。 図３に続く制御フローを示す。 本実施形態の変形例に係る携帯端末１０の外観構成を示す。 変形例に係る携帯端末１０の機能構成を示す。 ユーザが保有する服装の画像データおよびログを記述したテーブルの一例を示す。 変形例に係る携帯端末１０の制御フローを示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る携帯端末１０の外観構成を示す。携帯端末１０は、ユーザにより携帯して用いられる情報機器である。携帯端末１０は、電話機能、インターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。携帯端末１０は、一例として、長方形の主面を有する薄板状であり、片手の手のひらで把持することができる程度の大きさである。

携帯端末１０は、ディスプレイ１２と、タッチパネル１４と、内蔵カメラ１６と、マイク１８と、生体センサ２０とを備える。ディスプレイ１２は、当該携帯端末１０の本体の主面側に設けられる。ディスプレイ１２は、例えば当該主面の大半の領域（例えば９０％）を占める大きさを有する。ディスプレイ１２は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ１２は、一例として、例えば液晶表示素子を用いたデバイスである。

タッチパネル１４は、ユーザが触れたことに応じて情報を入力する。タッチパネル１４は、ディスプレイ１２上またはディスプレイ１２内に組み込まれて設けられる。従って、タッチパネル１４は、ユーザがディスプレイ１２の表面をタッチすることにより、種々の情報を入力する。

内蔵カメラ１６は、撮像レンズおよび撮像素子を有し、被写体を撮像する。撮像素子は、一例として、ＣＣＤおよびＣＭＯＳデバイスである。また、撮像素子は、一例として、ＲＧＢ３原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。

内蔵カメラ１６は、当該携帯端末１０の本体におけるディスプレイ１２が設けられる面（すなわち、主面）に設けられる。従って、内蔵カメラ１６は、当該携帯端末１０のタッチパネル１４に対して操作しているユーザの顔および服装を撮像することができる。また、内蔵カメラ１６は、撮像レンズとして広角レンズを有する場合には、操作しているユーザに加えて、ユーザの近傍にいる他のユーザ（例えばユーザの隣にいる人）の顔および服装を撮像することができる。

また、携帯端末１０は、内蔵カメラ１６に加えて、主面とは反対側に他のカメラを更に備えてもよい。これにより、携帯端末１０は、ユーザとは反対側に位置する被写体を撮像することができる。

マイク１８は、当該携帯端末１０の周囲の音声を入力する。マイク１８は、一例として、当該携帯端末１０の本体における主面の下方側に設けられる。これにより、マイク１８は、ユーザの口と対向する位置に配置されて、ユーザが話す音声を入力しやすくなる。

生体センサ２０は、当該携帯端末１０を保持するユーザの状態を取得する。生体センサ２０は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。また、生体センサ２０は、一例として、ユーザが当該生体センサ２０を保持している力（例えば握力）を取得する。

生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているように、発光ダイオードによりユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出する。また、生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているような腕時計型の生体センサにより検出された情報を取得してもよい。

また、生体センサ２０は、携帯端末１０の本体の長辺側の側部の２箇所に設けられた圧力センサを含んでもよい。このように配置された圧力センサは、ユーザが当該携帯端末１０を保持したことおよび当該携帯端末１０を保持する力を検出することができる。

また、生体センサ２０は、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の生体情報の取得を開始してもよい。また、携帯端末１０は、電源がオンとなっている状態において、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の機能をオンとしてもよい。

図２は、本実施形態に係る携帯端末１０の機能構成を示す。携帯端末１０は、図１に示した構成に加えて、ＣＰＵ（Central Processing Unit）２２と、ＧＰＳ（Global Positioning System）モジュール２４と、温度計２６と、カレンダー部２８と、不揮発性メモリ３０と、音声解析部３２と、画像分析部３４と、通信部３６とを備える。

ＣＰＵ２２は、携帯端末１０の全体を制御する。本実施の形態においては、ＣＰＵ２２は、ユーザの服装、ユーザのいる場所、ユーザが一緒にいる人およびユーザの言葉遣い等に応じてユーザに情報を提供するための制御を行う。

ＧＰＳモジュール２４は、当該携帯端末１０の位置（例えば緯度および経度）を検出する。ＣＰＵ２２は、ＧＰＳモジュール２４により検出されたユーザのいる位置の履歴を取得して、不揮発性メモリ３０に記憶させる。これにより、ＣＰＵ２２は、ユーザの行動範囲を検出することができる。例えば、ＣＰＵ２２は、ＧＰＳモジュール２４により検出された位置に基づき、平日の午前９時から午後６時までのユーザの行動範囲をビジネスでの行動範囲（ビジネス領域）として登録し、平日の午前９時から午後６時までのビジネス時間帯以外の時間帯における行動範囲をプライベートの行動範囲として登録する。

温度計２６は、携帯端末１０の周囲の温度を検出する。なお、温度計２６は、生体センサ２０によるユーザの体温を検出する機能と兼用される構成であってもよい。

カレンダー部２８は、年、月、日、時刻といった時間情報を取得して、ＣＰＵ２２に出力する。さらに、カレンダー部２８は、計時機能を有する。

不揮発性メモリ３０は、フラッシュメモリ等の半導体メモリである。不揮発性メモリ３０は、ＣＰＵ２２によって実行される当該携帯端末１０を制御するためのプログラム、および、当該携帯端末１０を制御するための各種パラメータ等を記憶する。さらに、不揮発性メモリ３０は、ユーザのスケジュール、各種センサが検出した各種データ、ユーザが登録した顔データ、顔表情データ、および、服装に関するデータ等を記憶する。

このうち、顔表情データには、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている表情等を表すデータが含まれる。また、服装データには、各服装（スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等）を識別するための画像データが含まれる。また、服装データは、フォーマルな服装（例えばスーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート）と、カジュアルな服装（例えばポロシャツ、Ｔシャツ、ダウンジャケット）とを識別するための画像データであってもよい。また、それぞれの服装の特徴的な形状（例えば、襟部分の形状）を不揮発性メモリ３０に記憶させておいてもよい。

また、不揮発性メモリ３０は、敬語の使い方および挨拶の表現等の言葉の表現例を記憶してもよい。本実施の形態においては、ＣＰＵ２２は、例えば、敬語を使わなければならない状況において、不揮発性メモリ３０に記憶された敬語の表現を読み出してディスプレイ１２に表示する。また、ＣＰＵ２２は、斎場等にいる状況においては、ＣＰＵ２２は、不揮発性メモリ３０に記憶されたお悔やみの言葉の表現を読み出して、ディスプレイ１２に表示する。

音声解析部３２は、マイク１８から取り込まれる音声の特徴を解析する。音声解析部３２は、一例として、音声認識辞書を有し、識別した音声をテキストデータに変換してディスプレイ１２に表示する。また、携帯端末１０に音声認識プログラムがインストールされている場合には、音声解析部３２は、ＣＰＵ２２によりこのような音声認識プログラムを実行した結果を取得して、音声認識をしてもよい。

また、音声解析部３２は、入力した音声に含まれる言葉の内容が、丁寧な言葉（例えば、敬語、丁寧語および謙譲語等）であるか、日常語（平語）であるか、または、それ以外の砕けた言葉であるかを分類する。本実施の形態においては、音声解析部３２は、丁寧な言葉（敬語、丁寧語および謙譲語）を第１の分類、日常語を第２の分類、それ以外の言葉を第３の分類とする。音声解析部３２は、第３の分類に属する言葉遣いを検出した場合には、ユーザがリラックスしている状態であったり、親密度が高い人と会話している状態であったりすることを認識できる。

また、音声解析部３２は、一例として、言葉遣いの分類を、会話の語尾の内容に応じて判断する。音声解析部３２は、一例として、"おはようございます"というように、語尾が"ございます（です、ます）"であれば第１の分類とする。また、音声解析部３２は、一例として、"おはよう"というように、語尾が"です、ます"ではなく、音声認識辞書に登録されている言葉であれば第２の分類とする。また、音声解析部３２は、"おはー"というように、音声認識辞書に登録されていない言葉であれば、第３の分類とする。

画像分析部３４は、内蔵カメラ１６が撮像した画像を分析する。画像分析部３４は、内蔵カメラ１６が撮像した画像に加えて、タッチパネル１４と反対面側に設けられたカメラが撮像した画像を分析してもよい。

画像分析部３４は、一例として、顔認識部４２、表情検出部４４、および服装検出部４６を有する。顔認識部４２は、内蔵カメラ１６が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部４２は、画像に顔を検出した場合には、検出した顔の部分の画像データと、不揮発性メモリ３０に記憶されているユーザの顔の画像データとを比較（例えばパターンマッチング）して、内蔵カメラ１６が撮像した人を認識する。内蔵カメラ１６は、ディスプレイ１２と同じ側の面に設けられているので（言い換えると、タッチパネル１４と同じ側の面に設けられているので）、ユーザおよびユーザの隣にいる人の顔を撮像することができる。従って、顔認識部４２は、ユーザおよびユーザの隣にいる人の顔を認識することができる。

表情検出部４４は、顔認識部４２により認識された顔の画像データと、不揮発性メモリ３０に記憶されている顔表情データと比較して、内蔵カメラ１６が撮像した人（例えばユーザおよびユーザの隣にいる人）の表情を検出する。なお、表情検出部４４は、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている顔、緊張している顔、および、リラックスしている顔等の表情を検出する。不揮発性メモリ３０は、これらの複数の表情データを記憶する。笑顔検出の方法は、一例として、米国公開特許２００８−０３７８４１号に開示されている。また、眉間の皺の検出の方法は、一例として、米国公開特許２００８−２９２１４８号に開示されている。

服装検出部４６は、内蔵カメラ１６により撮像されたユーザの服装が、どのような服装であるかを検出する。服装検出部４６は、撮像された画像に含まれている服装の箇所の画像データと、不揮発性メモリ３０に予め登録されている服装の画像データとをパターンマッチングして服装を検出してもよい。さらに、服装検出部４６は、ユーザの服装の種別を判断する。本実施の形態においては、服装検出部４６は、ユーザの服装が、フォーマルな服装か、カジュアル（インフォーマル）な服装かを判断する。

顔認識部４２により顔が含まれていると判断された画像は、認識した顔の下方部分に服装を含む。従って、服装検出部４６は、一例として、顔認識部４２により認識された顔の下方部分の予め定められた範囲の画像と、不揮発性メモリ３０に記憶されている服装データ（画像データ）とをパターンマッチングすることにより、ユーザの服装を検出することができる。

また、服装検出部４６は、携帯端末１０を操作しているユーザの服装を検出および服装の種別を判断する。これに加えて、画像内に他のユーザが含まれている場合には、服装検出部４６は、ユーザ以外の人の服装の種別を判断してもよい。例えば、服装検出部４６は、画像内に複数の人が含まれている場合には、これら複数人のグループが、フォーマルな服装のグループかカジュアルな服装のグループかを判別してもよい。また、服装検出部４６は、内蔵カメラ１６の撮像素子から検出された色信号に基づいて、服装の種別を分類してもよい。服装検出部４６は、黒、紺、グレー、ベージュといったような落ち着いた感じの色合いが多い服装の場合には、フォーマルな服装であると判断し、赤、青、黄色といったような鮮やかな色合いが多い場合にはカジュアルな服装であると判断する。

通信部３６は、ネットワーク上のサーバおよび他の携帯端末と通信する。通信部３６は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信を実現するＢｌｕｅｔｏｏｔｈ（登録商標）ユニット、及び、Ｆｅｌｉｃａ（登録商標）チップ等を有し、サーバおよび他の携帯端末と通信する。

図３は、本実施形態に係る携帯端末１０の制御フローを示す。図４は、図３に続く制御フローを示す。

携帯端末１０は、ユーザにより操作が開始されると、図３および図４に示す処理を実行する。携帯端末１０は、一例として、ユーザが当該携帯端末１０を保持したことを生体センサ２０が検出したこと、および、ユーザがタッチパネル１４に触れたこと等を条件として、ユーザにより操作が開始されたと判断する。

まず、ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ１１）。本例においては、ＣＰＵ２２は、１０月の平日の午前１１時３０分であることを取得したとする。

続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ１２）。ＣＰＵ２２は、一例として、ＧＰＳモジュール２４から位置情報を取得するとともに、温度計２６から温度情報を取得する。また、ＣＰＵ２２は、一例として、温度情報に加えて不図示の湿度計により湿度情報を取得してもよい。本例においては、ＣＰＵ２２は、ＧＰＳモジュール２４から位置情報を取得し、温度計２６から２０度の温度情報を取得したとする。

続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ１３）。ＣＰＵ２２は、一例として、生体センサ２０からユーザの体温、脈拍および血圧等を取得する。本例においては、ＣＰＵ２２は、生体センサ２０から、通常時よりも高い脈拍および血圧を取得し、手から発汗があることを取得したとする。なお、ステップＳ１１、Ｓ１２およびＳ１３の処理順序は適宜入れ替えてもよい。

続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ１４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。例えば、ＣＰＵ２２は、ビジネス領域の時間帯であり、且つ、ユーザが緊張していると判断される生体情報が検出された場合、撮像タイミングであると判断してもよい。また、ＣＰＵ２２は、ＧＰＳモジュール２４の出力に基づいて、ユーザが初めて訪れる場所にいたり、久しぶりに訪れる場所（最後に訪れてから一定期間以上経過した場所）にいたりする場合に撮像タイミングを判断してもよい。

ＣＰＵ２２は、撮像タイミングであれば（ステップＳ１４のＹｅｓ）、処理をステップＳ１５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、処理をステップＳ１１に戻して、例えば一定時間後にステップＳ１１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、本フローを抜けて処理を終了してもよい。

続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザおよびユーザの近傍を撮像する（ステップＳ１５）。これとともに、ＣＰＵ２２は、マイク１８によりユーザの周囲の音声を取得する。

続いて、画像分析部３４は、内蔵カメラ１６により撮像した画像を分析して、撮像した画像に含まれる顔を認識する（ステップＳ１６）。画像分析部３４は、一例として、撮像した画像に含まれる顔の画像データと、不揮発性メモリ３０に記憶されている顔データとを比較して、当該携帯端末１０を操作しているユーザを認識する。さらに、画像分析部３４は、撮像した画像の中に、ユーザ以外の他の人の顔が含まれている場合には、更に、その他の人の顔を認識する。本例においては、画像分析部３４は、男性のユーザの顔を認識したとする。さらに、本例においては、画像分析部３４は、ユーザの隣に顔があることは検出したが、ユーザの隣の人の顔の認識はできなかったとする。

続いて、画像分析部３４は、ユーザの身なりを解析する（ステップＳ１７）。画像分析部３４は、一例として、ユーザの服装を検出して、ユーザの服装の種別を分類する。画像分析部３４は、一例として、ユーザの服装が、フォーマルな服装か、カジュアルな服装かを判断する。この場合、画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域と、予め登録されている服装データとをパターンマッチングすることにより、ユーザの服装の種別を分類する。画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域の色合いを検出して、ユーザの服装の種別を分類する。また、画像分析部３４は、不揮発性メモリ３０に記憶された服装の特徴的な形状とのパターンマッチングにより、ユーザの服装の種別を分類してもよく、上述の分類方法を組み合わせてもよい。

続いて、ＣＰＵ２２は、ユーザの状況を分析する（ステップＳ１８）。ＣＰＵ２２は、ユーザの身なりに応じて、ユーザの状況を判断する。ＣＰＵ２２は、一例として、ユーザの服装がフォーマルな服装であればビジネスの状況であると判断し、ユーザの服装がカジュアルな服装であればプライベートの状況と判断する。

更に、ＣＰＵ２２は、一例として、年月日および時刻からユーザの状況を判断してもよい。ＣＰＵ２２は、一例として、平日の午前９時から午後６時までの間であればビジネスの状況と判断し、それ以外の時間帯であればプライベートの状況と判断する。

また、更に、ＣＰＵ２２は、一例として、ユーザの位置に応じて状況を分析してもよい。ＣＰＵ２２は、一例として、会社の近傍にいる場合にはビジネスの状況と判断し、ユーザが自宅近傍にいる場合にはプライベートの状況と判断する。

また、更に、ＣＰＵ２２は、一例として、生体情報からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、血圧、脈拍および手の汗が平常時より高い場合には緊張した状況であると判断する。

また、更に、ＣＰＵ２２は、一例として、認識されたユーザの顔の表情からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザが緊張した表情をしている顔の場合には緊張した状況であると判断し、リラックスした表情をしている場合にはリラックスした状況であると判断する。

また、更に、ＣＰＵ２２は、一例として、マイク１８により取得した音声から解析されたユーザまたはユーザの近くにいる人の言葉遣いに基づきユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザの話した言葉の語尾が第１の分類であればビジネスの状況と判断し、第２の分類であれば友人と会っている状況であると判断し、第３の分類であれば更に親密な友人と会っている状況と判断する。本例においては、ＣＰＵ２２は、ユーザが"お好きな食べ物は何ですか"という言葉を発したことを検出し、語尾に"です"があるので第１の分類と判断したとする。

また、ＣＰＵ２２は、以上の判断結果を総合して更に詳細にユーザの状況を判断してもよい。本例においては、ＣＰＵ２２は、ユーザが平日の午前中（ビジネスタイム）にフォーマルな服装でビジネス領域にいて、緊張した状態であまり面識のない人（親密度が高くない人）に対して丁寧な言葉遣いをしている状況である、との分析結果を取得したとする。

ユーザの状況の判断が終了すると、続いて、ＣＰＵ２２は、ユーザの操作が、通信部３６を用いてネットワークから情報を検索して取得するための検索操作か否かを判断する（ステップＳ１９）。ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、処理をステップＳ２０に進め、ユーザの操作が検索操作では無い場合（ステップＳ１９のＮｏ）、処理をステップＳ２１に進める。

ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、ユーザが検索のために入力した検索キーワードに、ユーザの状況に対応するキーワードを追加して検索を実行する（ステップＳ２０）。これにより、ＣＰＵ２２は、ネットワークから、ユーザの状況に適した情報をユーザに対して提供することができる。

本例の場合においては、ＣＰＵ２２は、ユーザが入力した"ランチ"という検索キーワードに、服装から判断されるユーザの状況を表す"フォーマル"というキーワードを追加して、検索を実行する。これにより、ＣＰＵ２２は、ネットワークから、フォーマルな状況に適したランチを食べるためのお店等の情報を取得することができる。

また、ＣＰＵ２２は、ユーザの服装により判断される状況に代えて、ユーザの言葉遣いの違いにより判断された状況に応じてキーワードを追加してもよい。ＣＰＵ２２は、一例として、ユーザがフォーマルな格好をしている場合であっても、ユーザの語尾が第２の分類または第３の分類である場合には、例えば"ファーストフード"または"ファミリー向け"といったキーワードを追加して検索を実行する。

また、音声解析部３２がユーザの言葉の中から"食事"という用語を特定した場合において、ユーザがタッチパネル１４により検索メニューを操作したことに応じて、ＣＰＵ２２は、ディスプレイ１２に"ランチの検索をしますか？"というような、特定した用語に応じたメッセージを表示してもよい。また、ＣＰＵ２２は、生体センサ２０が検出した生体情報からユーザが焦っている状態（交感神経が活発となり血圧および心拍数が上昇したり、発汗したりする状態）と判断した場合は、ソフトウェアによる処理によりタッチパネル１４の感度を敏感にしたり、ディスプレイ１２に表示する文字を大きくしてもよい。

一方、ＣＰＵ２２は、ユーザの操作が検索操作ではない場合（ステップＳ１９のＮｏ）、ユーザに対してアドバイスを表示するタイミングか否かを判断する（ステップＳ２１）。ＣＰＵ２２は、一例として、ユーザがタッチパネル１４を操作中であって入力量（操作量）が予め設定された量よりも多い場合、アドバイスを表示するタイミングではないと判断する。また、ＣＰＵ２２は、一例として、生体センサ２０の検出結果に基づき、ユーザの感情および心情の変化が少ない状態の場合に、アドバイスを表示するタイミングであると判断する。また、反対に、ＣＰＵ２２は、一例として、ユーザの感情および心情の変化が大きい場合に、アドバイスを表示するタイミングであると判断する。

ＣＰＵ２２は、アドバイスを表示するタイミングであると判断した場合（ステップＳ２１のＹｅｓ）、処理をステップＳ２２に進める。また、ＣＰＵ２２は、アドバイスを表示するタイミングではないと判断した場合（ステップＳ２１のＮｏ）、ステップＳ２２をスキップして、処理をステップＳ２３に進める。なお、ステップＳ２１においてアドバイスを表示するタイミングではないと判断した場合、ＣＰＵ２２は、アドバイスを表示するタイミングとなるまで、当該ステップＳ２１で処理を一定時間繰り返してもよい。

続いて、ＣＰＵ２２は、ステップＳ１８で判断したユーザの状況に応じた内容のアドバイスをディスプレイ１２に表示する（ステップＳ２２）。ＣＰＵ２２は、一例として、ユーザの状況に応じて、会話の参考となる話題に関する情報を表示する。これにより、ＣＰＵ２２は、例えばユーザがあまり面識の無い人と緊張した状態でランチを取っている場合等において、適切な話題の情報をユーザに提供することができる。より具体的には、ＣＰＵ２２は、フォーマルな服装でビジネスの状況でランチを取っている場合には、政治、経済、事件等のニュースを表示する。さらに、ＣＰＵ２２は、ユーザの会話の中から特定したキーワードに基づき情報を提供してもよい。この場合、例えばユーザの会話中から"為替"というキーワードが特定された場合には、ＣＰＵ２２は、最新の為替レート等を表示する。

また、ユーザがカジュアルな服装をしていてもあまり面識のない人と一緒になり、会話が弾まない場合がある。このような場合、ＣＰＵ２２は、一例として、カレンダー部２８から取得した日時から時節の話題に関する情報を表示したり、ＧＰＳモジュール２４からの位置情報に基づき近隣の話題に関する情報を表示したりしてもよい。

また、更に、ＣＰＵ２２は、服装検出部４６が検出した服装に応じた話題の情報を表示してもよい。例えば、ユーザが白いネクタイを着用しており、ＧＰＳモジュール２４から検出された位置情報および地図情報に基づきユーザが結婚式場の近くにいると判断した場合には、ＣＰＵ２２は、通信部３６を用いて外部サーバから結婚に関する情報を取得してこれらの情報を表示したり、不揮発性メモリ３０に記憶されているお祝いの言葉、スピーチ例、マナーに関する情報等を表示したりする。また、例えば、ユーザが黒いネクタイをしており、ＧＰＳモジュール２４からの位置情報および地図情報に基づきユーザが斎場の近くにいると判断した場合に、ＣＰＵ２２は、不揮発性メモリ３０に記憶されているお悔やみの言葉および気をつける事項の情報（使わない方がよい用語およびマナー等の情報）を表示する。

なお、ＣＰＵ２２は、当該携帯端末１０に対して予め定められたアクションをした場合（例えば、例えば当該携帯端末１０を予め定められた力以上で握った場合）、情報の表示タイミングであると判断して、情報を表示してもよい。また、ＣＰＵ２２は、検索結果を取得したことに応じて、不図示のバイブレータ機能により、ユーザに情報検索ができたことを報知するようにしてもよい。

続いて、ＣＰＵ２２は、ユーザが携帯端末１０の操作を続けているかどうかを判断する（ステップＳ２３）。ＣＰＵ２２は、一例として、内蔵カメラ１６がユーザを撮像し続けている場合、ユーザが操作を続けていると判断してもよい。ユーザが携帯端末１０の操作を続けている場合には、ＣＰＵ２２は、ステップＳ１１に戻り処理を繰り返す。そして、ＣＰＵ２２は、ユーザが操作を終了した場合には、ユーザによる携帯端末１０の操作時間、ステップＳ１８で分析されたユーザの状況、検索結果、アドバイス情報等を不揮発性メモリ３０に記録して（ステップＳ２４）、本フローを抜けて処理を終了する。

なお、ＣＰＵ２２は、ステップＳ２４において、認識された顔データのうちの不揮発性メモリ３０に顔データが未だ登録されていない人について、不揮発性メモリ３０に顔データを記録してもよい。これにより、ＣＰＵ２２は、ユーザが次にその人に会った場合において、その人の顔認識に活用することができる。

また、ＣＰＵ２２は、ステップＳ２４において、ユーザの言葉遣いの分類を、相手の人と対応付けて記録してもよい。そして、ＣＰＵ２２は、同一の人との会話において、過去に使っていた言葉の言葉遣いの分類と、今回使った言葉の言葉遣いの分類とが異なる場合、ユーザに報知をしてもよい。例えば、ＣＰＵ２２は、同一の人との会話において、ユーザの言葉遣いが第１の分類から第２の分類に変化した場合、ユーザに報知をしてもよい。これにより、ＣＰＵ２２は、そのユーザと何回か会ううちに打ち解けてきたことをユーザに知らせることができる。また、ＣＰＵ２２は、その相手の言葉遣いも記録してもよい。この場合において、ＣＰＵ２２は、ユーザ自身の言葉遣いの分類と、相手の言葉遣いの分類とに相違がある場合、バランスが取れていない旨を報知してもよい。

また、ＣＰＵ２２は、図３および図４に示すフローチャートの処理を、ユーザが１人でいる場合に実行してもよい。例えば、ＣＰＵ２２は、ユーザが１人でいる場合にユーザの服装に応じた情報を表示してもよい。より具体的には、ＣＰＵ２２は、一例として、ユーザが自宅におり室温が１５度を下回っているのに半袖の服装でいる場合には、"薄着である旨"をディスプレイ１２に表示する。また、ＣＰＵ２２は、一例として、気温が３０度を超えるような場合に、"水分補給をする旨"をディスプレイ１２に表示する。

図５は、変形例に係る携帯端末１０の外観構成を示す。なお、本変形例に係る携帯端末１０は、図１から図４を参照して説明した携帯端末１０と略同一の構成および機能を採るので、同一の構成要素には同一符号を付けて以下相違点を除き説明を省略する。

本変形例に係る携帯端末１０は、図１に示した構成に加えて、ミラーフィルム５０を更に備える。ミラーフィルム５０は、ディスプレイ１２の表面に、例えば接着により貼り付けられている。ミラーフィルム５０は、反射性を有する透過性フィルムであり、裏面（ディスプレイ１２）側から照射された光を表面側に透過するが、裏面（ディスプレイ１２）側から光が照射されていない場合には反射面として機能する。

従って、このようなミラーフィルム５０を備える携帯端末１０は、ディスプレイ１２から光が発光されていない状態においては（例えば、当該携帯端末１０の電源がオフの場合）、化粧をするための小型の鏡として機能する。なお、携帯端末１０は、ミラーフィルム５０に代えて、ディスプレイ１２と同一面であって、ディスプレイ１２とは異なる場所に設けられた鏡を備えてもよい。

図６は、本変形例に係る携帯端末１０の機能構成を示す。本変形例に係る携帯端末１０は、図２に示した構成に加えて、バックライト５２を更に備える。また、本変形例において、画像分析部３４は、図２に示した構成に加えて、顔分析部５４を更に有する。

バックライト５２は、光源を有し、液晶表示部等であるディスプレイ１２に対して画面裏側から光を照射する。バックライト５２は、ＣＰＵ２２により光源のオンおよびオフの切り換えおよび光量の制御がされる。より具体的には、ＣＰＵ２２は、ユーザがタッチパネル１４を操作している場合、および、ディスプレイ１２に情報を表示する場合、バックライト５２をオンにして、ディスプレイ１２の視認性を向上させる。また、ＣＰＵ２２は、ユーザがタッチパネル１４を操作していない場合、バックライト５２をオフにする。また、ＣＰＵ２２は、バックライト５２をオフする操作をした場合、バックライト５２をオフにする。

顔分析部５４は、内蔵カメラ１６の撮像結果および内蔵カメラ１６の撮像素子からの色信号の変化から、ユーザの顔に関する変化を分析する。顔分析部５４は、一例として、化粧崩れがあるかを分析する。より具体的には、顔分析部５４は、顔にテカリがあるかどうか、および、口紅の色落ちがあるかどうか等を分析する。なお、顔のテカリ検出方法は、例えば、特許第４３９６３８７号明細書に開示されている。

また、顔分析部５４は、自宅を出る前（例えば通勤の前）に撮像したユーザのカラーの顔画像を基準として、この顔画像から唇部分に色変化が生じているか否かを判断して、口紅の色落ちを検出する。また、顔分析部５４は、ユーザの日々の顔画像のデータおよび口紅の状態を不揮発性メモリ３０に記憶させておき、この不揮発性メモリ３０のデータとの撮像されたユーザの顔画像とを比較して、口紅の色落ちを検出してもよい。

図７は、ユーザが保有する服装の画像データおよびログを記述したテーブルの一例を示す。本変形例において、不揮発性メモリ３０には、ユーザが保有している複数の服装の画像データが記憶されている。例えば、不揮発性メモリ３０には、ユーザが保有している、スカート、ブラウスおよびコート等の画像データが記憶されている。これらの画像データは、内蔵カメラ１６により撮像したデータを用いてもよい。

ＣＰＵ２２は、不揮発性メモリ３０に、新たな服装の画像データを適宜追加する。ＣＰＵ２２は、一例として、ユーザがネットワーク等を介してオンラインショップで服を購入した場合に、その服の画像および名称等を不揮発性メモリ３０に登録する。また、ＣＰＵ２２は、ユーザが新たな服を撮像した場合、その撮像した服の画像および名称等を不揮発性メモリ３０に登録する。また、服装には、服のみならず、アクセサリ、帽子、靴およびカバン等を含んでいてもよい。

また、不揮発性メモリ３０には、それぞれの服装に対応して、第１のログおよび第２のログが登録されている。第１のログには、当該服装の着用頻度が含まれる。第１のログには、一例として、月毎の着用頻度および季節毎の着用頻度が含まれる。また、第２のログには、当該服装のユーザのお気に入り度が含まれる。第２のログには、一例として、１から９までの数値でお気に入り度が表されている。なお、第１のログおよび第２のログの更新については、次のフローの説明において行う。なお、特定の服を着る頻度が高ければその旨を報知する。例えば、第１のログからユーザが特定の曜日に特定の服を着ていることがわかれば、ＣＰＵ２２は、ディスプレイ１２にその旨の警告表示を行うようにしてもよい。

図８は、本実施形態に係る携帯端末１０の制御フローを示す。携帯端末１０は、ユーザによる操作またはユーザによる当該携帯端末１０の保持が検出されると、図８に示す処理を実行する。

ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ３１）。続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ３２）。続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ３３）。なお、ステップＳ３１、Ｓ３２およびＳ３３の処理は、図３および図４に示したフローチャートのステップＳ１１、Ｓ１２およびＳ１３の処理と同様である。

続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ３４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。

例えば、ＣＰＵ２２は、自宅を出る前（例えば通勤の前）の時間帯であってユーザが自宅にいる場合、または、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合等において、撮像タイミングであると判断してもよい。ＣＰＵ２２は、撮像タイミングであれば（ステップＳ３４のＹｅｓ）、処理をステップＳ３５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、処理をステップＳ３１に戻して、例えば一定時間後にステップＳ３１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、本フローを抜けて処理を終了してもよい。

続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザを撮像する（ステップＳ３５）。この場合において、ＣＰＵ２２は、ユーザの顔と、ユーザの服装を認識できるような画角等で撮像する。

続いて、ＣＰＵ２２は、バックライト５２がオンとなっているか、バックライト５２がオフとなっているかを判断する（ステップＳ３６）。バックライト５２がオンとなっている場合には、ユーザは、当該携帯端末１０を操作していたり、当該携帯端末１０により表示される情報を見ていたりする状態である。反対に、バックライト５２がオフとなっている場合には、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。

バックライト５２がオンとなっている場合、即ち、ユーザが携帯端末１０を操作していたり、表示されている情報を見ていたりする状態の場合（ステップＳ３６のＹｅｓ）、ＣＰＵ２２は、処理をステップＳ３７に進める。また、バックライト５２がオフとなっている場合、即ち、ユーザが携帯端末１０を鏡として使用している場合（ステップＳ３６のＮｏ）、ＣＰＵ２２は、処理をステップＳ４０に進める。

バックライト５２がオンとなっている場合の処理において、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服等が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ３７）。さらに、画像分析部３４は、特定した服装の組み合わせを更に判別してもよい。

続いて、ＣＰＵ２２は、特定した服装に対応する第１のログを更新する（ステップＳ３８）。より具体的には、ＣＰＵ２２は、特定した服装に対応する頻度（当月の頻度および当該季節の頻度）の値を、１つカウントアップする。さらに、ＣＰＵ２２は、服装の組み合わせを特定した場合には、特定した組み合わせの情報を不揮発性メモリ３０に記憶させる。

また、ＣＰＵ２２は、ステップＳ３７〜Ｓ３８の処理を１日１回のみ行うようにしてもよい。これにより、ＣＰＵ２２は、ユーザが保有しているそれぞれの服をユーザがどの程度の頻度で着ているかを、日毎に更新することができる。なお、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ３７〜Ｓ３８の処理をスキップする。

続いて、画像分析部３４は、ユーザの顔を分析する（ステップＳ３９）。より具体的には、画像分析部３４は、ユーザの顔画像から、口紅の色落ちおよび顔のテカリ等が生じて、化粧崩れが生じたかを分析する。また、ユーザが男性の場合には、画像分析部３４は、ひげが伸びてきたかどうかを分析してもよい。画像分析部３４は、一例として、自宅を出る前（例えば通勤の前）に撮像したユーザの顔画像と、ステップＳ３５で撮像した顔画像とを比較して、化粧崩れが生じているかまたはひげが伸びできたかを分析する。ＣＰＵ２２は、ステップＳ３９の処理を終えると、処理をステップＳ４３に進める。

一方、バックライト５２がオフとなっている場合において、ＣＰＵ２２は、ユーザの感情を解析する（ステップＳ４０）。ＣＰＵ２２は、一例として、生体センサ２０の検出結果および顔画像から解析された表情等から、ユーザが、機嫌が良いのか、普通の気分なのか、又は機嫌が悪いのか等を解析する。

続いて、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服装が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ４１）。

続いて、ＣＰＵ２２は、特定した服装に対応する第２のログを、ステップＳ４０で解析したユーザの感情に応じて更新する。より具体的には、ＣＰＵ２２は、ユーザの機嫌が良ければ、特定した服装に対応するお気に入り度を上げる。また、ＣＰＵ２２は、ユーザの機嫌が普通であれば、特定した服装に対応するお気に入り度を変更しない。また、ＣＰＵ２２は、ユーザの機嫌が悪ければ、特定した服装に対応するお気に入り度を下げる。

バックライト５２がオフとなっている場合であって、ユーザが当該携帯端末１０を保持している場合、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。このような場合、ユーザは、身に着けている服装が気に入っていれば機嫌の良い気分となり、身に着けている服装が気に入ってなければ機嫌の悪い気分となる可能性が高い。そこで、このような状態におけるユーザの感情を、身に付けている服装に対応して長期間記録していれば、ユーザがその服装を気に入っているか気に入っていないかの指標とすることができる。

なお、ＣＰＵ２２は、ステップＳ４０〜４２の処理をユーザが自宅を出る前（例えば通勤の前）であることを条件として実行してもよい。また、ＣＰＵ２２は、ステップＳ４０〜４３の処理を１日１回のみ行うようにしてもよい。また、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ４０〜Ｓ４２の処理をスキップする。ＣＰＵ２２は、ステップＳ４２の処理を終えると、処理をステップＳ４３に進める。

続いて、ステップＳ４３において、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングか否かを判断する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングであれば（ステップＳ４３のＹｅｓ）、ステップＳ４４においてユーザに対してアドバイスを表示する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ（ステップＳ４３のＮｏ）、ステップＳ４３においてアドバイスを表示するタイミングとなるまで処理を待機する。なお、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ、一定時間ステップＳ４３で処理を待機したのちに、本フローを抜けて処理を終了してもよい。

ステップＳ４４においては、ＣＰＵ２２は、一例として、ネットワークを介してオンラインショップ等で服等を購入するタイミングにおいて、第２のログに示される内容を表示する。ＣＰＵ２２は、一例として、服等を購入するタイミングにおいて、お気に入り度の高い服装の画像データ、または、お気に入り度の低い服装の画像データを表示する。これにより、ユーザは、新たな服等の購入時等に、自分の好みを確認することができる。

また、ＣＰＵ２２は、ネットワークを介してオンラインショップ等で服等を購入している場合において、購入しようと選択した服とデザインが似通っている服等を既にユーザが保有していれば、注意を促すアドバイスを表示してもよい。これにより、ユーザは、似通っている服を重複して購入してしまうことを回避することができる。また、不揮発性メモリ３０に記憶されている服やアクセサリと、購入しようとしている服やアクセサリとのコーディネート画像をディスプレイ１２に表示するようにすれば、ユーザが所持している服と、購入予定の服との着合わせを確認することができる。

また、ＣＰＵ２２は、第１のログを参照して、頻繁に着用している服等およびあまり着用していない服等をユーザに表示する。これにより、ユーザは、着用している服等の偏りを知って、着用する服等の選択に役立てることができる。

また、ＣＰＵ２２は、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合であって、ステップＳ３９で化粧崩れ（顔のテカリおよび口紅の色落ち）を検出した場合、または、ひげが伸びてきたことを検出した場合には、その旨を表示してもよい。これにより、ユーザは、化粧直しおよびひげを剃るべきタイミングであることを知ることができる。

そして、ＣＰＵ２２は、ステップＳ４４の処理を完了すると、本フローを抜けて処理を終了する。なお、ＣＰＵ２２は、アドバイス表示を行なった後、データ量が足りなかったり取得したデータがまだ変化していたりすることにより、ユーザの顔の撮像を続ける必要がある場合には、ステップＳ３５に処理を戻して、再度の撮像処理から処理を繰り返してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 携帯端末、１２ ディスプレイ、１４ タッチパネル、１６ 内蔵カメラ、１８ マイク、２０ 生体センサ、２２ ＣＰＵ、２４ ＧＰＳモジュール、２６ 温度計、２８ カレンダー部、３０ 不揮発性メモリ、３２ 音声解析部、３４ 画像分析部、３６ 通信部、４２ 顔認識部、４４ 表情検出部、４６ 服装検出部、５０ ミラーフィルム、５２ バックライト、５４ 顔分析部

Claims (14)

1. ユーザを撮像可能な撮像部と、
   前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出部と、
   を備える電子機器。
2. 前記撮像部が顔を含む画像を撮像した場合に顔認識を行う顔認識部を備えたことを特徴とする請求項１記載の電子機器。
3. 前記顔認識部が認識した顔の認識結果と、前記第１検出部が検出した身なりに関する情報とを記憶する第１記憶部を備える
   請求項２に記載の電子機器。
4. 前記第１記憶部は、前記ユーザの身なりに関する情報として、前記ユーザの服装に関する情報を記憶する請求項３に記載の電子機器。
5. 前記第１記憶部は、前記服装の色と形状との少なくとも一方に関する情報を記憶する請求項４に記載の電子機器。
6. 前記第１検出部が検出した前記ユーザの身なりに関する情報を表示する表示部を備える
   請求項１から５のいずれか一項に記載の電子機器。
7. 前記表示部は、前記ユーザの服装に関する情報を表示する請求項６に記載の電子機器。
8. 前記表示部は、前記ユーザの顔に関する情報を表示する請求項６または７に記載の電子機器。
9. 前記撮像部が撮像を行っているときの状況を検出する第２検出部を備える
   請求項１から８のいずれか一項に記載の電子機器。
10. 前記第２検出部は、位置情報を検出する請求項９に記載の電子機器。
11. 前記第２検出部は、前記ユーザの生体情報を検出する請求項９または１０に記載の電子機器。
12. 前記ユーザの購買に関する履歴を記憶する第２記憶部を備える
    請求項１から１１のいずれか一項に記載の電子機器。
13. ユーザを撮像可能な撮像部によりユーザを撮像する撮像ステップと、
    前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出ステップと、
    を備える情報処理方法。
14. ユーザを撮像可能な撮像部によりユーザを撮像する撮像ステップと、
    前記撮像部が撮像した画像に前記ユーザの身なりに関する画像が含まれている場合に前記身なりに関する情報を検出する第１検出ステップと、
    をコンピュータに実行させるためのプログラム。

Images