JP2014146303A - 情報端末、文字列変換方法及びプログラム - Google Patents

Abstract

【課題】ユーザの心情に応じて、簡易な操作によって文字列を漢字等に変換する。
【解決手段】情報端末は、撮像手段によって撮影された画像から人物の顔を検出し、検出した顔の画像データを生成し、画像データに基づいて、当該人物の感情を判別する。また、情報端末は、入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出し、抽出された変換候補の文字列の表示順を、判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、表示する。また、情報端末は、表示した変換候補の文字列から一つの文字列を選択する。
【選択図】図２

Description

本発明は、情報端末、文字列変換方法及びプログラムに関する。

今日、ＳＮＳ（Social Networking Service）、ブログ等で、自身の日常、心情等を公開するユーザが増加している。ユーザが自身の日常、心情等をブログ等で公開するための技術として、特許文献１には、ユーザによって撮影された写真に、写真の属性（撮影された季節、被写体の表情等）に応じた文字列を合成して投稿する技術が開示されている。

特開２００９−０８１７８５号公報

ユーザが、ＳＮＳ、ブログ等で自身の心情を公開する際、写真を投稿するだけでなく、文章を投稿することも一般的に行われており、その際ユーザは、自身の心情に沿って文章を作成する。投稿する文章の作成時に、ユーザは、仮名文字列を入力し、これを漢字等に変換する。仮名文字列を漢字等に変換する場合、ユーザは多数の変換候補の中から自身の心情に沿った適切な変換候補を選択しなければならず、作業が煩雑である。

同様の問題は、通常の文書編集作業の際などにも生じている。例えば、文書編集プログラムは、かな文字を入力し、変換ボタンを操作すると、変換候補を表示する。複数の変換候補が存在する場合、選択履歴などに基づいて変換候補の表示順を制御する等のことは行われている。しかし、ユーザのその時点での心情に応じて、文書入力を容易にするための工夫は提案されていない。

本発明は、上記実情に鑑みてなされたものであり、ユーザの心情に応じて、簡易な操作によって文字列を漢字等に変換する情報端末、文字列変換方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る情報端末は、
文字を入力するための入力手段と、
撮像手段と、
前記撮像手段によって撮影された画像から人物の顔を検出し、検出した顔の画像データを生成する顔画像生成手段と、
前記顔画像生成手段によって生成された前記画像データに基づいて、当該人物の感情を判別する感情判別手段と、
前記入力手段によって入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出する変換候補文字列抽出手段と、
前記変換候補文字列抽出手段によって抽出された変換候補の文字列の表示順を、前記感情判別手段によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示する変換候補文字列表示手段と、
前記変換候補文字列表示手段が表示した前記変換候補の文字列から一つの文字列を選択する変換候補選択手段と、
を備えることを特徴とする。

また、本発明の第２の観点に係る文字列変換方法は、
人物の画像から当該人物の感情を判別するステップと、
入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出するステップと、
抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示するステップと、
表示された変換候補の文字列から一つの文字列を選択するステップと、
を含むことを特徴とする。

また、本発明の第３の観点に係るプログラムは、
コンピュータに、
人物の画像から当該人物の感情を判別し、
入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出し、
抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示し、
表示された変換候補の文字列から一つの文字列を選択する、
処理を実行させる。

本発明によれば、ユーザの心情に応じて、簡易な操作によって文字列を漢字等に変換する情報端末、文字列変換方法及びプログラムを提供することが可能となる。

本発明の実施の形態１に係る情報端末の構成を示す図である。 本発明の実施の形態１に係る情報端末の文字列変換処理を説明するフローチャートである。 本発明の実施の形態２に係る情報端末の外観図である。 本発明の実施の形態２に係る情報端末の構成を示す図である。 本発明の実施の形態２に係る変換候補ＤＢ（Database）を示す図である。 本発明の実施の形態２に係る情報端末の文字列変換処理を説明するフローチャートである。 本発明の実施の形態２に係る情報端末の感情判別処理を説明するフローチャートである。 （Ａ），（Ｂ）は、本発明の実施の形態２に係る情報端末が文字列を変換する様子を示す図である。 （Ａ），（Ｂ）は、本発明の実施の形態２に係る情報端末が予測変換機能を用いて文字列を変換する様子を示す図である。 本発明の変形例に係る変換候補ＤＢを示す図である。 本発明の実施の形態３に係る情報端末の構成を示す図である。

以下、本発明の実施の形態について、図面を参照して説明する。

（実施の形態１）
本実施の形態１に係る情報端末１００は、図１に示すように、入力部１０１、撮像部１０２、顔画像生成部１０３、感情判別部１０４、変換候補文字列抽出部１０５、変換候補文字列表示部１０６、変換候補選択部１０７及び文字列変換部１０８を備える。

入力部１０１は、キーボード、タッチパネル等から構成されるデバイスであり、情報端末１００に文字を入力することが可能なものである。

撮像部１０２は、光学系から構成されるデバイスであり、画像を撮影することが可能なものである。

顔画像生成部１０３は、撮像部１０２によって撮影された画像から人物の顔を検出し、検出した顔の画像データを生成するものである。

感情判別部１０４は、顔画像生成部１０３によって生成された人物の顔の画像データに基づいて、その人物の感情（喜怒哀楽等）を判別するものである。

変換候補文字列抽出部１０５は、入力部１０１によって情報端末１００に入力された変換対象の文字列に対応する変換候補の文字列（変換候補文字列）を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出するものである。

変換候補文字列表示部１０６は、変換候補文字列抽出部１０５によって抽出された変換候補の文字列の表示順を、感情判別部１０４によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、抽出された変換候補の文字列を表示するものである。

変換候補選択部１０７は、変換候補文字列表示部１０６が表示した変換候補の文字列から一つの文字列を選択するものである。

文字列変換部１０８は、入力部１０１によって入力された変換対象の文字列を、変換候補選択部１０７によって選択された文字列に変換するものである。

次に、上記構成を有する情報端末１００の動作（ユーザの感情に応じて文字列を変換する文字列変換処理）を、図２に示すフローチャートを参照して説明する。

まず、ユーザによる所定の操作によって撮像部１０２が起動し、撮像部１０２がユーザの顔を撮影する（ステップＳ１）。顔画像生成部１０３は、撮影された画像から人物の顔を検出する（ステップＳ２）。

人物の顔を検出すると（ステップＳ２：ＹＥＳ）、顔画像生成部１０３は、検出した顔の画像データを生成する（ステップＳ３）。人物の顔を検出しなければ（ステップＳ２：ＮＯ）、顔画像生成部１０３は、人物の顔を検出するまでこの動作を繰り返す。

続いて、感情判別部１０４は、顔画像生成部１０３が生成した顔の画像データに基づいて、当該人物の感情を判別する（ステップＳ４）。

次に、変換候補文字列抽出部１０５は、入力部１０１によって変換対象の文字列が入力されたか否かを判定する（ステップＳ５）。

変換対象の文字列が入力されたと判定すると（ステップＳ５：ＹＥＳ）、変換候補文字列抽出部１０５は、入力部１０１によって入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出する（ステップＳ６）。

一方、変換対象の文字列が入力されていないと判定すると（ステップＳ５：ＮＯ）、変換候補文字列抽出部１０５は、変換対象の文字列が入力されるまでこの動作を繰り返す。

次に、変換候補文字列表示部１０６は、変換候補文字列抽出部１０５によって抽出された変換候補の文字列の表示順を、ステップＳ４で感情判別部１０４によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、抽出された変換候補の文字列を表示する（ステップＳ７）。

次いで、変換候補選択部１０７は、入力部１０１を介してユーザからの指定があったか否かを判定する（ステップＳ８）。

変換候補選択部１０７は、ユーザからの指定があったと判定すると（ステップＳ８：ＹＥＳ）、変換候補文字列抽出部１０５が表示した変換候補の文字列から、ユーザが指定する一つの文字列を選択する（ステップＳ９）。
一方、変換候補選択部１０７は、ユーザからの指定がないと判定すると（ステップＳ８：ＮＯ）、ユーザからの指定があるまでこの動作を繰り返す。

次に、文字列変換部１０８は、入力部１０１によって入力された変換対象の文字列を、変換候補選択部１０７によって選択された文字列に変換する（ステップＳ１０）。

このようにして、情報端末１００は、撮影されたユーザの顔からユーザの感情を判別し、仮名文字列が入力されると、ユーザの感情に基づいて変換候補文字列の表示順を決定し、変換候補文字列を表示する。また、表示された変換候補文字列のうち何れかが選択されると、情報端末１００は、入力された仮名文字列（以下、入力仮名文字列という。）を選択した変換候補文字列に変換する。

（実施の形態２）
以下、実施の形態２，３では、上記実施の形態１に係る情報端末１００をより具体化した例を説明する。本実施の形態２に係る情報端末２００は、通信機能及び文書作成・編集機能を備えるものであり、図３に示すように、情報端末２００は、筐体１、タッチパネル２、スピーカ３、マイク４、カメラモジュール５を備える。タッチパネル２、スピーカ３、マイク４、カメラモジュール５、は筐体１に配置されている。

タッチパネル２は、タッチ位置検出部と、液晶表示パネル、ＥＬ（Electro Luminescence）パネル等、から構成される表示装置とが積層された構成を備える。タッチパネル２は、任意のデータ及び入力操作のための種々のボタン（文字を表すボタン、変換を指示する変換ボタン（変換候補選択手段）、カメラのシャッタボタン等を含む）、アイコン等の画像を表示し、さらに、ユーザのタッチ位置を検出するものである。これにより、タッチパネル２は、入力手段として機能すると共に表示手段として機能する。

スピーカ３は、情報端末２００の正面上部に設置されており、入力された電気信号を音声に変換して外部に出力するものである。マイク４は情報端末２００の正面下部に設置されており、外部から入力された音声を電気信号に変換して出力するものである。

カメラモジュール５は、図示せぬレンズと固体撮像素子とを備える。レンズが固体撮像素子の撮像面に入射光を結像し、固体撮像素子が結像された入射光を電気信号に変換し出力することで、カメラモジュール５は、静止画像、動画像を撮影する撮像手段として機能する。また、カメラモジュール５は、情報端末２００の正面上部に配置されており、ユーザがタッチパネル２を介して入力操作をしているときにユーザの顔を撮影することが可能なものである。

また、情報端末２００は、図４に示すような構成を備える。図示するように、情報端末２００は、上述のタッチパネル２、スピーカ３、マイク４、カメラモジュール５に加えて、制御部１０、通信部２０、記憶装置３０、を備える。タッチパネル２、スピーカ３、マイク４、カメラモジュール５、通信部２０、記憶装置３０は、制御部１０に接続されている。

制御部１０は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２等から構成されており、情報端末２００の動作を制御する。

通信部２０は、図示せぬ変復調回路やアンテナ等を備え、制御部１０の制御に基づいて基地局との間で無線通信を行うことにより、音声通話の通信及びデータ通信を行うものである。これにより、情報端末１００は、音声通話とインターネットアクセスが共に可能となる。

記憶装置３０は、情報端末２００の補助記憶装置である。記憶装置３０は、入力プログラム３１、顔画像生成プログラム３５、感情判別プログラム３４、変換候補文字列抽出プログラム３６、変換候補文字列表示プログラム３７、変換候補選択プログラム３８、文字列変換プログラム３２及び変換候補ＤＢ（Database）３３等を記憶する。

入力プログラム３１は、ユーザがタッチパネル２を介して文字を入力し、任意の文書を作成・編集するためのアプリケーションプログラムである。ユーザは、入力プログラム３１上で入力した仮名文字列を、文字列変換プログラム３２等を使用して所望の文字列に変換することが可能である。

顔画像生成プログラム３５は、カメラモジュール５によって撮影された画像からユーザの顔を検出し、検出した顔の画像データを生成するためのプログラムである。
感情判別プログラム３４は、画像生成プログラム３５によって生成された画像データに基づいて、ユーザの感情を判別するプログラムである。

変換候補文字列抽出プログラム３６は、タッチパネル２によって入力された変換対象の文字列に対応する変換候補の文字列を、変換候補ＤＢ３３から抽出するプログラムである。
変換候補文字列表示プログラム３７は、変換候補文字列抽出プログラム３６によって抽出された変換候補の文字列の表示順を、感情判別プログラム３４によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、抽出された変換候補の文字列を表示するプログラムである。

変換候補選択プログラム３８は、変換候補文字列表示プログラム３７が表示した変換候補の文字列から一つの文字列を選択するプログラムである。
文字列変換プログラム３２は、タッチパネル２を介して入力された変換対象の仮名文字列を、漢字等の文字列に変換するプログラムである。

変換候補ＤＢ３３は、文字列変換プログラム３２が入力仮名文字列をどのような文字列（変換候補文字列）に変換するかを、ユーザの感情別に規定するデータベース（辞書）である。変換候補ＤＢ３３は、図５に示すように、「入力仮名文字列」とユーザの感情（喜怒哀楽等）を示す感情データ別の「変換候補文字列」とを対応付けて格納している。即ち、変換候補ＤＢ３３は、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納している。

顔画像生成手段は、制御部１０と顔画像生成プログラム３５から構成される。
感情判別手段は、制御部１０と感情判別プログラム３４から構成される。
変換候補文字列抽出手段は、制御部１０と変換候補文字列抽出プログラム３６から構成される。

変換候補文字列表示手段は、制御部１０と変換候補文字列表示プログラム３７から構成される。
変換候補選択手段は、制御部１０と変換候補選択プログラム３８から構成される。
文字列変換手段は、制御部１０と文字列変換プログラム３２から構成される。

次に、上記構成を有する情報端末２００の動作を説明する。情報端末２００は、外部との通信機能、通話機能等、通常想定される情報端末としての機能を備えているが、ここでは、本実施の形態に特有な、ユーザの感情に応じて文字列を変換する処理（文字列変換処理）について、情報端末２００に電源が投入されてから文字列が変換されてタッチパネル２に表示されるまでを、図６，７に示すフローチャートを参照して説明する。

まず、情報端末２００に電源が投入され、ユーザによってタッチパネル２に表示されている入力アプリケーションを示すアイコンが触れられると、制御部１０は、文字列変換処理を開始する。

以下、図６を参照して文字列変換処理について説明する。
制御部１０は、入力プログラム３１、顔画像生成プログラム３５、感情判別プログラム３４、変換候補文字列抽出プログラム３６、変換候補文字列表示プログラム３７、変換候補選択プログラム３８及び文字列変換プログラム３２を読み込む（ステップＳ２０１）。以後、入力プログラム３１は、本文字列変換処理とは別の処理により、タッチパネルの操作に応じて、仮名文字列を入力する処理を実行する。
そして、制御部１０は、顔画像生成プログラム３５と感情判別プログラム３４を実行して、感情判別処理を行う（ステップＳ２０２）。

図７を参照して感情判別処理について説明する。
制御部１０は、顔画像生成プログラム３５を実行して、カメラモジュール５を起動する（ステップＳ２２１）。

続いて、制御部１０は、カメラモジュール５が撮影している画像中に顔を検出したか否かを判定する（ステップＳ２２２）。なお、制御部１０が顔を検出する方法は任意であり、ハールライク特徴を用いた顔検出方法等の既知の顔認識システムを適宜用いてもよい。

顔が検出されなければ（ステップＳ２２２：ＮＯ）、制御部１０は、ステップＳ２２２の処理を、顔が検出されるまで繰り返す。

一方、顔が検出されれば（ステップＳ２２２：ＹＥＳ）、制御部１０は、検出した顔の画像データを生成する（ステップＳ２２３）。
次に、制御部１０は、感情判別プログラム３４を実行し、上記画像データからユーザの表情を分析して、ユーザの感情（心情）を判別する（ステップＳ２２４）。なお、制御部１０が画像データからユーザの表情を分析してユーザの感情を判別する方法は任意であり、ＦＡＣＳ（Facial Action Coding System）等の既知の技術を適用することが可能である。
そして、制御部１０は、感情判別処理を終了する。

図６に戻り、制御部１０は、入力プログラム３１を実行し、仮名文字列が入力されているか否かを判定する（ステップＳ２０３）。

仮名文字列が入力されていないと判定すれば（ステップＳ２０３：ＮＯ）、制御部１０は、ステップＳ２０３の処理を、仮名文字列が入力されるまで繰り返す。

一方、仮名文字列が入力されていると判定すれば（ステップＳ２０３：ＹＥＳ）、制御部１０は、変換候補文字列抽出プログラム３６を実行し、入力仮名文字列に対応する変換候補文字列を変換候補ＤＢ３３から抽出する（ステップＳ２０４）。
さらに、制御部１０は、変換候補文字列表示プログラム３７を実行し、抽出した変換候補文字列のうちで、ステップＳ２２４で判別したユーザの感情に対応する変換候補文字列を、最上位に表示する変換候補文字列として決定する（ステップＳ２０５）。

なお、最上位以外（２番目以降）の変換候補文字列の表示順位は任意であり、当該入力仮名文字列には対応しているが当該感情には対応していない変換候補文字列を表示してもよい。

次に、制御部１０は、変換候補文字列を決定した表示順でタッチパネル２に表示する（ステップＳ２０６）。
次いで、制御部１０は、変換候補選択プログラム３８を実行し、タッチパネル２に表示した変換候補文字列のうち何れかがユーザの入力操作によって指定されたか否かを判定する（ステップＳ２０７）。

変換候補文字列の何れも指定されていないと判定すれば（ステップＳ２０７：ＮＯ）、制御部１０は、何れかが指定されるまでステップＳ２０７の処理を繰り返す。

一方、変換候補文字列のうち何れかが指定されたと判定すれば（ステップＳ２０７：ＹＥＳ）、制御部１０は、ユーザが指定した一つの変換候補文字列を選択する（ステップＳ２０８）。

そして、制御部１０は、文字列変換プログラム３２を実行し、入力仮名文字列を、選択された変換候補文字列に変換する（ステップＳ２０９）。制御部１０は、変換後の文字列をタッチパネル２に表示する（ステップＳ２１０）。

次に、制御部１０は、入力プログラム３１の処理の終了が指示されているか否かを判別し、終了が指示されていなければ（ステップＳ２１１：ＮＯ）、ステップＳ２０３にリターンして、次の仮名文字列の入力を待機する。
一方、入力プログラム３１の処理の終了が指示されていると判別すれば（ステップＳ２１１：ＹＥＳ）、制御部１０は、文字列変換処理を終了する。

次に、上述の処理を具体例に基づいて説明する。なお、前提として、変換候補ＤＢ３３は、図５に示すようなものとし、ステップＳ２０２の感情判別処理で、ユーザの感情は「喜」であると判別された（制御部１０が「喜」を示す感情データを生成した）とする。

制御部１０は、入力プログラム３１を実行し、仮名文字列が入力されたか否かを判定する（ステップＳ２０３）。

ここで、例えば、情報端末２００に文字列「かんしょう」が入力されているとすると、制御部１０は、入力仮名文字列「かんしょう」に対応する変換候補文字列「完勝、感傷…」を変換候補ＤＢ３３から抽出する（ステップＳ２０４）。さらに、制御部１０は、これらの文字列のうちで、感情「喜」に対応する文字列「完勝」を最上位に表示する変換候補文字列として決定する（ステップＳ２０５）。

続いて、制御部１０は変換候補文字列を、例えば、図８（Ａ）に示すように、タッチパネル２に表示する（ステップＳ２０６）。制御部１０は表示した変換候補文字列のうち、ユーザの指定に基づいて例えば文字列「完勝」を選択（ステップＳ２０８）する。そして、制御部１０は、図８（Ｂ）に示すように、文字列「かんしょう」を文字列「完勝」に変換し（ステップＳ２０９）、変換後の文字列「完勝」をタッチパネル２に表示する（ステップＳ２１０）。

次に、制御部１０は、入力プログラム３１の処理の終了が指示されているか否かを判別し（ステップＳ２１１）、終了が指示されていなければ（ステップＳ２１１：ＮＯ）、ステップＳ２０３にリターンして、次の仮名文字列の入力を待機する。一方、ステップＳ２１１で、入力プログラム３１の処理の終了が指示されていると判別すれば（ステップＳ２１１：ＹＥＳ）、制御部１０は、文字列変換処理を終了する。

このように、情報端末２００は、ユーザの顔を撮影して生成した画像データからユーザの感情を判別する。情報端末２００は、入力された仮名文字列に対応する変換候補文字列を抽出し、判別されたユーザの感情に基づいて変換候補文字列の表示順を決定して、変換候補文字列をタッチパネル２に表示する。そして、情報端末２００は、タッチパネル２に表示された変換候補文字列から一つの文字列を選択し、入力仮名文字列を選択された変換候補文字列に変換する。このため、情報端末２００は、入力仮名文字列を、簡易な操作によって、ユーザの感情に応じた漢字（列）等に変換し、文書を作成することが可能である。こうして作成した文書を、通信部２０を介してアップすることにより、心情に合致した文書をブログに投稿することができる。

（変形例１）
文字列変換プログラム３２のうちには、予測変換機能を有するものがある。予測変換機能は、ユーザが仮名文字列を入力している途中で、ユーザが入力予定の仮名文字列を予測し、入力途中の仮名文字列を漢字等の文字列に変換することが可能である。

このような予測変換機能が使用された際の文字列変換処理を具体例に基づいて説明する。なお、前提として、変換候補ＤＢ３３は、図５に示すようなものとし、ステップＳ２０２で、ユーザの感情は「哀」であると判別された（制御部１０が「哀」を示す感情データを生成した）とする。

制御部１０は、入力プログラム３１を実行し、仮名文字列が入力されたか否かを判定する（ステップＳ２０３）。

ここで、例えば、情報端末２００に文字列「あ」が入力されているとすると、制御部１０は、入力仮名文字列「あ」に対応する変換候補文字列「…哀愁、…、悪人、…、安堵…」を抽出し、さらに、感情「哀」に対応する文字列「哀愁」を最上位の変換候補文字列として決定する（ステップＳ２０４）。なお、図示されていないが、感情「哀」に対応する変換候補文字列が複数ある場合には、選択履歴等の他の条件に基づいて、最上位を決定すればよい。

次に、制御部１０は変換候補文字列を、例えば、図９（Ａ）に示すように、タッチパネル２に表示し（ステップＳ２０５）、表示した変換候補文字列のうち、文字列「哀愁」が選択されれば、図９（Ｂ）に示すように、文字列「あ」を文字列「哀愁」に変換する。制御部１０は変換後の文字列「哀愁」をタッチパネル２に表示する（ステップＳ２０７）。

（変形例２）
また、上記実施の形態２では、入力仮名文字列に対応する全ての変換候補文字列を変換候補ＤＢから抽出したが、入力仮名文字列に対応し、かつ、判別したユーザの感情に対応する変換候補文字列のみを変換候補ＤＢから抽出するようにしてもよい。

例えば、入力仮名文字列に対応する変換候補文字列が変換候補ＤＢ３３にＮ個存在し、そのＮ個の中に、判別されたユーザの感情に対応する文字列がＭ個存在する場合は、そのＭ個の変換候補文字列のみを変換候補ＤＢから抽出する。

（変形例３）
また、上記実施の形態２では、ユーザの感情に対応する変換候補文字列が最上位に表示されるように、変換候補文字列の表示順を決定したが、変換候補文字列の表示順の決定方法を適宜変更してもよい。例えば、ユーザの感情に対応する変換候補文字列の表示順位を一つ上げたり、ユーザの感情に対応しない変換候補文字列の表示順位を一つ下げたりする。

即ち、変換候補文字列の表示順を、ユーザの感情に応じて決定してさえいれば、最終的に表示される変換候補文字列の順番は問わない。

（変形例４）
また、上記実施の形態２では、ユーザの感情に対応する変換候補文字列が最上位に表示されるように、変換候補文字列の表示順を決定したが、ユーザの感情とユーザの感情以外の条件とを組み合わせて選択候補文字列の表示順を決定することも可能である。

例えば、変換（選択）履歴及び／又は文脈に基づいて決定される表示順位Ｎと感情に基づいて決定される表示順位Ｍとを所定の重み付けで合計し、総得点Ｐ＝Ｗ１・Ｎ＋Ｗ２・Ｍ（Ｗ１，Ｗ２，重み係数）に基づいて、表示順を決定する。

（変形例５）
また、上記実施の形態２では、図５の変換候補ＤＢ３３は、１つの入力仮名文字列と１つの変換候補文字列と、１つの変換候補文字列と１つの感情と、をそれぞれ対応付けてデータを格納しているが、図１０（ａ）に示すように変換候補ＤＢに、１つの入力仮名文字列と複数の変換候補文字列と、複数の変換候補文字列と１つの感情と、をそれぞれ対応付けてデータを格納してもよい。また、図１０（ｂ１）、（ｂ２）に示すように変換候補ＤＢに、１つの入力仮名文字列と１つの変換候補文字列と、１つの変換候補文字列と複数の感情と、をそれぞれ対応付けてデータを格納してもよい。

また、感情は「喜」、「怒」、「哀」、「楽」に限定されず、「快」、「不快」、「好き」、「嫌い」、「気だるい」、「有頂天」、「眠い」等、広い意味での感情を意味する。即ち、感情には、心の中にある思いや体が感じる状況等も含まれる。

（変形例６）
また、上記実施の形態２では、顔の画像データに基づいて、ユーザの感情を判別したが、顔の画像データと他のデータに基づいて、ユーザの感情を判別してもよい。他のデータとしては、例えば、体温、脈拍数、時刻、気象等のデータや、過去に選択した１又は複数の選択候補文字列に対応する感情データがある。

（変形例７）
また、上記実施の形態２では、変換候補ＤＢ３３を情報端末２００の内部に配置する例を示したが、変換候補ＤＢ３３を情報端末２００の外部に配置してもよい。この場合には、例えば、制御部１０が通信部２０を介して変換候補ＤＢ３３にアクセスする構成とする。

（変形例８）
また、上記実施の形態２では、入力アプリケーションの起動時にだけ、ユーザの感情を判別したが、ユーザの感情を判別するタイミングは、入力アプリケーションの起動時だけに限定されない。

例えば、図６のステップＳ２１１で終了していないと判別された場合に、図７のステップＳ２２２にリターンして、顔画像の有無を判別し、顔画像が存在しないと判別した場合には、すでに判別している「感情」をそのまま使用して図６のステップＳ２０３に進み、存在すると判別した場合（ステップＳ２２２；ＹＥＳ）、顔画像から感情を改めて判別し（ステップＳ２２３）、次の処理に進むようにする。即ち、定期的又は周期的にユーザの感情を判別するようにする。このように設定すれば、情報端末２００は、ユーザが文字列を入力する度にユーザの感情を反映した表示順で変換候補文字列を表示することができる。
また、感情判別処理を文字列変換処理から独立させ、リアルタイムにユーザの感情を判別するようにしてもよい。

（実施の形態３）
ユーザの表情は日々変化するものである。このため、ユーザの表情を、感情判別プログラム３４等による感情の判別に反映させることが望ましい。

ユーザの表情を感情の判別に反映させる方法としては、機械学習が有効である。
実施の形態３に係る情報端末３００は、図１１に示すように、実施の形態２に係る情報端末２００の構成に、更に感情特定手段としての感情特定プログラム４０を備える。感情特定プログラム４０は、記憶装置３０に記憶されている。

なお、実施の形態３に係る情報端末３００は、実施の形態２に係る情報端末２００と同様の構成を有するので、情報端末２００と同様の構成については、同じ符号を付すことで説明を省略する。

感情特定プログラム４０は、変換候補選択プログラム３８によって選択された文字列に対応付けられている感情を特定するプログラムである。
感情特定手段は、制御部１０と感情特定プログラム４０から構成される。

次に、情報端末３００の動作について説明する。
なお、情報端末３００は、実施の形態２に係る情報端末２００の動作と略同様の動作をするので、情報端末２００と同様の動作については説明を省略することとし、情報端末２００とは異なる動作について図６を流用して説明することとする。

制御部１０は、変換候補選択プログラム３８を実行して、変換候補文字列を選択する（ステップＳ２０８）。制御部１０は、感情特定プログラム４０を実行して、その文字列に対応付けられている感情を特定する。制御部１０は、特定した感情（出力データ）とそのときのユーザの実際の感情、即ち画像データに基づいて判別した感情（入力データ）との入出力対データを、記憶装置３０が備える図示しない記憶部に蓄積する。
感情判別プログラム３４は、上記入出力対データを、ステップＳ２２４で実行する感情を判別する処理の学習データとして学習し、画像データから感情を判別する能力を更新する。
機械学習の処理自体は、例えば、深夜、情報端末３００がクレードルに載置された状態の時に行う。

次に、上述の処理を具体例に基づいて説明する。なお、前提として、ステップＳ２０２の感情判別処理で、ユーザの感情は「哀」であると判別された（制御部１０が「哀」を示す感情データを生成した）とする。

この場合、全ての判別した感情（入力データ）と特定した感情（出力データ）とを蓄積して、このデータを学習データとしてもよい。

また、ステップＳ２０２で判別した感情と、特定した感情とが不一致の場合にのみ、判別した感情（入力データ）と特定した感情（出力データ）とを蓄積して、このデータを学習データとしてもよい。

例えば、判別した感情が「哀」であり、入力仮名文字列が「かんしょう」である場合に変換候補文字列「感傷」が上位に表示されたにもかかわらず、ユーザが下位に表示された文字列「完勝」を指定した場合に、判別した感情と最終的に指定された変換候補文字列である「完勝」に対応する感情「喜」とを学習データとして蓄積してもよい。

このようにして、情報端末３００は、ユーザの真の感情（上述の例では「喜」）と画像データから判別した感情（上述の例では「哀」）とに基づいて機械学習することによって、誤った判別を訂正し、次回からはユーザの感情を正しく判別することができる。このため、情報端末３００は、精度の高い表情認識を行うことが可能である。

なお、情報端末１００，２００，３００は、文字入力機能を備える端末、例えば、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Data assistants：携帯情報端末）等、任意である。

上記実施の形態では、入力される変換対象の文字列を、仮名文字列（入力仮名文字列）としたが、入力される変換対象の文字列は仮名文字列に限定されない。例えば、入力される変換対象の文字列を、アルファベット文字列などとしてもよい。

また、コンピュータがプログラムを実行することで、情報端末１００，２００，３００の機能を実現してもよい。情報端末１００，２００，３００の機能を実現するためのプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤメモリカード、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
文字を入力するための入力手段と、
撮像手段と、
前記撮像手段によって撮影された画像から人物の顔を検出し、検出した顔の画像データを生成する顔画像生成手段と、
前記顔画像生成手段によって生成された前記画像データに基づいて、当該人物の感情を判別する感情判別手段と、
前記入力手段によって入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出する変換候補文字列抽出手段と、
前記変換候補文字列抽出手段によって抽出された変換候補の文字列の表示順を、前記感情判別手段によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示する変換候補文字列表示手段と、
前記変換候補文字列表示手段が表示した前記変換候補の文字列から一つの文字列を選択する変換候補選択手段と、
を備えることを特徴とする情報端末。

（付記２）
前記変換候補文字列抽出手段は、前記入力手段によって入力された変換対象の文字列と前記感情判別手段によって判別された感情と、に基づいて前記辞書から変換候補の文字列を抽出する、
ことを特徴とする付記１に記載の情報端末。

（付記３）
前記変換候補選択手段によって選択された文字列に対応付けられている感情を特定する感情特定手段、をさらに備え、
前記感情判別手段は、前記感情特定手段によって特定された感情と、前記顔画像生成手段によって生成された顔の画像データと、に基づいて機械学習を行う、
ことを特徴とする付記１又は２に記載の情報端末。

（付記４）
前記辞書、をさらに備える、
ことを特徴とする付記１から３の何れか一つに記載の情報端末。

（付記５）
人物の画像から当該人物の感情を判別するステップと、
入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出するステップと、
抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示するステップと、
表示された変換候補の文字列から一つの文字列を選択するステップと、
を含むことを特徴とする文字列変換方法。

（付記６）
コンピュータに、
人物の画像から当該人物の感情を判別し、
入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出し、
抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示し、
表示された変換候補の文字列から一つの文字列を選択する、
処理を実行させるプログラム。

１ …筐体
２ …タッチパネル
３ …スピーカ
４ …マイク
５ …カメラモジュール
１０ …制御部
１１ …ＣＰＵ
１２ …ＲＡＭ
２０ …通信部
３０ …記憶装置
３１ …入力プログラム
３２ …文字列変換プログラム
３３ …変換候補ＤＢ
３４ …感情判別プログラム
３５ …顔画像生成プログラム
３６ …変換候補文字列抽出プログラム
３７ …変換候補文字列表示プログラム
３８ …変換候補選択プログラム
４０ …感情特定プログラム
１００…情報端末
１０１…入力部
１０２…撮像部
１０３…顔画像生成部
１０４…感情判別部
１０５…変換候補文字列抽出部
１０６…変換候補文字列表示部
１０７…変換候補選択部
１０８…文字列変換部
２００…情報端末
３００…情報端末

Claims (6)

1. 文字を入力するための入力手段と、
   撮像手段と、
   前記撮像手段によって撮影された画像から人物の顔を検出し、検出した顔の画像データを生成する顔画像生成手段と、
   前記顔画像生成手段によって生成された前記画像データに基づいて、当該人物の感情を判別する感情判別手段と、
   前記入力手段によって入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出する変換候補文字列抽出手段と、
   前記変換候補文字列抽出手段によって抽出された変換候補の文字列の表示順を、前記感情判別手段によって判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示する変換候補文字列表示手段と、
   前記変換候補文字列表示手段が表示した前記変換候補の文字列から一つの文字列を選択する変換候補選択手段と、
   を備えることを特徴とする情報端末。
2. 前記変換候補文字列抽出手段は、前記入力手段によって入力された変換対象の文字列と前記感情判別手段によって判別された感情と、に基づいて前記辞書から変換候補の文字列を抽出する、
   ことを特徴とする請求項１に記載の情報端末。
3. 前記変換候補選択手段によって選択された文字列に対応付けられている感情を特定する感情特定手段、をさらに備え、
   前記感情判別手段は、前記感情特定手段によって特定された感情と、前記顔画像生成手段によって生成された顔の画像データと、に基づいて機械学習を行う、
   ことを特徴とする請求項１又は２に記載の情報端末。
4. 前記辞書、をさらに備える、
   ことを特徴とする請求項１から３の何れか一項に記載の情報端末。
5. 人物の画像から当該人物の感情を判別するステップと、
   入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出するステップと、
   抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示するステップと、
   表示された変換候補の文字列から一つの文字列を選択するステップと、
   を含むことを特徴とする文字列変換方法。
6. コンピュータに、
   人物の画像から当該人物の感情を判別し、
   入力された変換対象の文字列に対応する変換候補の文字列を、変換対象の文字列と変換候補の文字列と、変換候補の文字列と感情と、をそれぞれ対応付けて格納する辞書から抽出し、
   抽出された変換候補の文字列の表示順を、前記判別された感情と各変換候補の文字列に対応付けられている感情とに応じて決定し、前記抽出された変換候補の文字列を表示し、
   表示された変換候補の文字列から一つの文字列を選択する、
   処理を実行させるプログラム。

Images