JP2016115128A - メッセージ処理装置、端末装置、及びコンピュータプログラム - Google Patents

Abstract

【課題】メッセージに付随する感情や音声表現に関する情報を適切に表現することができるメッセージ処理装置を提供する。【解決手段】 メッセージ処理装置は、送信メッセージの特徴値である特徴ベクトルを抽出する特徴抽出部３１と、予め定型分類された複数の吹き出し形状と、前記吹き出し形状としたときのメッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応データベース２０と、対応データベース２０を参照し、送信メッセージの特徴ベクトルと特徴情報とを対比して、対応データベース２０に登録されている吹き出し形状の中から一又は複数の吹き出し形態を特定する特定部３２とを備えている。【選択図】図２

Description

本発明は、携帯端末等を用いたメッセージ交換等に用いられるメッセージ処理装置、端末装置、及びコンピュータプログラムに関するものである。

近年、スマートフォン等の端末装置の普及に伴い、インターネット等を通じたメッセージ交換の利用度が高まっている。

例えば、チャットやインスタントメッセージシステムでは、各ユーザが端末装置を用いてリアルタイムでメッセージ交換を行うことができ、テキストメッセージを用いた会話が行われている。

上記システムでは、受信したテキストメッセージを所定形状の吹き出し表示に含め、テキストメッセージや音声データのリンクを含んだ吹き出し表示を端末装置の表示部に表示するものがある（例えば、特許文献１参照）。

特開２００２−１６３２１７号公報

上記従来のシステムでは、テキストメッセージを吹き出し表示に含めて表示することで、会話の臨場感を視覚的に高めることができるが、テキストメッセージが含められる吹き出し表示が単調であるため、音声によるリアルタイムの会話のような、相手の感情や、声の大きさ、声質等の音声表現に関する情報までは受信側の相手に伝えることができない。

本発明はこのような事情に鑑みてなされたものであり、メッセージに付随する感情や音声表現に関する情報を適切に表現することができる技術を提供することを目的とする。

（１）一実施形態であるメッセージ処理装置は、メッセージを含んだ吹き出し表示に関する処理を行うメッセージ処理装置であって、前記メッセージの特徴値を抽出する特徴抽出部と、前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルと、前記対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定部と、を備えている。

上記のように構成されたメッセージ処理装置によれば、対応テーブルに基づいて、メッセージの特徴に応じた吹き出し形態を特定することができる。この結果、メッセージを当該メッセージに応じた形態とされた吹き出し表示に含めて表示することができ、メッセージに付随する感情や音声表現に関する情報を吹き出し表示によって適切に表現することができる。

（２）上記メッセージ処理装置において、
前記特徴値は、前記メッセージを構成する複数の要素ごとの特徴量であることが好ましい。
この場合、メッセージの特徴を複数の要素ごとに特徴値として数値化し、特徴情報と対比することで、メッセージに応じた吹き出し形態を数値計算によって容易に特定することができる。

（３）（４）より具体的に、前記メッセージは文字情報で構成されている場合、前記要素は、前記メッセージを構成する文字情報の形態素であってもよいし、前記メッセージが音で構成されている場合、前記要素は、前記メッセージを構成する音の特性であってもよい。

（５）また、
前記対応テーブルは、漫画に掲載されている台詞と当該台詞の表示を含んだ吹き出し表示の形態との関係に基づいて前記特徴情報を学習し、その学習結果に基づいて構築されていることが好ましい。
この場合、漫画に掲載されている台詞が表す感情や音声表現と、吹き出し形態との対応関係を、対応テーブルに登録される特徴情報と、吹き出し形態との対応関係に反映させることができる。

（６）さらに、
前記対応テーブルは複数であり、複数の前記対応テーブルは登録されている内容が互いに相違しており、前記特定部は、複数の前記対応テーブルの中から参照する対応テーブルを選択するものであってもよい。
この場合、複数の対応テーブルを、特徴情報と吹き出し形態との対応関係が互いに異なるように設定することができ、対応テーブルを選択することで、異なる基準で受信側表示部に表示させる吹き出し形態を特定することができる。

（７）また、上記（６）において、前記特定部は、前記送信装置のユーザを特定するための情報に基づいて複数の前記対応テーブルの中から参照する対応テーブルを選択するものであってもよい。
この場合、ユーザを特定するための情報に基づいて、対応テーブルを選択することで、ユーザの嗜好に応じた対応テーブルを選択することができる。

（８）上記メッセージ処理装置において、前記送信装置は、前記特定部が特定した複数の吹き出し形態を当該送信装置の送信側表示部に表示させ、前記特定部が特定した複数の吹き出し形態の中から前記送信装置のユーザが選択した選択結果を受け付ける選択受付部をさらに備えていることが好ましい。
この場合、特定部が特定した吹き出し形態の中から受信側表示部に表示させる吹き出し形態を送信装置のユーザに選択させることができる。

（９）また、上記メッセージ処理装置において、前記選択結果に基づいた前記メッセージと前記メッセージを含んだ吹き出し表示の形態との関係から得られる情報で学習される履歴テーブルをさらに備え、
前記特定部は、前記対応テーブルと前記履歴テーブルとを参照して前記受信側表示部に表示させる吹き出し形態を特定するものであってもよい。
この場合、特定部が特定する吹き出し形態に、送信装置のユーザが過去に選択した選択結果を反映させることができる。

（１０）また、前記履歴テーブルは複数であり、複数の前記履歴テーブルは前記受信装置のユーザごとに対応していることが好ましく、この場合、送信装置のユーザは、受信装置のユーザごとに異なる選択基準で吹き出し形態を選択することで、各履歴テーブルを受信装置のユーザそれぞれに応じた内容で学習させることができ、受信側のユーザそれぞれに適した吹き出し形態が特定可能となる。

（１１）また、一実施形態である端末装置は、吹き出し表示に含まれるメッセージの送受信を行う端末装置であって、前記メッセージの特徴値を抽出する特徴抽出部と、前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルと、前記対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定部と、を備えている。

（１２）また、上記端末装置において、他の端末装置から送信される前記メッセージとともに当該メッセージの表示を含んだ吹き出し表示を表示するために必要な情報を受信すると、前記情報から特定される吹き出し表示の形態に応じて着信鳴動の態様を変更する受信制御部をさらに備えていることが好ましい。
この場合、受信装置のユーザは、着信鳴動の態様に基づいて、受信したメッセージが表示される吹き出し形態を特定することができるので、メッセージを閲覧することなく、その吹き出し形態によって表現されているメッセージに付随する感情や音声表現に関する情報を把握することができる。この結果、受信装置のユーザは、受信したメッセージを閲覧せずとも前記メッセージの概略を把握することができる。

（１３）また、一実施形態に係るコンピュータプログラムは、メッセージを含んだ吹き出し表示を特定するメッセージ処理をコンピュータに実行させるためのコンピュータプログラムであって、コンピュータに前記メッセージの特徴値を抽出する特徴抽出ステップと、前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定ステップと、を実行させるためのコンピュータプログラムである。

上記のように構成されたコンピュータプログラムによれば、メッセージに付随する音声表現に関する情報を吹き出し表示によって適切に表現することができる。

本発明によれば、テキストメッセージに付随する感情や音声表現に関する情報を吹き出し表示によって適切に表現することができる。

一実施形態に係るメッセージ送受信システムのブロック図である。 端末装置の構成を示すブロック図である。 吹き出し表示の一例を示す図である。 端末装置が行うメッセージ送信処理の手順の一例を示すフローチャートである。 テキストデータである送信メッセージから当該送信メッセージの特徴を表す特徴値を抽出する態様を説明するための図である。 対応データベースの一例を示す図である。 （ａ）は、特定部が特定した複数の吹き出し形状を表示したときの表示部の一例を示す図、（ｂ）は、選択された吹き出し形状を採用した吹き出し表示を表示した場合の表示部の一例を示す図である。 端末装置が行うメッセージ受信処理の手順の一例を示すフローチャートである。 （ａ）は、図６に示す対応データベースの変形例を示す図、（ｂ）は、図６に示す対応データベースの他の変形例を示す図である。 対応データベースの他の例を示す図である。

以下、好ましい実施形態について図面を参照しつつ説明する。
〔システムの構成について〕
図１は、一実施形態に係るメッセージ送受信システムのブロック図である。
図１中、このメッセージ送受信システム１は、ネットワークを介して、複数のユーザ同士の間でメッセージ交換を行うためのシステムであり、インターネット等のネットワーク２に接続されたサーバ３と、ネットワーク２に接続された複数の端末装置４とを備えている。

サーバ３は、ネットワーク２を介して複数の端末装置４と通信する機能を有している。また、サーバ３は、各端末装置４同士の間で行われるメッセージの送受信を管理する機能を有している。各端末装置４が他の端末装置４に向けて送信したメッセージは、一旦サーバ３を経由し、サーバ３が送信先の端末装置４に送信する。つまり、サーバ３は、端末装置４同士が行うメッセージ交換を中継する機能を有している。

各端末装置４は、ネットワーク２を介してサーバ３と通信する機能を有している。各端末装置４は、サーバ３と通信することで、端末装置４同士の間で行われるメッセージ交換を行うことができる。

図２は、端末装置４の構成を示すブロック図である。なお、各端末装置４は、いずれも以下に説明する構成とほぼ同様の構成とされている。
端末装置４は、スマートフォンや、携帯電話、パソコン等によって構成されている。
端末装置４は、ネットワーク２に接続するための通信機能の他、ＣＰＵや、記憶部等を含むコンピュータを備えることで後述の各処理を実行する機能も有している。

端末装置４は、図２に示すように、処理部１０、記憶部１１、音声入出力部１２、テキスト入力部１３、表示部１４、及び通信部１５を備えている。
記憶部１１は、ハードディスクやメモリ等により構成されている。記憶部１１には、処理部１０によって実行されるオペレーティングシステムや、通信処理等の各種処理を実行するためのコンピュータプログラムがインストールされている。
また、記憶部１１には、他の端末装置４との間でメッセージ交換（メッセージ送受信処理）を行うためのメッセージングアプリケーションソフト１９や、メッセージ送受信処理を行う際に必要な処理に用いる各種データベースとして、対応データベース２０、ユーザ履歴データベース２１、ユーザ情報２２、吹き出し形態データベース２３、及び着信鳴動データベース２４も記憶されている。これらの内容については、後に詳述する。

処理部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含み、記憶部１１に記憶されたオペレーティングシステムや各種コンピュータプログラムを読み出して端末装置４の各部を制御するとともに各種処理を実行する機能を有している。
音声入出力部１２は、マイク及びスピーカ等によって構成されており、端末装置４を操作するユーザが発話する音声等の音を受け付ける機能と、ユーザに対して音声等の音を発して出力する機能とを有している。

テキスト入力部１３は、キーボード等によって構成されており、ユーザが入力するテキストデータ（文字データ）を受け付ける機能を有している。
表示部１４は、液晶ディスプレイ等によって構成されており、ユーザに対してテキストデータや、映像等を表示することでこれら情報を出力する機能を有している。なお、表示部１４がタッチパネルによって構成されている場合、表示部１４は、テキスト入力部１３の機能も有することがある。
通信部１５は、移動体通信や、ＬＡＮ通信等の通信機能を有しており、端末装置４がネットワーク２に接続するための通信処理を行う。

処理部１０は、記憶部１１に記憶された各種コンピュータプログラムを実行することで実現される機能部として、音声認識部３０、特徴抽出部３１、特定部３２、選択受付部３３、送信処理部３４、学習部３５、及び受信処理部３６を備えている。
これら各機能部は、端末装置４のユーザが、自端末装置４以外の他の端末装置４のユーザとの間でメッセージの送受信処理を行う際に必要な処理を行う機能を有している。

音声認識部３０は、音声入出力部１２が音声として受け付けた送信メッセージをテキストデータに変換する機能を有している。
特徴抽出部３１は、テキスト入力部１３によってテキストデータとして受け付けた送信メッセージを予め設定された基準に従って形態素に分解した上で、送信メッセージの特徴を数値化した特徴値を抽出する機能を有している。
また、特徴抽出部３１は、音声認識部３０が音声として受け付けた送信メッセージを変換したテキストデータを受け付けることもできる。

また、特徴抽出部３１は、音声入出力部１２が音声等の音として受け付けた送信メッセージの特徴値を抽出する機能も有している。特徴抽出部３１は、音で構成された送信メッセージの特徴を取得するために、その音の音量や中心周波数、発話スピードといったその音に関する複数の特性を測定する。特徴抽出部３１は、これら複数の測定結果を、音で構成された送信メッセージの特徴を特徴値として取得する機能も有している。
なお、このように、送信メッセージは、テキストデータ等の文字情報で構成される場合の他、音で構成される場合がある。送信メッセージが音で構成される場合、音声に限らず、音楽や、チャイム、衝撃音といった音が含まれる。

特定部３２は、記憶部１１に記憶された対応データベース２０、ユーザ履歴データベース２１、及びユーザ情報２２を参照し、特徴抽出部３１が抽出した送信メッセージの特徴値に応じて、当該送信メッセージを表示するための吹き出し表示の形態（吹き出し形態）を特定する。
この吹き出し表示とは、当該送信メッセージが送信先（受信側）である他の端末装置４に送信されたときに、他の端末装置４の表示部１４に表示させるものであり、当該送信メッセージをテキストデータで表示したものを含んだものである。

図３は、吹き出し表示の一例を示す図である。図３では、「明日，いい天気になればいいのになぁ・・・」というテキストデータで表された送信メッセージを含んでいる場合を示している。
図３に示すように、吹き出し表示４０は、送信メッセージを囲む線図によって構成されており、送信メッセージのテキスト表示を含んだ状態で、受信側の他の端末装置４の表示部１４に表示される。
なお、吹き出し形態は、吹き出し表示の形状の他、吹き出し表示の色、吹き出し表示に含まれる送信メッセージのフォントを要素として含んでいる。
つまり、特定部３２は、吹き出し表示の形状、色、送信メッセージのフォントを特定する。また、特定部３２は、送信メッセージを表示するための吹き出し表示の吹き出し形態を複数特定することができる。
なお、以下の説明では、吹き出し形態を構成する上記要素の内、吹き出し形状を特定する場合に着目して説明する。

図２に戻って、選択受付部３３は、特定部３２が特定した吹き出し形態（吹き出し形状）を自端末装置４の表示部１４に表示させ、特定部３２が特定した吹き出し形状の中から自端末装置４のユーザが選択した選択結果を受け付ける機能を有している。

送信処理部３４は、送信メッセージをテキストデータとして他の端末装置４に送信するとともに、選択受付部３３が受け付けた選択結果に応じた吹き出し形状の吹き出し表示を他の端末装置４に表示させるために必要な情報を他の端末装置４に宛てて送信する。

学習部３５は、選択受付部３３が選択結果を受け付けるごとに、ユーザ履歴データベース２１を更新する機能を有している。
学習部３５は、送信メッセージと、この送信メッセージに対して選択された吹き出し形状との関係を示す情報が反映されるようにユーザ履歴データベース２１を更新し、ユーザ履歴データベース２１がユーザの選択傾向に沿う内容となるように学習する。よって、ユーザ履歴データベース２１には、履歴である過去の選択結果が反映されている。

受信処理部３６は、端末装置４が他の端末装置４からのメッセージを受信したときの処理を行う機能を有している。

本実施形態の端末装置４は、上述の各機能部によって、送信メッセージを送信する際に、その送信メッセージの特徴に応じて、送信先の他の端末装置４に表示させる吹き出し表示に用いる吹き出し形状を特定する等、自端末装置４以外の他の端末装置４のユーザとの間でメッセージの送受信処理を行う際に必要な処理を行う。

〔メッセージ送信処理について〕
図４は、端末装置４が行うメッセージ送信処理の手順の一例を示すフローチャートである。
まず端末装置４のユーザによってメッセージングアプリケーションソフトが起動され（ステップＳ１）、ユーザが送信先を示す情報、及び送信メッセージをテキスト入力部１３に対して入力することで当該テキスト入力部１３が送信先を示す情報、及び送信メッセージを受け付けると（ステップＳ２）、テキスト入力部１３は受け付けた送信メッセージのデータを特徴抽出部３１に与える。なお、ここでは送信メッセージをテキストデータとして受け付けた場合を示す。

送信メッセージが与えられた特徴抽出部３１は、この送信メッセージの特徴を抽出する（ステップＳ３）。
特徴抽出部３１は、受け付けた送信メッセージを複数の形態素に分解し、送信メッセージに現れた各形態素の出現個数をカウントし、この各形態素の出現個数を送信メッセージの特徴を表す特徴値として取得する。

図５は、テキストデータである送信メッセージから当該送信メッセージの特徴を表す特徴値を抽出する態様を説明するための図である。
受け付けた送信メッセージのテキストデータＴ１が、図５に示すように、「今日抜き打ち試験の日なんだってっ！！」である場合、特徴抽出部３１は、このテキストデータＴ１を形態素に分解し、分解した各形態素の出現個数をカウントする。

特徴抽出部３１は、予め所定の基準で定義した形態素を記憶している。特徴抽出部３１は、図５に示すように、予め記憶している形態素と、その形態素それぞれの出現個数とを対応付けるためのテーブルを有している。特徴抽出部３１は、このテーブルに、テキストデータＴ１に含まれる各形態素の出現個数を格納する。また、テキストデータＴ１に含まれていなかった形態素に対応する出現個数には「０」を格納する。

図５に示すように、テキストデータＴ１には、形態素として「末尾の「っ」」が１個含まれているので、対応する出現個数の枠内には「１」が格納されている。また、「！」は、２回出現しているので、対応する出現個数の枠内には「２」が格納されている。
一方、「なぁ」や、「否定語」はテキストデータＴ１には含まれていないので、「０」が格納されている。

特徴抽出部３１は、図５に示すように、テキストデータＴ１に現れた形態素の出現個数をカウントし、その結果を上述のテーブルに格納することで、テキストデータＴ１の各形態素の出現個数をベクトル化する。
特徴抽出部３１は、ベクトル化したテキストデータＴ１の各形態素の出現個数を、送信メッセージの特徴を表す特徴値として取得する。以下、送信メッセージの特徴を表している特徴値を特徴ベクトルともいう。
なお、特徴抽出部３１がテキストデータから抽出する特徴ベクトルの要素数は、特徴抽出部３１が予め記憶している形態素の総数となる。

図４に戻って、送信メッセージの特徴値（送信メッセージの特徴ベクトル）を抽出した特徴抽出部３１は、抽出した特徴値を特定部３２に与える。
特徴値が与えられた特定部３２は、まず、吹き出し表示の形状を特定するために参照する必要がある各種データベースを特定する（ステップＳ４）。
特定部３２は、記憶部１１に記憶されている対応データベース２０と、ユーザ履歴データベース２１とを参照する。
両データベース２０、２１は、それぞれ複数記憶されている。よって、特定部３２は、複数の対応データベース２０の中から、使用する対応データベース２０を選択し、さらに、複数のユーザ履歴データベース２１の中から、使用するユーザ履歴データベース２１を選択する（ステップＳ４）。

図６は、対応データベース２０の一例を示す図である。
対応データベース２０には、予め定型分類された複数の吹き出し形状と、その吹き出し形状としたときのメッセージの特徴値を示した特徴情報と、が対応付けられて登録されている。
この対応データベース２０は、漫画の紙面に掲載されている台詞と当該台詞の表示を含んだ吹き出し表示の形状との関係に基づいて、吹き出し形状に応じたメッセージの特徴値を学習し、その学習結果に基づいて得られた数値が登録されている。

対応データベース２０には、学習に用いた漫画において、吹き出し形状それぞれごとに台詞に含まれていた各形態素の出現頻度が登録されている。
図６に示すように対応データベース２０の各列には、特徴抽出部３１が抽出する特徴ベクトルの要素を構成している形態素と同じ形態素が割り当てられており、対応データベース２０の各行には、予め定型分類した複数の吹き出し形状が割り当てられている。
例えば、吹き出し形状が破裂型である場合、「末尾の「っ」」の出現頻度として「０．８７」が登録され、「！」の出現頻度としては「０．９０」が登録され、「なぁ」の出現頻度としては「０．０１」が登録され、「否定語」の出現頻度としては「０．７」が登録されている。

対応データベース２０に登録されている各形態素の出現頻度は、各吹き出し形状における台詞の特徴量を示している。つまり、対応データベース２０には、その漫画における、各吹き出し形状とされた吹き出し表示に含まれる台詞（メッセージ）が有する特徴が、各形態素の出現頻度として登録されている。
ここで、対応データベース２０に登録されている各吹き出し形状それぞれにおける各形態素の出現頻度は、特徴抽出部３１が抽出するテキストデータの特徴ベクトルと同じ次元のベクトルと考えることができる。
つまり、対応データベース２０に登録されている各吹き出し形状それぞれにおける各形態素の出現頻度は、各吹き出し形状としたときのメッセージの特徴値であり、各吹き出し形状としたときのメッセージの特徴値をベクトルとして示した特徴情報を構成している。
さらに、対応データベース２０には、予め定型分類された複数の吹き出し形状と、各吹き出し形状としたときのメッセージの特徴情報とが対応付けて登録されている。

よって特定部３２は、この対応データベース２０を参照し、特徴抽出部３１が抽出する送信メッセージの特徴ベクトルと、対応データベース２０に登録されている各吹き出し形状それぞれに対応付けられている特徴情報とを対比し、互いの類似度を求めることができる。
これにより、特定部３２は、特徴抽出部３１が抽出する送信メッセージの特徴ベクトルに最も類似する特徴情報に対応する吹き出し形状を特定することで、送信メッセージに対応した吹き出し形状を特定することができる。

対応データベース２０は以下のようにして構築される。
例えば、ある特定のタイトルの漫画の紙面に掲載されている台詞と、その台詞が含まれている吹き出し表示における吹き出し形態との組み合わせを多数抽出する。さらに抽出した台詞について形態素で分割し、ｔｆ−ｉｄｆ法によって吹き出し形態ごとの特徴的な形態素を求めた。なお、ここでは、吹き出し形状ごとの特徴的な形態素を求めた場合について説明する。

定型分類された複数の吹き出し形状の内のある吹き出し形状をＳとし、台詞中に含まれる任意の形態素をｔとし、吹き出し形状Ｓにおける任意の形態素ｔの出現頻度をｎ_ｔ，ｓとする。また、吹き出し形状Ｓに含まれる全台詞で用いられる形態素の種類数をＮｏｔ_ｓとすると、ＨＡＲＭＡＮの正規化ｔｆ値ｔｆ（ｔ，Ｓ）は下記式（１）で求めることができる。

形態素ｔが出現する吹き出し形状の種類数をｄｆ（ｔ）、吹き出し形状の全種類数をＤとすると、ｉｄｆ（ｔ）は、下記式（２）のように表される。

上記式（１）及び（２）を用いて、吹き出し形状ｄにおける台詞中の形態素ｔのｔｆ−ｉｄｆ値ｗ（ｔ，ｄ）は、下記式（３）のように表される。なお吹き出し形状ｄとは、任意の吹き出し形状を示す。

以上のようにして、定型分類した複数の吹き出し形状それぞれについて、各形態素の出現頻度を求め、この出現頻度を図６に示す対応データベース２０に登録する。
以上のようにして、対応データベース２０は、漫画に掲載されている台詞と当該台詞の表示を含んだ吹き出し表示の形態との関係に基づいて特徴情報を構成する各形態素の出現頻度を学習し、その学習結果に基づいて構築される。

対応データベース２０は、漫画の紙面に掲載されている台詞と当該台詞の表示を含んだ吹き出し表示の形態との関係に基づいて特徴情報を学習し、その学習結果に基づいて構築されているので、漫画に掲載されている台詞が表す感情や音声表現と、吹き出し形態との対応関係を、対応データベース２０に登録される特徴情報と、吹き出し形態との対応関係に反映させることができる。

このため、内容の異なる漫画を用いて学習すれば、内容が異なる対応データベース２０を構築することができる。
なお、前記内容には、予め定型分類された複数の吹き出し形状と、各吹き出し形状としたときのメッセージの特徴情報との対応関係や、分類される吹き出し形状、特徴情報を構成する特徴値の値等が含まれる。

例えば、少女漫画を用いて学習した場合の対応データベース２０と、主人公が格闘を演じる漫画を用いて学習した場合の対応データベース２０とは、同じテキストデータに対して特定される吹き出し形態も異なり、その内容が大きく異なる。
そこで、本実施形態では、複数の対応データベース２０を備えている。各対応データベース２０は、互いに異なる漫画を用いて学習した結果に基づいて構築されている。
これにより、互いに異なる基準で吹き出し形態を特定可能な対応データベース２０を複数備えることができる。

図４に戻って、特定部３２は、ステップＳ４において、複数の対応データベース２０の中から、使用する対応データベース２０を選択する。
特定部３２は、記憶部１１に記憶されているユーザ情報を参照し、使用する対応データベース２０を選択する。
ユーザ情報には、端末装置４のユーザの性別や年齢、趣味等、当該ユーザを特定するための情報が登録されている。
対応データベース２０は、その学習に用いた漫画の内容に応じて、性別、年齢、及び趣味で予め分類分けしておくことができる。
特定部３２は、その分類と、ユーザ情報とを比較して対応データベース２０を選択するので、ユーザの嗜好に応じた適切な対応データベース２０を選択することができる。

さらに、特定部３２は、ステップＳ４において、複数のユーザ履歴データベース２１の中から、使用するユーザ履歴データベース２１を特定する。

各ユーザ履歴データベース２１は、上述の対応データベース２０と同様、予め定型分類された複数の吹き出し形状と、各吹き出し形状としたときのメッセージの特徴情報とが対応付けて登録されているデータベースを構成している。
また、ユーザ履歴データベース２１は、上述のように、学習部３５によって、ある送信メッセージに対するユーザが過去に選択した吹き出し形状を示す情報が反映されるように更新される。
ユーザ履歴データベース２１は、学習部３５によって更新される前は、対応データベース２０と同じ内容とされている。学習部３５は、ユーザが送信メッセージを含んだ吹き出し形状を選択するごとにその選択結果が反映されるようにユーザ履歴データベース２１を更新する。学習部３５は、ユーザによる選択結果から得られる情報を、対応データベース２０を作成する際に用いたデータと同様に取り扱うことで、ユーザ履歴データベース２１を更新する。

この際、学習部３５は、ユーザによる選択結果から得られる情報については、対応データベース２０を作成する際に用いたデータに対して、重み付けを設定することができる。
これによって、学習部３５は、ユーザによる選択結果がユーザ履歴データベース２１に与える影響の度合を調整することができる。

また、各ユーザ履歴データベース２１は、それぞれ送信先ごとに対応している。つまり、複数のユーザ履歴データベース２１は、互いに異なる送信先のユーザとのメッセージ交換で用いられることによって内容の異なる学習がなされる。よって、送信先（受信側）の各ユーザそれぞれに適した内容となっている。

よって、特定部３２は、複数のユーザ履歴データベース２１の中から、送信メッセージを送信しようとしている送信先のユーザに対応するユーザ履歴データベース２１を選択する（ステップＳ４）。

使用する対応データベース２０及びユーザ履歴データベース２１を選択すると、特定部３２は、これらデータベース２０、２１を参照して、一又は複数の吹き出し形状を特定する（ステップＳ５）。
特定部３２は、対応データベース２０及びユーザ履歴データベース２１を参照し、特徴抽出部３１が抽出する送信メッセージの特徴ベクトルと、対応データベース２０及びユーザ履歴データベース２１それぞれに登録されている各吹き出し形状それぞれに対応付けられている特徴情報とを対比し、その類似度を求める。

特定部３２は、求めた前記類似度から、対応データベース２０及びユーザ履歴データベース２１において、送信メッセージの特徴ベクトルに対して最も類似していると判断することができる特徴情報を特定し、特定した特徴情報に対応する吹き出し形状を、送信メッセージに対応した吹き出し形状として特定することができる。

このように、特定部３２は、対応データベース２０とユーザ履歴データベース２１とを参照して吹き出し形状を特定するので、特定部３２が特定する吹き出し形状に、自端末装置４のユーザによる過去の選択結果を反映させることができる。

また、各ユーザ履歴データベース２１は、互いに異なる送信先のユーザとのメッセージ交換で用いられることによって内容の異なる学習がなされ、送信先（受信側）の各ユーザそれぞれに適した内容となっている。
このため、特定部３２は、送信先の各ユーザそれぞれに適した吹き出し形状が特定可能となる。

また、特定部３２は、送信メッセージの特徴ベクトルと最も類似している特徴情報に対応する吹き出し形状の他、例えば、２番目に類似している特徴情報に対応する吹き出し形状と、３番目に類似している特徴情報に対応する吹き出し形状も特定する。

以上のように、本実施形態の特徴抽出部３１と、対応データベース２０と、特定部３２とは、送信メッセージを含んだ吹き出し表示に関する処理を行うメッセージ処理装置を構成している。

次いで、特定部３２は、特定した３つの吹き出し形状を示す情報を選択受付部３３に与える。
選択受付部３３は、特定部３２から吹き出し形状を示す情報が与えられると、その情報に対応する吹き出し形状を自端末装置４の表示部１４に表示する（ステップＳ６）。

選択受付部３３は、特定部３２から吹き出し形状を示す情報が与えられると、記憶部１１に記憶されている吹き出し形態データベース２３を参照する。
吹き出し形態データベース２３には、吹き出し表示を選択可能な各形態（吹き出し形状、色、フォント等）として表示するために必要な情報が登録されている。
選択受付部３３は、特定部３２からの吹き出し形状（形態）を示す情報に基づいて、吹き出し形態データベース２３を参照し、吹き出し形状を示す情報に対応する吹き出し形状を表示するために必要な情報を取得する。

吹き出し形状を表示するために必要な情報を取得した選択受付部３３は、取得した情報を用いて吹き出し形状を表示部１４に表示する（ステップＳ６）。
さらに、選択受付部３３は、特定部３２が特定した３つの吹き出し形状の内のいずれかについて、自端末装置４のユーザによる選択を受け付ける（ステップＳ７）。

図７（ａ）は、特定部３２が特定した複数の吹き出し形状を表示したときの表示部１４の一例を示す図である。
図７（ａ）中、表示部１４における上側のメッセージ表示領域１４ａは、送受信された各メッセージの表示を含んだ吹き出し表示４０がログとして時系列で配列されている。

選択受付部３３は、メッセージ表示領域１４ａの下側の吹き出し形状表示領域１４ｂに特定部３２が特定した各吹き出し形状を表示する。
選択受付部３３は、図７（ａ）中、吹き出し形状表示領域１４ｂに表示されている３つの吹き出し形状の部分の内のいずれかの部分がユーザによってタップされることで、ユーザがいずれの吹き出し形状を選択したかを判断することができる。

自端末装置４のユーザによって図７（ａ）中の吹き出し形状表示領域１４ｂに表示されている３つの吹き出し形状の表示部分のいずれか１つが指でタップされれば、選択受付部３３は、タップされた表示形状がユーザの希望する吹き出し形状であると判断する。
これによって、選択受付部３３は、特定部３２が特定した各吹き出し形状を表示するとともに、自端末装置４のユーザによる吹き出し形状の選択を受け付けることができる。

このように、選択受付部３３は、特定部３２が特定した複数の吹き出し形状の中から送信先（受信側）の端末装置４に表示させる吹き出し形状を自端末装置４のユーザに選択させることができる。

図４中、ステップＳ７において自端末装置４のユーザによる吹き出し形状の選択を受け付けると、選択受付部３３は、選択された吹き出し形状を採用した吹き出し表示を表示部１４の吹き出し形状表示領域１４ｂに表示する（ステップＳ８）。

図７（ｂ）は、選択された吹き出し形状を採用した吹き出し表示を表示した場合の表示部１４の一例を示す図である。
図７（ｂ）に示すように、吹き出し形状表示領域１４ｂには、送信メッセージの表示を含んだ吹き出し表示４０が表示されている。
自端末装置４のユーザは、吹き出し形状表示領域１４ｂに表示された吹き出し表示４０によって、自らが選択した吹き出し形状が採用された吹き出し表示を確認することができる。

また、選択受付部３３は、吹き出し形状表示領域１４ｂに、吹き出し表示４０とともに、「ＯＫ」と表示された承諾ボタン１４ｃと、「戻る」と表示された再選択ボタン１４ｄとを表示する。
選択受付部３３は、承諾ボタン１４ｃが自端末装置４のユーザによってタップされると、当該ユーザが吹き出し形状表示領域１４ｂに表示した吹き出し表示４０で送信メッセージを送信することを承諾したと判断する。
また、選択受付部３３は、再選択ボタン１４ｄが自端末装置４のユーザによってタップされると、当該ユーザが吹き出し形状表示領域１４ｂに表示した吹き出し表示４０以外の表示への再選択を望んでいると判断する。

よって、選択受付部３３は、承諾ボタン１４ｃ及び再選択ボタン１４ｄによって、自端末装置４のユーザが吹き出し形状表示領域１４ｂに表示した吹き出し表示４０で送信メッセージを送信することを承諾したか否かを判断する。

図４に戻って、自端末装置４のユーザによって承諾ボタン１４ｃがタップされれば、選択受付部３３は、自端末装置４のユーザが吹き出し形状表示領域１４ｂに表示した吹き出し表示４０で送信メッセージを送信することを承諾したと判断し（ステップＳ９）、送信メッセージや選択された吹き出し形状を表示するために必要な情報を送信処理部３４に与える。

選択受付部３３から送信メッセージや選択された吹き出し形状を表示するために必要な情報が与えられると、送信処理部３４は、送信メッセージをテキストデータとして送信先の端末装置４に送信するとともに、選択された吹き出し形状の吹き出し表示を表示するために必要な情報を送信先の端末装置４に送信し（ステップＳ１０）、処理を終える。

一方、自端末装置４のユーザによって再選択ボタン１４ｄがタップされれば、選択受付部３３は、自端末装置４のユーザが吹き出し形状表示領域１４ｂに表示した吹き出し表示４０で送信メッセージを送信することを承諾しなかったと判断し（ステップＳ９）、再度ステップＳ６に戻り、特定部３２が特定した３つの吹き出し形状を表示する。
以降、選択受付部３３は、送信メッセージの送信が承諾されたと判断するまで（ステップＳ９）、上述の処理を繰り返す。

〔メッセージ受信処理について〕
図８は、端末装置４が行うメッセージ受信処理の手順の一例を示すフローチャートである。
端末装置４の受信処理部３６は（図２）、他の端末装置４からのメッセージを受信したか否かを判断する（ステップＳ２１）。
受信処理部３６は、他の端末装置４からのメッセージを受信していないと判断すれば、再度、他の端末装置４からのメッセージを受信したか否かを判断する。よって、受信処理部３６は、他の端末装置４からのメッセージの受信を継続的に判断する。

他の端末装置４からのメッセージを受信したと判断すると、受信処理部３６は、メッセージとともに送信されてくる当該メッセージを表示するための吹き出し表示を表示するために必要な情報を参照し、吹き出し表示の形状を特定する（ステップＳ２２）。
受信処理部３６は、吹き出し表示の形状を特定するために、記憶部１１に記憶された吹き出し形態データベース２３を参照し、受信した吹き出し表示の吹き出し形状を特定する。

次いで、受信処理部３６は、特定した吹き出し形状に応じた態様で着信鳴動する（ステップＳ２３）。つまり、受信処理部３６は、特定した吹き出し形状に応じて着信鳴動の態様を変更する。
受信処理部３６は、特定した吹き出し形状に応じた着信音及びバイブレーションパターンによって着信鳴動するために、記憶部１１に記憶された着信鳴動データベース２４を参照する。
着信鳴動データベース２４には、各吹き出し形状それぞれに対して予め設定された着信音及びバイブレーションパターンのデータが登録されている。
受信処理部３６は、着信鳴動データベース２４を参照し、特定した吹き出し形状に応じた着信音及びバイブレーションパターンのデータを取得し、鳴動する。

この場合、当該端末装置４のユーザは、着信音及びバイブレーションパターンに対応する吹き出し形状を把握していれば、着信音に基づいて、受信したメッセージが表示される吹き出し形状を特定することができる。よって、メッセージを閲覧することなく、その吹き出し形状によって表現されているメッセージに付随する感情や音声表現に関する情報を把握することができる。この結果、当該端末装置４のユーザは、受信したメッセージを閲覧せずとも前記メッセージの概略を把握することができる。

例えば、メッセージの詳細な内容に応じて着信音やバイブレーション等を変更させた場合、あまりにも多様で実現可能性が低い。
一方、本実施形態のように、予め定型分類された吹き出し形状に応じて変更する場合、定型分類される吹き出し形状の種類はそれほど多様でないため、実現が容易であり、かつ感情等を端的に表現できるため、メッセージの概略を伝える上で有用である。

ステップＳ２３において着信音を再生すると、受信処理部３６は、テキストデータであるメッセージと、メッセージとともに受信した当該メッセージを表示するための吹き出し表示を表示するために必要な情報とを用いて、表示部１４に表示するための処理（受信メッセージの処理）を行い（ステップＳ２４）、処理を終える。

〔効果について〕
以上のように、本実施形態の端末装置４は、送信メッセージを含んだ吹き出し表示に関する処理を行うメッセージ処理装置を含んでいる。
このメッセージ処理装置は、送信メッセージの特徴値である特徴ベクトルを抽出する特徴抽出部３１と、予め定型分類された複数の吹き出し形状と、前記吹き出し形状としたときのメッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応データベース２０と、対応データベース２０を参照し、送信メッセージの特徴ベクトルと特徴情報とを対比して、対応データベース２０に登録されている吹き出し形状の中から一又は複数の吹き出し形態を特定する特定部３２とを備えている。

上記のように構成されたメッセージ送受信システム１によれば、対応データベース２０に基づいて、送信メッセージの特徴に応じた吹き出し形状（形態）を特定することができる。この結果、送信メッセージを当該送信メッセージに応じた形状とされた吹き出し表示に含めて表示することができ、送信メッセージに付随する感情や音声表現に関する情報を吹き出し表示によって適切に表現することができる。

また、本実施形態において、上記送信メッセージの特徴値は、テキストデータ（文字情報）である送信メッセージを構成する複数の要素である形態素ごとの特徴量で表されている。なお、形態素ごとの特徴量は、形態素ごとの出現個数である。
よって、この場合、送信メッセージの特徴を複数の要素（形態素）ごとに特徴値として数値化（ベクトル化）し、同じく形態素ごとの特徴量（出現頻度）で表されている特徴情報と対比することで送信メッセージに応じた吹き出し形状を数値計算によって容易に特定することができる。

〔その他〕
本発明は、上記実施形態に限定されない。例えば、上記実施形態において特定部３２は、複数の吹き出し形状を特定した場合を例示したが、送信メッセージの特徴ベクトルと最も類似している特徴情報に対応する吹き出し形状を１つだけ特定するように構成してもよい。

また、上記実施形態では、図４中、ステップＳ６において、選択受付部３３が３つの吹き出し形状を表示部１４に表示し、その後、ステップＳ８において、ユーザが選択した吹き出し形状を採用した吹き出し表示を表示部１４に表示する場合を例示したが、ステップＳ６の段階で、送信メッセージの特徴ベクトルと最も類似している特徴情報に対応する吹き出し形状のみについては、メッセージを含めた吹き出し表示（図７（ｂ）に示す表示）として表示部１４に表示してもよい。

また、上記実施形態では、吹き出し表示における吹き出し形態の内、主として吹き出し形状を特定する態様について説明したが、吹き出し形態を構成する他の要素である、吹き出し表示の色や、吹き出し表示に含まれる送信メッセージのフォントについても、吹き出し形状と同様、送信メッセージを表示するための吹き出し表示の色、及びフォントを特定するように構成することができる。

図６で示した対応データベース２０には、各吹き出し形状と、それぞれにおける特徴情報（各形態素の出現頻度）が登録されている場合を示したが、例えば、図９（ａ）に示すように、吹き出し形状に加えて、各吹き出し表示におけるメッセージを表示するためのフォントそれぞれにおける特徴情報についても登録されている対応データベース２０や、図９（ｂ）に示すように、各吹き出し表示の色それぞれにおける各形態素の出現頻度が登録されている対応データベース２０を用意しておくこともできる。また、出現頻度、フォント、及び色の全てが登録されている対応データベース２０とすることもできる。
さらに、例えば、破裂型の吹き出し形状における、突起部分の数等、同一形状の吹き出し形状における変形態様についても上記同様、対応データベース２０に盛り込むことができる。

これにより、特定部３２は、吹き出し形状以外の吹き出し形態を構成する要素である、吹き出し表示における色やフォントについても対応データベース２０を参照し特定することができる。

また、上記実施形態では、特徴抽出部３１が、テキスト入力部１３によってテキストデータとして受け付けた送信メッセージを形態素に分解し、当該送信メッセージの特徴を特徴ベクトルとして抽出する場合を示した。
一方、特徴抽出部３１は、上述したように、音声入出力部１２が音として受け付けた送信メッセージの特徴を抽出する機能も有している。
音として受け付けた送信メッセージを処理する場合、特徴抽出部３１は、音で構成された送信メッセージの特徴として、その音の音量や中心周波数、発話スピードといった複数の音特性を測定する。特徴抽出部３１は、これら複数の音特性に関する測定結果を、音で構成された送信メッセージの特徴を表す特徴値（特徴ベクトル）として取得する。

この場合、特定部３２には、複数の音特性の測定結果が、音で構成された送信メッセージの特徴を表す特徴ベクトルとして与えられるため、対応データベース２０についても、複数の音特性に関する値が特徴情報として登録されたものが用いられる。
図１０は、対応データベース２０の他の例を示す図である。
図１０に示す対応データベース２０では、上記実施形態における形態素に代えて、複数の音特性に関する値が各行に割り当てられている。

例えば、吹き出し形状が破裂型である場合、「音量」として「０．９２」が登録され、「中心周波数」としては「０．５３」が登録され、「発話スピード」としては「０．７８」が登録され、「包絡線のアタックタイム」としては「０．０３」が登録されている。

図１０に示す対応データベース２０は、アニメ化された漫画を用いて学習した結果に基づいて構築されている。
図１０に示す対応データベース２０は、以下のようにして構築される。
まず、漫画の紙面に記載されている吹き出し表示の形状と、この吹き出し表示に含まれている台詞をアニメーションの声優が発話したときの音声との組み合わせを多数抽出する。
そして、音声について、上記複数の音特性の測定を行いその測定値を得る。その後、同じ吹き出し形状ごとに各測定値を平均化する。
これによって、吹き出し表示に含まれる台詞が発話されたときの複数の音特性に関する値を求めることができる。
上記のように求めた値を、予め定型分類された複数の吹き出し形状と対応付けて登録することで、対応データベース２０を構築することができる。

なお、送信メッセージを音として受け付けた場合、端末装置４は、その送信メッセージをそのまま音データとして送信先の端末装置４に送信することもできるし、テキストデータに変換できる場合には送信メッセージを送信することもできる。また、送信メッセージを音データとして送信する場合、テキストデータとして送信する場合のいずれにおいても、これらデータの表示を吹き出し表示に含めて送信することができる。

また、上記実施形態では、端末装置４が、特徴抽出部３１、特定部３２、学習部３５、対応データベース２０、ユーザ履歴データベース２１、ユーザ情報２２、及び吹き出し形態データベース２３を備えることで、メッセージ処理装置の機能を端末装置４が有する場合を例示したが、対応データベース２０や、吹き出し形態データベース２３、着信鳴動データベース２４等は、サーバ３に記憶させてもよい。
この場合、各端末装置４は、処理を行う上で必要に応じてサーバ３にアクセスし、各データベースを参照して情報を取得する。

また、特徴抽出部３１、特定部３２、及び学習部３５についても、サーバ３に設けてもよい。
この場合、各端末装置４は、メッセージの吹き出し表示の形態を特定する処理を行うために、必要な情報をサーバ３に与えるとともに、処理要求をサーバ３に与える。サーバ３は、各端末装置４からの要求に応じてメッセージの吹き出し表示の形態を特定する処理を実行することができる。

１ メッセージ送受信システム
２ ネットワーク
３ サーバ
４ 端末装置
１０ 処理部
１１ 記憶部
１２ 音声入出力部
１３ テキスト入力部
１４ 表示部
１４ａ メッセージ表示領域
１４ｂ 吹き出し形状表示領域
１４ｃ 承諾ボタン
１４ｄ 再選択ボタン
１５ 通信部
１９ メッセージングアプリケーションソフト
２０ 対応データベース
２１ ユーザ履歴データベース
２２ ユーザ情報
２３ 形態データベース
２４ 着信鳴動データベース
３０ 音声認識部
３１ 特徴抽出部
３２ 特定部
３３ 選択受付部
３３ 特定部
３４ 送信処理部
３５ 学習部
３６ 受信処理部
４０ 吹き出し表示

Claims (13)

1. メッセージを含んだ吹き出し表示に関する処理を行うメッセージ処理装置であって、
   前記メッセージの特徴値を抽出する特徴抽出部と、
   前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルと、
   前記対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定部と、を備えている
   メッセージ処理装置。
2. 前記特徴値は、前記メッセージを構成する複数の要素ごとの特徴量である請求項１に記載のメッセージ処理装置。
3. 前記メッセージは文字情報で構成され、
   前記要素は、前記メッセージを構成する文字情報の形態素である請求項２に記載のメッセージ処理装置。
4. 前記メッセージは音で構成され、
   前記要素は、前記メッセージを構成する音の特性である請求項２に記載のメッセージ処理装置。
5. 前記対応テーブルは、漫画に掲載されている台詞と当該台詞の表示を含んだ吹き出し表示の形態との関係に基づいて前記特徴情報を学習し、その学習結果に基づいて構築されている請求項１から請求項４のいずれか一項に記載のメッセージ処理装置。
6. 前記対応テーブルは複数であり、複数の前記対応テーブルは登録されている内容が互いに相違しており、
   前記特定部は、複数の前記対応テーブルの中から参照する対応テーブルを選択する請求項１から請求項５のいずれか一項に記載のメッセージ処理装置。
7. 前記特定部は、前記送信装置のユーザを特定するための情報に基づいて複数の前記対応テーブルの中から参照する対応テーブルを選択する請求項６に記載のメッセージ処理装置。
8. 前記送信装置は、
   前記特定部が特定した複数の吹き出し形態を当該送信装置の送信側表示部に表示させ、前記特定部が特定した複数の吹き出し形態の中から前記送信装置のユーザが選択した選択結果を受け付ける選択受付部をさらに備えている請求項１から請求項７のいずれか一項に記載のメッセージ処理装置。
9. 前記選択結果に基づいた前記メッセージと前記メッセージを含んだ吹き出し表示の形態との関係から得られる情報で学習される履歴テーブルをさらに備え、
   前記特定部は、前記対応テーブルと前記履歴テーブルとを参照して前記受信側表示部に表示させる吹き出し形態を特定する請求項８に記載のメッセージ処理装置。
10. 前記履歴テーブルは複数であり、複数の前記履歴テーブルは前記受信装置のユーザごとに対応している請求項９に記載のメッセージ処理装置。
11. 吹き出し表示に含まれるメッセージの送受信を行う端末装置であって、
    前記メッセージの特徴値を抽出する特徴抽出部と、
    前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルと、
    前記対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定部と、を備えている
    端末装置。
12. 他の端末装置から送信される前記メッセージとともに当該メッセージの表示を含んだ吹き出し表示を表示するために必要な情報を受信すると、前記情報から特定される吹き出し表示の形態に応じて着信鳴動の態様を変更する受信制御部をさらに備えている請求項１１に記載の端末装置。
13. メッセージを含んだ吹き出し表示に関する処理をコンピュータに実行させるためのコンピュータプログラムであって、
    コンピュータに
    前記メッセージの特徴値を抽出する特徴抽出ステップと、
    前記吹き出し表示の吹き出し形態と、前記吹き出し形態としたときの前記メッセージの特徴値を示した特徴情報と、が対応付けられて登録されている対応テーブルを参照し、前記メッセージの特徴値と前記特徴情報とを対比して、前記対応テーブルに登録されている前記吹き出し形態の中から一又は複数の吹き出し形態を特定する特定ステップと、
    を実行させるためのコンピュータプログラム。