JP4173056B2 - 携帯通信端末及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯通信端末及びプログラムに関する。
【０００２】
【従来の技術】
従来から、電子メールの送受信を行うことができる携帯電話やＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等の携帯通信端末が一般に広く利用されている。
【０００３】
このようなメール機能を有する携帯通信端末では、メールの送受信を行うユーザ間におけるコミュニケーション効果を向上させるために電子ペットを介してメールの送受信を行う技術（例えば、特許文献１参照）や、メール文にメロディデータを付加して相手側に送信すると、相手側でメール受信時にメロディデータが再生され、メール送信者を容易に特定することができる技術（例えば、特許文献２参照）が開発されている。
【０００４】
このような携帯通信端末を用いて、ユーザはメールを送受信することにより、相手側とのコミュニケーションを図ることができる。従来は、記号や絵文字などを使ってメール文の文章を工夫して作成したり、メロディデータや画像データをメール文に添付して送信することにより、感情表現を行っていた。
【０００５】
【特許文献１】
特開２００１−２７６４３６号公報
【特許公報２】
特開２００３−８６８６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、記号や絵文字を使った感情表現には限界があり、相手に伝えたい感情を表現するには十分ではない。また、メール文にメロディデータや画像データが添付されている場合でも、メール文と画像は別々に表示され、メール文の方は所定のフォントで文章のみが表示されるため、メールの受信者に無機質な印象を与えることとなり、コミュニケーション効果があまり得られない。
【０００７】
本発明の課題は、感情表現豊かなメールを作成することができる携帯通信端末を提供することである。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、携帯通信端末において、
メール文の文字入力を行うための入力手段と、
前記入力されたメール文を表示する表示手段と、
前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段と、
前記設定された音声再生条件でメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段と、
前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段と、
前記作成された送信用メールデータを指定された送信先に送信する通信手段と、
を備えることを特徴とする。
【０００９】
請求項２に記載の発明は、携帯通信端末において、
音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信することができる通信手段と、
前記受信されたメッセージデータを表示する表示手段と、
前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段と、
を備えることを特徴とする。
【００１０】
請求項３に記載の発明は、携帯通信端末において、
メール文の文字入力を行うための入力手段と、
前記入力されたメール文を表示する表示手段と、
前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段と、
前記設定された音声再生条件に従ってメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段と、
前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段と、
前記作成された送信用メールデータを指定された送信先に送信するとともに、音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信する通信手段と、
前記受信されたメッセージデータを表示する前記表示手段と、
前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段と、
を備えたことを特徴とする。
【００１１】
請求項４に記載の発明は、請求項１又は３に記載の携帯通信端末において、
前記表示手段は、メール送信前にメール送信内容をプレビュー表示し、当該プレビュー表示の際に送信メールの音声再生条件による音声の抑揚の状態をグラフ化した表示形態で表示し、
前記音声再生手段は、前記メッセージデータの表示に合わせて前記抑揚のある音声を再生することを特徴とする。
【００１２】
請求項５に記載の発明は、請求項１、３又は４に記載の携帯通信端末において、
前記設定手段は、音声再生条件として、メール文の文字又は文字列に、音の高低及び／又は音声のテンポを設定し、
前記音声変換手段は、前記設定された音の高低及び／又は音声のテンポでメール文を抑揚ある音声に音声変換することを特徴とする。
【００１３】
請求項６に記載の発明は、請求項５に記載の携帯通信端末において、
前記メール作成手段は、前記メッセージデータが前記表示手段に表示された際に、前記設定手段により高い音が設定された文字又は文字列は高い位置に、低い音が設定された文字又は文字列は低い位置に表示し、及び／又は速いテンポが設定された文字又は文字列の文字間隔を狭く、遅いテンポが設定された文字又は文字列の文字間隔を広く表示して、音声の抑揚の状態をグラフ化した表示形態で表示されるように、メール文をグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成することを特徴とする。
【００１４】
請求項７に記載の発明は、請求項１、３〜６の何れか一項に記載の携帯通信端末において、
前記設定手段は、音声再生条件として、音声の声種を設定し、
前記音声変換手段は、前記設定された声種でメール文を音声変換することを特徴とする。
【００１５】
請求項８に記載の発明は、請求項１、３〜７の何れか一項に記載の携帯通信端末において、
効果音の音データ及びその効果音に応じたグラフィックデータを記憶する記憶手段を備え、
前記設定手段は、音声再生条件として、メール文の文字又は文字列に効果音を設定し、
前記音声変換手段は、メール文を音声変換後、前記効果音が設定された文字又は文字列の音声に効果音の音データを付加した音声データを作成し、
前記メール作成手段は、メッセージデータが前記表示手段に表示された際に、前記効果音が設定された文字又は文字列にその効果音に応じたグラフィックが表示されるように、前記記憶されたグラフィックデータを用いてメール文をグラフィック化することを特徴とする。
【００１６】
請求項９に記載の発明は、請求項１、３〜８の何れか一項に記載の携帯通信端末において、
前記メール作成手段は、メッセージデータが前記表示手段に表示された際に、前記設定された音声再生条件に応じた文字スタイルでメール文が表示されるようにメール文をグラフィック化することを特徴とする。
【００１７】
請求項１０に記載の発明は、
コンピュータを、
メール文の文字入力を行うための入力手段、
前記入力されたメール文を表示する表示手段、
前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段、
前記設定された音声再生条件でメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段、
前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段と、
前記作成された送信用メールデータを指定された送信先に送信する通信手段、
として機能させるためのプログラムであることを特徴とする。
【００１８】
請求項１１に記載の発明は、
コンピュータを、
音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信することができる通信手段、
前記受信されたメッセージデータを表示する表示手段、
前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段、
として機能させるためのプログラムであることを特徴とする。
【００１９】
請求項１２に記載の発明は、
コンピュータを、
メール文の文字入力を行うための入力手段、
前記入力されたメール文を表示する表示手段、
前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段、
前記設定された音声再生条件に従ってメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段、
前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段、
前記作成された送信用メールデータを指定された送信先に送信するとともに、音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信する通信手段、
前記受信されたメッセージデータを表示する前記表示手段、
前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段、
として機能させるためのプログラムであることを特徴とする。
【００２０】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
本実施の形態では、メール作成時にはユーザにより設定された音声再生条件に応じた態様にメール文をグラフィック化したメッセージデータを作成するとともに、音声再生条件に応じてメール文を音声変換した音声データを作成し、メール表示時にはグラフィック化されたメッセージデータの表示に合わせて音声データを再生する携帯通信端末の例を説明する。
【００２１】
まず、構成を説明する。
図１に、本実施の形態における携帯通信端末１ａ、１ｂを含んで構成される通信システム１００のシステム構成を示す。図１に示すように、通信システム１００は、携帯通信端末１ａ、１ｂから構成され、各携帯通信端末１ａ、１ｂは通信ネットワークＮを介して相互にデータの送受信が可能に接続されている。なお、図１には２台の携帯通信端末１ａ、１ｂが接続された例を示したが、その設置台数は特に限定しない。
【００２２】
携帯通信端末１ａ、１ｂは、図示しない無線基地局を介して無線通信を行い、他の携帯通信端末と会話音声のデータを送受信する。また、図示しないメールサーバを介して電子メール（以下、単にメールという。）のデータをやり取りする。なお、携帯通信端末１ａ、１ｂとしては、携帯電話、ＰＨＳ、ＰＤＡ等が適用可能である。
【００２３】
以下、携帯通信端末１ａ、１ｂの構成について説明するが、携帯通信端末１ａ、１ｂの外観や応用機能は異なっても基本構成は同一であるので、携帯通信端末１ａを代表としてその構成説明を行うこととする。
図２は、携帯通信端末１ａの外観図である。
図２に示すように、携帯通信端末１ａは、ディスプレイ部２と、キー入力部３とで構成され、その中央部に設けられた図示しない連結機構により、ディスプレイ部２とキー入力部３とが折り畳み可能に構成されている。
【００２４】
ディスプレイ部２は、通信相手の音声を出力する受話スピーカ２１、各種操作画面を表示するＬＣＤ（Liquid Crystal Display）２２とが設けられる。
【００２５】
また、キー入力部３は、テンキー群３１、電源／オフフックキー３２、オンフックキー３３、アップキーＵ、ダウンキーＤ、レフトキーＬ、ライトキーＲ、ソフトキーＳ１、Ｓ２、決定キーＫ、クリアキーＣの各キー群が設けられる。各キーの機能については後述する。各キー群の下部には、ユーザの音声を入力するための送話マイク３５が設けられている。
【００２６】
図３に、携帯通信端末１ａの内部構成を示す。
図３に示すように、携帯通信端末１ａは、制御部１１、入力部１２、表示部１３、ＲＡＭ（Random Access Memory）１４、ＲＯＭ（Read Only Memory）１５、通信部１６、受話スピーカ２１、送話マイク３５、音再生スピーカ１７を備えて構成される。
【００２７】
制御部１１は、ＣＰＵ（Central Processing Unit）等からなり、ＲＯＭ１５に格納されるシステムプログラムをＲＡＭ１４に展開して、当該プログラムとの協働により、携帯通信端末１の各部の動作を統括的に制御し、携帯電話機能を実現する。具体的には、送話時に送話マイク１８から入力される受話音声信号を通信部１６に出力し、受話時には通信部１６から入力された通信相手の送話音声信号を受話スピーカ１７に出力する。
【００２８】
また、メール送信時には、ＲＯＭ１５に格納されるメール作成処理プログラム（図４参照）との協働により、音声とグラフィックを組み合わせたメール（以下、このようなメールをミュージックメールという。）の作成を行う。具体的には、ユーザにより設定された音声再生条件に応じてメール文の音声変換を行って音声データを作成するとともに、音声再生条件に応じた態様にメール文をグラフィック化したメッセージデータを作成する。メール文のグラフィック化とは、予め準備されているグラフィックを用いたり、メール文字のスタイルやレイアウトを変更して図式化することをいう。
【００２９】
作成されたミュージックメールのプレビュー時、或いはメール受信時には、グラフィック化されたメッセージデータを表示部１３に表示させるとともに、このメッセージデータの表示に合わせて音声データを音再生スピーカ１７により出力再生させる。
【００３０】
入力部１２は、図２に示したテンキー群３１、電源／オフフックキー３２、オンフックキー３３、アップキーＵ、ダウンキーＤ、レフトキーＬ、ライトキーＲ、ソフトキーＳ１、Ｓ２、決定キーＫ及びクリアキーＣ等から構成され、これら各キーの入力操作に応じた操作信号を制御部１１に出力する。すなわち、これらキーによりメール文の文字入力を行ったり、メール文の音声再生条件を入力することにより、入力手段及び設定手段を実現することができる。
【００３１】
テンキー群３１は、電話番号や文字列（ひらがな、カタカナ、英文字、記号文字等）を入力するためのキーであり、電源／オフフックキー３２は、携帯通信端末１ａの電源のオン／オフと通話終了の指示を入力し、オンフックキー３３は、通話開始の指示を入力するためのキーである。
【００３２】
また、アップキーＵ、ダウンキーＤ、レフトキーＬ、ライトキーＲは、各種操作画面において入力位置の移動等の指示するカーソルキーであり、ソフトキーＳ１、Ｓ２は、各操作画面で予め決められたソフト機能が割り当てられているキーである。決定キーＫは決定の指示を入力するためのキーであり、クリアキーＣは入力指示の取り消しを入力するためのキーである。
【００３３】
表示部１３は、図２に示したＬＣＤ２２から構成される表示手段であり、メール作成画面や作成したメールのプレビュー画面、受信メール画面等の各種画面、制御部１１による処理結果等の各種表示情報を表示する。
【００３４】
ＲＡＭ１４は、制御部１１によって実行される各種プログラム及びこれらのプログラムに係るデータを一時的に記憶するワークエリアを形成する。
【００３５】
ＲＯＭ１５は、システムプログラムの他、メール作成処理プログラム及び各プログラムで処理されたデータ等を記憶する。また、ＲＯＭ１５は、入力文字（ひらがな）を漢字やカタカナ、絵文字等に変換するための辞書データを格納するメモリ領域、文字情報に対応する音声変換用の音声データを格納するメモリ領域、ミュージックメール作成用に準備された各種グラフィック（静止画、動画を含む）のパターンデータを格納するメモリ領域、送受信されたメールデータ（メッセージデータ及び音声データ）を格納するメモリ領域とを有している。なお、音声変換用の音声データは、男の子の声、女の子の声等、音声の種類（以下、声種という。）に応じた音声データが準備されていることとする。
【００３６】
通信部１６は、無線基地局との間で無線通信信号を送受信するアンテナ１６ａや、図示しないＲＦ回路、モデム等の通信インターフェイスを備えて構成される。受話時には、アンテナ１６ａを介して受信された受話音声やメールの無線通信信号をＲＦ回路、モデムにより復調して制御部１１に出力する。一方、送話時には、制御部１１から入力される送話音声データやメッセージデータをＲＦ回路、モデムにより変調してアンテナ１１を介して無線基地局に送信する。
【００３７】
受話スピーカ２１は、制御部１１から入力される受話音声信号を受話音声に変換して出力する。
【００３８】
送話マイク３５は、ユーザの送話音声を送話音声信号に変換して制御部１１に出力する。
【００３９】
音再生スピーカ１７は、受話スピーカ１７とは別体で構成されるスピーカであり、着信音やメール文が音声変換された音声（以下、メール音声という。）を出力するためのものである。すなわち、音再生スピーカ１７により、音声再生手段を実現することができる。
【００４０】
次に、本実施の形態における動作を説明する。
本実施の形態では、携帯通信端末１ａにおいてミュージックメールを作成して携帯通信端末１ｂに送信し、携帯通信端末１ｂにおいて携帯通信端末１ａから受信されたミュージックメールを表示及びそのメール音声を音声再生する例を説明する。
【００４１】
まず、携帯通信端末１ａにより実行されるメール作成処理について、図４に示すフローチャート、図５に示すメール作成画面の画面遷移図を参照して説明する。なお、説明の前提として、メールのテキストデータのみを作成して送信する通常モードとミュージックメールを作成するミュージックメールモードのうち、ミュージックメールモードが選択され、以下に説明するメール作成処理が開始されたこととする。
【００４２】
図４に示すメール作成処理では、まず、表示部１３にメール文の文字入力を行うためのメール作成画面（図示せず）が表示される（ステップＳ１）。そして、ユーザにより入力部１２を介してメール文の文字入力が行われると（ステップＳ２）、入力された文字毎にメール音声の高低やテンポを切り換えるタイミングを示す変換ポイントが設定され、当該変換ポイントがメール文とともに表示された、図５（ａ）に示すようなメール作成画面１３１が表示部１３に表示される（ステップＳ３）。
【００４３】
図５（ａ）に示すように、メール作成画面１３１では、入力されたメール文ａ１が表示され、メール文ａ１の上部にはポイントラインａ２が表示される。ポイントラインａ２は、メール文の各文字に対応する位置に表示された変換ポイントがラインで連結されたものである。
【００４４】
例えば、「夏だね！」とメール文が入力された場合、「夏」、「だ」、「ね」、「！」の４つの文字に対してそれぞれ変換ポイントが設定され、この４つの変換ポイントがラインで結ばれてそのメール文の上部に表示される。なお、初期設定では上述したように自動的に文字毎に変換ポイントが設定されるが、ユーザの指示に応じて複数の変換ポイントを１つの変換ポイントに結合したり、変換ポイントの追加、削除を行ったりと、その設定は適宜変更可能であるとする。例えば「夏」、「だ」、「ね」、「！」と文字毎に設定されていた４つの変換ポイントをまとめて１つの変換ポイントとし、「夏だね！」の文字列に対して１つの変換ポイントを設定するようにしてもよい。
【００４５】
図５（ａ）に示すポイントラインａ２のライン形状は、初期設定値の音の高低、テンポを示している。メール作成画面１３１では音声再生条件がまだ未設定であるのでライン形状は直線状であるが、後に設定される音声再生条件により、変換ポイントの表示位置が上下左右に変更されるため、このポイントラインａ２のラインの屈折や伸張の程度によりメール文の音声再生時の抑揚が表現されることとなる。
【００４６】
入力されたメール文に音声の変換ポイントが設定されると、図５（ｂ）に示すようなメール作成画面１３２が表示部１３に表示され、メール文を音声再生する際の声種の設定が行われる（ステップＳ４）。図５（ｂ）に示すように、メール作成画面１３２では、画面左端に声種メニューバーａ３が表示される。この声種メニューバーａ３には、例えば男の子の声、女の子の声等の設定可能な声種がアイコン表示されている。ユーザは、入力部１２を操作してこの声種メニューバーａ３上に表示されたアイコンのうち、所望の声種のアイコンを選択する。ユーザにより声種が選択されると、当該選択された声種がメール文の音声再生時の声種として設定される。
【００４７】
ユーザの指示に応じて声種が設定されると、図５（ｃ）に示すように、画面左端上部に設定された声種のアイコンａ４が表示されたメール作成画面１３３が表示部１３に表示される。また、メール作成画面１３３では、変換ポイントを選択するための選択フレームａ５が表示され、ユーザはこの選択フレームａ５の移動操作により任意の変換ポイントを選択することができる。
【００４８】
以下、変換ポイントにおけるメール文の音声再生条件を設定する処理について説明するが、変換ポイントにおける音声再生条件を設定するメール作成画面では、各操作キーのうち、アップキーＵには音を高く設定する機能、ダウンキーＤには音を低く設定する機能、レフトキーＬにはテンポを遅く設定する機能、ライトキーＲにはテンポを速く設定する機能、ソフトキーＳ２には効果音の選択メニューを表示する機能が割り当てられていることとする。また、音の高低やテンポは、例えばアップキーＵを３回押下すると初期設定値から音が３段階高く設定される等、各キーの押下回数に応じて設定されることとする。
【００４９】
次いで、メール作成画面１３３においては、変換ポイントが選択されたか否かが判別される（ステップＳ５）。変換ポイントが選択されていない場合は（ステップＳ５；Ｎ）、後述するステップＳ１２に移行し、変換ポイントが選択された場合は（ステップＳ５；Ｙ）、ユーザによりアップキーＵ又はダウンキーＤが押下されたか否かが判別される（ステップＳ６）。
【００５０】
アップキーＵ又はダウンキーＤが押下された場合（ステップＳ６；Ｙ）、選択された変換ポイントにおける音声の音の高低が、初期設定値から高く又は低く設定される。音の高低が初期設定値から変更設定されると、メール作成画面１３３では、初期設定の音の高さを示す基準ラインａ６がポイントラインａ２の背面に表示され、音が高く設定された場合は変換ポイントの位置が基準ラインａ６より上方に、音が低く設定された場合は基準ラインａ６より下方にシフトして表示される（ステップＳ９）。
【００５１】
一方、アップキーＵ又はダウンキーＤが押下されなかった場合（ステップＳ６；Ｎ）、レフトキーＬ又はライトキーＲが押下されたか否かが判別される（ステップＳ８）。レフトキーＬ又はライトキーＲが押下された場合は（ステップＳ８）、選択された変換ポイントにおける音声のテンポが、初期設定値から速く又は遅く設定される。テンポが遅く設定された場合は、メール作成画面１３１において選択状態の変換ポイントと隣接する次の変換ポイントとの間隔が広く表示され、テンポが速く設定された場合は隣接する次の変換ポイントとの間隔が狭く表示される（ステップＳ９）。
【００５２】
さらに、変換ポイントが選択された状態でレフトキーＬ又はライトキーＲも押下されなかった場合（ステップＳ８；Ｎ）、ソフトキーＳ２が押下されたか否かが判別される（ステップＳ１０）。ソフトキーＳ２が押下された場合は（ステップＳ１０；Ｙ）、メール作成画面１３３において、例えば音声にエコーをかける、水がはねる音、ブザー音等の予め準備されている効果音が選択可能にメニュー表示される。この選択メニューに表示された効果音のうち、ユーザにより所望の効果音が選択され、決定キーＫが押下されると、当該選択された効果音が変換ポイントに設定される（ステップＳ１１）。なお、効果音の設定時には、選択された各効果音が音再生スピーカ１７から出力され、効果音の視聴が可能であるとする。効果音が設定されると、図５（ｄ）に示すように、効果音が設定された変換ポイントに効果音が設定されたことを示す効果音マークａ７がメール作成画面１３４上に表示される。
【００５３】
一方、ソフトキーＳ２も押下されなかった場合（ステップＳ１０；Ｎ）、音声再生条件の設定終了が指示されたか否かが判別される（ステップＳ１２）。設定終了が指示されていない場合は（ステップＳ１２；Ｎ）、ステップＳ５の処理に戻って音声再生条件の設定が継続され、設定終了が指示された場合は（ステップＳ１２；Ｙ）、音声再生条件の設定が一旦終了され、これまでに設定された音声再生条件でメール音声データ及びメッセージデータの作成が行われる（ステップＳ１３）。
【００５４】
メール音声データの作成時には、まずＲＯＭ１５から辞書データが参照され、当該辞書データに基づいて制御部１１によりメール文の読みが認識される。例えば、「夏だね！」のメール文に対して「なつだね！」の読みが認識される。次いで、メール文の読みに応じてメール文の音声変換が行われ、音声データが生成される。具体的には、設定された声種に対応する音声変換用の音声データがＲＯＭ１５から読み出され、設定された音の高低、テンポと一致するように、当該音声データを用いてメール文の読みに応じたメール音声データが作成される。
【００５５】
また、メッセージデータの作成時には、音声再生条件に応じてメール文の文字のサイズやフォント等のスタイルやレイアウトが変更される。例えば、音が高く設定されている変換ポイントの文字又は文字列は、その文字サイズを太字とし、表示された際に画面の上部に配置されるようレイアウト変更され、逆に音が低く設定されている変換ポイントの文字又は文字列は、その文字サイズを細字とし、画面の下部に配置されるようにレイアウト変更される。また、効果音が設定されている変換ポイントにおける文字又は文字列には、その効果音に応じたグラフィックが付加される。例えば、エコーの効果音が設定された場合は、その文字列の陰影の大きさが小さくなったり、大きくなったりして、波のようにその大きさが変化する動画、いわゆるモーショングラフィックが付加される。
【００５６】
このようにしてメッセージデータ及び音声データが作成されると、プレビューが実行される（ステップＳ１４）。プレビュー時には、図６に示すようなメール画面１３５が表示部１３に表示される。図６に示すように、メール画面１３５では、ポイントラインａ２上にメール文の文字又は文字列が配置される。つまり、変換ポイントにおいて設定された音声の高低及びテンポに応じた位置に文字又は文字列が配置され、その文字サイズやフォントも設定された音の高低及びテンポに応じたサイズやフォントで表示される。従って、メール文とメール音声の抑揚や強調度が同期して見える。さらに、効果音が設定された文字又は文字列においては、その効果音に応じたモーショングラフィックが表示される。
【００５７】
このメール画面１３５では、表示軸に従って図６に示したメッセージデータが左から右に自動的にスクロール表示され、効果音が設定された文字又は文字列におけるモーショングラフィックは時間の経過とともにそのグラフィックが変化しながら表示される（例えば、「夏！」の文字列の背面に表示されたフラッグの柄の部分のグラフィックが伸張したり、「海」の文字の背面に表示された文字陰影の大きさが変化する。）。また、スクロール表示されるメール画面１３５の動きに合わせて、表示領域において表示されたメール文のメール音声データが音再生スピーカ１７を介して音声再生される。
【００５８】
プレビュー後には、「この内容で送信しますか？」等の確認メッセージが表示される。ユーザは、プレビューされたこのメール画面１３５において、作成したミュージックメールの表示内容及びメール音声を確認し、メールの作成内容に満足すれば決定キーＫを押下し、内容に不満があればクリアキーＣを押下する。
【００５９】
携帯通信端末１では、決定キーＫ又はクリアキーＣの押下が待機され、プレビューされたミュージックメールの作成内容がユーザにより承認されたか否かが判別される（ステップＳ１５）。クリアキーＣが押下され、ミュージックメールの作成内容がユーザにより承認されなかった場合は（ステップＳ１５；Ｎ）、ステップＳ４に戻って音声再生条件の設定をやり直す。
【００６０】
一方、決定キーＫが押下され、ミュージックメールの作成内容がユーザにより承認された場合（ステッＳ１５；Ｙ）、作成されたメッセージデータにメール音声データが添付され、送信用のメールデータが作成される。作成された送信用メールデータは、通信部１６を介して指定された送信先へ送信されて（ステップＳ１６）、本処理を終了する。
【００６１】
携帯通信端末１ｂでは、携帯通信端末１ａからミュージックメールが送信されると、上述したステップＳ１４におけるプレビュー処理と同様な処理が行われる。つまり、図６に示すようなメール画面が表示部に表示され、グラフィック化されたメール文が表示されるとともに、そのメール文の表示に合わせてメール音声データが音再生スピーカから出力され、音声再生される。受信されたミュージックメールに対して返信メールを作成する際には、携帯通信端末１ｂにおいても上述したメール作成処理が起動され、ミュージックメールを作成することが可能である。
【００６２】
以上のように、本実施の形態によれば、ミュージックメール送信時には、メール文の音声再生条件を設定すると、当該設定された音声再生条件に応じた態様にメール文が音声変換されてメール音声データが作成されるとともに、音声再生条件に応じた態様にメール文がグラフィック化されたメッセージデータが作成され、指定された送信先へ送信されるので、容易な操作で感情表現豊かなメールを通信相手に送信することができる。
【００６３】
また、ミュージックメールを受信した携帯通信端末においても、グラフィック化されたメッセージデータが表示されるとともに、その表示に合わせてそのメール音声データが音声再生されるので、視覚的、聴覚的にメールの送信元ユーザの感情を把握することが容易となる。
【００６４】
従って、ミュージックメールをやり取りする両者のコミュニケーション向上を図ることができる。
【００６５】
また、音声再生条件として、音声の声種や、音の高低、テンポ、効果音の設定が可能であるので、メール作成時の感情に応じてメール文の内容に合った音声データや臨場感あふれるメール音声データを作成することもできるし、任意に声種や音の高低、テンポ、効果音を変更することによりユニークな抑揚のメール音声データや不思議な音が組み合わせられたメール音声データ等を作成することもできる。
【００６６】
また、設定された音声再生条件に応じて、メール文の文字又は文字列のスタイル、レイアウトを変更したり、モーショングラフィックを付加したりしたメッセージデータを作成するので、強調したい文字や文字列の音は高く設定して太字で表示させる等、メールが表示された際のビジュアル性を重視して作為的にメッセージデータを作成して、ユーザが通信相手に伝えたい感情を視覚的に表現することもできるし、メール音声の発声を重視して現実的な音声に近づけるように音声再生条件を設定して、ユーザが意図しないユニークなデザインのメッセージデータを作成することもできる。
【００６７】
このように、ユーザが任意に音声再生条件を設定することを可能としたことにより、ユーザのメール作成に対する創作意欲を向上させることができる。
【００６８】
また、ミュージックメールの作成時には、作成したミュージックメールの表示内容及びメール音声をプレビューにより確認しながら、ミュージックメールを作成することができ、メール作成の操作性がより向上する。
【００６９】
なお、本実施の形態における記述内容は、本発明を適用した携帯通信端末１ａ、１ｂの好適な一例であり、これに限定されるものではない。
例えば、音声の高低、テンポ、効果音等の上述した音声再生条件に限らず、変換ポイントにおいて音階を設定するなど、他の音声再生条件を適用することとしてもよい。
【００７０】
また、音声再生条件に応じたメール文のグラフィック化についても、モーショングラフィックだけではなく、静止グラフィックを適用してもよいし、メール文の文字の表示色を変更する、点滅させる等、様々な手法によるグラフィック化が可能であることはもちろんである。
【００００】
その他、本実施の形態における携帯通信端末１ａ、１ｂの細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００００】
【発明の効果】
本発明によれば、容易な操作で視覚的、聴覚的に感情表現豊かなメールを作成することができる。
【図面の簡単な説明】
【図１】本発明を適用した実施の形態における携帯通信端末１ａ、１ｂとが接続された通信システム１００のシステム構成を示す図である。
【図２】携帯通信端末１ａの外観を示す図である。
【図３】携帯通信端末１ａの内部構成を示す図である。
【図４】携帯通信端末１ａにより実行されるメール作成処理を説明するフローチャートである。
【図５】メール作成処理で表示部１３に表示されるメール画面の画面遷移図である。
【図６】作成されたメールのプレビュー時に表示されるメール画面である。
【符号の説明】
１ 携帯通信端末
２ ディプレイ部
２１ 受話スピーカ
３ キー入力部
３１ テンキー群
Ｕ アップキー
Ｄ ダウンキー
Ｌ レフトキー
Ｒ ライトキー
Ｋ 決定キー
Ｃ クリアキー
３５ 送話マイク
１１ 制御部
１２ 入力部
１３ 表示部
１４ ＲＡＭ
１５ ＲＯＭ
１６ 通信部
１７ 音再生スピーカ

Claims (12)

1. メール文の文字入力を行うための入力手段と、
   前記入力されたメール文を表示する表示手段と、
   前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段と、
   前記設定された音声再生条件でメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段と、
   前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段と、
   前記作成された送信用メールデータを指定された送信先に送信する通信手段と、
   を備えることを特徴とする携帯通信端末。
2. 音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信することができる通信手段と、
   前記受信されたメッセージデータを表示する表示手段と、
   前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段と、
   を備えることを特徴とする携帯通信端末。
3. メール文の文字入力を行うための入力手段と、
   前記入力されたメール文を表示する表示手段と、
   前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段と、
   前記設定された音声再生条件に従ってメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段と、
   前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段と、
   前記作成された送信用メールデータを指定された送信先に送信するとともに、音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信する通信手段と、
   前記受信されたメッセージデータを表示する前記表示手段と、
   前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段と、
   を備えたことを特徴とする携帯通信端末。
4. 前記表示手段は、メール送信前にメール送信内容をプレビュー表示し、当該プレビュー表示の際に送信メールの音声再生条件による音声の抑揚の状態をグラフ化した表示形態で表示し、
   前記音声再生手段は、前記メッセージデータの表示に合わせて前記抑揚のある音声を再生することを特徴とする請求項１又は３に記載の携帯通信端末。
5. 前記設定手段は、音声再生条件として、メール文の文字又は文字列に、音の高低及び／又は音声のテンポを設定し、
   前記音声変換手段は、前記設定された音の高低及び／又は音声のテンポでメール文を抑揚ある音声に音声変換することを特徴とする請求項１、３又は４に記載の携帯通信端末。
6. 前記メール作成手段は、前記メッセージデータが前記表示手段に表示された際に、前記設定手段により高い音が設定された文字又は文字列は高い位置に、低い音が設定された文字又は文字列は低い位置に表示し、及び／又は速いテンポが設定された文字又は文字列の文字間隔を狭く、遅いテンポが設定された文字又は文字列の文字間隔を広く表示して、音声の抑揚の状態をグラフ化した表示形態で表示されるように、メール文をグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成することを特徴とする請求項５に記載の携帯通信端末。
7. 前記設定手段は、音声再生条件として、音声の声種を設定し、
   前記音声変換手段は、前記設定された声種でメール文を音声変換することを特徴とする請求項１、３〜６の何れか一項に記載の携帯通信端末。
8. 効果音の音データ及びその効果音に応じたグラフィックデータを記憶する記憶手段を備え、
   前記設定手段は、音声再生条件として、メール文の文字又は文字列に効果音を設定し、
   前記音声変換手段は、メール文を音声変換後、前記効果音が設定された文字又は文字列の音声に効果音の音データを付加した音声データを作成し、
   前記メール作成手段は、メッセージデータが前記表示手段に表示された際に、前記効果音が設定された文字又は文字列にその効果音に応じたグラフィックが表示されるように、前記記憶されたグラフィックデータを用いてメール文をグラフィック化することを特徴とする請求項１、３〜７の何れか一項に記載の携帯通信端末。
9. 前記メール作成手段は、メッセージデータが前記表示手段に表示された際に、前記設定された音声再生条件に応じた文字スタイルでメール文が表示されるようにメール文をグラフィック化することを特徴とする請求項１、３〜８の何れか一項に記載の携帯通信端末。
10. コンピュータを、
    メール文の文字入力を行うための入力手段、
    前記入力されたメール文を表示する表示手段、
    前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段、
    前記設定された音声再生条件でメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段、
    前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段、
    前記作成された送信用メールデータを指定された送信先に送信する通信手段、
    として機能させるためのプログラム。
11. コンピュータを、
    音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信することができる通信手段、
    前記受信されたメッセージデータを表示する表示手段、
    前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段、
    として機能させるためのプログラム。
12. コンピュータを、
    メール文の文字入力を行うための入力手段、
    前記入力されたメール文を表示する表示手段、
    前記入力されたメール文を音声再生する際の音声再生条件を設定する設定手段、
    前記設定された音声再生条件に従ってメール文を抑揚のある音声に音声変換した音声データを作成する音声変換手段、
    前記入力されたメール文を前記設定された音声再生条件による音声の抑揚の状態をグラフ化した表示形態にグラフィック化したメッセージデータを作成し、当該メッセージデータに前記音声変換された音声データを添付して送信用のメールデータを作成するメール作成手段、
    前記作成された送信用メールデータを指定された送信先に送信するとともに、音声再生条件による音声の抑揚の状態をグラフ化した表示形態にメール文がグラフィック化されたメッセージデータ及び当該メール文が抑揚のある音声に音声変換された音声データを受信する通信手段、
    前記受信されたメッセージデータを表示する前記表示手段、
    前記メッセージデータの表示に合わせて前記音声データを再生する音声再生手段、
    として機能させるためのプログラム。

Images