JP4985714B2 - 音声表示出力制御装置、および音声表示出力制御処理プログラム - Google Patents

Description

本発明は、音声，テキスト，画像などのデータを同期して出力するための音声表示出力制御装置、および音声表示出力制御処理プログラムに関する。

従来、例えば言語学習装置として、言語の音声を出力しその口型を表示させるものがある。

この言語学習装置では、マイクとカメラによって、母国語使用者の音声情報と口型のイメージデータを予めサンプルデータメモリに記録する。そして、学習者の音声情報と口型のイメージデータを前記マイクとカメラによって記録し、この学習者と前記サンプルデータメモリに予め記録された母国語使用者とのそれぞれの音声情報の波形とこれに対応する各口型のイメージデータとを対比しチャート形式で表示する。

これにより、母国語使用者と学習者との言語発音の差異を明確に分析し表示しようとするものである（例えば、特許文献１参照。）。

特開２００１−３１８５９２号公報

このような、従来の言語学習装置を用いると、手本である母国語使用者の発音音声とその口型イメージを知ることができるが、各言語のアクセントについては、主にアクセント部分の発音音声が強調されることで知らされるだけであって、口型イメージそのものには明確な違いが現れないため、各学習言語におけるアクセントのタイミングが分かり辛い問題がある。

本発明は、前記のような問題に鑑みてなされたもので、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、および音声表示出力制御処理プログラムを提供することを目的とする。

本発明の請求項１に係る音声表示出力制御装置では、単語記憶手段は複数の単語別に当該各単語それぞれの正しいアクセント付き発音記号および誤りアクセント付き発音記号を対応付けて記憶し、正誤アクセント選択手段により記憶した単語別の正しいアクセント付き発音記号および誤りアクセント付き発音記号の何れか一方を選択すると、音声表示出力制御手段により、選択された一方の正しいアクセント付き発音記号または誤りアクセント付き発音記号に対応した発音音声を出力させる一方で、正しいアクセント付き発音記号に対応した発音音声が出力される場合と、誤りアクセント付き発音記号に対応した発音音声が出力される場合とにおいて異なる表示形態で顔画像を表示させ、前記音声表示出力制御手段は、表示される顔画像に含まれている口の部分を、出力される発音音声に同期して当該発音音声に対応した口型の画像に変更して表示させることを特徴とする。

これによれば、単語別の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れか一方を選択すると、この選択された一方の正しいアクセント付き発音記号または誤りアクセント付き発音記号に対応した発音音声を出力させることができる一方で、正しいアクセントに対応した発音音声が出力される場合と、誤りアクセント対応した発音音声が出力される場合とにおいて異なる表示形態で顔画像を表示させることができる。この場合、表示される画像に含まれる口の部分について、発音音声に同期して対応した口型の画像に変更して表示させるようにしたので、発音音声に対応する口型画像の変化を確認しつつ視覚と聴覚により効果的にアクセントを学習できる。

本発明の請求項２に係る音声表示出力制御装置では、前記請求項１に係る音声表示出力制御装置にあって、さらに、発音音声が出力された際に、アクセント検出手段により前記アクセント付き発音記号中のアクセントを検出し、画像変化表示制御手段によりアクセントの検出に同期して前記音声表示出力制御手段の制御により表示される画像を変化させる。

これによれば、さらに、単語の発音音声が出力された際に該当単語のアクセント付き発音記号中のアクセントを検出し、アクセントの検出に同期して画像を変化させるようにしたので、音声のみでなく視覚的にもアクセントのタイミングを確認できて効果的にアクセントのタイミングを学習することができることになる。

本発明の請求項３に係る音声表示出力制御装置では、前記請求項１又は２に係る音声表示出力制御装置にあって、正誤アクセント表示制御手段により各単語別に対応付けられた正しいアクセント付き発音記号および誤りアクセント付き発音記号を並べて表示させ、発音記号選択手段によりこの正誤アクセント表示制御手段の制御により並べて表示された正しいアクセント付き発音記号および誤りアクセント付き発音記号の何れかを選択することができる。

これによれば、さらに、正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、表示された中から何れかのアクセント付き発音記号を選択するようにしたので、正しいアクセント付き発音記号と誤りアクセント付き発音記号とを視覚的に比較確認して効果的に正誤アクセントを学習することができる。

以上のように、本発明の請求項１に係る音声出力装置によれば、単語別の正しいアクセント付き発音記号か誤りアクセント付き発音記号かの何れか一方を選択すると、この選択された一方の正しいアクセント付き発音記号または誤りアクセント付き発音記号に対応した発音音声を出力させることができる一方で、正しいアクセントに対応した発音音声が出力される場合と、誤りアクセント対応した発音音声が出力される場合とにおいて異なる表示形態で顔画像を表示させることができる。この場合、表示される画像に含まれる口の部分について、発音音声に同期して対応した口型の画像に変更して表示させるようにしたので、発音音声に対応する口型画像の変化を確認しつつ視覚と聴覚により効果的にアクセントを学習できる。

本発明の請求項２に係る音声表示出力制御装置によれば、さらに、単語の発音音声が出力された際に該当単語のアクセント付き発音記号中のアクセントを検出し、アクセントの検出に同期して画像を変化させるようにしたので、音声のみでなく視覚的にもアクセントのタイミングを確認できて効果的にアクセントのタイミングを学習することができることになる。

本発明の請求項３に係る音声表示出力制御装置によれば、さらに、正しいアクセント付き発音記号と誤りアクセント付き発音記号とを並べて表示させ、表示された中から何れかのアクセント付き発音記号を選択するようにしたので、正しいアクセント付き発音記号と誤りアクセント付き発音記号とを視覚的に比較確認して効果的に正誤アクセントを学習することができる。

よって、本発明によれば、音声出力に同期した画像の表示において、アクセントのタイミングを明確に現すことが可能になる音声表示出力制御装置、および音声表示出力制御処理プログラムを提供できる。

本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図。 前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図。 前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図。 前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図。 前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図。 前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図。 前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャート。 前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャート。 前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャート。 前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図。 前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図。 前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図。 前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図。 前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャート。 前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態について説明する。

（第１実施形態）
図１は本発明の音声表示出力制御装置（画像表示制御装置）の実施形態に係る携帯機器１０の電子回路の構成を示すブロック図である。

この携帯機器（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。

ＣＰＵ１１は、メモリ１２内のＦＬＡＳＨメモリ１２Ａに予め記憶されたＰＤＡ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介して前記メモリ１２に読み込まれたＰＤＡ制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶されたＰＤＡ制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。

前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。

また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。

この携帯機器１０のメモリ１２は、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａ、ＲＡＭ１２Ｂを備えて構成される。

ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａには、当該携帯機器１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして辞書の見出語検索や検索見出語に対応する音声・テキスト・顔画像（含む口型合成画像）などの各種データの同期再生、および当該顔画像（キャラクタ）の種類設定、および見出語アクセントの出題テストを行うための辞書処理プログラム１２ａなど、種々のＰＤＡ制御プログラムが記憶される。

また、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ａにはさらに、辞書データベース１２ｂ（図２参照）、辞書音声データ１２ｃ、キャラクタ画像データ１２ｄ（図３参照）、音声別口（型）画像データ１２ｅ（図４参照）、および辞書タイムコードファイル１２ｆ（図５・図６参照）が記憶される。

辞書データベース１２ｂとしては、英和辞書、和英辞書、国語辞書など、各種の辞書のデータが記憶されると共に、図２に示すように、辞書内の全ての見出語についてそれぞれその見出語Ｎｏ、音声・テキスト・画像の同期再生を簡単に行うためのタイムコードファイルのＮｏと格納先アドレス、画像再生ウインドウを設定するためのＨＴＭＬファイルのＮｏと格納先アドレス、テキストファイルのＮｏと格納先アドレス、テキストの各文字，発音記号，口型番号を対応付けたテキスト口同期ファイルのＮｏと格納先アドレス、音声データであるサウンドファイルのＮｏと格納先アドレス、辞書内容のデータ番号と格納先アドレスが、それぞれリンク付けられて記憶される。

なお、各実施形態において、明細書上で記載される発音記号については、正式な発音記号の入力が困難なため類似の文字を代用し、正式な発音記号については図面上にて記載する。

図２は前記携帯機器１０のメモリ１２に記憶される辞書データベース１２ｂのうち１つの見出語「ｌｏｗ」についての同期再生用リンクデータを示す図であり、同図（Ａ）は各ファイルＮｏと格納先アドレスを示すテーブル、同図（Ｂ）は当該テキストファイルＮｏに従い格納されているテキストデータ「ｌｏｗ」を示す図、同図（Ｃ）はテキスト口同期ファイルＮｏに従い格納されているテキストの文字，発音記号，口型番号を示す図である。

辞書音声データ１２ｃとしては、前記辞書データベース１２ｂにおける各見出語毎の発音のための音声データがそのサウンドファイルＮｏとアドレスに対応付けられて記憶される。

図３は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにユーザ設定により選択的に使用されるキャラクタ画像データ１２ｄを示す図である。

キャラクタ画像データ１２ｄとしては、本実施形態の場合、３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３が用意され、個々のキャラクタ画像Ｎｏ１，Ｎｏ２，Ｎｏ３には、その口型画像の合成矩形領域を対角する２点の座標として指定するための口画像エリアデータ（Ｘ１，Ｙ１，Ｘ２，Ｙ２）が対応付けられて記憶される。

なお、この３種類のキャラクタ画像（顔画像）Ｎｏ１〜Ｎｏ３には、それぞれさらに、辞書検索された見出語のアクセントのタイミングで発音の強調を表現するためのアクセント顔画像Ｎｏ１′〜Ｎｏ３′（図１２（Ｃ）(2)，図１３（Ｂ）(2)参照）が記憶され、さらには、米語または英語の発音音声が指定された場合の米語用キャラクタ画像Ｎｏ１ＵＳ〜Ｎｏ３ＵＳ（図１５参照）や英語用キャラクタ画像Ｎｏ１ＵＫ〜Ｎｏ３ＵＫ（図１６参照）、およびそのアクセント顔画像Ｎｏ１ＵＳ′〜Ｎｏ３ＵＳ′（図１５（Ｂ）(2)参照）やＮｏ１ＵＫ′〜Ｎｏ３ＵＫ′（図１６（Ｂ）(2)参照）が記憶される。

図４は前記携帯機器１０のメモリ１２に記憶され、辞書の見出語検索における発音口型画像の同期表示のためにキャラクタ画像（１２ｄ：Ｎｏ１〜Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１，Ｘ２，Ｙ２）に合成表示される音声別口画像データ１２ｅを示す図である。

音声別口（型）画像データ１２ｅとしては、前記辞書データベース１２ｂに記憶された全ての見出し語の発音に要する各発音記号に対応付けた口型画像１２ｅ１，１２ｅ２，…がそれぞれその口番号Ｎｏ．ｎに対応付けられて記憶される。

また、前記携帯機器１０のメモリ１２に記憶される辞書タイムコードファイル１２ｆは、辞書検索された見出語に対応する音声・テキスト・顔画像（含む口型合成画像）の同期再生を行うための指令ファイル（図５参照）であり、全ての見出語毎ではなく、文字数と発音記号数およびその発音タイミングが同じである複数の見出語毎に用意され、所定のアルゴリズムにより圧縮・暗号化されている。

図５は前記携帯機器１０のメモリ１２に格納された辞書タイムコードファイル１２ｆにおける見出語「ｌｏｗ」に対応付けられたファイルＮｏ２３のタイムコードファイル１２ｆ２３（１２ｉ）を示す図である。

タイムコードファイル１２ｆｎには、予めヘッダ情報Ｈとして記述設定される一定時間間隔の基準処理単位時間（例えば２５ｍｓ）で各種データ（音声・テキスト・画像）を同期再生するコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるデータ内容（テキストファイル／サウンドファイル／イメージファイルなど）を対応付けするための参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。

例えば図５で示す見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３によるファイル再生時間は、予め設定された基準処理単位時間が２５ｍｓである場合、４０ステップのタイムコードからなる再生処理を経て１秒間となる。

図６は前記携帯機器１０の辞書タイムコードファイル１２ｆｎ（図５参照）にて記述される各種コマンドのコマンドコードとそのパラメータデータに基づき解析処理される命令内容を対応付けて示す図である。

タイムコードファイル１２ｆｎに使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、ＬＴ（ｉ番目テキストロード）．ＶＤ（ｉ番目テキスト文節表示）．ＢＬ（文字カウンタリセット・ｉ番目文節ブロック指定）．ＨＮ（ハイライト無し・文字カウンタカウントアップ）．ＨＬ（ｉ番目文字までハイライト・文字カウント）．ＬＳ（１行スクロール・文字カウンタカウントアップ）．ＤＨ（ｉ番目ＨＴＭＬファイル表示）．ＤＩ（ｉ番目イメージファイル表示）．ＰＳ（ｉ番目サウンドファイルプレイ）．ＣＳ（クリアオールファイル）．ＰＰ（基本タイムｉ秒間停止）．ＦＮ（処理終了）．ＮＰ（無効）の各コマンドがある。

また、メモリ１２内のＲＡＭ１２Ｂには、辞書データベース１２ｂの検索処理に伴う見出語がその見出語番号に従い読み出されて記憶される検索見出語メモリ１２ｇ、検索された見出語に対応する意味内容などの辞書データが前記辞書データベース１２ｂからその辞書データ番号に従い読み出されて記憶される見出語対応辞書データメモリ１２ｈ、検索された見出語に対応した音声・テキスト・画像の同期再生を行うためのタイムコードファイル１２ｆｎ（図５参照）が前記辞書データベース１２ｂ内のタイムコードファイルＮｏに従い辞書タイムコードファイル１２ｆの中から読み出され伸張・復号化されて記憶される再生タイムコードファイルメモリ１２ｉが用意される。

さらに、このメモリ１２内のＲＡＭ１２Ｂには、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２・図１３参照）を設定するためのＨＴＭＬファイルが、前記辞書データベース１２ｂからＨＴＭＬファイルＮｏに従い読み出されて記憶される同期用ＨＴＭＬファイルメモリ１２ｊ、検索見出語のテキストデータが前記辞書データベース１２ｂからそのテキストファイルＮｏに従い読み出されて記憶される同期用テキストファイルメモリ１２ｋ、検索見出語の発音音声データが前記辞書データベース１２ｂ内のサウンドファイルＮｏに従い前記辞書音声データ１２ｃの中から読み出されて記憶される同期用サウンドファイルメモリ１２ｍ、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像が前記キャラクタ画像データ１２ｄ（図３参照）の中から読み出されて記憶される同期用イメージファイルメモリ１２ｎ、この同期用イメージファイルメモリ１２ｎに記憶されたキャラクタ画像における口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）が記憶される口画像エリアメモリ１２ｐ、そして、前記タイムコードファイルメモリ１２ｉに記憶された検索見出語に対応するタイムコードファイル１２ｆｎに従い音声・テキストに同期再生すべきキャラクタ画像と口型画像とが展開合成されて記憶される画像展開バッファ１２ｑなどが用意される。

すなわち、この携帯機器（ＰＤＡ）１０のＦＬＡＳＨメモリ１２Ａに記憶されている辞書処理プログラム１２ａを起動させて検索された見出語が「ｌｏｗ」であり、これに対応して辞書タイムコードファイル１２ｆ内から読み出されて再生タイムコードファイルメモリ１２ｉに記憶されたタイムコードファイル１２ｆが、例えば図５で示したタイムコードファイル１２ｆ２３であり、設定処理単位時間毎のコマンド処理に伴い３番目のコマンドコード“ＤＩ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＤＩ”はｉ番目のイメージファイル表示命令であるため、パラメータデータｉ＝００からリンク付けられる同期用イメージファイル１２ｎに記憶されたキャラクタ画像１２ｄｎが読み出されて表示される。

また、設定処理単位時間毎のコマンド処理に伴い４番目のコマンドコード“ＰＳ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＰＳ”はｉ番目のサウンドファイル再生命令であるため、パラメータデータｉ＝００からリンク付けられる同期用サウンドファイル１２ｍに記憶された音声データ１２ｃｎが読み出されて出力される。

また、設定処理単位時間毎のコマンド処理に伴い６番目のコマンドコード“ＶＤ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＶＤ”はｉ番目のテキスト文節表示命令であるため、パラメータデータｉ＝００に従い、テキストの０番目の文節（この場合は、同期用テキストファイルメモリ１２ｋに記憶された検索見出語のテキストファイル「ｌｏｗ」が表示される。

さらに、設定処理単位時間毎のコマンド処理に伴い９番目のコマンドコード“ＮＰ”およびパラメータデータ“００”が読み込まれた場合には、このコマンド“ＮＰ”は無効命令であるため、現状のファイル出力状態が維持される。

なお、この図５で示したファイル内容のタイムコードファイル１２ｆ２３（１２ｉ）に基づいた検索見出語に対応する発音音声・テキスト・画像（口型画像）の同期再生についての詳細な動作は、後述にて改めて説明する。

次に、前記構成の携帯機器１０による各種の動作について説明する。

図７は前記携帯機器１０の辞書処理プログラム１２ａに従ったメイン処理を示すフローチャートである。

図８は前記携帯機器１０のメイン処理に伴う見出語同期再生処理を示すフローチャートである。

図９は前記携帯機器１０の見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理を示すフローチャートである。

図１０は前記携帯機器１０のメイン処理内のキャラクタ設定処理に伴う同期再生用キャラクタ画像の設定表示状態を示す図である。

入力部１７ａの「設定」キー１７ａ１およびカーソルキー１７ａ２の操作によりキャラクタ画像の設定モードに切り替えられると（ステップＳ１→Ｓ２）、ＦＬＡＳＨメモリ１２Ａに記憶されている例えば３種類のキャラクタ画像データ１２ｄ１（Ｎｏ１），１２ｄ２（Ｎｏ２），１２ｄ３（Ｎｏ３）［図３参照］が読み出され、図１０に示すように、キャラクタ画像の一覧選択画面Ｇ１として表示部１８に表示される（ステップＳ３）。

このキャラクタ画像の一覧選択画面Ｇ１において、カーソルキー１７ａ３の操作により各キャラクタ画像の選択フレームＸが移動操作されてユーザ所望のキャラクタ画像（例えば１２ｄ３（Ｎｏ３））が選択されると共に、「訳／決定（音声）」キー１７ａ４による決定操作により当該キャラクタ画像の選択が検知されると（ステップＳ４）、この選択検知されたキャラクタ画像１２ｄｎが読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送格納される（ステップＳ５）。また、この選択検知されたキャラクタ画像１２ｄｎの口型画像の合成領域を示す口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も読み出され、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに転送格納される（ステップＳ６）。

これにより、見出語検索に伴い、当該見出語の発音音声に同期表示させるべき口型画像合成対象のキャラクタ画像が選択設定される。

図１１は前記携帯機器１０のメイン処理内の見出語検索処理に伴う検索見出語表示画面Ｇ２を示す図である。

辞書データベース１２ｂに記憶されている例えば英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌｏｗ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。

この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌｏｗ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１１に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。

ここで、前記検索表示された見出語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。

図１２は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ３の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント未対応の発音口型表示ウインドウＷ２の変化状態を示す図、同図（Ｃ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１およびアクセント対応の発音口型表示ウインドウＷ２の変化状態を示す図である。

前記検索見出語表示画面Ｇ２が表示されている状態での「訳／決定（音声）」キー１７ａ４の操作に伴い、図８における同期再生処理（ステップＳＡ）が起動されると、ＲＡＭ１２Ｂ内の各ワークエリアのクリア処理などのイニシャライズ処理が行われ（ステップＡ１）、まず、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１２参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏ３に従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌｏｗ（発音記号付）」がそのテキストファイルＮｏ４２２２に従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の発音音声データがそのサウンドファイルＮｏ４２２２に従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。

なお、検索見出語の発音画像表示用としてユーザ設定されたキャラクタ画像（この場合、１２ｄ３（Ｎｏ３））は、前記キャラクタ設定処理に伴うステップＳ５に従って、既にキャラクタ画像データ１２ｄ（図３参照）の中から読み出されて同期用イメージファイルメモリ１２ｎに書き込まれ、さらに当該キャラクタ画像１２ｄ３（Ｎｏ３）における発音口型画像合成エリアである口画像エリアデータ（Ｘ１，Ｙ１；Ｘ２，Ｙ２）も前記キャラクタ設定処理に伴うステップＳ６に従って、既に口画像エリアメモリ１２ｐに書き込まれている。

すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌｏｗ」に対応するタイムコードファイル１２ｆ２３（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏ２３に従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。

こうして、前記検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生用の各種ファイルのＲＡＭ１２Ｂへの読み込み設定、およびこれらのファイルを同期再生するためのタイムコードファイル１２ｆ２３のＲＡＭ１２Ｂへの転送設定が完了すると、タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル（ＣＡＳファイル）１２ｆ２３（図５参照）のＣＰＵ１１による処理単位時間（例えば２５ｍｓ）が当該タイムコードファイル１２ｆ２３のヘッダ情報Ｈとして設定される（ステップＡ４）。

そして、前記タイムコードファイルメモリ１２ｉに格納されたタイムコードファイル１２ｆ２３の先頭に読み出しポインタがセットされると共に、各同期用ファイルメモリ１２ｊ，１２ｋ，１２ｍ，１２ｎに書き込まれた各種ファイルの先頭に読み出しポインタがセットされ（ステップＡ５）、当該各同期ファイルの再生処理タイミングを計時するためのタイマがスタートされる（ステップＡ６）。

このステップＡ６において、処理タイマがスタートされると、前記ステップＡ４にて設定された今回のタイムコードファイル１２ｆ２３に応じた処理単位時間（２５ｍｓ）毎に、前記ステップＡ５にて設定された読み出しポインタの初期位置の当該タイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＡ７）。

そして、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”か否か判断され（ステップＡ８）、“ＦＮ”と判断された場合には、その時点で当該同期再生処理の停止処理が指示実行される（ステップＡ８→Ａ９）。

一方、前記タイムコードファイル１２ｆ２３（図５参照）から読み出されたコマンドコードが、“ＦＮ”ではないと判断された場合には、当該コマンドコードの内容（図６参照）に対応する処理が実行される（ステップＡ１０）。

そして、前記タイマによる計時時間が次の処理単位時間（２５ｍｓ）に到達したと判断された場合には、ＲＡＭ１２Ｂに格納されたタイムコードファイル１２ｆ２３（図５参照）に対する読み出しポインタが次の位置に移動セットされ（ステップＡ１１→Ａ１２）、前記ステップＡ７における当該読み出しポインタの位置のタイムコードファイル１２ｆ２３（図５参照）のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される（ステップＡ１２→Ａ７〜Ａ１０）。

ここで、図５で示す検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に基づいた、発音音声・テキスト・発音口型画像ファイルの同期再生出力動作について詳細に説明する。

すなわち、このタイムコードファイル１２ｆ２３は、そのヘッダＨに予め記述設定された（基準）処理単位時間（例えば２５ｍｓ）毎にコマンド処理が実行されるもので、まず、タイムコードファイル１２ｆ２３（図５参照）の第１コマンドコード“ＣＳ”（クリアオールファイル）およびそのパラメータデータ“００”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・音声・画像ファイルの出力がクリアされる（ステップＡ１０）。

第２コマンドコード“ＤＨ”（ｉ番目ＨＴＭＬファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＨと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用ＨＴＭＬファイルメモリ１２ｊからＨＴＭＬデータの見出語テキスト・画像フレームデータが読み出され、図１２（Ａ）に示すように、表示部１８に対する見出語検索画面Ｇ２上でのテキスト・画像の同期再生用ウインドウＷ１，Ｗ２が設定される（ステップＡ１０）。

第３コマンドコード“ＤＩ”（ｉ番目イメージファイル表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＤＩと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎから前記キャラクタ設定処理（ステップＳ２〜Ｓ６）にて設定記憶されたキャラクタ画像１２ｄ（この場合Ｎｏ３）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上でＨＴＭＬファイルで設定された画像の同期再生用ウインドウＷ２に表示される（ステップＡ１０）。

第４コマンドコード“ＰＳ”（ｉ番目サウンドファイルプレイ）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＰＳと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用サウンドファイルメモリ１２ｍから前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する発音音声データが読み出され、ステレオ音声出力部１９ｂからの音声出力が開始される（ステップＡ１０）。

第５コマンドコード“ＬＴ”（ｉ番目テキストロード）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＬＴと共に読み出されたパラメータデータ（ｉ＝０）に応じて、ＲＡＭ１２Ｂ内の同期用テキストファイルメモリ１２ｋに前記ステップＡ２にて設定記憶された検索見出語「ｌｏｗ」に対応する１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が指定される（ステップＡ１０）。

第６コマンドコード“ＶＤ”（ｉ番目テキスト文節表示）およびそのパラメータデータ“００”が読み出されると、当該コマンドコードＶＤと共に読み出されたパラメータデータ（ｉ＝０）に応じて、前記第５コマンドコード“ＬＴ”に従い指定された１文節のテキストデータ「ｌ」「ｏ」「ｗ」（含む発音記号）が読み出され、図１２（Ａ）に示すように、前記見出語検索画面Ｇ２上のテキスト同期再生用ウインドウＷ１に表示される（ステップＡ１０）。

第７コマンドコード“ＢＬ”（文字カウンタリセット・ｉ番目文節ブロック指定）およびそのパラメータデータ“００”が読み出されると、前記テキスト同期再生用ウインドウＷ１で表示中の検索見出語「ｌｏｗ」の文字カウンタがリセットされる（ステップＡ１０）。

そして、第８コマンドコード“ＨＬ”（ｉ番目文字までハイライト・文字カウント）およびそのパラメータデータ“０１”が読み出されると、当該コマンドコードＨＬと共に読み出されたパラメータデータ（ｉ＝１）に応じて、図１２（Ａ）に示すように、テキスト同期再生用ウインドウＷ１に表示されている検索見出語「ｌｏｗ」（含む発音記号）のうち１番目の文字「ｌ」およびこれに対応する発音記号まで、色替え表示，反転表示，下線表示などによるハイライト（識別）表示ＨＬが行われ、文字カウンタが同２番目の文字およびこれに対応する発音記号までカウントアップされる（ステップＡ１０）。

このタイムコードファイル１２ｆ２３による検索見出語「ｌｏｗ」の各文字およびこれに対応する発音記号に対するハイライト（識別）表示に際しては、図９におけるテキスト対応口表示処理の割り込みが行われる。

すなわち、今回ハイライト（識別）表示ＨＬされた検索見出語「ｌｏｗ」の文字「ｌ」が検知されると（ステップＢ１）、この検知文字「ｌ」に対応する発音口型画像が、辞書データベース１２ｂ内のテキスト口同期ファイル（図２（Ｃ）参照）により示されるテキスト「ｌ」に対応する口番号「３６」に従い、音声別口画像データ１２ｅ（図４参照）の中から発音口型画像１２ｅ２（Ｎｏ３６）として読み出される（ステップＢ２）。そして、このハイライト（識別）表示された検索見出語「ｌｏｗ」の文字「ｌ」に対する発音口型画像１２ｅ２（Ｎｏ３６）は、図１２（Ａ）（図１２（Ｂ）(1)）に示すように、見出語検索画面Ｇ２上の画像同期再生用ウインドウＷ２に表示されているキャラクタ画像１２ｄ（Ｎｏ３）の口画像合成領域に対して、ＲＡＭ１２Ｂ内の口画像エリアメモリ１２ｐに記憶されている口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に従い合成されて表示される（ステップＢ３）。

ここで、前記テキスト口同期ファイル（図２（Ｃ）参照）により示される今回のハイライト（識別）表示テキスト「ｌ」の発音記号に対するアクセントマークの有無が判断される（ステップＢ４）。このハイライト（識別）表示テキスト「ｌ」の発音記号［ｌ］の場合にはアクセントマーク無しと判断されるので、キャラクタ画像１２ｄ（Ｎｏ３）はその通常の顔画像のままの表示が維持される（ステップＢ４→Ｂ５）。

なお、ここでアクセントマーク有りと判断された場合には、前記キャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′（図１２（Ｃ）(2)参照）に変更表示される（ステップＢ４→Ｂ６）。

そして、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力開始されている検索見出語「ｌｏｗ」に対応する発音音声データの出力タイミングと、本タイムコードファイル１２ｆ２３による処理単位時間（２５ｍｓ）に応じた検索見出語「ｌｏｗ」の１文字毎の識別表示タイミングとは、予め対応付けされて当該タイムコードファイル１２ｆ２３が作成されているので、当該検索見出語「ｌｏｗ」の１文字目「ｌ」の識別表示とその発音口型画像１２ｅ（Ｎｏ３６）の同期合成表示の際には、これに対応する発音記号を読み上げるところの発音音声が同期出力されることになる。

これにより、検索見出語「ｌｏｗ」の第１文字目「ｌ」の識別表示、その発音口型画像１２ｅ３（Ｎｏ３６）の設定キャラクタ画像１２ｄ（Ｎｏ３）への合成表示、ならびにその発音音声の出力が同期して行われる。

そして、第９コマンドコード“ＮＰ”が読み出されると、現在の検索見出語「ｌｏｗ」に対応するキャラクタ画像およびテキストデータの同期表示画面および発音音声データの同期出力状態が維持される。

この後、第１２コマンドコード“ＨＬ”、第３５コマンドコード“ＨＬ”に従い、図１２（Ｃ）(2)、図１２（Ｃ）(3)に示すように、テキスト同期再生用ウインドウＷ１では、検索見出語のテキストデータ「ｌｏｗ」とその発音記号が、順次、２番目の文字「ｏ」と発音記号［ｏ］、３番目の文字「ｗ」と発音記号［ｕ］というように、ハイライト（識別）表示ＨＬされて行く（ステップＡ１０）。そして、これと共に、画像同期再生用ウインドウＷ２では、前記図９におけるテキスト対応の口表示処理に応じて、設定キャラクタ画像１２ｄ（Ｎｏ３）の口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に合成すべき発音口型画像も、前記テキスト口同期ファイル（図２（Ｃ）参照）に従い、口番号９に対応する発音口型画像１２ｅ（Ｎｏ９）、口番号８に対応する発音口型画像１２ｅ（Ｎｏ８）として音声別口画像１２ｅの中から読み出され、順次合成されて同期表示される（ステップＢ１〜Ｂ３）。

さらに、前記第４コマンドコード“ＰＳ”に応じてステレオ音声出力部１９ｂから出力されている検索見出語「ｌｏｗ」の発音音声データも、同テキスト「ｌｏｗ」とその発音記号のハイライト（識別）表示部分を読み上げるところの音声が順次同期出力される。

なお、前記検索見出語「ｌｏｗ」の各文字「ｌ」「ｏ」「ｗ」毎のハイライト（識別）表示ＨＬに同期させたテキスト対応口表示処理による各発音口型画像１２ｅ（Ｎｏ３６）→１２ｅ（Ｎｏ９）→１２ｅ（Ｎｏ８）の設定キャラクタ画像１２ｄ（Ｎｏ３）に対する合成切り替え表示（ステップＢ１〜Ｂ５）に際し、図１２（Ｂ）(2)で示したように、２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、図１２（Ｃ）(2)で示したように、このときのキャラクタ画像１２ｄ（Ｎｏ３）は、発音強調表現用のアクセント顔画像Ｎｏ３′に変更されて表示される（ステップＢ４→Ｂ６）。

つまり、図１２で示した検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先である図１２（Ｂ）(2)で示した通常の設定キャラクタ（顔）画像１２ｄ（Ｎｏ３）が、図１２（Ｃ）(2)で示した例えば頭部の発汗や口元の皺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。

図１３は前記携帯機器１０の見出語検索処理における同期再生処理に伴いキャラクタ画像Ｎｏ１の設定状態において検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。

すなわち、前記図７のステップＳ１〜Ｓ６によるキャラクタ設定処理において、予め記憶された３種類のキャラクタ画像データ１２ｄ（Ｎｏ１），１２ｄ（Ｎｏ２），１２ｃ（Ｎｏ３）［図３参照］の中からアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）が選択設定された状態で、前記ステップＳ７〜ＳＡと同様に検索対象の見出語「ｌｏｗ」についての見出語検索処理および同期再生処理、そして図９におけるテキスト対応口表示処理が行われた場合には、図１３（Ａ）および図１３（Ｂ）に示すように、検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１には、検索見出語「ｌｏｗ」およびその発音記号の発音音声出力に同期させたハイライト（識別）表示ＨＬが順次行われる。これに伴い、発音口型表示ウインドウＷ２には、前記キャラクタ設定処理（ステップＳ１〜Ｓ６）において設定されたアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を基本の顔画像として、前記発音音声出力およびテキスト（含む発音記号）のハイライト表示ＨＬに同期させた各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が順次切り替え合成されて表示される。

そして、図１３（Ｂ）(2)で示したように、検索見出語「ｌｏｗ」の２番目の文字「ｏ」とその発音記号のハイライト（識別）表示ＨＬに伴い発音口型画像１２ｅ（Ｎｏ９）を合成表示させるときには、当該ハイライト（識別）表示テキスト「ｏ」の発音記号にはアクセントマーク有りと判断されるので、このときのアニメ調キャラクタ画像１２ｄ（Ｎｏ１）は、発音強調表現用のアクセント顔画像Ｎｏ１′に変更されて表示される（ステップＢ４→Ｂ６）。

つまり、図１３で示したアニメ調のキャラクタ画像１２ｄ（Ｎｏ１）を選択設定した場合の、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しても、当該口型画像１２ｅ（Ｎｏ９）の合成先である通常のアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。

なお、前記図１１〜図１３を参照して説明した見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理では、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系１国の発音にのみ対応する内容である場合について説明したが、例えば、次の図１４〜図１６を参照して説明するように、辞書データベース１２ｂとして予め記憶される英和辞書データの内容が、米国系および英国系の２国の発音に対応する内容を有する場合に、米国系または英国系の何れか１国の発音形態を指定して見出語検索に伴うテキスト・発音音声・発音口型画像の同期再生処理を行うようにしてもよい。

図１４は前記携帯機器１０のメイン処理内の見出語検索処理に伴い米国／英国の２国の発音形態を収録した英和辞書を利用した場合の検索見出語表示画面Ｇ２を示す図である。

辞書データベース１２ｂに記憶されている例えば米国／英国の２国の発音形態を収録した英和辞書の辞書データに基づいて見出語検索を行うのに、入力部１７ａの「英和」キー１７ａ５の操作により英和辞書の検索モードに設定した後に、検索対象の見出語（例えば「ｌａｕｇｈ」）を入力すると（ステップＳ７→Ｓ８）、当該入力された見出語と一致及び一致文字を先頭に含む複数の見出語が前記英和辞書の辞書データから検索されて読み出され、検索見出語の一覧（図示せず）として表示部１８に表示される（ステップＳ９）。

この検索見出語の一覧画面において、ユーザ入力した検索対象の見出語と一致する見出語（この場合「ｌａｕｇｈ」）がカーソルキーにより選択指示されて「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１０）、当該選択検知された見出語「ｌａｕｇｈ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌａｕｇｈ」に対応する米国／英国の２国の発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１４に示すように、検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ１１）。

ここで、前記検索表示された見出語「ｌａｕｇｈ」について、その米国式発音［ｌａｅｆ］または英国式発音［ｌａ：ｆ］の何れか一方の発音音声を選択的に出力させるのと同時に、これに対応した見出語の文字，発音記号と発音の口型画像を同期表示させるために、検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されると共に（ステップＳ１１ａ）、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ１２）、図８における同期再生処理に移行される（ステップＳＡ）。

図１５は前記携帯機器１０の見出語検索処理における同期再生処理に伴い米国式発音［米］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は米国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。

すなわち、前記検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］の何れかが指定されて、図８における同期再生処理に移行されると、当該同期再生処理のステップＡ２では、例えば米国方言識別子［米］が指定された場合は、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１５参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（米国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の米国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。

すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。

そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に米国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば米国旗Ｆを持っているデザインの米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）が口型画像合成の対象画像として表示される。

これにより、検索見出語「ｌａｕｇｈ」の米国方言の発音音声出力に同期して、図１５（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記米語用キャラクタ画像１２ｄ（Ｎｏ１ＵＳ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。

そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である米語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＳ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＳ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の米国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、米国方言アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。

図１６は前記携帯機器１０の見出語検索処理における同期再生処理に伴い英国式発音［英］を指定した場合に検索見出語表示画面Ｇ２上にウインドウ表示される見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の表示状態を示す図であり、同図（Ａ）は検索見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｂ）は英国式発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。

すなわち、前記図１４で示した検索見出語表示画面Ｇ２上の辞書データに表示されている米国方言または英国方言の識別子［米］または［英］のうち、例えば英国方言識別子［英］が指定されて（ステップＳ１１ａ）、図８における同期再生処理（ステップＳＡ）に移行されると、当該同期再生処理のステップＡ２では、キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め設定されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１）に対応して英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の検索見出語「ｌａｕｇｈ」についての同期再生用リンクデータ（図２参照）に基づき、見出語検索画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１６参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、検索見出語のテキストデータ「ｌａｕｇｈ（英国方言発音記号付）」がそのテキストファイルＮｏに従い読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、検索見出語の英国方言の発音音声データがそのサウンドファイルＮｏに従い読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。

すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。

そして、前記検索見出語「ｌａｕｇｈ」に対応するタイムコードファイル１２ｆｎに従った発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始されると、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１には、検索見出語「ｌａｕｇｈ」と共に英国方言の発音記号が表示され、また、画像同期再生用ウインドウＷ２には、設定されたアニメ調キャラクタ画像で例えば英国帽Ｍ１をかぶりステッキＭ２を持っているデザインの英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）が口型画像合成の対象画像として表示される。

これにより、検索見出語「ｌａｕｇｈ」の英国方言の発音音声出力に同期して、図１６（Ｂ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１では、当該検索見出語「ｌａｕｇｈ」およびその発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記英語用キャラクタ画像１２ｄ（Ｎｏ１ＵＫ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。

そして、この場合にも前記同様のテキスト対応口表示処理に従って、検索見出語「Ｌａｕｇｈ」のアクセント文字「ａｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏｎ２）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏｎ２）の合成先である英語用キャラクタ（顔）画像１２ｄ（Ｎｏ１ＵＫ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１ＵＫ′）に変更表示されるので、ユーザは検索見出語「Ｌａｕｇｈ」の英国方言の発音音声とその発声タイミングおよび各文字「Ｌ」「ａｕ」「ｇｈ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、英国方言のアクセントに応じて発声強調するタイミングをリアルに学習できるようになる。

次に、前記構成の携帯機器１０のメイン処理に伴い、例えば英単語アクセントの正解／不正解を当てるテストを行うことができるアクセントテスト処理について説明する。

図１７は前記携帯機器１０のアクセントテスト処理に伴い不正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は誤りアクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。

図１８は前記携帯機器１０のアクセントテスト処理に伴い正解を選択した場合の操作表示状態を示す図であり、同図（Ａ）はアクセントテスト出題表示画面Ｇ３を示す図、同図（Ｂ）は出題対象の見出語表示画面Ｇ２に対する見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の設定表示状態を示す図、同図（Ｃ）は正解アクセントの発音音声の出力に同期した見出語文字表示ウインドウＷ１および発音口型表示ウインドウＷ２の変化状態を示す図である。

すなわち、入力部１７ａにおける「アクセントテスト」キー１７ａ６が操作されアクセントテストモードに設定されると（ステップＳ１３）、辞書データベース１２ｃに予め記憶されている辞書データの中からランダムに見出単語が選択され（ステップＳ１４）、図１７（Ａ）に示すように、ランダム選択された単語「ｌｏｗ」について「ｏ」部分にアクセントのある正しいアクセントの発音記号と「ｕ」部分にアクセントのある誤ったアクセントの発音記号とを選択項目Ｅｔ／Ｅｆとして出題したアクセントテスト出題表示画面Ｇ３が表示部１８に表示される（ステップＳ１５）。

このアクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば誤ったアクセントの発音記号のある選択項目Ｅｆが選択検知されると（ステップＳ１６）、前記キャラクタ設定処理（ステップＳ２〜Ｓ６）において予め発音口型画像の合成先として選択設定されていたキャラクタ画像およびその関連画像（この場合はアニメ調キャラクタ画像１２ｄ（Ｎｏ１）およびそのアクセント対応画像（Ｎｏ１′））が、例えば黄色の通常色から青色のキャラクタ画像（Ｎｏ１ＢＬ）（Ｎｏ１ＢＬ′）に変更設定される（ステップＳ１７→Ｓ１８）。

またこれと共に、出題単語「ｌｏｗ」に対応して辞書音声データ１２ｃの中から読み出される発音音声データが、前記ユーザ選択された誤ったアクセントの発音記号に応じた音声データに補正される（ステップＳ１９）。

すると、出題単語「ｌｏｗ」がＲＡＭ１２Ｂ内の見出語メモリ１２ｇに記憶されると共に、この見出語「ｌｏｗ」に対応する発音／品詞／意味内容などの辞書データが読み出されてＲＡＭ１２Ｂ内の見出語対応辞書データメモリ１２ｈに記憶され、図１７（Ｂ）に示すように、出題単語に対応した検索見出語表示画面Ｇ２として表示部１８に表示される（ステップＳ２０）。

ここで、前記ユーザにより選択したアクセントの出題単語「ｌｏｗ」について、その発音音声を出力させるのと同時に、当該見出単語の文字，発音記号と発音の口型画像を同期表示させるために、「訳／決定（音声）」キー１７ａ４が操作されると（ステップＳ２１）、図８における同期再生処理に移行される（ステップＳＡ）。

すると、同期再生処理のステップＡ２では、前記誤ったアクセントのユーザ選択に応じて青色に変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が読み出され、ＲＡＭ１２Ｂ内の同期用イメージファイルメモリ１２ｎに転送される。またこれと共に、辞書データベース１２ｂに記憶されている今回の出題単語「ｌｏｗ」についての同期再生用リンクデータ（図２参照）に基づき、検索見出語表示画面Ｇ２上でテキスト・画像の同期再生用ウインドウＷ１，Ｗ２（図１７（Ｂ）参照）を設定するためのＨＴＭＬファイルがそのＨＴＭＬファイルＮｏに従い読み出され同期用ＨＴＭＬファイルメモリ１２ｊに書き込まれる。また、出題単語のテキストデータ「ｌｏｗ（誤り発音記号付）」が読み出され同期用テキストファイルメモリ１２ｋに書き込まれる。また、出題単語の誤りアクセントに応じて補正した発音音声データが読み出され同期用サウンドファイルメモリ１２ｍに書き込まれる（ステップＡ２）。

すると、ＦＬＡＳＨメモリ１２Ａ内に辞書タイムコードファイル１２ｆとして記憶されている各種見出語対応の暗号化された音声・テキスト・画像の同期再生用タイムコードファイル１２ｆｎの中から、今回の出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎ（図５参照）が、前記同期再生用リンクデータ（図２参照）に記述されたタイムコードファイルＮｏに従い解読復号化されて読み出され、ＲＡＭ１２Ｂ内のタイムコードファイルメモリ１２ｉに転送されて格納される（ステップＡ３）。

そして、前記出題単語「ｌｏｗ」に対応するタイムコードファイル１２ｆｎに従った誤りアクセントの発音音声・見出語文字・発音口型画像の同期再生処理が、既に説明した検索見出語「ｌｏｗ」の場合と同様に、ステップＡ７〜Ａ１２による各コマンドコードに応じた再生処理および図９におけるテキスト対応口表示処理により開始される。すると、図１７（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｆ）には、出題単語「ｌｏｗ」と共にユーザ選択による誤ったアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、誤りアクセントのユーザ選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）が口型画像合成の対象画像として表示される。

これにより、出題単語「ｌｏｗ」に対応する誤ったアクセントの発音音声出力に同期して、図１７（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｆ）では、当該出題単語「ｌｏｗ」およびその誤った発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、前記誤ったアクセントの選択により青色変更されたアニメ調キャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。

そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の誤ったアクセント文字「ｕ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ８）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ８）の合成先である青色変更されたアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１ＢＬ）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の青色顔画像１２ｄ（Ｎｏ１ＢＬ′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の誤ったアクセントの発音音声とその誤った発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、誤ったアクセントによるものとして明確に学習できるようになる。

一方、図１８（Ａ）に示すように、アクセントテスト出題表示画面Ｇ３において、カーソルキー１７ａ２の操作により選択フレームＸを移動させ、例えば正しいアクセントの発音記号のある選択項目Ｅｔが選択検知されると（ステップＳ１６）、前記キャラクタ画像１２ｄ（Ｎｏ１）の青色変更処理（ステップＳ１８）や誤りアクセントに応じた発音音声の補正処理（ステップＳ１９）が行われることなく、図８における同期再生処理に移行される（ステップＳ１７→ＳＡ）。

すると、前記図１３を参照して前述した、アニメ調キャラクタ画像１２ｅ（Ｎｏ１）が設定されている状態での検索見出語「ｌｏｗ」に対応する発音音声・テキスト・発音口型画像の同期再生処理と同様にして、図１８（Ｂ）に示すように、検索見出語表示画面Ｇ２上のテキスト同期再生用ウインドウＷ１（Ｅｔ）には、出題単語「ｌｏｗ」と共にユーザ選択による正しいアクセントの発音記号が表示され、また、画像同期再生用ウインドウＷ２には、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）が口型画像合成の対象画像として表示される。

これにより、出題単語「ｌｏｗ」に対応する正しいアクセントの発音音声出力に同期して、図１８（Ｃ）(1)〜(3)に示すように、テキスト同期再生用ウインドウＷ１（Ｅｔ）では、当該出題単語「ｌｏｗ」およびその正しい発音記号の先頭文字からのハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定された通りの通常色のアニメ調キャラクタ画像１２ｄ（Ｎｏ１）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。

そして、この場合にも前記同様のテキスト対応口表示処理に従って、見出単語「Ｌｏｗ」の正しいアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際し、当該口型画像１２ｅ（Ｎｏ９）の合成先であるアニメ調キャラクタ（顔）画像１２ｄ（Ｎｏ１）が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ１′）に変更表示されるので、ユーザは出題単語「Ｌｏｗ」の正しいアクセントの発音音声とその正しい発声タイミングおよび各対応する発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を明確に学習できるようになる。

したがって、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、検索対象の見出語「ｌｏｗ」を入力して当該検索見出語に対応する辞書データを検索し、検索見出語表示画面Ｇ２として表示させた状態で、「訳／決定（音声）」キー１７ａ４を操作すると、当該検索見出語「ｌｏｗ」のタイムコードファイル１２ｆ２３に従い、ステレオ音声出力部１９ｂから出力される発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌｏｗ」およびその発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ３）をベースとして、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示される。

しかも、前記検索見出語「Ｌｏｗ」のアクセント文字「ｏ」に対する発音音声の出力と同期したハイライト（識別）表示ＨＬ、発音口型画像１２ｅ（Ｎｏ９）の切り替え合成表示に際しては、当該口型画像１２ｅ（Ｎｏ９）の合成先であるキャラクタ（顔）画像１２ｄ（Ｎｏ３）が、例えば頭部の発汗や口元の動揺によって強く発音している状態を表現するアクセント対応の顔画像１２ｄ（Ｎｏ３′）に変更表示されるので、ユーザは検索見出語「Ｌｏｗ」の発音音声とその発声タイミングおよび各文字「Ｌ」「ｏ」「ｗ」とその発音記号の対応部分、さらには各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）を、そのそれぞれの同期再生により容易に学習できるばかりでなく、アクセントに応じて発声強調するタイミングをリアルに学習できるようになる。

さらに、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、例えば米国方言と英国方言の発音記号を有する辞書データベース１２ｂに基づき見出語検索を行った際に、図１５または図１６で示したように、米音［米］または英音［英］を指定して「訳／決定（音声）」キー１７ａ４を操作すると、指定された米音または英音の発音音声に同期して、テキスト同期再生用ウインドウＷ１において、検索見出語「ｌａｕｇｈ」およびその米音または英音発音記号のハイライト（識別）表示ＨＬが順次なされると共に、画像同期再生用ウインドウＷ２では、予め設定されたキャラクタ画像１２ｄ（Ｎｏ１）が米音表現用（Ｎｏ１ＵＳ）または英音表現用（Ｎｏ１ＵＫ）としてベース表示され、その口画像エリア（Ｘ１，Ｙ１；Ｘ２，Ｙ２）に対し、米音または英音の各発音記号の口番号に対応した発音口型画像１２ｅ（Ｎｏｎ１→Ｎｏｎ２→Ｎｏｎ３）が音声別口画像データ１２ｅの中から読み出され順次切り替え合成されて表示されるので、検索見出語に対応する米国方言の発音音声およびその発音記号・発音口型と英国方言の発音音声およびその発音記号・発音口型とを明確に区別して学習できるようになる。

また、前記構成の第１実施形態の携帯機器１０による見出語検索に伴う発音音声・テキスト・発音口型画像の同期再生機能によれば、辞書データベース１２ｂに収録される各見出単語には、正しいアクセントの発音記号と共に誤ったアクセントの発音記号を有し、図１７および図１８で示すように、「アクセントテスト」キー１７ａ６が操作されると、ランダム選択された見出単語「ｌｏｗ」が正しいアクセントの発音記号および誤ったアクセントの発音記号と共にアクセントテスト出題表示画面Ｇ３として表示される。そして、正しいアクセントの発音記号が選択された場合には、その正しい発音音声出力に同期して通常の設定キャラクタ画像１２ｄ（Ｎｏ１）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、誤ったアクセントの発音記号が選択された場合には、その誤った発音音声出力に同期して青色変更されたキャラクタ画像１２ｄ（Ｎｏ１ＢＬ）をベースとした各発音口型画像１２ｅ（Ｎｏ３６→Ｎｏ９→Ｎｏ８）の切り替え合成表示が行われ、しかも正誤何れのアクセント部分の同期再生時にも、前記口型画像合成ベースとしてのキャラクタ画像１２ｅ（Ｎｏ１）（Ｎｏ１ＢＬ）がアクセント対応のキャラクタ画像１２ｅ（Ｎｏ１′）（Ｎｏ１ＢＬ′）に変更表示されるので、各種単語の正しいアクセントの発音と、誤ったアクセントの発音とを、そのそれぞれに応じた音声・テキスト・画像の同期再生により明確に学習できるようになる。

なお、前記第１実施形態では、検索見出語に対応する発音音声・テキスト（発音記号付き）・発音口型画像の同期生再処理を、タイムコードファイル１２ｆに従った同期再生処理による発音音声出力に同期させたテキスト文字の順次ハイライト（識別）表示、および当該１文字ずつの順次識別表示に伴い割り込みで実行されるテキスト対応口表示処理による識別表示文字対応の発音記号に応じた発音口型画像の切り替え合成表示により行う構成としたが、次の第２実施形態おいて説明するように、アクセント記号付きの発音記号を含む各種の発音記号とそのそれぞれの発音音声データおよび発音顔画像を予め対応付けて複数組み記憶させ、再生すべき見出語の文字を先頭から順番に強調表示させるのに伴い、順次その強調表示文字の発音記号に対応付けられた発音音声データの出力および顔画像データの表示を行う構成としてもよい。

（第２実施形態）
図１９は前記携帯機器１０の第２実施形態の見出語同期再生処理を示すフローチャートである。

すなわち、この第２実施形態の携帯機器１０では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を、予めメモリ１２内に複数組み記憶させる。

そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図１９に示す第２実施形態の同期再生処理が開始される。

この第２実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字と発音記号がその発音順に先頭から強調識別表示ＨＬされる（ステップＣ１）。そして、この強調識別表示ＨＬされた見出文字の発音記号が読み出されて（ステップＣ２）、アクセント記号付きであるか否か判断される（ステップＣ３）。

ここで、図１２（Ｂ）(1)または図１３（Ｂ）(1)で示すように、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」の発音記号がアクセント記号無しである場合には、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント無しの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ４）、これに対応付けられたアクセント無しの発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ５）。

すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＣ６→Ｃ７）、再び前記ステップＣ１からの処理に戻り、図１２（Ｂ）(2)または図１３（Ｂ）(2)で示すように、その発音記号と共に強調識別表示ＨＬされる（ステップＣ１）。

そして、今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｏ」の発音記号がアクセント記号有りであると判断された場合には（ステップＣ２，Ｃ３）、前記メモリ１２に予め記憶された当該発音記号に対応するアクセント有りの発音音声データが読み出されてステレオ音声出力部１９ｂから出力されるのと共に（ステップＣ３→Ｃ８）、図１２（Ｃ）(2)または図１３（Ｂ）(2)で示すように、これに対応付けられた例えば頭部の発汗や身体の動揺によってアクセント有り表現する発音顔画像が読み出されて画像同期再生用ウインドウＷ２に表示される（ステップＣ９）。

したがって、この第２実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのアクセント付きの発音記号に基づき当該発音顔画像が、例えば頭部の発汗や身体の動揺によって強く発音している状態を表現するアクセント対応の顔画像として表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」と発音音声、さらには各発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。

なお、この第２実施形態において、前記メモリ１２に予め記憶されたアクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像について、アクセント付き発音記号に対応付けられた発音音声の出力はアクセント無し発音記号に対応付けられた発音音声より大きく設定され、また、アクセント付き発音記号に対応付けられた発音顔画像の口部分の開き具合はアクセント無し発音記号に対応付けられた発音顔画像の口部分の開き具合より大きく設定される。さらに、この顔画像における表情は、アクセント付き発音記号に対応付けられた発音顔画像の表情の方が、アクセント無し発音記号に対応付けられた発音顔画像の表情よりも強調されて設定される。

なお、前記第２実施形態では、アクセント記号付きの発音記号を含む各種の発音記号と、そのそれぞれの発音音声データ、および当該各種の発音記号に応じた発音音声データに対応して異なる形態の口部分や表情からなる発音顔画像を予め記憶し、検索見出語の各文字をその発音順に強調表示すると共に、その発音記号に対応付けられた発音音声を読み出して出力し、また同発音記号に対応付けられ発音顔画像を読み出して表示する構成としたが、次の第３実施形態において説明するように、辞書データベース１２ｂにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させ、検索見出語の文字表示に伴いその発音音声および発音顔画像を読み出して出力し、この際の発音音声信号のピークレベルを検出してアクセント部分を判断し、前記発音顔画像の口や表情の形態を異なる表示形態に変更制御する構成としてもよい。

（第３実施形態）
図２０は前記携帯機器１０の第３実施形態の見出語同期再生処理を示すフローチャートである。

すなわち、この第３実施形態の携帯機器１０では、辞書データベース１２ｂの各辞書データにある各見出語のそれぞれに対応して当該見出し語の発音音声と発音顔画像とを予め組み合わせて記憶させる。

そして、例えば辞書データベース１２ｂとして予め記憶される英和辞書を対象に、任意の見出語「ｌｏｗ」が入力されて検索され、前記図１１で示したように、検索見出語表示画面Ｇ２として表示された状態で、その発音音声および発音顔画像の同期再生を行わせるべく「訳／決定（音声）」キー１７ａ４が操作されると、図２０に示す第３実施形態の同期再生処理が開始される。

この第３実施形態の同期再生処理が開始されると、前記図１２または図１３で示すように、まず、検索見出語表示画面Ｇ２上にテキスト同期再生用ウインドウＷ１が開かれ検索見出語「ｌｏｗ」の各文字がその発音順に先頭から強調識別表示ＨＬされる（ステップＤ１）。そして、この強調識別表示ＨＬされた見出文字に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力される（ステップＤ３）。

ここで、例えば今回強調表示ＨＬされた見出単語「ｌｏｗ」における文字「ｌ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断されるもので（ステップＤ４）、一定音声信号レベル以上ではない、つまりアクセント部分ではないと判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されてそのまま画像同期再生用ウインドウＷ２に表示される（ステップＤ５）。

すると、現在出力中の検索見出語「ｌｏｗ」の次の文字「ｏ」が読み出され（ステップＤ６→Ｄ７）、再び前記ステップＤ１からの処理に戻り、強調識別表示ＨＬされる（ステップＤ１）。

すると、今回強調識別表示ＨＬされた見出文字「ｏ」に対応する部分の発音音声データが読み出され（ステップＤ２）、ステレオ音声出力部１９ｂから出力されると共に（ステップＤ３）、当該強調表示ＨＬされた単語文字「ｏ」に対応する部分の発音音声データの信号（波形）レベルが一定値以上の音声信号レベル（アクセント部分）か否か判断される（ステップＤ４）。

ここで、一定音声信号レベル以上である、つまりアクセント部分であると判断された場合には、当該検索見出語に対応付けられて記憶された発音顔画像が読み出されると共に、当該顔画像はその口部分の開き具合が大きくまたその表情が強い顔画像に変更制御（例えば図１２（Ｂ）(2)→図１２（Ｃ）(2)）され、画像同期再生用ウインドウＷ２に表示される（ステップＤ４→Ｄ８）。

なお、前記発音音声の音声信号波形レベルが一定値以上と判断されてアクセント部分であると判断された場合には、強調表示されている検索見出語の対応文字をさらに表示色の変更や付加あるいは文字フォントの変更などにより、アクセント部分の文字であることを示す形態に変更制御して表示させる構成としてもよい。

したがって、この第３実施形態の携帯機器１０による場合でも、検索見出語「Ｌｏｗ」のアクセント文字「ｏ」をハイライト（識別）表示ＨＬしたことに伴う、発音音声の出力および発音顔画像の表示に際しては、そのときの発音音声信号レベルが一定値以上であることに基づき当該発音顔画像が、例えば口部分の開き具合が大きくまたその表情が強いアクセント対応の顔画像に変更制御されて表示されるので、ユーザは検索見出語「Ｌｏｗ」の各文字「Ｌ」「ｏ」「ｗ」とその発音音声、さらには発音顔画像を、そのそれぞれの対応出力により容易に学習できるばかりでなく、アクセントに応じて発声強調する部分をリアルに学習できるようになる。

なお、前記各実施形態における検索見出語の各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能の説明では、当該見出語のアクセントが１箇所に存在する場合について説明したが、検索見出語のアクセントが第１アクセントと第２アクセントの２箇所に存在する場合には、各アクセント部分に対応して表示するアクセント対応の発音顔画像（含む発音口型画像）を、第１アクセントの場合と第２アクセントの場合とで、例えば口の開き具合の大小や表情の強弱などによって異なる形態にして表示させる構成としてもよい。

なお、前記各実施形態において記載した携帯機器１０による各処理の手法、すなわち、図７のフローチャートに示す第１実施形態での辞書処理プログラム１２ａに従ったメイン処理、図８のフローチャートに示す前記メイン処理に伴う見出語同期再生処理、図９のフローチャートに示す前記見出語同期再生処理に伴う各見出語文字のハイライト表示に応じて割り込みで実行されるテキスト対応口表示処理、図１９のフローチャートに示す第２実施形態での見出語同期再生処理、図２０のフローチャートに示す第３実施形態での見出語同期再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード、ＤＡＴＡ・ＣＡＲＤ等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した検索見出語に対応する各文字（テキスト）・発音音声・発音顔画像（含む発音口型画像）の同期再生機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

１０ …携帯機器
１１ …ＣＰＵ
１２ …メモリ
１２Ａ…ＦＬＡＳＨメモリ
１２Ｂ…ＲＡＭ
１２ａ…辞書処理プログラム
１２ｂ…辞書データベース
１２ｃ…辞書音声データ
１２ｄ…キャラクタ画像データ
１２ｄ（Ｎｏ．ｎ）…設定キャラクタ画像
１２ｄ（Ｎｏ．ｎ′）…アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＳ）…米語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＳ′）…米語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＵＫ）…英語用設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＵＫ′）…英語用アクセント対応顔画像
１２ｄ（Ｎｏ．ｎＢＬ）…青色変更設定キャラクタ画像
１２ｄ（Ｎｏ．ｎＢＬ′）…アクセント対応の青色顔画像
１２ｅ…音声別口画像データ
１２ｆ…辞書タイムコードファイル
１２ｇ…見出語データメモリ
１２ｈ…見出語対応辞書データメモリ
１２ｉ…タイムコードファイルＮｏ２３
１２ｊ…同期用ＨＴＭＬファイルメモリ
１２ｋ…同期用テキストファイルメモリ
１２ｍ…同期用サウンドファイルメモリ
１２ｎ…同期用イメージファイルメモリ
１２ｐ…口画像エリアメモリ
１２ｑ…画像展開バッファ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …通信部
１７ａ…入力部
１７ｂ…座標入力装置
１８ …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０ …通信機器（自宅ＰＣ）
３０ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）
Ｘ …選択フレーム
Ｈ …タイムコードテーブルのヘッダ情報
Ｇ１ …キャラクタ画像の一覧選択画面
Ｇ２ …見出語検索画面
Ｇ３ …アクセントテスト出題表示画面
Ｗ１ …見出語文字表示ウインドウ（テキスト同期再生用ウインドウ）
Ｗ２ …発音口型表示ウインドウ（画像同期再生用ウインドウ）
ＨＬ …ハイライト（識別）表示
Ｅｔ …正解アクセント選択項目
Ｅｆ …誤りアクセント選択項目

Claims (4)

1. 複数の単語別に、当該各単語それぞれの正しいアクセント付き発音記号および誤りアクセント付き発音記号を対応付けて記憶している単語記憶手段と、
   この単語記憶手段に記憶した単語別の正しいアクセント付き発音記号および誤りアクセント付き発音記号の何れか一方を選択する正誤アクセント選択手段と、
   この正誤アクセント選択手段により何れか一方のアクセント付き発音記号を選択すると、この選択された一方の正しいアクセント付き発音記号または誤りアクセント付き発音記号に対応した発音音声を出力させる一方で、正しいアクセント付き発音記号に対応した発音音声が出力される場合と、誤りアクセント付き発音記号に対応した発音音声が出力される場合とにおいて異なる表示形態で顔画像を表示させる音声表示出力制御手段と、を備え、
   前記音声表示出力制御手段は、表示される顔画像に含まれている口の部分を、出力される発音音声に同期して当該発音音声に対応した口型の画像に変更して表示させる口画像表示制御手段を備えることを特徴とする音声表示出力制御装置。
2. 前記音声表示出力制御手段の制御により発音音声が出力された際に、前記アクセント付き発音記号中のアクセントを検出するアクセント検出手段と、
   このアクセント検出手段によるアクセントの検出に同期して前記音声表示出力制御手段の制御により表示される顔画像を変化させる画像変化表示制御手段と、
   を備えることを特徴とする請求項１に記載の音声表示出力制御装置。
3. 前記単語記憶手段に記憶した各単語別に対応付けられた正しいアクセント付き発音記号および誤りアクセント付き発音記号を並べて表示させる正誤アクセント表示制御手段を備え、
   前記正誤アクセント選択手段は、この正誤アクセント表示制御手段の制御により並べて表示された正しいアクセント付き発音記号および誤りアクセント付き発音記号の何れかを選択する発音記号選択手段を備えていることを特徴とする請求項１又は２に記載の音声表示出力制御装置。
4. 電子機器のコンピュータを制御して音声と画像とを出力させるための音声表示出力制御処理プログラムであって、
   前記コンピュータを、
   複数の単語別に、当該各単語それぞれの正しいアクセント付き発音記号および誤りアクセント付き発音記号を対応付けて記憶している単語記憶手段に記憶した単語別の正しいアクセント付き発音記号および誤りアクセント付き発音記号の何れか一方を選択する正誤アクセント選択手段、
   この正誤アクセント選択手段により何れか一方のアクセント付き発音記号を選択すると、この選択された一方の正しいアクセント付き発音記号または誤りアクセント付き発音記号に対応した発音音声を出力させる一方で、正しいアクセント付き発音記号に対応した発音音声が出力される場合と、誤りアクセント付き発音記号に対応した発音音声が出力される場合とにおいて異なる表示形態で顔画像を表示させる音声表示出力制御手段、として機能させ、
   前記音声表示出力制御手段は、表示される顔画像に含まれている口の部分を、出力される発音音声に同期して当該発音音声に対応した口型の画像に変更して表示させる口画像表示制御手段、として機能させるようにしたコンピュータ読み込み可能な音声表示出力制御処理プログラム。

Images