JP5259050B2 - 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム - Google Patents
音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム Download PDFInfo
- Publication number
- JP5259050B2 JP5259050B2 JP2005100133A JP2005100133A JP5259050B2 JP 5259050 B2 JP5259050 B2 JP 5259050B2 JP 2005100133 A JP2005100133 A JP 2005100133A JP 2005100133 A JP2005100133 A JP 2005100133A JP 5259050 B2 JP5259050 B2 JP 5259050B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- speech
- unit
- voice
- link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示中の項目を音声にて読み上げる機能を有する音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラムに関するものである。
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
特開平１１−２５２２１６号公報
特開２００４−１８５０５５号公報
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げ用エンジン（制御部や音声合成部）に通知することで実現している。
ところが、インターネット等のブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知することができない。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、仮に通知される順序で読み上げを行うと、適切な文章とならない。
すなわち、描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知することができない。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、仮に通知される順序で読み上げを行うと、適切な文章とならない。
すなわち、描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
また、多くのコンテンツでは、画面を遷移させるために、ユーザにリンクを押下させるように作成されている。そのため多くのリンクがコンテンツに配置されているのが現状である。したがって、ユーザのリンクを読み上げで認識させると同時に、リンク押下が正しく行われたことをユーザに読み上げで通知する必要がある。
すなわち、リンク箇所を音声で明確に通知することができず、リンクから遷移中であることを容易に認識することが困難である。
すなわち、リンク箇所を音声で明確に通知することができず、リンクから遷移中であることを容易に認識することが困難である。
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトにしか対応してないのが現状である。
本発明の目的は、ブラウザで表示される画面上の文章についても、なめらかな音声読み上げを実現できることはもとより、リンク箇所を音声で明確に読み上げたり、リンクから遷移中であることを読み上げたりすることにより、容易にブラウザの状態を認識可能な音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラムを提供することにある。
上記目的を達成するため、本発明の第１の観点の文字情報表示装置は、リンク先が対応付けられているリンク付き表示オブジェクトを含む複数の表示オブジェクト、およびカーソルを表示する表示部と、文字列を音声に変換する音声合成部と、前記複数の表示オブジェクトのうち、いずれかの表示オブジェクトを選択指示または決定指示する操作部と、前記表示部に表示中の前記リンク付き表示オブジェクトが前記操作部により選択された状態で決定指示されると、当該リンク付き表示オブジェクトに対応付けられるリンク先へのアクセスを行うとともに、当該リンク付き表示オブジェクトに含まれる文字列を第１の音声により音声変換させる第１の音声変換処理を実行するように前記音声合成部を制御する制御部と、を備え、前記音声合成部は、前記表示部に表示中の前記複数の表示オブジェクトそれぞれに含まれる文字列を前記第１の音声と異なる第２の音声により順に音声変換させる第２の音声変換処理を行い、前記制御部は、前記第２の音声変換処理の実行中に、前記リンク付き表示オブジェクトが前記操作部により選択指示されると、当該実行中の音声変換を止めるように前記音声合成部を制御するとともに、前記制御部は、前記第２の音声変換処理の実行が、前記リンク付き表示オブジェクトが前記操作部により選択指示されたことにより停止されたとき、当該リンク付き表示オブジェクトに含まれる文字列を第３の音声により音声変換させる。
好適には、前記制御部は、前記第１の音声変換処理は、前記リンク先のアクセスにより前記表示部の表示が次画面に遷移してから実行するように前記音声合成部を制御する。
好適には、前記音声合成部は、前記表示部に表示中の前記複数の表示オブジェクトそれぞれに含まれる文字列を順に音声変換させる第２の音声変換処理も実行可能であり、前記制御部は、前記第２の音声変換処理の実行中に、前記表示部に表示中の前記複数の表示オブジェクトを有する文書についてのページスクロールが前記操作部により行われた際には、当該実行中の音声変換を止め、前記文書についての行スクロールが前記操作部により行われた際には当該実行中の音声変換を止めないように前記音声合成を制御する。
好適には、前記制御部は、前記表示部に前記複数の表示オブジェクトを表示しているものの、当該表示がキャッシュによる表示である場合には、前記複数の表示オブジェクトを再び描画要求する。
本発明の第２の観点は、リンク先が対応付けられているリンク付き表示オブジェクトを含む複数の表示オブジェクト、およびカーソルを表示する表示部と、文字列を音声に変換する音声合成部と、前記複数の表示オブジェクトのうち、いずれかの表示オブジェクトを選択指示または決定指示する操作部と、前記表示部に表示中の前記リンク付き表示オブジェクトが前記操作部により選択された状態で決定指示されると、当該リンク付き表示オブジェクトに対応付けられるリンク先へのアクセスを行うとともに、当該リンク付き表示オブジェクトに含まれる文字列を第１の音声により音声変換させる第１の音声変換処理を実行するように前記音声合成部を制御する制御部と、を備える音声合成機能付き文字情報表示装置の制御方法であって、前記音声合成部が、前記表示部に表示中の前記複数の表示オブジェクトそれぞれに含まれる文字列を前記第１の音声と異なる第２の音声により順に音声変換させる第２の音声変換処理を行うステップと、前記制御部が、前記第２の音声変換処理の実行中に、前記リンク付き表示オブジェクトが前記操作部により選択指示されると、当該実行中の音声変換を止めるように前記音声合成部を制御するとともに、前記制御部が、前記第２の音声変換処理の実行が、前記リンク付き表示オブジェクトが前記操作部により選択指示されたことにより停止されたとき、当該リンク付き表示オブジェクトに含まれる文字列を第３の音声により音声変換させるステップと、を備える。
本発明の第３の観点は、リンク先が対応付けられているリンク付き表示オブジェクトを含む複数の表示オブジェクト、およびカーソルを表示させる文字情報表示装置における音声合成をコンピュータで実行可能な音声合成プログラムであって、前記リンク付き表示オブジェクトに含まれる文字列を音声に変換する音声合成ステップと、前記複数の表示オブジェクトのうち、いずれかの表示オブジェクトを選択指示または決定指示する操作ステップと、前記表示部に表示中の前記リンク付き表示オブジェクトが前記操作ステップにより選択された状態で決定指示されると、当該リンク付き表示オブジェクトに対応付けられるリンク先へのアクセスを行うステップと、前記アクセスを行う際、前記リンク付き表示オブジェクトに含まれる文字列を第１の音声により音声変換させる第１の音声変換処理を実行するステップとを備える。
本発明によれば、Ｗｅｂ画面におけるリンク箇所などを音声で再現することが可能で、ブラウザ画面の状態を音声によっても容易に認識可能である。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明の音声合成機能付き文字情報表示装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、文字列や絵記号や画像などの表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、ゴシック体などのフォントタイプやアンダーラインなどの付加的表示などを指示する表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示方法を規定するスタイルなどの表示規定を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、文字列や絵記号や画像などの表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、ゴシック体などのフォントタイプやアンダーラインなどの付加的表示などを指示する表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示方法を規定するスタイルなどの表示規定を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
携帯電話機１０は、表示部に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定でない場合には第２の音声にて音声変換する機能を有する。
ここで、所定の表示規定は、操作部により選択指示されている表示オブジェクトである（つまり、カーソルのあてられている）ことを示す選択位置表示規定を含む。また、所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
そして、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する機能を有する。
また、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換する機能を有する。
さらに、携帯電話機１０は、操作部により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換する機能を有する。
ここで、所定の表示規定は、操作部により選択指示されている表示オブジェクトである（つまり、カーソルのあてられている）ことを示す選択位置表示規定を含む。また、所定の表示規定は、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
そして、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する機能を有する。
また、携帯電話機１０は、リンク先の対応付けられた表示オブジェクトが操作部により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換する機能を有する。
さらに、携帯電話機１０は、操作部により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換する機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵されている。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵されている。
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される、表示部１６，１５への表示方法を規定する表示規定とが対応付けられた形態で格納される。上述したように、この表示規定には、キー操作部１３により選択指示される表示オブジェクトであることを示す選択位置表示規定、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される、表示部１６，１５への表示方法を規定する表示規定とが対応付けられた形態で格納される。上述したように、この表示規定には、キー操作部１３により選択指示される表示オブジェクトであることを示す選択位置表示規定、表示オブジェクトにリンク先が対応付けられていることを示すリンク先表示規定を含む。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
キー操作部１３の操作により、ユーザは表示部１６，１５に表示される文字情報に含まれる表示オブジェクトの選択指示と決定指示とを行うことが可能である。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
キー操作部１３の操作により、ユーザは表示部１６，１５に表示される文字情報に含まれる表示オブジェクトの選択指示と決定指示とを行うことが可能である。
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、読み上げエンジンとして音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
音声合成処理部１７は、制御部１９の制御の下、音声変換する際に、たとえばリンク先あり、カーソル位置表示などの所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定で無い場合には第２の音声で音声変換し、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、読み上げエンジンとして音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
音声合成処理部１７は、制御部１９の制御の下、音声変換する際に、たとえばリンク先あり、カーソル位置表示などの所定の表示規定の場合には第１の音声で音声変換し、所定の表示規定で無い場合には第２の音声で音声変換し、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換する。
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１８ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１ａより音声出力するように制御部１９により制御
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１８ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１ａより音声出力するように制御部１９により制御
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
制御部１９は、後で詳述するように、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納し、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
制御部１９は、表示部１６，１５に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御する。
また、制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する。
このように、本実施形態の制御部１９は、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。また、制御部１９は、キー操作部１３により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。
また、制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する。
このように、本実施形態の制御部１９は、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
制御部１９は、リンク先の対応付けられた表示オブジェクトがキー操作部１３により決定指示されると、通信部によりリンク先へのアクセスがなされた後に、決定指示された表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。また、制御部１９は、キー操作部１３により決定指示がなされると、選択位置表示規定にて規定される表示オブジェクトに含まれる文字列を音声変換するように音声合成処理部１７を制御する。
なお、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
制御部１９は、別画面が表示されたときは読み上げを中断し、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。また、制御部１９は、別画面が表示されたときは読み上げを中断し、また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列のバッファをクリアする（ＳＴ１４）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列のバッファをクリアする（ＳＴ１４）。
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリンクのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリンクのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」の順であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」の順となっている。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」の順であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」の順となっている。
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
次に、リンクを含んだコンテンツに対するブラウザの機能を含む具体的な処理について説明する。
本実施形態の携帯電話機１０においては、リンクを含んだコンテンツに対して以下の処理を行う。
１．リンクにカーソル遷移したとき、設定値とは異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
ブラウザから通知される文字種（リンク文字）によって判定する。
ブラウザではリンクを認識した場合、リンク文字（イタリック、青色、アンダーライン）などリンクに条件を付けて描画を行う。
ブラウザから通知される文字種（リンク文字）によって判定する。
ブラウザではリンクを認識した場合、リンク文字（イタリック、青色、アンダーライン）などリンクに条件を付けて描画を行う。
２．リンクの文字列を、次画面のタイトルとして扱う。
リンクにカーソル遷移したとき、リンクに指定されている文字列を全て取得し、リンクから次画面に遷移した後リンクの文字列を読み上げることで、タイトル読み上げ効果を演出可能である。
リンク押下による遷移は、リンク遷移先情報（URLto）が通知されたときにリンク先を判定する。
リンクにカーソル遷移したとき、リンクに指定されている文字列を全て取得し、リンクから次画面に遷移した後リンクの文字列を読み上げることで、タイトル読み上げ効果を演出可能である。
リンク押下による遷移は、リンク遷移先情報（URLto）が通知されたときにリンク先を判定する。
３．リンク中である旨をユーザに通知する。
リンクを押下し次画面へ遷移する場合、次画面の描画が始まるまでの間は、別途メモリ１２に記憶しておいた次画面遷移中であることを示す文字列を読み上げ、ユーザにリンク中である旨を読み上げで通知する。
リンクを押下し次画面へ遷移する場合、次画面の描画が始まるまでの間は、別途メモリ１２に記憶しておいた次画面遷移中であることを示す文字列を読み上げ、ユーザにリンク中である旨を読み上げで通知する。
４．リンクに指定されている文字列をすべて読み上げる。
リンクの文字列を読み上げ中にリンク押下で画面遷移を行った場合でも、リンクの文字列をすべて読み上げることを可能にする。
リンクの文字列を読み上げ中にリンク押下で画面遷移を行った場合でも、リンクの文字列をすべて読み上げることを可能にする。
５．画面中のリンクの文字列のみを抽出し、リンクのみを読み上げ可能とする。リンクにカーソル遷移したときは設定した音質（たとえば男声）で読み上げ、リンク押下時は設定値と異なる音質（たとえば設定した音質が男声の場合、女声）で読み上げを行う。
６．リンク押下後、画面遷移の通知が端末側に一定時間以上通知されていない場合は、ユーザに通信継続中である旨を別途メモリに記憶しておいた通信継続中である旨を示す文字列を読み上げることにより通知する。
リンクを含んだコンテンツの記述例（リンク部分）は以下の通りである。
<a href＝ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ title＝京セラ>ジャンプする</a>
<a href＝ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ title＝京セラ>ジャンプする</a>
上記のＷｅｂ記述言語の内容は以下の通りであり、その概要を図９に示す。
１．リンク指定タグ（ａタグ）の中にリンク先を記述する。
２．Titleはソフトキー対応の領域に表示する（ガイド部分に表示する）。
３．“ジャンプする”の部分が実際のリンク文字列になる。
１．リンク指定タグ（ａタグ）の中にリンク先を記述する。
２．Titleはソフトキー対応の領域に表示する（ガイド部分に表示する）。
３．“ジャンプする”の部分が実際のリンク文字列になる。
上記Ｗｅｂ記述言語をブラウザが解析して、端末側に以下の情報を通知する。
［リンク画面表示時］
“ジャンプする”をリンク文字スタイルで座標Ｘ，Ｙに書け。
［リンクにカーソル遷移したとき］
座標Ｘ，Ｙの色を反転しろ。
ガイド部分に”京セラ“を書け。
［リンク押下されたとき］
ＵＲＬを通知するので遷移しろ。
［リンク画面表示時］
“ジャンプする”をリンク文字スタイルで座標Ｘ，Ｙに書け。
［リンクにカーソル遷移したとき］
座標Ｘ，Ｙの色を反転しろ。
ガイド部分に”京セラ“を書け。
［リンク押下されたとき］
ＵＲＬを通知するので遷移しろ。
リンクを含んだ画面を表示させるときは、ブラウザが取得したＷｅｂ記述言語から文字列に対し、文字サイズ、文字種を決定して通知を行っている。
ブラウザがリンク部分の文字列の”ジャンプする”を取得した場合は、「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」とリンクのための表示設定を行う。
読み上げキー１８を押下した場合、画面の先頭から最後までの読み上げを行う。画面描画の際に用いた文字列の描画情報をメモリに格納しておき、文字列の座標をソートして座標の上位（画面上部）から順に読み上げを行う。リンク文字の”ジャンプする”は「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」という指定があるため、この指定された文字列をリンクと判断し、読み上げエンジンに対し声種別を変更して読み上げを行う。
リンクが連続して表示されている場合は、声種別の設定を継続して読み上げを行うが、リンク文字列から通常のテキストが表示された場合は声種別を元に戻す。
ブラウザがリンク部分の文字列の”ジャンプする”を取得した場合は、「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」とリンクのための表示設定を行う。
読み上げキー１８を押下した場合、画面の先頭から最後までの読み上げを行う。画面描画の際に用いた文字列の描画情報をメモリに格納しておき、文字列の座標をソートして座標の上位（画面上部）から順に読み上げを行う。リンク文字の”ジャンプする”は「青色の文字、イタリック文字でアンダーラインを付けて座標Ｘ，Ｙに表示」という指定があるため、この指定された文字列をリンクと判断し、読み上げエンジンに対し声種別を変更して読み上げを行う。
リンクが連続して表示されている場合は、声種別の設定を継続して読み上げを行うが、リンク文字列から通常のテキストが表示された場合は声種別を元に戻す。
ユーザのキー操作によりカーソルを動かし、リンクにカーソルが遷移した場合は、リンク文字列の”ジャンプする”が指定されている座標を範囲指定して、色を反転して表示を行う。ブラウザでは、リンクにカーソル遷移を行ったとき、リンク部分にtitle“京セラ”が設定されていることを把握し、表示部に文字キーガイド部分に”京セラ”の表示を行う。
声は反転された契機を元にリンクにカーソルが遷移したとして扱い、声種別を変更して読み上げる。画面全体を描画後に、「特定座標の色を反転させろ」という命令はリンクにカーソル遷移した場合のみのため、読み上げ中の文字列を破棄して優先的にカーソル遷移しリンク文字列を読み上げる。
声は反転された契機を元にリンクにカーソルが遷移したとして扱い、声種別を変更して読み上げる。画面全体を描画後に、「特定座標の色を反転させろ」という命令はリンクにカーソル遷移した場合のみのため、読み上げ中の文字列を破棄して優先的にカーソル遷移しリンク文字列を読み上げる。
図９に示すように携帯電話機１０は、ソフトキーＳＦＴＫ１〜３を備えている。ここでいうソフトキーとは、画面の状態が遷移する都度、頻繁に用いる機能を特に割り当てられる、機能の固定されていないキーのことであり、表示部１６の最下段にガイド領域を有し、このガイド領域に、画面に応じてソフトキーに現在割り当てられている機能が表示される。ソフトキーは決定キーＳＦＴＫ２を含んで複数個を備えることが多い。
ユーザが方向キーを操作すると、制御部１９は表示部１６の画面上のカーソルを押下された方向に応じて移動させる。このときに、リンク文字列である“ジャンプする”の上にカーソルがあてられると、先に述べたような表示色の反転処理を行う。すなわち、制御部１９のブラウザ機能としては、Ｗｅｂ情報として取得した表示規定に対し、表示部１６の描画としては色の反転処理という表示規定を付加した上で描画更新を行う。この表示規定に色の反転処理が加えたときにtitle“京セラ”という文字列も取得し、ガイド領域の特に決定キーＳＦＴＫ２に対応させた箇所に表示させる。
ユーザが方向キーを操作すると、制御部１９は表示部１６の画面上のカーソルを押下された方向に応じて移動させる。このときに、リンク文字列である“ジャンプする”の上にカーソルがあてられると、先に述べたような表示色の反転処理を行う。すなわち、制御部１９のブラウザ機能としては、Ｗｅｂ情報として取得した表示規定に対し、表示部１６の描画としては色の反転処理という表示規定を付加した上で描画更新を行う。この表示規定に色の反転処理が加えたときにtitle“京セラ”という文字列も取得し、ガイド領域の特に決定キーＳＦＴＫ２に対応させた箇所に表示させる。
リンクを押下したときは、リンク先のURL"ｈｔｔｐ：//ｋｙｏｃｅｒａ．ｊｐ"を遷移先に設定してサーバ３０と通信を行い、サーバ３０から取得した新たなＷｅｂ記述言語を元に遷移先の画面を描画する。
通信開始時にタイマにより計時し、一定時間経過後も新規画面が描画されない場合は、「接続中です」なども読み上げを可能にする。
リンク押下時に、リンク元のtitle“京セラ”をメモリに記憶しておき、新規画面の描画が完了したら、新規画面の文字列の読み上げに先んじて”京セラ”を読み上げることにより、タイトルの効果を出す。
通信開始時にタイマにより計時し、一定時間経過後も新規画面が描画されない場合は、「接続中です」なども読み上げを可能にする。
リンク押下時に、リンク元のtitle“京セラ”をメモリに記憶しておき、新規画面の描画が完了したら、新規画面の文字列の読み上げに先んじて”京セラ”を読み上げることにより、タイトルの効果を出す。
図１０は、本実施形態に係るＷｅｂ読み上げ機能の処理概要を示す概念図である。
この読み上げ機能は、全て制御部１９の制御部のもとで処理され、デバイスレイヤ１９１にブラウザ１９２を含み、さらに、バッファ１９３、スピーチインタフェース１９４、音声エンジン部１９５を有する。音声エンジン部１９５は、音声合成処理部１７の機能を含んで構成される。
この読み上げ機能は、全て制御部１９の制御部のもとで処理され、デバイスレイヤ１９１にブラウザ１９２を含み、さらに、バッファ１９３、スピーチインタフェース１９４、音声エンジン部１９５を有する。音声エンジン部１９５は、音声合成処理部１７の機能を含んで構成される。
Ｗｅｂ読み上げ機能の処理は、以下のように行われる。
１．サーバ３０よりＨＴＭＬ（読み上げ対象）を取得する。
２．ブラウザ１９２がＨＴＭＬ中の文字の描画をデバイスレイヤ１９１に要求する。デバイスレイヤ１９１はこれをバッファ１９３に蓄積する。
３．ブラウザ１９２から描画完了をデバイスレイヤ１９１に通知する。
これを契機にスピーチインタフェース１９４に蓄積した文言の読み上げを要求する。
４．音声エンジン部１９５で文字列を音声に変換し、読み上げを行う。
１．サーバ３０よりＨＴＭＬ（読み上げ対象）を取得する。
２．ブラウザ１９２がＨＴＭＬ中の文字の描画をデバイスレイヤ１９１に要求する。デバイスレイヤ１９１はこれをバッファ１９３に蓄積する。
３．ブラウザ１９２から描画完了をデバイスレイヤ１９１に通知する。
これを契機にスピーチインタフェース１９４に蓄積した文言の読み上げを要求する。
４．音声エンジン部１９５で文字列を音声に変換し、読み上げを行う。
本実施形態においては、図１１（Ａ），（Ｂ）に示すようなアドレス情報がリンク付けられていることを示す＜ａｄｄｒ＞タグでも声を反転して読み上げが可能である。
この場合の標記例は次の通りである。
<addr title＝"addr link click">html</addr>
このように、表示規定の例は多数存在する。もちろん他にも電話番号の対応付けられたものや、メールアドレス等もリンク付けがあれば表示規定に通常とは異なる規定が加わる。
この場合の標記例は次の通りである。
<addr title＝"addr link click">html</addr>
このように、表示規定の例は多数存在する。もちろん他にも電話番号の対応付けられたものや、メールアドレス等もリンク付けがあれば表示規定に通常とは異なる規定が加わる。
ブラウザ１９２から文字列通知命令で描画文字列を受け取ってから、読み上げ文字列として音声エンジン部１９５のタスクにわたるまでは、以下の手順になる。
１．画面更新完了の通知、
２．Ｘ，Ｙ座標によるソート、
の手順である。
以下、各手順について説明する。
１．画面更新完了の通知、
２．Ｘ，Ｙ座標によるソート、
の手順である。
以下、各手順について説明する。
１．画面更新完了の通知
ブラウザ１９２は、文字列通知命令により、何度も描画要求を行う。そこで、画面の描画が終わったという通知をブラウザから検出する必要がある。
これには、ブラウザ１９２から発行されるWML形式が変更されたことを示す通知関数を検知し、その後の画面更新が終わったという通知関数を検知することにより実現する。
ブラウザ１９２は、文字列通知命令により、何度も描画要求を行う。そこで、画面の描画が終わったという通知をブラウザから検出する必要がある。
これには、ブラウザ１９２から発行されるWML形式が変更されたことを示す通知関数を検知し、その後の画面更新が終わったという通知関数を検知することにより実現する。
２．Ｘ，Ｙ座標によるソート
描画される文字列は、ブラウザから文字列通知命令によりデバイスレイヤに通知される。図１２に示すように、表示部１６のピクト領域を除いた一番上の左上を基底として（０，０）、上から順に描画される文字列が通知される。
しかし、テキストによりリンク先が指定してある文字列が含まれており、かつそのリンクにカーソルが当たっている場合、文字列通知命令はその文字列のみ、一番最後に描画要求を行う。
その状態を図１３（Ａ），（Ｂ）に示す。
描画される文字列は、ブラウザから文字列通知命令によりデバイスレイヤに通知される。図１２に示すように、表示部１６のピクト領域を除いた一番上の左上を基底として（０，０）、上から順に描画される文字列が通知される。
しかし、テキストによりリンク先が指定してある文字列が含まれており、かつそのリンクにカーソルが当たっている場合、文字列通知命令はその文字列のみ、一番最後に描画要求を行う。
その状態を図１３（Ａ），（Ｂ）に示す。
このブラウザ１９２の描画要求の順に文字列を読み上げると、「ABCDEFGHIJIKLPQRSTUVWXYZMNO」となってしまう。つまり、正しい順序で読み上げるため、文字列のソート処理が必要になる。これには、描画要求の文字列通知命令の（Ｘ，Ｙ）座標を基に行う。
図１４（Ａ）〜（Ｃ）に、ソートアルゴリズムを示す。
この例では、Ｙ座標で昇順にソートする。ただし、Ｙの値が同じであった場合、Ｘ座標の値を昇順で比較する。Ｘの値も同じであった場合は、描画要求が先にあった方を優先する。
このソート処理の結果、読み上げ文字列は、「ABCDEFGHIJKLMNOPQRSTUVWXYZ」となる。
図１４（Ａ）〜（Ｃ）に、ソートアルゴリズムを示す。
この例では、Ｙ座標で昇順にソートする。ただし、Ｙの値が同じであった場合、Ｘ座標の値を昇順で比較する。Ｘの値も同じであった場合は、描画要求が先にあった方を優先する。
このソート処理の結果、読み上げ文字列は、「ABCDEFGHIJKLMNOPQRSTUVWXYZ」となる。
次に、Ｗｅｂ読み上げにおける全画面描画／スクロール描画判定について説明する。
＜全画面描画判定>
図１５は、ページ全体を読み上げる際の基本シーケンスを示す図である。
描画開始命令が呼ばれた直後の描画から、描画完了の描画終了命令が呼ばれる前までの描画を全画面描画とみなす。
この場合、文字列、描画座標、フォーカス有リンク／ノーマルをバッファ１９３に蓄積し描画する。
描画完了がデバイスレイヤ１９１に通知されると、所定時間、たとえば１秒待って座標でソートを行い、ソートバッファに蓄積する。
そして、デバイスレイヤ１９１は声指定する。ノーマルの場合は設定の声とし、フォーカス有リンクの場合は設定と異なる（逆）の声とする。たとえば、設定が男声なら女声とする。
デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
図１５は、ページ全体を読み上げる際の基本シーケンスを示す図である。
描画開始命令が呼ばれた直後の描画から、描画完了の描画終了命令が呼ばれる前までの描画を全画面描画とみなす。
この場合、文字列、描画座標、フォーカス有リンク／ノーマルをバッファ１９３に蓄積し描画する。
描画完了がデバイスレイヤ１９１に通知されると、所定時間、たとえば１秒待って座標でソートを行い、ソートバッファに蓄積する。
そして、デバイスレイヤ１９１は声指定する。ノーマルの場合は設定の声とし、フォーカス有リンクの場合は設定と異なる（逆）の声とする。たとえば、設定が男声なら女声とする。
デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
＜スクロール描画判定＞
図１６は、行方向スクロール時の読み上げシーケンスを示す図である。
スクロール開始命令が呼ばれた後の描画から、描画終了命令が呼ばれるまでの描画をスクロール描画とみなす。
また、スクロール開始命令が、プラス(+)の値でコールされれば下方向のスクロール、マイナス(-)の値でコールされれば上方向のスクロールと判定する。
既に描画した行の移動のための描画の場合にはバッファに蓄積せず、新しく現れた行の描画の場合には読み上げるために、バッファに蓄積する。
そして、デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
図１６は、行方向スクロール時の読み上げシーケンスを示す図である。
スクロール開始命令が呼ばれた後の描画から、描画終了命令が呼ばれるまでの描画をスクロール描画とみなす。
また、スクロール開始命令が、プラス(+)の値でコールされれば下方向のスクロール、マイナス(-)の値でコールされれば上方向のスクロールと判定する。
既に描画した行の移動のための描画の場合にはバッファに蓄積せず、新しく現れた行の描画の場合には読み上げるために、バッファに蓄積する。
そして、デバイスレイヤ１９１は、スピーチインタフェース１９４に対して、同一声種別の文言をまとめて読み上げ要求する。デバイスレイヤ１９１はソートバッファに文言がある間この要求処理を、読み上げ完了の通知を受けるまで繰り返す。
本実施形態によれば、メイン表示部１６に表示中の文字情報に含まれる文字列を音声に変換する際に、音声に変換する文字列の表示規定を参照し、所定の表示規定（リンク先あり、カーソル位置表示など）の場合には第１の音声で音声変換し、所定の表示規定でない場合には第１の音声と音質等が異なる第２の音声にて音声変換するように音声合成処理部１７を制御し、また、リンク先の対応付けられた表示オブジェクトがキー操作部１３により選択指示または決定指示されると、この表示オブジェクトに含まれる文字列を第３の音声にて音声変換するように音声合成処理部１７を制御する制御部１９を有することから、リンク箇所を音声で明確に表示することが可能で、リンクから遷移中であることを容易に認識可能である。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
１９１…デバイスレイヤ
１９２…ブラウザ
１９３…バッファ
１９４…スピーチインタフェース
１９５…音声エンジン部
２０…無線通信ネットワーク
３０…サーバ
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
１９１…デバイスレイヤ
１９２…ブラウザ
１９３…バッファ
１９４…スピーチインタフェース
１９５…音声エンジン部
２０…無線通信ネットワーク
３０…サーバ
Claims (5)
- リンク先が対応付けられているリンク付き表示オブジェクトを含む複数の表示オブジェクト、およびカーソルを表示する表示部と、
文字列を音声に変換する音声合成部と、
前記複数の表示オブジェクトのうち、いずれかの表示オブジェクトを選択指示または決定指示する操作部と、
前記表示部に表示中の前記リンク付き表示オブジェクトが前記操作部により選択された状態で決定指示されると、当該リンク付き表示オブジェクトに対応付けられるリンク先へのアクセスを行うとともに、当該リンク付き表示オブジェクトに含まれる文字列を第１の音声により音声変換させる第１の音声変換処理を実行するように前記音声合成部を制御する制御部と、を備え、
前記音声合成部は、前記表示部に表示中の前記複数の表示オブジェクトそれぞれに含まれる文字列を前記第１の音声と異なる第２の音声により順に音声変換させる第２の音声変換処理を行い、
前記制御部は、前記第２の音声変換処理の実行中に、前記リンク付き表示オブジェクトが前記操作部により選択指示されると、当該実行中の音声変換を止めるように前記音声合成部を制御するとともに、
前記制御部は、前記第２の音声変換処理の実行が、前記リンク付き表示オブジェクトが前記操作部により選択指示されたことにより停止されたとき、当該リンク付き表示オブジェクトに含まれる文字列を第３の音声により音声変換させる
ことを特徴とする音声合成機能付き文字情報表示装置。 - 前記制御部は、前記第１の音声変換処理は、前記リンク先のアクセスにより前記表示部の表示が次画面に遷移してから実行するように前記音声合成部を制御する
ことを特徴とする請求項１に記載の音声合成機能付き文字情報表示装置。 - 前記制御部は、前記第２の音声変換処理の実行中に、前記表示部に表示中の前記複数の表示オブジェクトを有する文書についてのページスクロールが前記操作部により行われた際には、当該実行中の音声変換を止め、前記文書についての行スクロールが前記操作部により行われた際には当該実行中の音声変換を止めないように前記音声合成を制御する
ことを特徴とする請求項１または２に記載の音声合成機能付き文字情報表示装置。 - 前記制御部は、前記表示部に前記複数の表示オブジェクトを表示しているものの、当該表示がキャッシュによる表示である場合には、前記複数の表示オブジェクトを再び描画要求する
ことを特徴とする請求項１から３のいずれか一項に記載の音声合成機能付き文字情報表示装置。 - リンク先が対応付けられているリンク付き表示オブジェクトを含む複数の表示オブジェクト、およびカーソルを表示する表示部と、文字列を音声に変換する音声合成部と、前記複数の表示オブジェクトのうち、いずれかの表示オブジェクトを選択指示または決定指示する操作部と、前記表示部に表示中の前記リンク付き表示オブジェクトが前記操作部により選択された状態で決定指示されると、当該リンク付き表示オブジェクトに対応付けられるリンク先へのアクセスを行うとともに、当該リンク付き表示オブジェクトに含まれる文字列を第１の音声により音声変換させる第１の音声変換処理を実行するように前記音声合成部を制御する制御部と、を備える音声合成機能付き文字情報表示装置の制御方法であって、
前記音声合成部が、前記表示部に表示中の前記複数の表示オブジェクトそれぞれに含まれる文字列を前記第１の音声と異なる第２の音声により順に音声変換させる第２の音声変換処理を行うステップと、
前記制御部が、前記第２の音声変換処理の実行中に、前記リンク付き表示オブジェクトが前記操作部により選択指示されると、当該実行中の音声変換を止めるように前記音声合成部を制御するとともに、
前記制御部が、前記第２の音声変換処理の実行が、前記リンク付き表示オブジェクトが前記操作部により選択指示されたことにより停止されたとき、当該リンク付き表示オブジェクトに含まれる文字列を第３の音声により音声変換させるステップと、を備える
ことを特徴とする音声合成機能付き文字情報表示装置の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005100133A JP5259050B2 (ja) | 2005-03-30 | 2005-03-30 | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム |
| US11/393,330 US7885814B2 (en) | 2005-03-30 | 2006-03-30 | Text information display apparatus equipped with speech synthesis function, speech synthesis method of same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005100133A JP5259050B2 (ja) | 2005-03-30 | 2005-03-30 | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011234732A Division JP5220912B2 (ja) | 2011-10-26 | 2011-10-26 | 音声合成機能付き文字情報表示装置およびその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006276800A JP2006276800A (ja) | 2006-10-12 |
| JP5259050B2 true JP5259050B2 (ja) | 2013-08-07 |
Family
ID=37071667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005100133A Expired - Fee Related JP5259050B2 (ja) | 2005-03-30 | 2005-03-30 | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7885814B2 (ja) |
| JP (1) | JP5259050B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004227468A (ja) * | 2003-01-27 | 2004-08-12 | Canon Inc | 情報提供装置、情報提供方法 |
| JP4743686B2 (ja) * | 2005-01-19 | 2011-08-10 | 京セラ株式会社 | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム |
| US11128745B1 (en) * | 2006-03-27 | 2021-09-21 | Jeffrey D. Mullen | Systems and methods for cellular and landline text-to-audio and audio-to-text conversion |
| WO2007138944A1 (ja) * | 2006-05-26 | 2007-12-06 | Nec Corporation | 情報付与システム、情報付与方法、情報付与プログラム及び情報付与プログラム記録媒体 |
| KR100699050B1 (ko) * | 2006-06-30 | 2007-03-28 | 삼성전자주식회사 | 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법 |
| TWI341956B (en) * | 2007-05-30 | 2011-05-11 | Delta Electronics Inc | Projection apparatus with function of speech indication and control method thereof for use in the apparatus |
| JP5062670B2 (ja) * | 2007-06-26 | 2012-10-31 | 京セラ株式会社 | 電子機器 |
| US8635069B2 (en) | 2007-08-16 | 2014-01-21 | Crimson Corporation | Scripting support for data identifiers, voice recognition and speech in a telnet session |
| CA2731918C (en) * | 2008-09-03 | 2015-11-24 | Flextronics Ap, Llc | Systems and methods for connecting and operating portable gps enabled devices in automobiles |
| US20110054880A1 (en) * | 2009-09-02 | 2011-03-03 | Apple Inc. | External Content Transformation |
| JP5414458B2 (ja) * | 2009-10-28 | 2014-02-12 | 京セラ株式会社 | 音声合成機能付き文字情報表示装置、およびその音声合成方法 |
| US20110184738A1 (en) * | 2010-01-25 | 2011-07-28 | Kalisky Dror | Navigation and orientation tools for speech synthesis |
| JPWO2011111321A1 (ja) * | 2010-03-11 | 2013-06-27 | パナソニック株式会社 | 音声読み上げ装置および音声読み上げ方法 |
| US8600447B2 (en) * | 2010-03-30 | 2013-12-03 | Flextronics Ap, Llc | Menu icons with descriptive audio |
| JP5464078B2 (ja) | 2010-06-30 | 2014-04-09 | 株式会社デンソー | 音声認識端末 |
| JP5721177B2 (ja) * | 2011-07-29 | 2015-05-20 | Ｎｅｃプラットフォームズ株式会社 | Ｉｐ電話システム、ｉｐ電話装置、およびコンテンツ同期方法 |
| JP2013072903A (ja) * | 2011-09-26 | 2013-04-22 | Toshiba Corp | 合成辞書作成装置および合成辞書作成方法 |
| US8856007B1 (en) * | 2012-10-09 | 2014-10-07 | Google Inc. | Use text to speech techniques to improve understanding when announcing search results |
| WO2015128960A1 (ja) * | 2014-02-26 | 2015-09-03 | 三菱電機株式会社 | 車載制御装置および車載制御方法 |
| US10033797B1 (en) | 2014-08-20 | 2018-07-24 | Ivanti, Inc. | Terminal emulation over HTML |
| US11100278B2 (en) | 2016-07-28 | 2021-08-24 | Ivanti, Inc. | Systems and methods for presentation of a terminal application screen |
| CN106251869B (zh) * | 2016-09-22 | 2020-07-24 | 浙江吉利控股集团有限公司 | 语音处理方法及装置 |
| US11170757B2 (en) * | 2016-09-30 | 2021-11-09 | T-Mobile Usa, Inc. | Systems and methods for improved call handling |
| US11393451B1 (en) * | 2017-03-29 | 2022-07-19 | Amazon Technologies, Inc. | Linked content in voice user interface |
| CN111654658B (zh) * | 2020-06-17 | 2022-04-15 | 平安科技（深圳）有限公司 | 音视频通话的处理方法、系统、编解码器及存储装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3408332B2 (ja) * | 1994-09-12 | 2003-05-19 | 富士通株式会社 | ハイパーテキスト読上装置 |
| US5899975A (en) * | 1997-04-03 | 1999-05-04 | Sun Microsystems, Inc. | Style sheets for speech-based presentation of web pages |
| JPH11252216A (ja) | 1998-02-27 | 1999-09-17 | Kyocera Corp | 電話機 |
| JP2000187493A (ja) * | 1998-12-22 | 2000-07-04 | Sumitomo Electric Ind Ltd | 音声出力装置および車載用コンピュータ |
| JP3603008B2 (ja) * | 2000-05-31 | 2004-12-15 | シャープ株式会社 | 音声合成処理装置 |
| FI115868B (fi) * | 2000-06-30 | 2005-07-29 | Nokia Corp | Puhesynteesi |
| JP3714159B2 (ja) * | 2000-11-30 | 2005-11-09 | 日本電気株式会社 | ブラウザ搭載装置 |
| JP2002312157A (ja) * | 2001-04-13 | 2002-10-25 | Yoshito Suzuki | 音声ガイダンスモニタソフトウェア |
| US6810378B2 (en) * | 2001-08-22 | 2004-10-26 | Lucent Technologies Inc. | Method and apparatus for controlling a speech synthesis system to provide multiple styles of speech |
| US20040054535A1 (en) * | 2001-10-22 | 2004-03-18 | Mackie Andrew William | System and method of processing structured text for text-to-speech synthesis |
| US7483832B2 (en) * | 2001-12-10 | 2009-01-27 | At&T Intellectual Property I, L.P. | Method and system for customizing voice translation of text to speech |
| JP2004185055A (ja) | 2002-11-29 | 2004-07-02 | Kyocera Corp | 電子メールシステム及び通信端末 |
| US8826137B2 (en) * | 2003-08-14 | 2014-09-02 | Freedom Scientific, Inc. | Screen reader having concurrent communication of non-textual information |
| JP2005115476A (ja) * | 2003-10-03 | 2005-04-28 | Canon Inc | 情報出力装置、リンク報知方法、プログラム、及び記憶媒体 |
| US20060090138A1 (en) * | 2004-10-19 | 2006-04-27 | Steve Wang | Method and apparatus for providing DHTML accessibility |
-
2005
- 2005-03-30 JP JP2005100133A patent/JP5259050B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-30 US US11/393,330 patent/US7885814B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7885814B2 (en) | 2011-02-08 |
| US20060224386A1 (en) | 2006-10-05 |
| JP2006276800A (ja) | 2006-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5259050B2 (ja) | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム | |
| US8515760B2 (en) | Mobile terminal and text-to-speech method of same | |
| US6956591B2 (en) | Smooth scrolling with highlighted navigation and marking of page changes | |
| US20080182599A1 (en) | Method and apparatus for user input | |
| US9535511B2 (en) | Character input device | |
| JP5196912B2 (ja) | 携帯電子機器 | |
| JP4241423B2 (ja) | 文章作成装置 | |
| US9928084B2 (en) | Electronic device and method for activating application | |
| JP5220912B2 (ja) | 音声合成機能付き文字情報表示装置およびその制御方法 | |
| JP2002202935A (ja) | サーバ装置 | |
| US20100318696A1 (en) | Input for keyboards in devices | |
| JP5468923B2 (ja) | 携帯端末装置 | |
| KR100568495B1 (ko) | 휴대용 전자 장치 및 휴대용 전자 장치의 제어 방법 | |
| JP4583875B2 (ja) | 電子機器および電子機器の音声読み上げ制御方法 | |
| JP5414458B2 (ja) | 音声合成機能付き文字情報表示装置、およびその音声合成方法 | |
| JP2010257403A (ja) | 入力文字変換装置 | |
| JP2014106769A (ja) | 電子機器及び制御プログラム並びに表示制御方法 | |
| JP5340034B2 (ja) | 文字入力装置、文字表示システム及び文字変換方法 | |
| JP5248051B2 (ja) | 電子機器 | |
| JP2008011478A (ja) | 電子機器及びプログラム | |
| JP5062670B2 (ja) | 電子機器 | |
| JP5098814B2 (ja) | 文字入力装置、文字入力方法及びプログラム | |
| JP5186080B2 (ja) | 携帯端末機 | |
| WO2011037230A1 (ja) | 電子機器及びアプリケーションの起動方法 | |
| JP5352417B2 (ja) | 電子機器及びアプリケーションの起動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111026 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111104 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20111228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130424 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5259050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |