JP5752759B2 - 電子機器、方法、およびプログラム - Google Patents

Description

本発明の実施形態は、マークアップ言語で記述されたソースに基づきページを表示可能な電子機器および同電子機器に適用される表示制御方法に関する。

近年、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォンといった種々の電子機器が開発されている。この種の多くの電子機器では、様々な種類のページ（ウェブページ）を表示するために、ブラウザが使用されている。一般的に、ブラウザによって表示されるページはユーザが視覚的に認識可能な複数のブロック（複数のコンテクスト）から構成される。ユーザは、ブラウザの画面上のスクロールバー等を使用してブラウザを操作することによって、ページ内の所望のコンテクストをブラウザの画面上に表示することができる。

さらに、タッチパネルを備えた電子機器においては、ユーザが、画面上に表示されているページ内のあるコンテクストをダブルタッチ操作等によって指定することによって、このコンテクストを拡大して画面上に表示することができる（ズーム）。

特開２００８−１８０８３３号公報

しかしながら、画面の外にあるコンテクストをダブルタッチ操作等によって指定することはできない。特に、ページ内のあるコンテクストをズームした場合には、そのページ内の他の幾つかのコンテクストが画面外に外れる、つまり、表示されない可能性が高くなる。

表示されていない所望のコンテクストを拡大して表示するためには、ユーザは、その所望のコンテクストが画面に表示されるようにスクロールバー等を使用してページをスクロールした後にこの所望のコンテクストをダブルタッチ操作等によって指定するか、あるいは、ページ全体が表示されるようにページを縮小表示した後にこの所望のコンテクストをダブルタッチ操作等によって指定することが必要となる。

このように、ユーザが所望のコンテクストを、ユーザが閲覧し易いように、ブラウザの画面に表示させるためには多くの操作を必要とする。そのため、簡単な操作によって所望のコンテクストを表示できるようにすることが求められている。

本発明は、ページ内の所望のコンテクストを容易に表示することができる電子機器及び表示制御方法を提供することを目的とする。

実施形態によれば、電子機器は、マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素を表示するための複数の領域を含むウェブページを画面上に表示可能である。この電子機器は、処理手段を具備する。前記処理手段は、前記ソースの第１の要素に対応する前記ウェブページの第１の領域が表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の要素に対応する前記ウェブページ上の第２の領域を、前記ウェブページ上の前記第２の領域のサイズと前記画面のサイズとに基づいて定められる第１倍率で表示する制御を行う。前記処理手段は、前記第２の領域が前記第１倍率で表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第２の要素に対して次または前の一方の順序関係を有する前記ソース内の第３の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の領域を前記第１倍率で表示する第１状態から、前記第３の要素に対応する前記ウェブページ上の第３の領域を、前記ウェブページ上の前記第３の領域のサイズと前記画面のサイズとに基づいて定められる第２倍率で表示する第２状態へ遷移する制御を行う。前記第１倍率と前記第２倍率とは異なるうるものであって、前記第１倍率と前記第２倍率とが異なる場合に、前記処理手段は、前記ウェブページ上の前記第２の領域を表示する第１状態から、前記第３の領域を表示する第２状態へ遷移する制御を行う場合に、表示倍率を前記第１倍率から前記第２倍率へ自動的に変更する。

第１の実施形態に係る電子機器の外観を示す斜視図。 第１の実施形態の電子機器によって実行されるブラウザの表示画面の一例を示す図。 第１の実施形態の電子機器の画面に表示されるページとそのページのソースを説明するための図。 第１の実施形態の電子機器の画面に表示される表示内容の変化の一例を示す図。 第１の実施形態の電子機器のシステム構成を示すブロック図。 第１の実施形態の電子機器によって実行される表示制御プログラムの構成例を示すブロック図。 第１の実施形態の電子機器によって実行される表示制御プログラムの他の構成例を示すブロック図。 第１の実施形態の電子機器によって実行される画面に表示するコンテクストの変更処理の手順の一例を示すフローチャート。 第１の実施形態の電子機器によって実行される画面に表示するコンテクストの変更処理の手順の他の例を示すフローチャート。 第１の実施形態の電子機器によって実行されるソース上の要素の解析処理の手順の一例を示すフローチャート。 第１の実施形態の電子機器によって実行される表示制御プログラムのコンテクストの拡大率の制御を説明するための図。 第２の実施形態の電子機器の画面に表示される表示内容の変化の一例を示す図。 第３の実施形態の電子機器によって実行されるブラウザの表示画面の一例を示す図。 第３の実施形態の電子機器によって実行される表示制御プログラムで使用されるソースの一例を示す図。

（第１の実施形態）
以下、実施の形態について図面を参照して説明する。
図１は、本実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、スレート型パーソナルコンピュータ（ＰＣ）、ラップトップ型ＰＣ、スマートフォン、またはＰＤＡ等として実現され得る。なお、この電子機器は、他の電子機器に組み込まれる組み込みデバイスであってもよい。以下では、この電子機器がスレート型パーソナルコンピュータ１０として実現されている場合を想定する。スレート型パーソナルコンピュータ１０は、図１に示すように、コンピュータ本体１１とタッチスクリーンディスプレイ１７とから構成される。

コンピュータ本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７は、液晶表示装置（ＬＣＤ）及びタッチパネルを備える。タッチパネルは、ＬＣＤの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、コンピュータ本体１１の上面に重ね合わせるように取り付けられている。

コンピュータ１０は、ウェブページを表示するウェブページ表示機能を有している。ウェブページは、ブラウザによってディスプレイ１７に表示される。ブラウザは、例えば、コンピュータ１０に内蔵されたアプリケーションプログラムである。コンピュータ１０は、例えばユーザ等の指示によりブラウザを起動する。

ブラウザは、ウェブページに関するウェブデータを取得し、ウェブデータに基づきウェブページをブラウザの画面に表示する。ウェブデータは、コンピュータ１０の外部からインターネットを介して取得される。例えば、ウェブデータは、ウェブページを公開しているサーバから取得される。

ウェブデータは、例えばウェブページのソースである。ソースは、例えばＨＴＭＬ言語のようなマークアップ言語で記述されている。ブラウザの画面に表示されるウェブページの構成は、ソースの記述内容に基づき決定される。ウェブページの構成とは、例えばウェブページに表示される文字列や画像のウェブページ上の位置関係、その文字列のフォントや色の設定、あるいは画像のサイズ等の設定である。

また、タッチパネルにユーザの指が接触した状態で、ユーザが指を動かすことによって、ウェブページの一部を拡大またはウェブページを縮小してディスプレイ１７に表示することができる。さらに、ユーザが指を動かすことによって、例えばブラウザのスクロール機能が実行され、ブラウザの画面に表示されていなかったウェブページの一部をディスプレイ１７に表示させることができる。

また、コンピュータ１０は、マイク等を備えておりユーザの音声を検出することができる。上述したような、タッチパネル上でユーザがユーザの指を動かすことによるユーザからのウェブページの見え方を変更するための操作の代わりに、ユーザからの特定の音声（ユーザによって発話される特定の言葉）を認識することによってウェブページの見え方、つまり、ウェブページの表示状態を変更することができる。

なお、コンピュータ１０は、タッチパネルやマイク等以外にも、例えばキーボードを備えていてもよい。ユーザがキーボードを操作することによって、ブラウザのスクロール機能を実行してもよい。さらに、コンピュータ１０は、他の電子機器、例えば冷蔵庫等に組み込まれていてもよい。また、ブラウザは、コンピュータ１０の内部に実装していなくてもよい。例えば、コンピュータ１０が、コンピュータ１０の外部にあるサーバに実装されているブラウザを遠隔操作で実行してもよい。

また、ウェブデータが、コンピュータ１０の外部にあるサーバにある必要はなく、例えばコンピュータ１０の内部にある補助記憶装置等に格納し、格納していたデータを使用して、オフラインでブラウザの画面にウェブページを表示してもよい。

上述したように、ウェブデータは外部のサーバからインタネートを介して取得してもよいが、インターネット以外でもよく、例えばイントラネットやデータを送受信可能な他のネットワーク網であってもよい。さらに、ウェブデータは、上述したようなソース以外でもよく、例えばソースに基づいて生成されたウェブページの画像であってもよい。この場合、ブラウザはその画像をブラウザの画面に表示し、ブラウザが表示している画像を生成したソースを参照する場合、そのソースを上述したような外部のサーバから取得してもよい。また、上述したソースは、ＨＴＭＬ言語以外にもＸＭＬ言語等の他のマークアップ言語を使用して記述されていてもよい。

図２は、ブラウザによって、ディスプレイ１７の画面に表示されるウェブページの表示例を示した図である。
ブラウザ画面２６は、ブラウザによってディスプレイ１７に表示されるブラウザの画面である。ブラウザ画面２６は、ウェブページのアドレスを示すアドレスバー以外に、ウェブページを表示する領域がある。ウェブページは、複数のコンテクストから構成されている。

コンテクストとは、ウェブページに表示された一塊のブロックである。また、コンテクストは、ユーザによって視覚的に認識可能なブロック単位で示されたウェブページ上の所定の領域を意味してもよい。つまり、コンテクストは、ユーザが視覚的に認識可能なウェブページ上の一塊のブロックであればよい。そのため、ハイパーリンクテキストのようなキーボードやマウス等を使用して他のページに移動するためのコンテクスト以外でもよい。例えば、所定のコンテクストのウェブページ上の領域の中に、他のコンテクストが含まれていてもよい。

図２の例では、ウェブページは、コンテクスト２１、２２等を表示する。コンテクスト２１は静止画像等の画像と文字列とを表示するブロックである。コンテクスト２２は、静止画等の画像を表示するブロックである。コンテクスト２１は、コンテクスト２１のウェブページ上の領域の中に、コンテクスト２３及びコンテクスト２４を含んでいる。コンテクスト２３は静止画像等の画像を表示する。コンテクスト２４は文字列を表示する。さらに、コンテクスト２５は、コンテクスト２１及びコンテクスト２１に類似した他のコンテクストを含んでいる。

なお、図２では、複数のコンテクストから構成されるウェブページに関して説明したが、ウェブページは１つのコンテクストから構成されていてもよい。また、ブラウザ画面２６に、アドレスバーは必ずしも表示されている必要はない。

図３は、ウェブページコンテクストとこのウェブページのソースとの対応関係の例を示した図である。
上述したように、ウェブページはＨＴＭＬ言語によって記述されたソースに基づいて表示される。つまり、ウェブページ上に表示される各コンテクストは、そのウェブページに対応するソースの一部である要素と対応している。

なお、本実施形態では、ウェブページを構成する複数のコンテクストの内のいくつかのコンテクストが互いに順序関係を有している場合を想定している。順序関係とは、ユーザが注目すべきコンテクストの順番を意味するコンテクスト間の関係性である。

具体的に、図３を参照して説明する。図３では、順序関係を持ったコンテクストから構成されるウェブページに関して述べる。
図３の左側にウェブページ３３、右側にウェブページ３３に対応したソース３４を示している。なお、図３では、ウェブページ３３は料理のレシピに関する内容を示している。ウェブページ３３には、料理の手順を示す順序関係を持ったコンテクスト３０、３１、及び３２等の複数のコンテクストが表示されている。

コンテクスト３１は、コンテクスト３０の内容に後続する内容を含むコンテクストである。コンテクスト３２は、コンテクスト３０の内容に先行する内容を含むコンテクストである。コンテクスト３０、３１、及び３２の各々は、画像及び文字列を含んでいる。なお、この画像及び文字列の各々がコンテクストであってもよい。

ソース３４は、ウェブページ３３上の複数のコンテクストにそれぞれ対応する複数の要素から構成されている。ソース３４は、上述したようにＨＴＭＬ言語によって記述されている。また、ソース３４は、タグ等を使用し階層的な文書構造を持っている。要素とは、ソース３４上の一部の記述を指す。また、要素は、ソース３４上のある一つのＨＴＭＬタグを表している。なお、要素は、図３に示されるように、所定のタグによって挟まれたソース３４の文書を含んでもよい。図３で、要素は、要素４１、４２、及び４３で示されている。

要素４１、４２、及び４３は、コンテクスト３０、３１、及び３２とそれぞれ対応している。具体的に要素４１に関して説明する。ブラウザは、ソース３４に基づき、要素４１に対応したコンテクスト３０のブラウザ画面２６上の表示位置を決める。したがって、要素４１に対応したコンテクスト３０のブラウザ画面２６上の表示座標は、ブラウザから取得することができる。なお、要素４１で示されるソース３４の記述内容（以下、要素４１の内容とも称す）には、コンテクスト３０のウェブページ３３上の座標位置を示す情報が含まれていてもよい。この座標位置の情報に基づき、ウェブページ３３上におけるコンテクスト３０の表示配置が決定されてもよい。また、要素４１の内容は、コンテクスト３０で示されているウェブページ３３上の領域内に含まれる内容（以下、コンテクスト３０の内容とも称す。）を示す情報を含む。例えば、要素４１の内容に含まれる「＜ｄｉｖ＞手順４＜／ｄｉｖ＞」の記述にしたがって、コンテクスト３０の内容に「手順４」の文字列が表示される。同様に、コンテクスト３１の内容は、要素４２の内容に従いウェブページ３３上のコンテクスト３１で示される領域に表示される。コンテクスト３２の内容は、要素４３の内容に従いウェブページ３３上のコンテクスト３２で示される領域に表示される。このように、コンテクストの内容は要素の内容に基づいてウェブページ３３に表示される。

いま、コンテクスト３０が現在選択されている場合を想定する。現在選択されているコンテクスト３０はカレントコンテクストと称される。カレントコンテクストは、例えば、ディスプレイ１７の画面上に拡大表示（ズーム）されているコンテクスト、あるいはディスプレイ１７の画面の中央部に表示（センタリング）されているコンテクストであってもよい。コンテクスト３０はカレントコンテクストである状態で、ユーザが「次」などの順序関係を有する言葉を発話すると、コンテクスト３０の内容が解析され、「次」に当たるコンテクストがページ内から探される。ここでは、コンテクスト３０内の文字列「手順４」に後続する文字列「手順５」を含むコンテクスト３１が「次」に当たるコンテクストとして探される。

「次」に当たるコンテクストが見つけ出されたならば、この見つけ出されたコンテクストが新たなカレントコンテクストとなる。そして、見つけ出されたコンテクストがディスプレイ１７の画面上に表示されるようにウェブページ３３の表示状態が変更される。この場合、例えば、ウェブページ３３をスクロールすることによって、コンテクスト３１をディスプレイ１７の画面の中央部に表示してもよい。あるいは、ウェブページ３３をスクロールすることによって、コンテクスト３１をディスプレイ１７の画面の中央部に移動し、且つコンテクスト３１を拡大してもよい。

一方、コンテクスト３０がカレントコンテクストである状態で、ユーザが「前」などの順序関係を有する言葉を発話すると、コンテクスト３０の内容が解析され、「前」に当たるコンテクストがページ内から探索される。ここでは、コンテクスト３０内の文字列「手順４」に先行する文字列「手順３」を含むコンテクスト３２が「前」に当たるコンテクストとして検索される。

「前」に当たるコンテクストが見つけ出されたならば、この見つけ出されたコンテクストが新たなカレントコンテクストとなる。そして、見つけ出されたコンテクストがディスプレイ１７の画面上に表示されるようにウェブページ３３の表示状態が変更される。この場合、例えば、ウェブページ３３をスクロールすることによって、コンテクスト３２をディスプレイ１７の画面の中央部に表示してもよい。あるいは、ウェブページ３３をスクロールすることによって、コンテクスト３２をディスプレイ１７の画面の中央部に移動し、且つコンテクスト３２を拡大してもよい。

さらに、新たなカレントコンテクストが表示されている状態で、「次」または「前」のような言葉が入力された場合には、新たなカレントコンテクストの「次」または「前」に当たるコンテクストが自動的に見つけ出され、この見つけ出されたコンテクストが新たなカレントコンテクストとなる。

次に、図４を参照して、本実施形態における、ブラウザ画面２６に表示されるウェブページ３３の表示内容の遷移について説明する。
本実施形態では、ブラウザを使用して順序関係を持ったコンテクストから構成されるウェブページ３３の一部が拡大されてブラウザ画面２６に表示されている時、ユーザが、拡大されてブラウザ画面２６に表示されているコンテクストの次のコンテクストまたは前のコンテクストを拡大してブラウザ画面２６に表示させたい場合、ユーザからの指示に従い、次のコンテクストまたは前のコンテクストを拡大してブラウザ画面２６に表示する。

具体的に、図４を参照して説明する。図４では、ユーザがブラウザを使用して、図３に示したウェブページ３３を閲覧している場合を想定している。図４では、コンテクスト３０が拡大されてブラウザ画面２６の中央部に表示されている。コンテクスト３０以外の他のほとんど全てのコンテクストはブラウザ画面２６外に外れており、表示されてない。この状態で、例えば、「次」のような順序関係を示す言葉がユーザから入力された場合、次のコンテクストであるコンテクスト３１を拡大してブラウザ画面２６の中央部に表示する。このように、本実施形態では、現在拡大されて（ズームされて）ブラウザ画面２６に表示されているコンテクスト（カレントコンテクスト）が、ユーザからのカレントコンテクストを変更する要求をトリガーとして、その要求に応じたコンテクストをブラウザ画面２６に表示する。なお、以下、カレントコンテクストに対応するソース３４上の要素をカレント要素と称す。例えば、図３において、カレントコンテクストがコンテクスト３０であった場合、カレント要素は要素４１に対応している。

図５は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図５に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ソリッドステートドライブ（ＳＳＤ）１０９、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ（ＥＣ）１１３、ＥＥＰＲＯＭ１１４、ＬＣＤ１７Ａ、タッチパネル１７Ｂ等を備える。

ＣＰＵ１０１は、コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＳＳＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムを実行する。アプリケーションプログラムには、ブラウザ２０及び表示制御プログラム２０２が含まれる。このブラウザ２０は上述のウェブページを表示するためのソフトウェアであり、オペレーティングシステム（ＯＳ）２０１上で実行される。また、表示制御プログラム２０２は、ブラウザ２０のプラグイン、つまりブラウザプラグインとして実行される。なお、表示制御プログラム２０２は、ブラウザプラグイン以外でもよく、例えば、ブラウザ２０とは独立したプログラムであってもよいし、あるいは表示制御プログラム２０２自体がブラウザ２０の機能を内蔵していてもよい。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。

グラフィクスコントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０５によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて映像を表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル１７Ｂを用いて、ＬＣＤ１７Ａの画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。

ＨＤＭＩ（登録商標）端子２は、外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルで外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。つまり、コンピュータ１０は、ＨＤＭＩ端子２等を介して、外部ディスプレイ装置１に接続可能である。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＳＳＤ１０９を制御するためのＡＴＡコントローラを内蔵している。

サウスブリッジ１０４は、各種ＵＳＢデバイスを制御するためのＵＳＢコントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１規格の無線通信を実行する無線通信デバイスである。

ＥＣ１１３は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１３は、ユーザによるパワーボタンの操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

次に、図６を参照して、表示制御プログラム２０２の機能構成を説明する。表示制御プログラム２０２は、順序判定部６０、文書構造解析部６４、音声処理部６５、及び表示処理部６６を備える。

順序判定部６０は、タッチパネル１７Ｂ、音声処理部６５、表示処理部６６、及び文書構造解析部６４と接続されている。順序判定部６０は、文書構造解析部６４を使用してソース３４の記述を解析することによって、ソース３４上の複数の要素間の順序関係を判定する解析処理部として機能する。要素間の順序関係を判定することによって、それら要素にそれぞれ対応したウェブページ３３上のコンテクスト間の順序関係を決定できる。すなわち、順序判定部６０は、ソース３４を解析し、この解析結果に基づき、ウェブページ３３内のカレントコンテクストに対応するソース内の一部の記述であるカレント要素に対して所定の順序関係を有するソース内の別の要素をソースから検索する。より詳しくは、順序判定部６０は、ウェブページ３３内のカレントコンテクストに対応するソース内の一部の記述であるカレント要素を解析し、カレント要素の解析結果に基づき、カレント要素に対して所定の順序関係（「次」、「前」等）を有するソース内の別の要素をソースから検索し、その検索された別の要素を新たなカレント要素として選択する。例えば、順序判定部６０は、カレント要素を解析することによってカレント要素内から数字を含む文字列を見つけ出し、この見つけ出された文字列に対して後続または先行する内容の文字列を含む別の要素を、ソース内から見つけ出し、この見つけ出された別の要素を新たなカレント要素として選択する。数字を含む文字列としては、例えば、数字を表す見出しを使用できる。数字を表す見出しは、例えば、見出し語と数字とを含む文字列である。例えば上述の「手順４」は数字を表す見出しであり、見出し語「手順」と数字「４」とを含む文字列から構成されている。もちろん、数字を表す見出しは、数字のみから構成される文字列であってもよい。

ここで、カレント要素から見出し語「手順」と数字「４」とを含む文字列がキー文字として見つけ出された場合を想定する。「次」を示す言葉が入力されたならば、同じ見出し語「手順」と数字「５」とを含む別の要素がソース内から探される。また、「前」を示す言葉が入力されたならば、同じ見出し語「手順」と数字「３」とを含む別の要素がソース内から探される。なお、順序判定部６０の詳細な説明については図７を参照して後述する。

文書構造解析部６４は、順序判定部６０及び文書構造解析ルール６７と接続されている。文書構造解析部６４は、順序判定部６０の制御の下、ソース３４の文書構造を解析する。ソース３４の文書構造とは、ソース３４に記述されたタグや文字列（以下、ソース文字列とも称す。）等から成る文書の構成である。また、文書構造はソース３４上のタグの階層構造やソース文字列の並び方等であってもよい。文書構造解析部６４は、文書構造解析ルール６７に格納されている文書構造を解析するためのデータ（以下、文書解析ルールとも称す。）に基づき、文書構造を解析する。文書構造解析ルール６７は、例えばＳＳＤ１０９等の補助記憶装置に格納されている。

文書解析ルールは、文書構造を解析する際の解析ルールである。解析ルールは、カレント要素に含まれる文字列に基づき、カレント要素と同類の（兄弟関係の）要素を検索するルールである。例えば、カレント要素に含まれるタグの種類とカレント要素に含まれる数字をともなった文字列の組み合わせから成るソース文字列を予め文書構造解析ルール６７に登録しておき、その登録したソース文字列からカレント要素と兄弟関係にある要素に含まれるソース文字列を予想し、予想される兄弟関係にある要素に含まれるソース文字列をソース上から検索する。具体的には、例えば、文書構造解析ルール６７に「＜ｄｉｖ＞手順（４.）」のソース文字列を予め登録しておく。そして、カレント要素に「＜ｄｉｖ＞手順（４.１）」が含まれていた場合、「＜ｄｉｖ＞手順（４.２）」が含まれる要素をカレント要素と兄弟関係を有する要素と予想し、文書構造解析部６４は「＜ｄｉｖ＞手順（４.２）」のソース文字列をソース３４上から検索する。この他にも、タグの種類と文字列の組み合わせは、例えば「＜ｌｉ＞（４）」のようにタグと数字及び記号を含む文字列から構成されていてもよい。なお、予め登録するソース文字列にタグが含まれていなくてもよい。また、解析ルールは、異なるタグの種類であっても文字列の並び方が類似しているソース文字列を含む要素を兄弟関係にある要素として検索するような解析ルールであってもよい。このように、複数の解析ルールを使用することで、カレント要素と兄弟関係にある要素を見つけ出す確率が高くなる。文書構造解析部６４は、これらの文書解析ルールに従い、ソース３４の文書構造を解析し、解析結果を順序判定部６０に送る。

音声処理部６５は音声認識処理を実行する。音声処理部６５は順序判定部６０及びマイク１９と接続されている。音声処理部６５は、ユーザからの音声入力信号をマイク１９から受信する。また、音声処理部６５は、受信した音声入力信号を認識することによってその音声入力信号に含まれる所定の語を検出する。所定の語は、順序関係を示す言葉であり、例えば、「次」、「前」、「進む」、「戻る」、「そして」、「それから」、または「で？」等である。音声処理部６５は、音声入力信号の認識結果を上述の順序関係を指定する命令として順序判定部６０に送る。

表示処理部６６は、順序判定部６０及びＬＣＤ１７Ａと接続されている。表示処理部６６は、順序判定部６０から送られてくるデータに基づき、そのデータをＬＣＤ１７Ａに表示する。順序判定部６０から送られてくるデータは、例えばブラウザ画面２６に表示するコンテクストの情報である。コンテクストの情報とは、ウェブページ３３上におけるコンテクストの座標情報、コンテクストのサイズを示す情報、またはコンテクストの内容等である。

表示処理部６６は、コンテクストの情報に基づき、ブラウザ２０を操作する。表示処理部６６は、表示すべきコンテクスト（新たなカレントコンテクスト）がブラウザ画面２６に表示されるようにウェブページ３３の表示状態を変更する。具体的には、表示処理部６６は、ウェブページ３３をスクロールすることによって、新たなカレントコンテクストをブラウザ画面２６の中央部に表示してもよい（センタリング）。これにより、新たなカレントコンテクストは、例えば画面外から、画面２６の中央部に移動される。あるいは、表示処理部６６は、ウェブページ３３をスクロールすることによって、新たなカレントコンテクスト）を画面２６の中央部に移動し（センタリング）、且つ新たなカレントコンテクストを拡大してもよい（ズーム）。この場合、表示処理部６６は、新たなカレントコンテクストが画面２６のサイズに適合するサイズに拡大されるように、新たなカレントコンテクストのサイズに基づき、新たなカレントコンテクストに適用すべき拡大率つまりウェブページ３３に適用すべき拡大率、を算出し、その拡大率に応じて、新たなカレントコンテクストを拡大してブラウザ画面２６に表示してもよい。これにより、新たなカレントコンテクストの全体がブラウザ画面２６内に収まるように、新たなカレントコンテクストのサイズを拡大することができる。なお、ここでは、ブラウザ画面２６はＬＣＤの画面と同じものを意味している。

ブラウザ２０は、表示制御プログラム２０２と接続されている。ブラウザ２０は、表示制御プログラム２０２からの制御信号に基づき制御される。また、ブラウザ２０は、ブラウザ画面２６に表示しているウェブページ３３に関する情報及び表示しているコンテクストの情報を表示制御プログラム２０２に送る。ウェブページ３３に関する情報は、例えばウェブページ３３のアドレスであってもよいし、またはソース３４であってもよい。

次に、図７を参照して順序判定部６０の具体的な処理の一例に関して説明する。
順序判定部６０は、カレント要素検出部６１、カレント要素解析部６２、及び要素検索部６３から構成される。
カレント要素検出部６１は、タッチパネル１７Ｂ、音声処理部６５、及びカレント要素解析部６２と接続されている。カレント要素検出部６１は、カレント要素の検出またはカレント要素の設定（以下、カレント要素検出とも称す。）をする。カレント要素検出とは、順序関係を判定する際に基準となるカレント要素を決定することである。カレント要素の検出を行うことによって、カレント要素の「次」に当たる内容を含む要素またはカレント要素の「前」に当たる内容を含む要素をソース３４から見つけ出すことができる。カレント要素検出部６１は、ウェブページ３３内で現在選択されているコンテクストを指すカレントコンテクストに対応した要素をカレント要素として検出する。カレントコンテクストは現在選択されているコンテクストであり、ブラウザ画面２６に拡大して表示されているコンテクストであってもよいし、あるいは、カレントコンテクストは、ウェブページ３３に表示されている文字列（以下、ページ文字列とも称す。）またはウェブページ３３に表示されているコンテンツを特定できる内容をユーザが、例えば音声処理部６５から送られてくるデータに基づき音声で「手順４」等と発することで、指示したコンテクストであってもよい。あるいは、カレントコンテクストは、ユーザによる二重タップジェスチャーによって指定された、ウェブページ３３上のコンテクストであってもよいもよい。

カレント要素解析部６２は、カレント要素検出部６１、要素検索部６３、及び文書構造解析部６４と接続されている。カレント要素解析部は、カレント要素検出部６１によって検出されたカレント要素の内容（カレント要素の記述）を解析する。カレント要素の内容は上述したようなカレント要素の文書構造やカレント要素に含まれる文字列である。カレント要素解析部６２は、文書構造解析部６４によって解析されたソース３４の文書構造に基づき、カレント要素内に含まれる順序関係を有する内容を解析する。順序関係を有する内容とは、例えば、カレント要素のタグに含まれる数字を含む文字列であってもよい。カレント要素解析部６２は、カレント要素の解析結果を要素検索部６３に送る。

要素検索部６３は、カレント要素解析部６２、文書構造解析部６４、音声処理部６５、及び表示処理部６６と接続されている。要素検索部６３は、カレント要素解析部６２によるカレント要素の解析結果と文書構造解析部６４によるソース３４の解析結果に基づき、カレント要素に対して順序関係を有すソース３４上の他の要素（以下、順序関係要素と称す。）を検索する。要素検索部６３は、順序関係要素に対応したコンテクストがブラウザ画面２６に表示されるように、表示処理部６６に指示する。

次に、図８のフローチャートを参照して、ブラウザ画面２６に表示されるコンテクストの表示切替処理の一例について説明する。図８では、ユーザからのコンテクストを切り替える指示があった後、カレントコンテクストに対する「次」または「前」のコンテクストを検索する場合を想定している。

カレント要素検出部６１は、カレントコンテクストを検出する（ステップＳ１１）。ステップＳ１１では、例えば、現在ズームまたはセンタリングされている、ウェブページ３３内のコンテクストがカレントコンテクストとして検出される。その後、ユーザが「次」などの順序関係を有する言葉を発し、マイク１９を介してその言葉をカレント要素検出部６１が検出する（ステップＳ１２のＹＥＳ）。なお、ユーザからの指示入力は、音声入力以外でもよく、例えばコンピュータ１０を操作するリモコン等を使用した、ブラウザ画面２６に表示するコンテクストを変更する指示入力であってもよい。次に、ユーザからの順序内容を示す指示に従い、カレント要素解析部６２はカレント要素を解析する（ステップＳ１３）。カレント要素解析部６２は、数字を表す見出しなどを用いた文書解析ルールに基づき、カレント要素の文書構造を解析する。なお、この数字は、例えば「（１）」や「（２）」などによって示されていてもよい。次に、要素検索部６３が、カレントコンテクストに対するユーザからの指示の内容に応じたコンテクストを、文書構造解析結果に基づき、検索する（ステップＳ１４）。なお、要素検索部６３は、カレント要素内の文字列に対して所定の順序関係を有する文字列を含む要素を検索してもよい。表示処理部６６は、検索した要素に対応するコンテクストをブラウザ画面２６に表示する（ステップＳ１５）。表示処理部６６は、検索した要素に対応するコンテクストをブラウザ画面２６にセンタリングして表示してもよいし、ズームして表示してもよいし、センタリングし且つズームして表示してもよい。これにより、ウェブページ３３の表示状態は、カレントコンテクストがズームまたはセンタリングされている表示状態から、カレントコンテクストの「次」または「前」に当たる新たなカレントコンテクストがズームまたはセンタリングされている表示状態に自動的に遷移される。

次に、図９のフローチャートを参照して、ブラウザ画面２６に表示されるコンテクストの表示切替処理の他の例について説明する。図９では、ユーザからのコンテクストを切り替える指示がある前に、カレントコンテクストに対する「次」または「前」のコンテクストを検索する場合を想定している。

カレント要素検出部６１がカレント要素を検出し（ステップＳ２１）、その後、ユーザからの順序関係を有する指示を受ける前に、カレント要素を解析する（ステップＳ２２）。カレント要素の解析結果に基づき、カレント要素とソース３４に含まれる別の要素それぞれとの順序関係を判定する（ステップＳ２３）。なお、図８を参照して説明した場合と異なり、要素検索部６３はカレント要素の「次」の要素と「前」の要素との両方の要素を検索する。その後、ユーザからの順序関係を有す指示入力を検出した場合（ステップＳ２４）、ユーザからの指示入力が「次」に関する指示入力であるかどうか判定する（ステップＳ２５）。ユーザからの指示入力が「次」に関する指示入力であった場合（ステップＳ２５のＹＥＳ）、「次」の要素に対応するコンテクストをブラウザ画面２６に表示する（ステップ２６）。ユーザからの指示入力が「次」に関する指示入力でなかった場合（ステップＳ２５のＮＯ）、ユーザからの指示入力が「前」に関する指示入力であるかどうか判定する（ステップＳ２７）。ユーザからの指示入力が「前」に関する指示入力であった場合（ステップＳ２７のＹＥＳ）、「前」の要素に対応するコンテクストをブラウザ画面２６に表示する（ステップ２８）。ユーザからの指示入力が「前」に関する指示入力でなかった場合（ステップＳ２７のＮＯ）、再びユーザからの他の指示入力があるまで待機する。

図９を参照して説明したように、ユーザからの指示入力がある前に、カレント要素を解析し、要素の順序を予め判定しておくことによって、その後ユーザからの指示入力があった場合、ブラウザ画面２６に「次」または「前」のコンテクストを表示するまでにかかる時間を、図８を参照して述べた処理にかかる時間よりも短くすることができる。

次に、図１０を参照して、本実施形態における要素の検索処理の一例を説明する。
カレント要素解析部６２は、カレント要素の構造を解析する（ステップＳ３１）。要素検索部６３は、解析したカレント要素に数字が含まれているかどうか判定する（ステップＳ３２）。カレント要素に数字が含まれている場合とは、例えばカレント要素に含まれるタグが「＜ｄｉｖ ｉｄ＝１＞」、「＜ｄｉｖ ｉｄ＝２＞」のように記載されていた場合である。この場合、タグ内の数字を利用し、要素間の順序関係を判定する。カレント要素に数字が含まれている場合の他の例は、例えば「＜ｄｉｖ＞手順１＜／ｄｉｖ＞」のようにタグの間に数字が含まれていてもよい。カレント要素に数字が含まれていた場合（ステップＳ３２のＹＥＳ）、カレント要素に含まれる数字の次の数字を含む要素を検索する（ステップＳ３３）。例えば、カレント要素に含まれるタグが「＜ｄｉｖ ｉｄ＝１＞」であった場合、「＜ｄｉｖ ｉｄ＝２＞」を含むソース３４上の他の要素を検索する。検索した結果、次の数字を含む要素があった場合、次の数字を含む要素に対応するコンテクストをブラウザ画面２６に表示する（ステップＳ３４）。検索した結果、次の数字を含む要素がなかった場合は、その旨をユーザに、例えば音声などによって知らせる。

カレント要素のタグ内に数字が含まれていない場合（ステップＳ３２のＮＯ）、カレント要素と同じソース３４上の階層にある要素（兄弟要素）の内容の文字列を解析する（ステップＳ３５）。例えば、ソース３４の一部が以下のように記載されており、カレント要素が「＜ｄｉｖ＞手順１…＜／ｄｉｖ＞」であった場合、
＜ｄｉｖ＞
＜ｄｉｖ＞手順１…＜／ｄｉｖ＞
＜ｄｉｖ＞手順２…＜／ｄｉｖ＞
＜／ｄｉｖ＞
カレント要素と同じ階層にある２番目の要素「＜ｄｉｖ＞手順２…＜／ｄｉｖ＞」内の先頭の文字列「手順２…」を解析する。解析方法は、例えば言語処理方法を用いる。言語処理方法を用いて、例えば、カレント要素内の先頭の文字列と２番目の要素内の先頭の文字列との間に連続性があるかどうかを判定する。例えば「手順１…」と「手順２…」とに関して、先頭の文字列「手順」が同じであるため連続性があると判定する。そして、表示処理部６６は、要素「＜ｄｉｖ＞手順２＜／ｄｉｖ＞」に対応したウェブページ３３上のコンテクストをブラウザ画面２６に表示する（ステップＳ３６）。なお、カレント要素と同じ階層の要素がなかった場合、カレント要素が属す階層の１つ上の階層にカレント要素と兄弟関係にある要素、例えば同じ種類のタグ（例えば、＜ｄｉｖ＞など）を含む要素、を検索する。なお、上述した文字列は、「手順１」または「手順２」等のように、見出し語と数字から成る文字列に限らず、例えば「（１）」または「（２）」等のように、記号と数字から成る文字列であってもよい。

また、カレント要素に含まれる文字列に数字が含まれていない場合、例えば、「イ」、「ロ」、「ハ」のような、順序関係を表現可能な文字を含む文字列に基づいて、カレント要素の「次」または「前」に該当する別の要素を検索するようにしてもよい。

例えば、（１）文字列が「手順イ」、「手順ロ」、あるいは「手順ハ」、（２）文字列が「手順（あ）」、「手順（い）」、あるいは「手順（う）」、または（３）文字列が「イ」、「ロ」、「ハ」、である場合である。このような場合、文字列に順序関係を表現可能な文字が少なくとも含まれていれば、図１０を参照して上述した方法を用いて、要素を検索することができる。

ここで、カレント要素内に文字列が含まれていない場合について述べる。この場合、階層構造で記述されたソース３４の構成、すなわち要素の構成（兄弟要素の順番）を解析することで、「次」または「前」にあたる要素を見つけ出す。具体的には、例えば、ブラウザ画面２６に写真のリストが表示されている場合である。この場合、カレントコンテクストの内容は写真だけであってもよい。そのため、例えば、カレント要素内には、ブラウザが画面２６に写真を表示するために必要なタグ等の記述以外の、上述したような「手順１」等の文字列が含まれていない場合がある。このような場合、カレント要素の兄弟要素をソース３４上から探し出す。探し出した兄弟要素とカレント要素とのソース３４上における関係から、「次」の要素または「前」の要素を決定する。例えば、「次」の要素は、カレント要素の兄弟要素であり、さらにカレント要素の記述よりも後に記述されている要素である。具体的には、「次」の要素は、カレント要素の１つ後に記述されている兄弟要素であってもよい。「前」の要素は、カレント要素の兄弟要素であり、さらにカレント要素の記述よりも前に記述されている要素である。具体的には、「前」の要素は、カレント要素の１つ前に記述されている兄弟要素であってもよい。

次に、図１１を参照し、本実施形態において、コンテクストを拡大して表示する場合に使用する拡大率の変化の一例を説明する。
ここでは、サイズが異なるコンテクスト３００とコンテクスト３０１とが、ブラウザ画面２６に表示されている場合を想定している。また、ユーザからの指示に応じて、コンテクスト３００が拡大してブラウザ画面２６に表示されている状態からコンテクスト３０１が拡大されてブラウザ画面２６に表示されている状態に遷移する場合を想定している。また、ウェブページ３３の全体がブラウザ画面２６に表示されている場合を想定している。図１１に示される、点線の枠で示されているウィンドウ３０２及びウィンドウ３０３は、コンテクスト３００及びコンテクスト３０１を拡大してブラウザ画面２６に表示した際のブラウザ画面２６またはディスプレイ１７を表している。

コンテクスト３００は、コンテクスト３００に対応するソース３４上の要素に基づき、ブラウザ２０によってブラウザ画面２６に表示される。コンテクスト３００が占めるウェブページ３３上の領域の左上の角の座標は（ｘ１、ｙ１）で示される。同様に、図示されていないが、コンテクスト３００が占めるウェブページ３３上の領域の右下の角の座標に基づき、ウィンドウ３０２のサイズが決定される。このウィンドウ３０２のサイズに基づき、拡大してコンテクスト３００が表示されている時の拡大率が決定される。上述したコンテクスト３００の拡大率の決定方法と同様の拡大率の決定方法を用いて、拡大してコンテクスト３０１を表示する際の拡大率が決定される。

なお、カレントコンテクストの検出に関して、複数のコンテクストが拡大されてブラウザ画面２６に表示されている場合、その複数のコンテクストの内の何れか１つをカレントコンテクストとして検出してもよい。

以上のように、本実施形態によれば、ユーザが閲覧しているページ内の所望のコンテクストを画面に表示させる際、ページのソースに含まれる要素を解析することによって、ユーザは簡単な操作で所望のコンテクストを画面に表示させることができる。さらに、要素に含まれる文字列を解析することによって、所望のコンテクストに対応するソース上の要素を検索できる。なお、要素に含まれる文字列に数字が含まれていた場合、その数字を使用し、所望のコンテクストに対応するソース上の要素を検索できる。さらに、要素に文字列が含まれない場合、ソース上の要素の構成を解析することによって、所望のコンテクストに対応するソース上の要素を検索できる。また、ページをスクロールすることによって、所望のコンテクストが画面の中央部に表示され、さらに所望のコンテクストを拡大して画面に表示されるため、ユーザは複雑な操作をせずに、ユーザが見やすいサイズで及びユーザが見やすい画面上の位置で、所望のコンテクストを画面に表示させることができる。あるいは、所望のコンテクストのサイズに適合するように画面の拡大率を算出することで、所望のコンテクストを画面に拡大及びセンタリングして表示させることができる。また、ユーザからの指示に従い、現在表示されているコンテクストを切り替えることができる。ユーザからの指示は、順序関係を有する指示であり、この指示に従い、所望のコンテクストに対応する要素をソース上から検索できる。さらに、ユーザが発した音声を認識するし、その音声に順序関係を示す内容が含まれていた場合、その音声の内容に従い、所望のコンテクストを画面に表示させることができる。

（第２の実施形態）
以下、第２の実施の形態について図面を参照して説明する。なお、第１の実施形態と同様の構成及び機能については説明を省略する。
第１の実施形態では、順序関係を有す複数のコンテクストを順番にブラウザ画面２６に表示する際、ブラウザ画面２６に拡大（ズーム）またはセンタリングして表示したが、第２の実施形態では、ズームまたはセンタリング以外の方法で、順序関係を有す複数のコンテクストを順番にブラウザ画面２６に表示する。

図１２は、第２の実施形態において、ユーザからの指示に応じて、ユーザが注目するコンテクストが変更された際、ブラウザの画面上でのユーザが注目すべきコンテクストの表示の一例を示している。

図１２では、ユーザがニュースに関するウェブページを閲覧している場合を想定している。このウェブページは、コンテクスト４００を含む。コンテクスト４００は、さらにコンテクスト４０１及びコンテクスト４０２を含む。コンテクスト４０１及びコンテクスト４０２の各々は、例えばニュースのヘッドラインを示している。

第２の実施形態で、表示制御プログラム２０２は、ブラウザ画面２６に表示するコンテクストを変更するための音声入力による指示に従い、カレントコンテクストを強調表示する。

具体的に、図１２を参照して説明する。始めに、表示制御プログラム２０２は、カレントコンテクストを検出する。例えば、ユーザがブラウザ画面２６に表示されている文字列（ページ文字列）を音声で発話することによって、表示制御プログラム２０２は、そのページ文字列が含まれるコンテクストをカレントコンテクストとして検出してもよい。あるいは、ユーザが、例えば「２行目のニュース」などのコンテクストを特定できる言葉を発することによって、表示制御プログラム２０２は、そのページ文字列が含まれるコンテクストをカレントコンテクストとして検出してもよい。なお、ユーザによるカレントコンテクストを設定するための指示は、音声に限らず、第１の実施形態で述べたようなリモコン等を使用して行われてもよい。図１２では、コンテクスト４０１がカレントコンテクストとして検出されたことを示している。

表示制御プログラム２０２は、コンテクスト４０１をブラウザ画面２６に強調して表示する。具体的には、例えば図１２に示すように、コンテクスト４０１の外側を囲むような枠をブラウザ画面２６に表示することで、カレントコンテクストであるコンテクスト４０１を強調表示してもよい。さらに、この枠を点滅させて表示させることでさらに強調して表示してもよい。また、強調表示されたカレントコンテクストが、ユーザが所望したコンテクストではなかった場合を想定し、表示制御プログラム２０２は、ユーザが所望したコンテクストが強調表示されているかどうかを、例えば音声等を使用して、ユーザに確認するための処理を行ってもよい。

次に、ユーザが順序関係を有す言葉を発話した場合、表示制御プログラム２０２はカレントコンテクストと順序関係を示すカレントコンテクストを強調表示する。例えば、ユーザが「次」という言葉を発話した場合、カレントコンテクストであるコンテクスト４０１の「次」のコンテクストであるコンテクスト４０２を強調表示する。

なお、コンテクスト４０１及びコンテクスト４０２の各々に対応するソース３４上の要素は、例えば図３で、＜ｌｉ＞ＸＸＸＸ……＜／ｌｉ＞として示されるように、＜ｌｉ＞のタグを用いたソース３４上の記述の一部であってもよい。

以上のように、第２の実施形態によれば、ユーザが注目するコンテクストを変更する際、音声を使用するだけで、コンテクストの強調表示を切り替えることができる。そのため、「次」にユーザが注目すべきコンテクストをユーザがページ３３上から探し出す必要がなくなる。

（第３の実施形態）
以下、第３の実施の形態について図面を参照して説明する。なお、第１の実施形態及び第２の実施形態と同様の構成及び機能については説明を省略する。
第３の実施形態では、第１の実施形態及び第２の実施形態と異なる方法で、ユーザが注目すべきカレントコンテクストをブラウザ画面２６に表示する。第３の実施形態では、コンテクストを変更する前に、カレントコンテクストの「次」に相当するコンテクストがブラウザ画面２６に表示されていないような場合を想定している。あるいは、ブラウザ画面２６上におけるカレントコンテクストが占めるエリアに、「次」に相当するコンテクストを表示するような場合を想定している。なお、「次」に相当するコンテクストに対応する要素が、カレントコンテクストに対応する要素と同じソース上にある場合を想定している。

具体的に、図１３を参照して説明する。図１３は、動画を含んだウェブページ（以下、動画ページとも称す。）を表示しているブラウザ画面２６の一例を示している。動画ページは、コンテクスト５００、５０１、５０３、５０４、及び５０５等から構成される。コンテクスト５００の内容は、動画の再生を含んでいる。すなわち、動画ページ上でコンテクスト５００が占めるエリアで動画が再生される。また、コンテクスト５０４及びコンテクスト５０５は、コンテクスト５００で再生する動画の候補となる動画のサムネイル画像等である。

図１３に示すように、カレントコンテクスト５００内に「次」にコンテクスト５００で再生する動画リストが表示されていた場合について説明する。この場合、ユーザが「次」と発話することによって、表示制御プログラム２０２は、コンテクスト５０４やコンテクスト５０５等から「次」に相当するコンテクストを選択し、「次」に相当するコンテクストの内容である動画を、コンテクスト５００の内容として再生する。

さらに、カレントコンテクスト５００で動画が再生されている場合を想定する。この場合、ユーザが「次」と発話することによって、「次」の動画を再生するコンテクストに対応した要素を動画ページのソースから探し出し、探し出した「次」の要素の内容に従い、「次」の動画をコンテクスト５００の内容として再生する。

次に、図１４を参照して、動画ページのソースの一例について説明する。動画ページは、図１４に示すようなソース６００によってブラウザ画面２６に表示される。具体的に、例えば、動画ｍｏｖｉｅ２がコンテクスト５００の内容として再生されている場合、表示制御プログラムは、＜ｌｉ ｉｄ＝“ｍｏｖｉｅ２”＞………＜／ｌｉ＞をカレントコンテクストとして検出する。次に、ユーザが「次」と発話することによって、表示制御プログラム２０２は、＜ｌｉ ｉｄ＝“ｍｏｖｉｅ３”＞ ………＜／ｌｉ＞を「次」の要素をソース６００上から検索する。さらに、表示制御プログラム２０２は、「次」の要素に含まれる文字列「ｍｏｖｉｅ２」を含む要素をソース６００上から検索する。図１４で、文字列「ｍｏｖｉｅ２」を含む要素は、＜ｏｂｊｅｃｔ ｉｄ＝“ｍｏｖｉｅ１”＞………ｉｄ＝”ｍｏｖｉｅ ２” ………中略………＜／ｏｂｊｅｃｔ＞で示される。そして、文字列「ｍｏｖｉｅ２」を含む要素に対応したコンテクストの内容として動画ｍｏｖｉｅ２が再生される。

以上のように、第３の実施形態によれば、順序関係を有すコンテクストの一部がページ上に表示されていない場合や、「次」に表示するコンテクストを同一のページ上の異なる位置に表示させる場合等において、ユーザが視覚的に探し出すことができないようなコンテクストでも、ソース上の順序関係を有す要素を検索することによって、ユーザは「次」と発話するだけで、「次」のコンテクストをブラウザ画面２６に表示させることができる。

また、図８乃至図１０のフローチャートで説明した手順は全てプログラムによって実行することができるので、このプログラムを、このプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願原出願の分割直前の特許請求の範囲に記載された発明を付記する。
［１］マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素に対応する複数のコンテクストを含むウェブページを画面上に表示する電子機器であって、
前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記ウェブページ内の現在選択されている第１のコンテクストに対応する前記ソース内の第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索する処理手段と、
順序についての情報を含む命令に応答して、前記第２の要素に対応する前記ウェブページ上の第２のコンテクストを前記画面上に表示する制御を行う表示制御手段とを具備する電子機器。
［２］前記処理手段は、前記第１の要素内に含まれる順序関係を表現可能な文字を用いて、前記第２の要素を検索する［１］記載の電子機器。
［３］前記処理手段は、前記第１の要素と同じ階層の別の要素から、前記第２の要素を検索する［１］記載の電子機器。
［４］前記表示制御手段は、前記ウェブページをスクロールすることによって前記第２のコンテクストを前記画面の中央部に表示する制御を行う［１］記載の電子機器。
［５］前記表示制御手段は、前記ウェブページをスクロールすることによって前記第２のコンテクストを前記画面の中央部に移動し、且つ前記第２のコンテクストを拡大して表示する制御を行う［１］記載の電子機器。
［６］前記表示制御手段は、前記画面のサイズと、前記第２のコンテクストのサイズとに基づいて定められる拡大率を用いて、前記第２のコンテクストを拡大して表示する制御を行う［５］記載の電子機器。
［７］前記命令は次または前の一方の順序についての情報を含み、
前記処理手段は、前記命令に前記次の順序についての情報が含まれる場合、前記第１の要素の内容の次の内容を含む別の要素から前記第２の要素を検索し、前記命令に前記前の順序についての情報が含まれる場合、前記第１の要素の内容の前の内容を含む別の要素から前記第２の要素を検索する［１］記載の電子機器。
［８］音声認識処理を実行し、所定の語を含むユーザの音声が認識された場合に前記命令を発行する音声認識手段をさらに具備する［１］記載の電子機器。
［９］前記処理手段は、前記命令に応答して、前記第２の要素の検索を実行し、
前記表示制御手段は、前記第２の要素が検索されたことに応答して、前記第２の要素に対応する前記ページ上の第２のコンテクストを前記画面上に表示する制御を行う［１］記載の電子機器。
［１０］前記第１のコンテクストは前記画面に拡大して表示されているコンテクストであり、
前記表示制御手段は、前記第１のコンテクストが前記画面に表示されている際、前記第２のコンテクストを前記画面に拡大して表示する制御を行う［１］記載の電子機器。
［１１］前記処理手段は、前記第１の要素と同じ階層にあり、且つ前記第１の要素に含まれるタグと同じタグを含む別の要素から前記第２の要素を検索する［１］記載の電子機器。
［１２］前記処理手段は、前記第１の要素の先頭の文字列が数字を含む場合、先頭の文字列に前記数字の次の数字を含む要素から前記第２の要素を検索する［１］記載の電子機器。
［１３］前記処理手段は、前記第１の要素の先頭の文字列と同じ文字列を先頭の文字列に含む他の要素から前記第２の要素を検索する請求項１記載の電子機器。
［１４］前記処理手段は、前記第１の要素内にＩＤが含まれる場合、前記ＩＤの次のＩＤを含む要素から前記第２の要素を検索する［１］記載の電子機器。
［１５］前記処理手段は、前記第１の要素に含まれるタグの種類と数字をともなった文字列とを含むソース文字列を予め登録しておき、前記登録したソース文字列から予想されるソース文字列を有する要素から前記第２の要素を検索する［１］記載の電子機器。
［１６］マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素に対応する複数のコンテクストを含むウェブページを画面上に表示する表示制御方法であって、
前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記ウェブページ内の現在選択されている第１のコンテクストに対応する前記ソース内の第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索し、
順序についての情報を含む命令に応答して、前記第２の要素に対応する前記ウェブペー
ジ上の第２のコンテクストを前記画面上に表示する制御を行う表示制御方法。
［１７］コンピュータに、
マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素に対応する複数のコンテクストを含むウェブページを画面上に表示する手順と、
前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記ウェブページ内の現在選択されている第１のコンテクストに対応する前記ソース内の第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索する手順と、
順序についての情報を含む命令に応答して、前記第２の要素に対応する前記ウェブページ上の第２のコンテクストを前記画面上に表示する制御を行う手順とを実行させるプログラム。

１０…コンピュータ、２１…コンテクスト、２０…ブラウザ、３４…ソース、４１…要素、６０…順序判定部、６４…文書構造解析部、６５…音声処理部、６６…表示処理部、２０２…表示制御プログラム。

Claims (18)

1. マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素を表示するための複数の領域を含むウェブページを画面上に表示可能な電子機器であって、
   前記ソースの第１の要素に対応する前記ウェブページの第１の領域が表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の要素に対応する前記ウェブページ上の第２の領域を、前記ウェブページ上の前記第２の領域のサイズと前記画面のサイズとに基づいて定められる第１倍率で表示する制御を行う処理手段を具備し、
   前記処理手段は、
   前記第２の領域が前記第１倍率で表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第２の要素に対して次または前の一方の順序関係を有する前記ソース内の第３の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の領域を前記第１倍率で表示する第１状態から、前記第３の要素に対応する前記ウェブページ上の第３の領域を、前記ウェブページ上の前記第３の領域のサイズと前記画面のサイズとに基づいて定められる第２倍率で表示する第２状態へ遷移する制御を行い、
   前記第１倍率と前記第２倍率とは異なるうるものであって、
   前記第１倍率と前記第２倍率とが異なる場合に、前記処理手段は、前記ウェブページ上の前記第２の領域を表示する第１状態から、前記第３の領域を表示する第２状態へ遷移する制御を行う場合に、表示倍率を前記第１倍率から前記第２倍率へ自動的に変更することを特徴とする電子機器。
2. 前記処理手段は、現在表示されている領域に対応する要素と同じ階層にあり、且つ前記現在表示されている領域に対応する要素に含まれるタグと同じタグを含む別の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索可能であることを特徴とする請求項１記載の電子機器。
3. 前記処理手段は、現在表示されている領域に対応する要素の先頭の文字列が数字を含む場合、先頭の文字列に前記数字の次の数字を含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索可能であることを特徴とする請求項１記載の電子機器。
4. 前記処理手段は、現在表示されている領域に対応する要素の先頭の文字列と同じ文字列を先頭の文字列に含む他の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索可能であることを特徴とする請求項１記載の電子機器。
5. 前記処理手段は、現在表示されている領域に対応する要素内にＩＤが含まれる場合、前記ＩＤの次のＩＤを含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索可能であることを特徴とする請求項１記載の電子機器。
6. 前記処理手段は、現在表示されている領域に対応する要素に含まれるタグの種類と数字をともなった文字列とを含むソース文字列を予め登録しておき、前記登録したソース文字列から予想されるソース文字列を有する要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索可能であることを特徴とする請求項１記載の電子機器。
7. マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素を表示するための複数の領域を含むウェブページを画面上に表示することと、
   前記ソースの第１の要素に対応する前記ウェブページの第１の領域が表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の要素に対応する前記ウェブページ上の第２の領域を、前記ウェブページ上の前記第２の領域のサイズと前記画面のサイズとに基づいて定められる第１倍率で表示する制御を行うことと、
   前記第２の領域が前記第１倍率で表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第２の要素に対して次または前の一方の順序関係を有する前記ソース内の第３の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の領域を前記第１倍率で表示する第１状態から、前記第３の要素に対応する前記ウェブページ上の第３の領域を、前記ウェブページ上の前記第３の領域のサイズと前記画面のサイズとに基づいて定められる第２倍率で表示する第２状態へ遷移する制御を行うこととを具備し、
   前記第１倍率と前記第２倍率とは異なるうるものであって、
   前記第１倍率と前記第２倍率とが異なる場合に、前記遷移する制御を行うことは、前記ウェブページ上の前記第２の領域を表示する第１状態から、前記第３の領域を表示する第２状態へ遷移する制御を行う場合に、表示倍率を前記第１倍率から前記第２倍率へ自動的に変更することを含むことを特徴とする方法。
8. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素と同じ階層にあり、且つ前記現在表示されている領域に対応する要素に含まれるタグと同じタグを含む別の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項７記載の方法。
9. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素の先頭の文字列が数字を含む場合、先頭の文字列に前記数字の次の数字を含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項７記載の方法。
10. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素の先頭の文字列と同じ文字列を先頭の文字列に含む他の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項７記載の方法。
11. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素内にＩＤが含まれる場合、前記ＩＤの次のＩＤを含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項７記載の方法。
12. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素に含まれるタグの種類と数字をともなった文字列とを含むソース文字列を予め登録しておき、前記登録したソース文字列から予想されるソース文字列を有する要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項７記載の方法。
13. コンピュータによって実行されるプログラムであって、
    マークアップ言語で記述され且つ階層化された文書構造を有するソースに基づき、前記ソース内の複数の要素を表示するための複数の領域を含むウェブページを画面上に表示する手順と、
    前記ソースの第１の要素に対応する前記ウェブページの第１の領域が表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第１の要素に対して次または前の一方の順序関係を有する前記ソース内の第２の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の要素に対応する前記ウェブページ上の第２の領域を、前記ウェブページ上の前記第２の領域のサイズと前記画面のサイズとに基づいて定められる第１倍率で表示する制御を行う手順と、
    前記第２の領域が前記第１倍率で表示されている状態でユーザの音声が入力される場合であって、そのユーザの音声の認識結果に、次または前の一方の順序関係を指定する語が含まれる場合に、前記ソースの文書構造に基づく前記ソース内の複数の要素の順序関係に基づいて、前記第２の要素に対して次または前の一方の順序関係を有する前記ソース内の第３の要素を検索し、前記ウェブページをスクロールし且つ前記ウェブページの表示倍率を制御することによって、前記第２の領域を前記第１倍率で表示する第１状態から、前記第３の要素に対応する前記ウェブページ上の第３の領域を、前記ウェブページ上の前記第３の領域のサイズと前記画面のサイズとに基づいて定められる第２倍率で表示する第２状態へ遷移する制御を行う手順とを前記コンピュータに実行させ、
    前記第１倍率と前記第２倍率とは異なるうるものであって、
    前記第１倍率と前記第２倍率とが異なる場合に、前記遷移する制御を行う手順は、前記ウェブページ上の前記第２の領域を表示する第１状態から、前記第３の領域を表示する第２状態へ遷移する制御を行う場合に、表示倍率を前記第１倍率から前記第２倍率へ自動的に変更する手順を前記コンピュータに実行させることを特徴とするプログラム。
14. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素と同じ階層にあり、且つ前記現在表示されている領域に対応する要素に含まれるタグと同じタグを含む別の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項１３記載のプログラム。
15. 前記第２の要素または前記第３の要素を検索することは、前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素の先頭の文字列が数字を含む場合、先頭の文字列に前記数字の次の数字を含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項１３記載のプログラム。
16. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素の先頭の文字列と同じ文字列を先頭の文字列に含む他の要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項１３記載のプログラム。
17. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素内にＩＤが含まれる場合、前記ＩＤの次のＩＤを含む要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項１３記載のプログラム。
18. 前記第２の要素または前記第３の要素を検索することは、現在表示されている領域に対応する要素に含まれるタグの種類と数字をともなった文字列とを含むソース文字列を予め登録しておき、前記登録したソース文字列から予想されるソース文字列を有する要素から、前記現在表示されている領域に対応する要素に対して次または前の一方の順序関係を有する要素を検索することを特徴とする請求項１３記載のプログラム。

Images