JP4474231B2 - 文書リンク情報取得システム - Google Patents

Description

本発明は文書リンク情報システムに係り、特に携帯情報端末で撮影した画像に含まれる文字を認識してその関連リンク情報を得る文書リンク情報システム及び関連リンク情報の取得処理方法に関するものである。

カメラを搭載した携帯電話等の携帯端末で撮影した画像に含まれる文字列の文字を認識して、その認識結果である文字テキストを翻訳する技術が種々提案されている。例えば、特許文献１（特開平０９−１３８８０２号公報）には、携帯端末内部に文字認識機能と翻訳機能を持ち、これらの機能を利用して、カメラで撮影した画像内の文字列を認識、翻訳処理する翻訳システムが開示されている。

また、カメラを搭載した携帯電話等の携帯端末で撮影した画像に対する認識技術応用サービスとして、紙面上に印刷された２次元コードをカメラで読取り、コードに含まれるＵＲＬ等のリンク情報を取得してリンク先のＷＥＢサイトにアクセスしたり、サイトからデータを取得できることが知られている。特に日本のカメラ付き携帯電話機では２次元コードの認識ソフトが搭載され、雑誌や広告などの紙面上に印刷された２次元コードを電話機搭載のカメラで読取り、そのコードの中に格納されたＵＲＬ等のリンク情報を取得してＷＥＢサーバに接続するサービスが一般的に行われている。

あるいは、ＯＣＲ（Optical Character Reader、光学文字読取り装置）のソフトをカメラ付き携帯電話機に搭載し、ＵＲＬ文字列の画像をカメラで撮影した後に文字認識してＷＥＢサーバにアクセスする機能が電話機に搭載されている。

特開平０９−１３８８０２号公報

このように２次元コードを紙面に印刷することにより、カメラ付き情報端末を介して紙面の情報とＷＥＢというインターネットの情報を結びつけることが可能になる。しかし、２次元コードを紙面に印刷しようとすると、紙面上で印刷スペースを確保できなかったり、２次元コードの独特なパターンとその大きさから紙面レイアウトを損ねるとして、その印刷が敬遠される傾向があった。

ＵＲＬ文字列が紙面に印刷されている時には、そのＵＲＬを手入力することで紙面の関連ＷＥＢサイトを参照することができるが、ＵＲＬの文字列を入力するのは利用者の負担が非常に大きい。一方、ＵＲＬをカメラ撮影して画像を文字認識することで、利用者のＵＲＬ入力負担を減らすことは可能である。しかし、カメラ解像度の関係上、ＵＲＬ認識時は手ぶれの影響が大きい接写モードで撮影する必要があり、カメラをＵＲＬ文字列に安定して合わせることが困難であり利用者に対してなお多大な負担を強いていた。

加えて、撮影後も電話機の利用者が認識した文字列を目視確認した上で誤読文字を発見した場合にそれを修正する必要がある。誤読文字を修正しないままＵＲＬをアクセスすると、正しくそのサイトに行くことができないので注意して確認する必要があり、この作業も利用者の負担を大きくしていた。

本発明の目的は、携帯情報端末で文書の一部をカメラで撮影し、撮影された画像に含まれる文字列が文書中のどの場所に存在するかを特定し、その場所に関連付けられているＵＲＬ等のリンク情報を取得することができる文書リンク情報取得システム、およびリンク情報取得方法を提供することにある。すなわち、２次元コード等の特別なコードやＵＲＬ等のリンク情報を表す文字列を紙面に印刷することなしに、紙面で文字が印刷された任意の場所にリンク情報を付加することができるシステムと方法を提供することにある。

本発明は、画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に関連付けられたリンク情報を得て、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得システムにおいて、単語からなる文と該文に関連するリンク情報を対応付けて保持すると共に、該文に含まれる各単語の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、該画像撮影部で撮影された画像から利用者により指定された着目単語パターンとその着目単語パターンの周辺の単語パターンを対象として文字認識処理を行い、該単語パターンの文字コードを出力する文字認識部と、利用者により指定された着目単語パターンと該着目単語パターンの周辺の単語パターンに関して相対的な配置情報を抽出する抽出部と、該着目単語パターンと該着目単語パターンの周辺の単語パターンに関して、該文字認識部より得られた該文字コードと、該抽出部より得られた該相対的な配置情報を用いて該文書リンク情報データベースを検索する検索部と、を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示することを特徴とする文書リンク情報取得システムである。
好ましくは、前記文書リンク情報データベース部は、英文とそのリンクデータを対応付けて格納する。

また、他の好ましい例では、文書リンク情報データベース部は、スペースで区切られた単語からなる文と該文に関連するリンク情報を対応付けて格納する。

上記相対的な配置情報は、一例によれば、利用者により指定された着目単語パターンの矩形重心から着目単語パターンの各周辺単語パターンの矩形重心に線分を引きその線分間の角度である。

また、他の例では、上記相対的な配置情報は、利用者により指定された着目単語パターンが含まれる行、および、着目単語パターンの各周辺単語パターンが含まれる行の相対的な配置情報である。

また、他の好ましい例における、本発明に係る文書リンク情報取得システムは、画像撮影部と、利用者に操作されて情報を入力する入力部と、該画像撮影部で撮影された画像に含まれる文字に関連付けられたリンク情報を得るための処理を行うリンク情報取得部と、該リンク情報取得部により得られたリンク情報を参照してリンク先のデータを表示する表示部を有する携帯情報端末を用いた文書リンク情報取得システムにおいて、文書中の各文に関連するリンク情報を対応付けて格納すると共に、
各文に含まれる各形態素の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、該画像撮影部で撮影された画像から利用者により指定された着目形態素パターンとその着目形態素パターンの周辺の形態素パターンに関して文字認識処理を行い、各形態素の文字コードを出力する文字認識部と、
利用者により指定された着目形態素パターンと該着目形態素パターンの周辺に存在する形態素パターンに関して相対的な配置情報を抽出する抽出部と、該着目形態素パターンと該着目形態素パターンの周辺に存在する形態素パターンに関して、該文字認識部より得られた文字コードと、該抽出部より得られた該相対的な配置情報を用いて該文書リンク情報データベースを検索する検索部と、を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示することを特徴とする文書リンク情報取得システムである。

また、更に他の好ましい例における、本発明に係る文書リンク情報取得システムは、画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に関連付けられたリンク情報を得て、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得システムにおいて、単語からなる文と該文に関連するリンク情報を対応付けて保持すると共に、該文に含まれる各文字の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、該画像撮影部で撮影された画像から利用者により指定された着目文字パターンとその着目文字パターンの周辺の文字パターンを対象として文字認識処理を行い、該文字パターンの文字コードを出力する文字認識部と、利用者により指定された着目文字パターンと該着目文字パターンの周辺の文字パターンに関して相対的な配置情報を抽出する抽出部と、該着目文字パターンと該着目文字パターンの周辺の文字パターンに関して、該文字認識部より得られた該文字コードと該抽出部より得られた該相対的な配置情報を用いて、該文書リンク情報データベースを検索する検索部と、
を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示するする文書リンク情報取得システムである。

本発明はまた、上記文書リンク情報取得システムに関する他の例として、前記文書リンク情報データベースを格納する記憶装置、及び前記検索部を備えるサーバを有する文書リンク情報取得システムであって、該携帯情報端末の該文字認識部より得られた該文字コードと、該抽出部より得られた該相対的な配置情報を、ネットワークを介して該サーバに送信し、該サーバにおいて該検索部により該文書リンク情報データベースを検索した結果得られたリンク情報を、該ネットワークを介して該携帯情報端末に送信する。

更に、他の例として、前記文字認識部、前記抽出部、前記翻訳辞書を格納する記憶装置、及び前記検索部を備えるサーバを有する文書リンク情報取得システムであって、携帯情報端末の画像撮影部より得られた画像をネットワークを介してサーバに送信し、サーバにおいて検索部により該文書リンク情報データベースを検索した結果得られたリンク情報を、ネットワークを介して携帯情報端末に送信する。

好ましい例では、この文書リンク情報取得システムにおける前記文書リンク情報データベースは、単語が含まれる文を検索するための単語インデックス部と、該文に含まれる単語の幾何学情報と単語の文字コードを格納した文データ格納部と、各文に関連するリンク情報を格納したリンク情報格納部を有する。

本発明は、また上記文書リンク情報取得システムにおいて使用される特徴的な携帯情報端末、又はサーバとして把握される。
更に本発明は、上記文書リンク情報取得システムにおいて、前記抽出部の機能を実現するためのコンピュータ上で実行可能なプログラムとして把握される。

更に本発明は、文書リンク情報取得方法として把握される。例えば、画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に関連付けられたリンク情報を得て、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得方法において、単語からなる文と該文に関連するリンク情報を対応付けて保持すると共に、該文に含まれる各文字の配置情報を関連付けて保持する文書リンク情報データベースを記憶装置内に予め用意するステップと、該画像撮影部で撮影された画像から利用者により指定された着目文字パターンとその着目文字パターンの周辺の文字パターンを対象として文字認識処理を行い、該文字パターンの文字コードを出力するステップと、利用者により指定された着目文字パターンと該着目文字パターンの周辺の文字パターンに関して相対的な配置情報を抽出するステップと、該着目文字パターンと該着目文字パターンの周辺の文字パターンに関して、該文字認識部より得られた該文字コードと該抽出部より得られた該相対的な配置情報を用いて、該文書リンク情報データベースを検索するステップと、該検索の結果得られたリンク情報を参照してリンク先のデータを該表示部に表示するステップと、を有する文書リンク情報取得方法である。
好ましい例では、該文書リンク情報データベースの検索の結果、該着目文字パターンを含む１又は複数のリンク情報の候補となる文を該表示部に表示するステップと、複数の候補の場合、該複数の候補の中から利用者により該入力部を介して指定された候補に対応するリンク情報を参照してリンク先のデータを該文書リンク情報データベースから得るステップと、を更に有し、該文書リンク情報データベースから得られたリンク先のデータと該文とを対応させて該表示部に表示するする。

本発明によれば、２次元コード等の特別なコードやＵＲＬ等のリンク情報を表す文字列を紙面に印刷することなしに、紙面上の文書に関連付けられたリンク情報を取得して、さらに、取得したリンク情報を参照してリンク先のデータを得ることが可能である。また、リンク情報の参照対象とする文全体をカメラで撮影する必要がなく、文の一部を撮影した部分画像に含まれる単語と単語の配置情報を利用して、該文に関連するリンク情報、および、リンク情報を参照してリンク先のデータを得ることができる。
これにより、従来のように２次元コード等の特別なコードやＵＲＬ等のリンク情報を表す文字列を紙面に印刷する場合に比べて紙面のレイアウトの自由度が大きくなる。さらに、文全体を撮影する場合に比べて、撮影された画像はリンク情報参照対象文の任意の一部を含んでいれば良いので、撮影の自由度が大きくなり、利用者の使い勝手が大幅に向上する。

以下、図面を参照して本発明の実施形態について、説明する。

第1の実施形態では、英文に関連付けられたリンク情報取得システムについて示す。予め紙面に印刷された文書と同じ内容の文書データベースを電子的に保持しておき、参照したい文のテキストを用いて文書データベースを全文検索して参照文の記載場所を特定することは可能である。そして、検索して特定された文に対してリンクを付与してあれば、すなわち、文書データベースがハイパーテキスト化されていれば、検索された文に対応するリンクを参照してリンク先のデータを取得することが可能になる。そこで、参照したい文全体をカメラで撮影して文字認識し認識結果のテキストを用いて文書データベースを検索しようとすると、画像歪み等の諸要因により誤読が発生し、正しくテキストを入力することは困難である。

そこで、利用者が、参照対象とする英文全体或いは任意の複数の文章全体ではなく、参照対象に含まれる一部の単語を含む画像（部分画像）をカメラで撮影すると、その部分画像に含まれる単語は文字認識された後、その単語をキーにしてデータベースに格納されているリンク参照対象の英文を検索する。さらに、検索結果の英文と対応付けられているリンク情報を検索してリンク先のデータを画面に表示することで、文単位のリンク情報を取得するものである。

また、本実施形態においては、その部分画像をキーにしてデータベースに格納されている参照対象の英文を検索するために、英文に含まれる各文字の配置情報も併せてデータベースに予め格納される。その後、撮影された部分画像に含まれる単語の文字コードと配置情報を文字認識処理によって抽出する。その抽出された単語の文字コードと配置情報に関して、データベースに格納されている英文の単語の文字コードと配置情報を検索する。その検索の結果、抽出された英文の単語の配置情報に最も類似した配置の単語を含む英文テキストをデータベースから検索して取得する。そしてその後、検索された英文に対応付けて格納されているリンク情報を取得する。

使用される配置情報は、撮影の角度やスケールになるべく依存しない情報が望ましい。例えば、各単語が含まれる行の相対的な配置情報や角度情報である。あるいは、文字や背景の色情報や文字サイズ、さらに、罫線レイアウトや罫線と文字との相対配置関係等も使用することも可能である。
単語の配置情報の例として、部分画像に含まれる単語の相対的な位置関係を表す角度情報を抽出する手順に関しては、例えば、利用者が指定する着目単語”as”と着目単語の上下左右など周りに存在する複数の単語（以下では周辺単語と呼ぶ）に関して文字認識処理により単語の文字コードと各単語の矩形重心座標をそれぞれ抽出する。その後、着目単語の矩形重心から各周辺単語の矩形重心に線分1101〜1105を引きその線分間の角度1106〜1110を計算する。この角度計算は任意の周辺単語重心間について計算してよい。この重心間角度は画像のスケールに依存しないので安定した配置情報となりうる。（これらについては、図１１を参照して詳しく後述される。）
以下、図１〜１４を参照して第１の実施形態について詳細に説明する。

第1の実施形態は、上記の機能乃至構成を携帯情報端末において実現するシステムの例である。

図１は、携帯情報端末の構成例を示すブロック図である。

携帯情報端末１００は例えば携帯電話であり、その本体は、認識対象となる英語の教科書等を光学的に入力するカメラやスキャナなどの画像撮影部１１０と、認識対象の画像や文字認識結果、カーソル１７２等を表示する液晶などの表示部１２０と、利用者がキー操作して情報を入力するキー１７４〜１７９を配置した入力部１３０を備えている。更にその内部の構成として、携帯情報端末の全体の制御を行なう端末制御部１４０、画像撮影部１１０から得られた画像に含まれる単語等の認識を行なう文字認識部１５０、文字認識結果を用いて英文に対応するリンクデータを検索するためのリンクＤＢ検索部１６０、様々な処理結果データやデータベースを格納するためのメモリ１８０を有する。

端末制御部１４０は、通信制御部１４１、画像撮影部１１０を制御するためのカメラ制御部１４２、入力部１３０を制御するためのキー入力制御部１４３、表示部１２０を制御するための表示制御部１４４、文字認識部１５０やリンクＤＢ検索部１６０を制御するための文字認識/リンクＤＢ検索制御部１４５から構成される。文字認識部１５０は入力された画像から各単語の矩形座標を抽出するための単語矩形座標抽出部１５１、単語矩形座標抽出部１５１の出力に基づいて入力画像の矩形座標内の単語認識を行う単語認識部１５２を有して構成される。

メモリ１８０は、入力部１３０の操作により取り込まれた画像データ１８１、文字認識部１５０による認識結果を格納する単語認識結果データ１８２、リンクＤＢ検索部１６０の出力を格納するリンク参照候補文検索結果データ１８３、及び撮影対象とする英文の文書と各英文に対応したリンクデータを格納するリンクＤＢ（データベース）１８４、リンクデータを参照した結果を格納するリンク参照データ１８５を格納する。リンクＤＢ１８４には英文に含まれる各単語の配置情報も併せて格納される。

尚、ここで、文字認識部１５０、リンクＤＢ検索部１６０はソフトウェアの実行により実現される機能であってもよい。

リンクＤＢ１８４は、リンクＤＢがプレインストールされたＲＯＭが携帯情報端末１００に実装されたことを前提にしてもよい。またはこのリンクＤＢを格納したＳＤ（Secure Digital）カードなどのメモリ媒体を購入して、そのＳＤカードからリンクＤＢをメモリ１８０のリンクＤＢ１８４にインストールすることを想定してもよい。また、リンクＤＢ１８４は半導体メモリのような静的記憶装置に限らず、ハードディスク装置のような記憶装置に格納されてもよい。

図２は携帯端末とリンクデータ参照先のデータが格納されているＷＥＢサーバ２０２がネットワーク２０１で接続されている構成を示している。ＷＥＢサーバ２０２をアクセスして得られたデータはリンク参照データ１８５に格納される。

次に、図３に示す一連の処理フローを参照して、各英文に関連付けられたリンクデータをアクセス・参照する動作について説明する。

なお、図３による全体的な処理動作の説明において、各動作の詳細な説明については更に図４以降の図を参照することがある。

まず、利用者は携帯情報端末１００の画像撮影部１１０を用いて文字認識対象となる雑誌や本等の画像を撮影する。撮影された画像はメモリ１８０中の画像データ１８１の領域にデジタル画像として格納される（３０１）。

図４にリンクデータ参照対象の英文文書の例を示す。右上に「P24」とページ番号が付されている。４０１で囲まれた部分は、画像撮影部１１０で撮影された画像の範囲を示し、画像データ１８１に格納される。この画像データ１８１が文字認識部１５０に入力される画像の範囲である。なお、この例では３行目の”To meet”で始まり５行目の”quality products.”で終わる２番目の文に関するリンク情報を参照するために画像を取り込むことを仮定する。この文書のリンク情報参照のために、本実施形態では２番目の英文を構成する任意の単語が着目対象となり得る。ここでは図１の表示部１２０に示すように、着目対象を示す「＋」のマーク１７２は、”as”に重なっていると想定する。

次に、単語矩形座標抽出部１５１にて、入力された画像から英単語の場所を示す矩形座標が抽出される（３０２）。ここでは、図５に示すように、着目している”as”５０１だけでなく、縦方向に見たときに”as”５０１の矩形とオーバーラップがある上下の行の単語パターン５０２、５０３、５０６、及び横方向に見たときに”as”の矩形とオーバーラップがあり、”as”に隣接している単語パターン５０４、５０５についても近傍の単語パターンとして一緒に矩形座標が抽出される。

この矩形座標抽出処理３０２の動作の詳細について、図６を用いて説明する。

画像データ１８１に格納されている画像４０１が単語矩形座標抽出部１５１に入力されると、最初に２値画像が生成される（６０１）。次に、文字行の大雑把な位置を検出するために、画像の横方向に黒画素を加算して投影分布を求める（６０２）。

図７は画像情報として含まれる文字行の黒画素投影の算出の原理を示す図である。画像の原点は左上であり、７０２は画像縦方向の座標軸に相当し、７０３は横方向の投影分布を表す。この投影分布の算出後、文字行の存在する縦方向座標の範囲を求めるため、非零値の範囲７０４〜７０８を計算する（６０３）。求められた文字行の存在する縦方向座標の範囲で、黒画素が連結した塊である連結成分を求めると共にその外接矩形座標もあわせて計算する。そして、連結成分の外接矩形同士の隙間等を参照しながら距離が近い矩形を横方向に統合し（６０４）、統合された矩形の座標は単語の矩形座標として単語認識結果データ１８２に格納される（６０５）。

図８は単語認識結果データ１８２の構成例を示す。

８１７から８２２は各単語のデータレコードを示しており、８１０は単語の文字コード格納領域、８１１は矩形左上Ｘ座標、８１２は矩形左上Ｙ座標、８１３は矩形右下Ｘ座標、８１４は矩形右下Ｙ座標、８１５は単語が含まれる行の行番号を表す。８１６は周辺単語と着目単語を区別するための着目単語フラグであり、着目単語に対しては“１”、それ以外の周辺単語は“０”を格納する。ステップ６０５の処理では、８１１から８１６のデータが格納される。

次に、単語認識部１５２は、抽出された英単語矩形座標５０１から５０６に対して抽出された矩形座標内に存在する英単語パターンに関して文字認識処理を行う。具体的には、単語認識結果データ１８２の８１１から８１４の矩形座標データと画像データ１８１を入力し、認識結果である単語の文字コードを同じ単語認識結果データ１８２の単語の文字コード格納領域８１０に出力する（３０３）。

リンクＤＢ検索部１６０は、単語認識結果データ１８２の内容を読み出し、リンクＤＢ１８４に対して、”as”が含まれる英文と対応するリンクデータの検索を行う（３０４）。”as”など特定の単語が含まれる英文は、一般的に共通のリンクＤＢ１８４に複数箇所存在する。そのため、複数の英文候補からリンク検索対象英文を絞り込むために、ここでは図５における”as”５０１の周りに存在する５０２から５０６の英単語と”as”５０１との幾何学的な相対関係を用いる。

図９はリンクＤＢ１８４に格納されるデータの構造を示す。

９００は当該単語が含まれる英文を検索するための英単語インデックス部、９０１は英文に含まれる英単語の幾何学情報と英単語の文字コードを格納した英文データ格納部、９０２は各英文に対応するリンクデータを格納したリンクデータ格納部である。英単語インデックス部９００は高速にリンク参照対象の英文データ９０１を検索するためのインデックステーブルであり、９０３は単語の文字コードデータ、９０４は当該単語が文書中に現れる数、９０５、９０６は当該単語が含まれる英文データ格納部９０１へのポインタである。

英文データ格納部９０１において、一つの英文を構成する単語データのレコード９１６から９２２の各カラムの内容について説明する。９１０は英文を構成する英単語データである。９１１、９１２は英文が含まれる当該ページの左上を原点とした場合の当該英単語の矩形重心座標であり、９１１はＸ座標の値、９１２はＹ座標の値を示す。これら座標値は任意の解像度、あるいは、適当なスケールを仮定して決定してよい。９１３、９１４はそれぞれ当該単語が含まれるページ数、行番号である。９１５は単語が含まれる行中において左から数えて何番目の単語であるかを示す。９２２のレコードは英文の終りを示す”.”（ピリオド）とリンクデータ格納部９０２へのポインタからなっている。リンクデータ格納部９０２において、９２３から９２５は各英文に対応するリンクデータを示す。リンクデータ格納部９０２へのポインタは文単位に存在し、一つの英文が一つのリンクデータ、本実施例の場合はＵＲＬ文字列に対応するようにポインタが張られている。

次に、図１０を参照してリンク参照候補文の選択処理動作３０４の詳細について説明する。

まず、ステップ３０３にて抽出された着目単語”as”５０１の矩形重心から、近傍単語”we”５０２、”have”５０３、”resulting”５０４、”high”５０５、”create”５０６の各矩形重心座標に線を引き、その線分間の角度、あるいは、余弦を測定する（１００１）。

図１１を用いてこの処理の詳細を説明する。着目単語”as”の矩形重心から、各近傍単語の矩形重心に引いた線分は１１０１、１１０２、１１０３、１１０４、１１０５で示される。例えば、近傍単語”we”、”have”に引かれた線分間の角度は１１０６で示される。以下、同様に各近傍単語の重心に引かれた線分間の角度を計算する。ここで角度を計算するのは、カメラで撮影した画像のスケールや撮影角度と辞書登録時に単語の位置を表すために使用したスケールや撮影角度が一般には異なるため、これらが変わっても変化しにくい幾何学的相対関係を記述する量を抽出するためである。変化しにくい量に相当すれば任意の量を用いることができ、例えば、各単語が属する相対的な行番号でもよい。”we”、”have”は１行目、”resulting”、”as”、”high”は２行目、”create”３行目等である。あるいは、文字や背景の色情報や文字サイズ、さらに、罫線レイアウトや罫線と文字との相対配置関係等も使用することが可能である。

次に、リンクＤＢ１８４の英文インデックス部９００の”as”レコード９０８を参照して、英文データ格納部９０１の”as”が含まれる英文データを検索し、さらにその近傍単語が存在するかを検索する（１００２）。具体的には、最初に”as”が含まれるレコード９１９のデータを参照した後、カラム９１４の行番号の情報を参照しながら”as”が含まれる行の前後の行に存在する単語の中に入力画像から得られた近傍単語を検索する。検索の結果、近傍単語の数が閾値以上か否かを判定する（１００３）。判定の結果、近傍単語の数が閾値以上存在すれば、近傍単語が存在したと見なしてステップ１００４に進む。一方、閾値以上でなければ、ステップ１００７に進む。ここで、近傍単語を全数見つけるのではなく閾値以上としたのは、誤認識により正しい単語が得られない場合を考慮している。

次に、得られた近傍単語について、ステップ１００１と同様な処理により着目単語”as”の矩形重心から近傍単語の矩形重心に引いた線分間の角度を計算する（１００４）。具体的には、近傍単語の矩形重心Ｘ座標の値９１１、および、Ｙ座標の値９１２を参照して、得られた各近傍単語の矩形重心間の角度とステップ１００１で得られた角度との差分を取る。ここでは、計算コストを減らすため角度差分の代わりに角度の余弦差分のことを相違度と定義する。

例えば、辞書データに格納された単語矩形座標を用いて、”as”の矩形重心を基点とした単語”we”、”have”の矩形重心座標間の角度余弦計算は以下の通りである。
“as”から“we”への矩形重心ベクトル :ａ＝(x、y)＝(330-400、225-300)＝(-70、-75)
“as”から“have”への矩形重心ベクトル:ｂ＝(x、y)＝(470-400、225-300)＝(+70、-75)
ベクトルａ、ｂ間の余弦＝ａ・ｂ／（‖ａ‖‖ｂ‖）＝0.07
次に、相違度が閾値以下かどうかを判断し（１００５）、閾値以下であればステップ１００６に進み、閾値を超えていればステップ１００７に進む。ステップ１００６では、英文データ格納部９０１において”as”レコード９１９以降の単語データを検索し、文末の記号である”.”（ピリオド）を含むレコード９２２を検索する。そして、ピリオドの後ろに格納されているリンクデータへのポインタを取得して、リンク参照候補文検索結果データ１８３に格納する。

この検索結果データ１８３にはリンクデータへのポインタのみならず、リンク参照対象の英文に含まれる全単語とその単語に付随するレイアウト情報や着目単語を表すフラグ値が格納されている。

図１２にリンク参照候補文検索結果データ１８３の構成例を示す。

１２００はリンク参照候補の英文を構成する単語数であり、１２０１から１２０５は当該英文に含まれる各単語の属性データである。１２０１は単語の文字コード格納領域であり、１２０２から１２０４はそれぞれ図９のカラム９１３から９１５のデータをコピーして格納しており、各データは単語が存在するページ番号、行番号、行内の左から数えた単語番号である。１２０５は着目単語を表すフラグであり、着目単語であれば、“１”、それ以外は“０”が格納されており、本フラグは表示部の画面表示制御に用いる。１２０６から１２１３はリンク参照英文候補を構成する単語レコードであり、１２００で示された数だけレコードが存在する。１２１４は当該英文に対応するリンクデータへのポインタであり、図９のレコード９２２のポインタデータをコピーして格納している。

上記ステップ１００２から１００６までの処理をレコード９０８に格納されている９０５以降のポインタがなくなるまで、すなわち、”as”という単語へのポインタが無くなるまで繰り返す（１００７）。このようにして得られたリンクデータの候補ポインタと英文データをリンク参照候補文検索結果データ１８３から読み出し、さらに、”as”近傍画像と矩形座標をそれぞれ画像データ１８１、単語認識結果データ１８２から読み出し、それらを表示部１２０上に表示する（１００８）。

図１３にリンク参照英文候補の表示の例を示す。
１３００は入力画像の着目単語である”as”を含む行画像を示し、１３０１は着目単語であることを示す矩形である。１３０２はリンクＤＢ１８４を検索した結果、着目単語”as”が存在する位置を示しており、この例では２４ページ、５行目の左から３単語目に着目単語”as”が存在することを示している。また、ここでアンダーラインが表示されているが、このアンダーラインが引かれた文字を選択すると、対応するリンク（ＵＲＬ）データをアクセスした結果を表示することができるというハイパーリンクを表しており、このリンクを選択すると図１２の１２１４に格納されているポインタを参照してリンクデータをアクセスした結果が表示できるようになっている。

１３０３は１３０２の単語を含む英文の表示例であり、表示スペースを節約するために、ここでは英文の先頭・末尾単語、および、着目単語の前後の近傍単語のみを表示している。また、着目単語を明示するために”as”はボールド体で表示されている。１３０２と１３０３は対になっており、以下、１３０４から１３０７は同様に着目単語の存在位置と着目単語が含まれる英文が対になって表示されている。

以上のように図１０のステップ１００１から１００８の処理により、着目単語”as”が含まれる英文と対応するリンクデータ候補を検索し、結果が表示部に表示される。

利用者は、図１３に表示されたリンク参照英文候補の内から、該当する対象のもの（この例では１３０２）を入力部１３０の操作により選択する。その時、検索部１６０は対応するリンクデータポインタを参照して図９に示すリンクデータ９２４を検索し（３０５）、リンクデータであるＵＲＬを参照してＷＥＢサーバ２０２をアクセスして結果をリンク参照データ１８５に格納すると共に表示部１２０に表示する（３０６）。

図１４にリンクデータのアクセス結果の表示例を示す。

１４００、１４０１は図１３における１３００、１３０１と同様であり、１４０２は１３０３の英文に対応するリンクデータをアクセスした結果であり、図１２における１２１４のポインタを参照した上で、リンクＤＢ１８４における９２４（図９）のリンクデータを取得して当該ＵＲＬをアクセスした結果が表示されている。ここではアクセスしたＵＲＬには”Product manufacture Process”の画像データが格納されていることを想定し、そのデータが画面上に表示されている。

以上説明したように、図３に示す処理により利用者は英文の一部を撮影することで、文書中でどこを撮影しているかを特定し、該当する英文のリンクデータのアクセス結果を得ることができる。

次に、図１５〜１７、図２６を参照して第２の実施形態について説明する。

第２の実施形態は、図２６に示すように、上述したリンクＤＢ及びその検索手段をリンクデータベース（ＤＢ）サーバ２０３に保持させ、必要に応じて通信ネットワーク２０１を介してリンクＤＢサーバ２０３からデータを携帯情報端末１００にダウンロードする例である。２０２は図２と同様にＷＥＢサーバを表す。即ち、携帯情報端末１００では取得された画像から単語認識を行い、その認識結果をサーバ２０２に送信して、リンクＤＢサーバ２０３において認識結果である文字コードを用いてリンクＤＢを検索し、検索結果を携帯情報端末１００に返送して表示するシステム構成とその処理手順について、以下説明する。

図１５は、第２の実施形態における携帯情報端末のブロック図である。

この例も第１の実施形態と同様に英文に関連付けられたリンク情報を取得する例である。図１の構成との主な相違点は、リンクＤＢ１８４に代わって、リンクデータそのものを格納するリンクデータ１８６の格納部が設けられること、文字認識/リンクＤＢ検索制御部１４５による処理手順が変わること等である。

図１６はリンクＤＢサーバ２０３の概略的な構成を示す。

リンクＤＢサーバ２０３では、通信制御部１６０１、中央演算装置１６０２、メモリ１６０３がバス１６００を介して接続されている。メモリ１６０３にはリンクＤＢ検索プログラム１６０４が格納されている。このプログラムは図１におけるリンクＤＢ検索部１６０と同様にリンクＤＢの検索処理を行うためのプログラムである。単語認識結果データ１６０５、リンク参照候補文検索結果データ１６０６、リンクＤＢ１６０７は、それぞれ図１における単語認識結果データ１８２、リンク参照候補文検索結果データ１８３、リンクＤＢ１８４と同等のデータを格納する領域である。

図１７は、第２の実施例における携帯情報端末１００とリンクＤＢサーバ２０３のそれぞれの処理を示すフローチャートである。

図において、実線の矢印は処理のフローを示し、点線の矢印はデータの流れを示す。

画像入力処理（１７０１）から英単語認識処理（１７０３）は、図３におけるステップ３０１から３０３と同様であり、画像撮影部１１０により撮影されたリンク参照対象の文を部分的に含む画像から英単語を認識し、認識結果を単語認識結果データ１８２に格納する。次に文字認識/リンクＤＢ検索制御部１４５は単語認識結果データ１８２に格納された英単語認識結果データを、通信制御部１４１を介してリンクＤＢサーバ２０３に送信する（１７０４）。

リンクＤＢサーバ２０３では、携帯情報端末１００から送信された単語認識結果データを受信して、そのデータを単語認識結果データ１６０５に格納する（１７１０）。その後、リンクＤＢ検索プログラム１６０４を実行してリンクＤＢ１６０７を検索してリンク参照候補文の検索を行なう（１７１１）。この処理は、単語認識結果データ１６０５を用いて図１０のステップ１００１から１００７と同様な処理手順でリンクＤＢ１６０７を検索し、検索結果をメモリ１６０３のリンク参照候補文検索結果データ１６０６に格納する処理である。

次に、サーバ２０２は、メモリ１６０３に格納されたリンク参照候補文検索結果データ１６０６を携帯情報端末１００に送信し（１７１２）、携帯情報端末１００ではそのデータを受信して、リンク参照候補文検索結果データ１８３に格納する（１７０５）。

そして携帯情報端末１００では、リンク参照候補文検索結果データ１８３を参照して、図１３に示すようなリンク参照候補検索結果を表示部１２０に表示する。利用者は、表示部に表示されたリンク候補から１つを選択する（１７０６）。選択結果として図１２における英文に対応するリンクデータへのポインタ１２１４のデータのみをサーバ２０２に対して送信する（１７０７）。

リンクＤＢサーバ２０３では、携帯情報端末１００から送信されたリンクデータへのポインタを受信し（１７１３）、受信したポインタを参照して対応するリンクデータを検索する（１７１４）。そして、その検索の結果得られたリンクデータを携帯情報端末１００に送信する（１７１５）。携帯情報端末１００では、検索されたリンクデータを受信して、メモリ１８０のリンクデータ１８６に格納し（１７０８）、そのリンクデータであるＵＲＬを参照してＷＥＢサーバ２０３をアクセスして参照データをリンク参照データ１８５に格納すると共に表示部１２０に表示する（１７０９）。表示部１２０の表示画面の内容は、図１２と同様である。

以上のように図１７に示す処理動作により、利用者はリンク参照とする英文全体を撮影する必要がなく、リンクＤＢサーバ２０３に備えられたリンクＤＢ１６０７、及びそのＤＢを検索する検索手段を利用してネットワークを介して目的のリンクデータを得ることができる。第１、第２の実施例ではリンクＤＢ１８４、リンクＤＢ１６０７におけるリンクデータ格納部９０２にはリンク情報であるＵＲＬの文字列を格納したが、リンク情報の代わりに画像等の実際に参照されるデータを格納してもよい。

次に、図１８〜図２５を参照して第３の実施形態について説明する。

この例は和文に埋め込まれたリンクデータを参照する例である。英文の場合には単語と単語の間に空白が在る（第１、２の実施形態の場合）。しかし本実施形態における和文の場合には、文字認識対象となる和文は空白による単語の区切れ目のない文である。和文の場合、英単語に相当するのは和文の構成要素である「形態素」に着目するものであり、「形態素」に対する文字認識と、それを用いたリンク候補文検索に特徴がある。以下、図面を参照して説明する。

図１８は、携帯情報端末の構成を示すブロック図である。

図１に示した携帯情報端末１００の構成との主な相違点は、文字認識部１５０の構成及び処理動作にある。即ち、図１８に示す形態情報端末１００の文字認識部１５０の文字行座標抽出部１５０１、形態素認識部１５０２は、それぞれ図１の単語矩形座標抽出部１５１、単語認識部１５２に対応する。メモリ１８０では文字行座標データ１８０４が新たに追加された。形態素認識結果データ１８０５、リンク参照候補文検索結果データ１８０６、リンクＤＢ１８０７、リンク参照データ１８０８は、それぞれ図１の１８２、１８３、１８４、１８５に対応する。

図１９は第３の実施形態のリンク処理フローを示す。以下、図１９を用いて図１８の携帯情報端末の処理動作について説明する。

まず、画像撮影部１１０で撮影された文字認識対象画像が入力される（１９０１）。

図２０に、認識対象となる和文の文書の例を示す。右上に「P24」とページ番号の表示がある。２００１は、画像撮影部１１０で撮影されて取り込まれた画像の範囲を示し、この範囲の画像が文字認識部１５０に入力される。この例では、３行目の「これに応える・・・」で始まり、５行目の「・・・努めています。」で終わる２番目の文に張られたリンクデータにアクセスするために画像を取り込むことを仮定する。この文書からリンク情報を抽出するために、この実施形態では２番目の和文を構成する任意の形態素が着目対象となり得る。ここでは着目対象を示す「＋」のマークは５行目の「製品」に重なっていると想定する。

文字認識部１５０の文字行抽出部１５０１にて、入力された画像から文字行の場所を示す矩形座標を抽出する（１９０２）。この処理は、図３のステップ３０２と同様な処理である。ここで、着目している「製品」を含む文字行座標だけでなく、上下の文字行座標も合わせて出力される。ステップ３０２では単語単位の矩形座標を抽出したが、日本語の場合は単語の区切れ目に相当する空白は存在しない。そこで、図７に示すような行方向の黒画素射影を取って行の位置を計算した後は、その中に含まれる近接した連結成分を統合して文字行の矩形座標を計算し、文字行座標データ１８０４に格納する。

抽出された文字行の矩形座標に対して形態素認識部１５０２は抽出された矩形座標内に存在する文字パターンに対して文字認識処理を行うと共に形態素解析を行い、文字認識結果として各形態素の文字コードと形態素に対応する矩形の重心座標を形態素認識結果データ１８０５に出力する（１９０３）。ここで、図２１に示すように「製品」２１０１の矩形座標と横方向にオーバーラップがある上下の文字行の形態素パターン、および、「製品」の隣接形態素パターン２１０２〜２１０９に対する文字コードと矩形重心座標が抽出される。

図２２に形態素認識結果データ１８０５の構成を示す。

２２１６から２２２４は各形態素のデータレコードを示す。また２２１０は形態素の文字コード格納領域を示し、２２１１から２２１４はそれぞれ形態素矩形の左上Ｘ座標、左上Ｙ座標、右下Ｘ座標、右下Ｙ座標を示す。２２１５は形態素が含まれる行の行番号を示す。２２１６は周辺形態素と着目形態素を区別するための着目形態素フラグであり、着目形態素に対しては“１”、それ以外の周辺形態素は“０”を格納する。

文字認識結果はリンクＤＢ１８０７に渡され、実施例１で説明した処理と同様な方法により、文字認識結果をキーとして「製品」が含まれる和文と対応するリンクデータ候補の検索を行う（１９０４）。

図２３にリンクＤＢ１８０７に格納されるデータの構造を示す。２３００は当該形態素が含まれる和文を検索するための形態素インデックス部、２３０１は和文データ格納部、２３０２はリンクデータ格納部である。形態素インデックス部２３００において、２３０３は形態素データ、２３０４は当該形態素が文書中に現れる数、２３０５、２３０６は当該形態素が含まれる和文データ格納部２３０１へのポインタである。

和文データ格納部２３０１において、一つの和文を構成する形態素データのレコード２３１６から２３２２の各カラムの内容について説明する。２３１０は和文を構成する形態素データである。２３１１、２３１２は和文が含まれる当該ページの左上を原点とした場合の当該形態素の矩形重心座標であり、２３１１はＸ座標の値、２３１２はＹ座標の値を示す。２３１３、２３１４はそれぞれ当該形態素が含まれるページ数、行番号である。２３１５は形態素が含まれる行中において左から数えて何番目の形態素であるかを示す。２３２２のレコードは和文の終りを示す”。”（読点）とリンクデータ格納部２３０２へのポインタからなっている。リンクデータ格納部２３０２において、２３２３から２３２５は各和文に対応するリンクデータを示す。

ステップ１９０４では、第１の実施例と同様に形態素間の相対的な配置情報を用いてリンクデータポインタとそれに対応する和文データをリンクＤＢから検索し表示部上に表示し、利用者は該当すると思われる参照候補のリンクデータポインタを選択する。

図２４を参照してステップ１９０４の詳細を説明する。

まず、ステップ１９０３で抽出された着目形態素「製品」の矩形重心から図２１に示す近傍形態素２１０２から２１０９への各矩形銃身座標に線を引き、図１０のステップ１００１と同様にその線分間の角度、あるいは、余弦を測定する（２４０１）。

次に、リンクＤＢ１８０７の形態素インデックス部２３００の「製品」レコード２３０８を参照して和文データ格納部２３０１の「製品」が含まれる和文データを検索し、さらに、その近傍形態素が存在するかをステップ１００２と同様な処理手順により検索する（２４０２）。検索の結果、近傍形態素の数が閾値以上であるか否かを判定する。閾値以上であれば、近傍形態素が存在したと見なしてステップ２４０４に進む。これに対して、閾値以上でなければステップ２４０７に進む（２４０３）。

近傍形態素の数が閾値以上である場合、得られた近傍形態素について、ステップ２４０１と同様な処理により着目形態素「製品」の矩形重心から近傍形態素の矩形重心に引いた線分間の角度を計算し、相違度を計算する（２４０４）。この計算はステップ１００４と同様な計算処理である。その後、相違度が閾値以下かどうかを判断し（２４０５）、閾値以下であればステップ２４０６に進み、閾値を超えていればステップ２４０７に進む。

相違度が閾値以下の場合、和文データ格納部２３０１において「製品」レコード２３１９以降の単語データを検索し、文末の記号である「。」（読点）を含むレコード２３２２を検索する。そして、読点の後ろに格納されているリンクデータへのポインタを取得して、リンク参照候補文検索結果データ１８０６に格納する（２４０６）。

図２５にリンク参照候補文検索結果データ１８０６の構成例を示す。

２５０１はリンク参照候補の和文を構成する形態素数であり、２５０２から２５０６はこの和文に含まれる各形態素の属性データである。２５０２は形態素の文字コード格納領域であり、２５０３から２５０５はそれぞれ図２３のカラム２３１３から２３１５のデータをコピーして格納しており、各データは形態素が存在するページ番号、行番号、行内の左から数えた形態素番号である。２３０６は着目形態素を表すフラグであり、着目形態素であれば、“１”、それ以外は“０”が格納されており、本フラグは表示部の画面表示制御に用いる。

２５０７から２５１３はリンク参照候補の和文を構成する形態素レコードであり、２５０１で示された数だけレコードが存在する。２５１４は当該和文に対応するリンクデータへのポインタであり、図２３のレコード２３２２のポインタデータをコピーして格納している。

上記ステップ２４０２から２４０６までの処理をレコード２３０８に格納されている２３０５以降のポインタがなくなるまで、すなわち、「製品」という形態素へのポインタが無くなるまで繰り返す（２４０７）。このようにして得られたリンクデータの候補ポインタと和文データをリンク参照候補文検索結果データ１８０６から読み出し、さらに、「製品」近傍画像と矩形座標をそれぞれ画像データ１８１、形態素認識結果データ１８０４から読み出し、それらを表示部１２０に表示する（２４０８）。

以上のように、図２４に示す処理により、着目形態素「製品」が含まれる和文と対応するリンクデータ候補を検索し、結果が表示部に表示される。参照候補リンクデータの内、該当するリンクデータに関係するポインタを利用者が選択すると、対応するリンクデータをリンクＤＢ１８０７から検索する（１９０５）。そして、リンクデータであるＵＲＬを参照してＷＥＢサーバ２０２をアクセスして、結果をリンク参照データ１８０８に格納すると共に表示部１２０に表示する（１９０６）。

以上のように図１９に示す処理により、利用者は和文の一部を撮影することで、文書中でどこを撮影しているかを特定し、該当する和文のリンクデータのアクセス結果を得ることができる。

上記実施例では形態素を単位として説明したが、ここでは表示部上の「＋」印がどのリンク参照対象の和文を指しているかが分ればよい。従って、代替例においては、形態素を単位にして文字認識や検索処理を行なわないで、任意の文字長、例えば１文字や２文字と設定した文字列を形態素の代わりに処理を行ってもよい。

更に、他の変形例について説明する。図９のリンクＤＢでは文単位にリンクデータへのポインタを設けた。しかし、これは文単位にする必要はなく、単語単位にリンクデータへのポインタを設けることは可能である。図２７、図２８が単語単位にポインタを格納した場合の変更箇所であり、それぞれ、図９のリンクＤＢ、図１２の参照対象候補文検索結果データに対応する。９３０のカラムは図９の９２２に格納されているようなリンクデータ格納部９０２へのポインタであり、９３１から９３８で示すように単語毎にポインタが格納されている。９３９から９４１は単語毎に関連付けられたリンク情報である。図２８ではカラム１２０５の右側に１２２０で示すようなポインタが単語毎に挿入されており、例えば１２２４から１２２６のカラム１２２０のポインタは、図２７における９３３から９３５のカラム９３０に格納されたポインタをコピーして保存している。本実施例では着目単語として１２２５レコードの１２０５のカラムに”１”のフラグが立っているので、１２２５のレコードのポインタを参照して９４０のリンクデータを取得する。同様な構成を設けることにより単語単位の他、和文の場合は形態素単位、あるいは、文字単位にリンクデータと関連付けることが可能である。さらに、文単位の他、節単位、章単位など、任意の単位でリンクデータへのポインタを設けることも可能である。

第１実施形態による携帯情報端末を用いた文書リンクシステムの構成を示す図、 第１実施形態による携帯情報端末及びＷＥＢサーバを含む文書リンクシステムを示す図。 第１実施形態におけるリンクデータ参照処理フローを示す図。 第１実施形態におけるリンク参照対象の英文の例を示す図。 第１実施形態における単語矩形座標の抽出例を示す図 第１実施形態における英単語矩形座標抽出３０２の処理フローを示す図。 第１実施形態における英単語矩形座標抽出３０２のための黒画素投影処理の原理を説明するための図。 第１実施形態における単語認識結果データ１８２の構成例を示す図。 第１実施形態における英文に関連付けられたリンクデータを格納するリンクＤＢ１８４の構成を示す図。 第１実施形態における英文に関連付けられたリンク情報を検索するためのリンクＤＢ検索処理フローを示す図。 第１実施形態における着目単語を基準として周辺単語間の角度測定の説明図。 第１実施形態における英文の参照対象候補文検索結果データの構成例を示す図。 第１実施形態におけるリンク参照対象英文候補の表示例を示す図。 第１実施形態におけるリンクデータの参照結果の表示例を示す図。 第２実施形態による携帯情報端末の構成を示す図。 第２実施形態によるリンクＤＢサーバの構成を示す図。 第２実施形態におけるリンクデータ参照処理フローを示す図。 第３実施形態による携帯情報端末の構成を示す図。 第３実施形態におけるリンクデータ参照処理フローを示す図。 第３実施形態における文字認識・リンク参照対象の和文の例を示す図。 第３実施形態における形態素矩形座標の抽出例を示す図。 第３実施形態における形態素認識結果データの構成例を示す図。 第３実施形態における和文に関連付けられたリンクデータを格納するリンクＤＢ１８０７の構成を示す図。 第３実施形態における和文に関連付けられたリンクデータを検索するためのリンクＤＢの検索処理フローを示す図。 第３実施形態における和文のリンク参照候補文検索結果データ１８０６の構成例を示す図。 第２実施形態による携帯情報端末及びＷＥＢサーバ、リンクデータベースサーバを含む文書リンクシステムを示す図。 第１実施形態における英単語に関連付けられたリンクデータを格納するリンクＤＢ１８４の構成を示す図。 第１実施形態における単語単位のポインタを格納した参照対象候補文検索結果データの構成例を示す図。

符号の説明

１００・・・携帯情報端末、１１０・・・画像撮影部、１２０・・・表示部、１３０・・・キー入力部、１４０・・・端末制御部、１５０・・・文字認識部、１６０・・・リンクＤＢ検索部、１８０・・・メモリ、１８４・・・リンクＤＢ、２０２・・・サーバ

Claims (14)

1. 画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に基づき、リンク情報を取得し、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得システムにおいて、
   単語からなる文とリンク情報を対応付けて保持すると共に、該文に含まれる各単語の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、該画像撮影部で撮影された画像から利用者により指定された着目単語パターンとその着目単語パターンの周辺の単語パターンを対象として文字認識処理を行い、該単語パターンの文字コードを出力する文字認識部と、
   利用者により指定された着目単語パターンと該着目単語パターンの周辺の単語パターンに関して相対的な配置情報を抽出する抽出部と、
   該着目単語パターンと該着目単語パターンの周辺の単語パターンに関して、該文字認識部より得られた該文字コードと、該抽出部より得られた該相対的な配置情報を用いて該文書リンク情報データベースを検索する検索部と、
   を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示することを特徴とする文書リンク情報取得システム。
2. 前記文書リンク情報データベース部は、英文とそのリンクデータを対応付けて格納することを特徴とする請求項１記載の文書リンク情報取得システム。
3. 前記文書リンク情報データベース部は、スペースで区切られた単語からなる文とリンク情報を対応付けて格納することを特徴とする請求項１記載の文書リンク情報取得システム。
4. 該相対的な配置情報は、利用者により指定された着目単語パターンの矩形重心から着目単語パターンの各周辺単語パターンの矩形重心に線分を引き、それらの線分間の角度であることを特徴とする請求項１記載の文書リンク情報取得システム。
5. 該相対的な配置情報は、利用者により指定された着目単語パターンが含まれる行、および、着目単語パターンの各周辺単語パターンが含まれる行の相対的な配置情報であることを特徴とする請求項１記載の文書リンク情報取得システム。
6. 画像撮影部と、利用者に操作されて情報を入力する入力部と、該画像撮影部で撮影された画像に含まれる文字に基づき、リンク情報を取得する処理を行うリンク情報取得部と該リンク情報取得部により得られたリンク情報を参照してリンク先のデータを表示する表示部とを有する携帯情報端末を用いた文書リンク情報取得システムにおいて、
   文書中の各文とリンク情報を対応付けて格納すると共に、各文に含まれる各形態素の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、
   該画像撮影部で撮影された画像から利用者により指定された着目形態素パターンとその着目形態素パターンの周辺の形態素パターンに関して文字認識処理を行い、各形態素の文字コードを出力する文字認識部と、
   利用者により指定された着目形態素パターンと該着目形態素パターンの周辺に存在する形態素パターンに関して相対的な配置情報を抽出する抽出部と、
   該着目形態素パターンと該着目形態素パターンの周辺に存在する形態素パターンに関して、該文字認識部より得られた文字コードと、該抽出部より得られた該相対的な配置情報を用いて該文書リンク情報データベースを検索する検索部と、
   を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示することを特徴とする文書リンク情報取得システム。
7. 画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に基づき、リンク情報を取得し、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得システムにおいて、
   単語からなる文とリンク情報を対応付けて保持すると共に、該文に含まれる各文字の配置情報を関連付けて保持する文書リンク情報データベースを格納する記憶装置と、
   該画像撮影部で撮影された画像から利用者により指定された着目文字パターンとその着目文字パターンの周辺の文字パターンを対象として文字認識処理を行い、該文字パターンの文字コードを出力する文字認識部と、
   利用者により指定された着目文字パターンと該着目文字パターンの周辺の文字パターンに関して相対的な配置情報を抽出する抽出部と、
   該着目文字パターンと該着目文字パターンの周辺の文字パターンに関して、該文字認識部より得られた該文字コードと該抽出部より得られた該相対的な配置情報を用いて、該文書リンク情報データベースを検索する検索部と、
   を有し、該検索部より得られたリンク情報を参照してリンク先のデータを該表示部に表示することを特徴とする文書リンク情報取得システム。
8. 前記文書リンク情報データベースを格納する記憶装置、及び前記検索部を備えるサーバを有する文書リンク情報取得システムであって、
   該携帯情報端末の該文字認識部より得られた該文字コードと、該抽出部より得られた該相対的な配置情報を、ネットワークを介して該サーバに送信し、該サーバにおいて該検索部により該文書リンク情報データベースを検索した結果得られたリンク情報を、該ネットワークを介して該携帯情報端末に送信することを特徴とする請求項１乃至７のいずれかの文書リンク情報取得システム。
9. 前記文字認識部、前記抽出部、前記文書リンク情報データベースを格納する記憶装置、及び前記検索部を備えるサーバを有する文書リンク情報取得システムであって、
   該携帯情報端末の該画像撮影部より得られた画像をネットワークを介して該サーバに送信し、該サーバにおいて該検索部により該文書リンク情報データベースを検索した結果得られたリンク情報を、該ネットワークを介して該携帯情報端末に送信することを特徴とする請求項１乃至７のいずれかの文書リンク情報取得システム。
10. 前記文書リンク情報データベースは、単語が含まれる文を検索するための単語インデックス部と、該文に含まれる単語の幾何学情報と単語の文字コードを格納した文データ格納部と、各文に対応するリンク情報を格納したリンク情報格納部を有することを特徴とする請求項１乃至９のいずれかの文書リンク情報取得システム。
11. 画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部と、端末制御部と、を有する携帯情報端末であって、
    前記端末制御部は、
    該画像撮影部で撮影された画像から利用者により指定された着目単語パターンとその着目単語パターンの周辺の単語パターンを対象として文字認識処理を行い、該単語パターンの文字コードを出力する文字認識部と、
    利用者により指定された着目単語パターンと該着目単語パターンの周辺の単語パターンに関して相対的な配置情報を抽出する抽出部と、
    該着目単語パターンと該着目単語パターンの周辺の単語パターンに関して、該文字認識部より得られた該文字コード及び該抽出部より得られた該相対的な配置情報を用いて、単語からなる文とリンク情報を対応付けて保持され、該文に含まれる各単語の配置情報を関連付けて保持された文書リンク情報データベースを検索する検索部と、を有し、
    前記検索部より得られたリンク情報を参照してリンク先のデータを前記表示部に表示することを特徴とする携帯情報端末。
12. 請求項８又は９のシステムにおいて使用されるサーバ。
13. 画像撮影部と、利用者に操作されて情報を入力する入力部と、表示部と、端末制御部と、を有する携帯情報端末を用いて、該画像撮影部で撮影された画像に含まれる文字に基づき、リンク情報を取得し、そのリンク情報を参照してリンク先のデータを該表示部に表示する文書リンク情報取得方法において、
    前記端末制御部による、
    該画像撮影部で撮影された画像から利用者により指定された着目文字パターンとその着目文字パターンの周辺の文字パターンを対象として文字認識処理を行い、該文字パターンの文字コードを出力するステップと、
    利用者により指定された着目文字パターンと該着目文字パターンの周辺の文字パターンに関して相対的な配置情報を抽出するステップと、
    該着目文字パターンと該着目文字パターンの周辺の文字パターンに関して、該文字認識部より得られた該文字コードと該抽出部より得られた該相対的な配置情報を用いて、単語からなる文とリンク情報を対応付けて保持され、該文に含まれる各文字の配置情報を関連付けて保持された文書リンク情報データベースを検索するステップと、
    該検索の結果得られたリンク情報を参照してリンク先のデータを該表示部に表示するステップと、を有する文書リンク情報取得方法。
14. 該文書リンク情報データベースの検索の結果、該着目文字パターンを含む１又は複数のリンク情報の候補となる文を該表示部に表示するステップと、
    複数の候補の場合、該複数の候補の中から利用者により該入力部を介して指定された候補に対応するリンク情報を参照してリンク先のデータを該文書リンク情報データベースから取得するステップと、を更に有し、
    該文書リンク情報データベースから得られたリンク先のデータと該文の少なくとも一部とを対応させて該表示部に表示することを特徴とする請求項１３の文書リンク情報取得方法。

Images