JP2009294788A - 情報処理装置、情報処理方法、制御プログラム及び記録媒体 - Google Patents

Abstract

【課題】入力された画像データ等の情報に含まれる文字情報の構成を保ったまま、文字情報に対応する情報を付加して出力することが容易な情報処理手段を提供すること。
【解決手段】複数の文字情報を含む画像データを取得し、取得された画像データに含まれる文字情報に対応する対応情報を取得し、文字情報を含む文字行の構成に基づいて、対応情報を挿入するための領域を示す領域情報を取得し、取得された領域情報に基づいて対応情報の挿入態様を決定することを特徴とする。
【選択図】図１１

Description

本発明は、情報処理装置、情報処理方法、制御プログラム及び記録媒体に関し、特に、入力された情報に含まれる文字情報に対応した情報を挿入して出力する際の情報の処理に関する。

近年、情報の電子化が推進される傾向にあり、電子化された情報の出力に用いられるプリンタやファクシミリ等の画像形成装置、画像処理装置は欠かせない機器となっている。このような画像処理装置は、撮像機能、画像形成機能及び通信機能等を備えることにより、プリンタ、ファクシミリ、スキャナ、複写機等として利用可能な複合機として構成されることが多い。

このような複合機において、原稿の複写を実行する際に、単語の訳語を付加した原稿の画像データを出力する方法が提案されている（例えば、特許文献１）。特許文献１に開示された方法においては、行間への訳語の付加を可能とするための手段が開示されている。具体的には、訳語を付すべき単語が属する行と次の行との行間を広げることにより、訳語を付加すべきスペースを確保している。また、訳語を付加するスペースを確保する他の手段としては、表や図等、文書中に含まれる文章以外の情報を削除する例などがある。
特開平５−２６６０７５号公報

しかしながら、特許文献１の手段等を用いる場合、複写すべき元の原稿の構成が変更され、若しくは元の原稿に含まれていた情報が削除されてしまうという課題がある。例えば、原稿の画像データにおける行間を広げる場合、当然に１ページ中に含めることができる行数が減る。その結果、文書を構成する夫々のページの構成が変化し、ページ数も増大してしまう。また、元の文書に含まれていた表や図等の情報を削除する場合、文書の内容の理解が困難若しくは不能となり得る。

また、訳語の挿入に際して、対象の単語の近傍に数字や記号などを挿入し、他のスペースに上記数字や記号等と訳語とを関連付けて脚注として表示することにより、訳語を挿入すべきスペースの課題を解決する態様もあり得る。ここで、脚注とは、書物等の文書の本文とは異なる部分（主として本文の下部）に付された注釈を示す。文書の読み易さのためには、可能な限り対象となる単語の近傍に訳語そのものを挿入することが好ましい。しかしながら、対象となる単語の近傍に十分なスペースがない場合、文字サイズの極小化等を回避するため、上記記号等による脚注での対応となる。このような、対象の単語の近傍に挿入する情報を訳語そのものとするか上記記号等とするかの判断はユーザが行なう必要があり、ユーザの手間となっていた。

このような課題は、文書の言語を他の言語に訳す訳語を付加する場合に限らず、同一の言語間においても同様に課題となり得る。例えば、難解な専門用語や文書における造語に対する注釈を付加する場合等である。即ち、上記課題は、入力された情報に含まれる文字情報に対応した情報を挿入して出力する際に、同様に問題となり得る。

本発明は、上記実情を考慮してなされたものであり、取得された画像データの構成を保ったまま、文字情報に対応する情報が付加された画像データを出力することが容易な情報処理手段を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、画像データに含まれる文字情報に対応する対応情報を該画像データに挿入する情報処理装置であって、複数の文字情報を含む画像データを取得する画像データ取得部と、取得された前記画像データに含まれる文字情報に対応する対応情報を取得する対応情報取得部と、前記文字情報を含む文字行の構成に基づいて、前記対応情報を挿入するための領域を示す領域情報を取得する領域情報取得部と、取得された前記領域情報に基づいて前記対応情報の挿入態様を決定する挿入態様決定部とを有することを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記挿入態様決定部が、取得された前記対応情報が前記領域に収まるように前記対応情報の挿入態様を決定することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の情報処理装置において、前記挿入態様決定部が、取得された前記対応情報を表示するための文字サイズを決定する文字サイズ決定手段を有し、前記挿入態様として前記決定した文字サイズを用いることを特徴とする。

また、請求項４に記載の発明は、請求項３に記載の情報処理装置において、前記文字サイズ決定手段が、取得された前記対応情報が前記領域に収まるように前記対応情報を表示するための文字サイズを決定し、前記挿入態様決定部が、前記決定された文字サイズと予め設定された閾値との関係に基づいて前記挿入態様を決定することを特徴とする。

また、請求項５に記載の発明は、請求項４に記載の情報処理装置において、前記挿入態様決定部が、前記文字サイズが前記閾値よりも小さい場合、前記対応情報を前記領域とは異なる他の領域に表示するように前記挿入態様を決定することを特徴とする。

また、請求項６に記載の発明は、請求項２乃至５いずれか１項に記載の情報処理装置において、前記挿入態様決定部が、前記挿入態様として、取得された前記対応情報を表示するための行数を決定することを特徴とする。

また、請求項７に記載の発明は、請求項２乃至６いずれか１項に記載の情報処理装置において、前記対応情報取得部が、１つの前記文字情報に対応する対応情報として複数の対応情報を取得し、前記挿入態様決定部は、取得された複数の前記対応情報の一部を抽出し、抽出された該対応情報の挿入態様を決定することを特徴とする。

また、請求項８に記載の発明は、請求項２乃至７いずれか１項に記載の情報処理装置において、前記挿入態様決定部は、前記画像データに含まれる文字情報に隣接する他の文字情報に対応する対応情報に基づいて、取得された前記領域情報を修正することを特徴とする。

また、請求項９に記載の発明は、請求項１乃至８いずれか１項に記載の情報処理装置において、前記領域情報取得部が、前記文字情報に隣接する余白の領域を示す領域情報を取得することを特徴とする。

また、請求項１０に記載の発明は、請求項１乃至８いずれか１項に記載の情報処理装置において、前記領域情報取得部が、前記文字情報が含まれる対象文字行と該対象文字行に隣接する隣接行との行間の領域を示す領域情報を取得することを特徴とする。

また、請求項１１に記載の発明は、請求項１０に記載の情報処理装置において、前記領域情報取得部が、対応情報を挿入するための領域を示す領域情報として、前記文字列の幅に応じた前記行間における領域の情報を取得することを特徴とする。

また、請求項１２に記載の発明は、請求項１乃至１１いずれか１項に記載の情報処理装置において、前記領域情報取得部が、対応情報を挿入するための領域の外周に関する情報を取得することを特徴とする。

また、請求項１３に記載の発明は、請求項１乃至１１いずれか１項に記載の情報処理装置において、前記領域情報取得部が、対応情報を挿入するための領域の座標を示す情報を取得することを特徴とする。

また、請求項１４に記載の発明は、請求項１乃至１３いずれか１項に記載の情報処理装置において、前記対応情報取得部が、前記文字情報の訳語を示す情報を取得することを特徴とする。

また、請求項１５に記載の発明は、請求項１乃至１３いずれか１項に記載の情報処理装置において、前記対応情報取得部は、前記文字情報を解説する情報を取得することを特徴とする。

また、請求項１６に記載の発明は、画像データに含まれる文字情報に対応する対応情報を該画像データに挿入する情報処理方法であって、複数の文字情報を含む画像データを取得し、取得された前記画像データに含まれる文字情報に対応する対応情報を取得し、前記文字情報を含む文字行の構成に基づいて、前記対応情報を挿入するための領域を示す領域情報を取得し、取得された前記領域情報に基づいて前記対応情報の挿入態様を決定することを特徴とする。

また、請求項１７に記載の発明は、情報処理プログラムであって、請求項１６に記載の情報処理方法を情報処理装置に実行させることを特徴とする。

また、請求項１８に記載の発明は、記録媒体であって、請求項１７に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする。

本発明によれば、取得された画像データの構成を保ったまま、文字情報に対応する情報が付加された画像データ出力することが容易な情報処理手段を提供することが可能となる。

実施の形態１．
以下、図面を参照して、本発明の実施形態を詳細に説明する。
本実施形態においては、入力された情報に訳語等の情報を挿入する情報処理装置として、スキャナ、プリンタ及び複写機としての機能を有する複合機としての画像処理装置を例として説明する。本実施形態に係る画像処理装置は、プリントアウトや複写等の画像形成動作を実行する際に、画像形成対象として入力された情報を解析し、単語を翻訳する訳語や言葉を解説する注釈等の情報を挿入する。本実施形態においては、画像処理装置による上記入力された情報の解析及び訳語等の挿入処理が要旨となる。

図１は、本実施形態に係る画像処理装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を含む。即ち、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、エンジン３０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０、ＮＶＲＡＭ（Ｎｏｎ―Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０及びＩ／Ｆ６０がバス９０を介して接続されている。また、Ｉ／Ｆ６０にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）７０及び操作部８０が接続されている。

ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。エンジン３０は、スキャナやプリンタ等の画像処理機能を実行する画像処理エンジンである。ＲＯＭ４０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。

ＮＶＲＡＭ５０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム及びアプリケーション・プログラムの動作パラメータの情報等が格納される。Ｉ／Ｆ６０は、バス９０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ７０は、ユーザが画像処理装置１の状態を確認するための視覚的ユーザインタフェースである。操作部８０は、キーボードやマウス等、ユーザが画像処理装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ４０やＮＶＲＡＭ５０若しくは図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＲＡＭ２０に読み出されたプログラムに従ってＣＰＵ１０が動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。

図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。図２に示すように、本実施例に係る画像処理装置１は、コントローラ１００、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ：原稿自動搬送装置）１０１、スキャナユニット１０２、排紙トレイ１０３、ネットワークＩ／Ｆ１０４、ディスプレイパネル１０５、給紙テーブル１０６、プリントエンジン１０７、排紙トレイ１０８及び語意情報ＤＢ１０９を有する。

また、コントローラ１００は、主制御部１１１、エンジン制御部１１２、入出力制御部１１３、画像処理部１１４及び情報挿入制御部１２０を有する。尚、図２においては、電気的接続を実線の矢印で示しており、用紙の流れを破線の矢印で示している。コントローラ１００は、図１に示すＲＡＭ２０にロードされたプログラムに従ってＣＰＵ１０が動作することにより実現される。

ネットワークＩ／Ｆ１０４は、画像処理装置１がクライアント端末等の他の機器と通信する際のインタフェースである。ネットワークＩ／Ｆ１０４は、図１に示すＩ／Ｆ６０によって実現される。クライアント端末が送信した印刷ジョブは、ネットワークＩ／Ｆ１０４を介してコントローラ１００に入力され、コントローラ１００の制御に従って印刷ジョブに基づいた画像形成処理が実行される。

ディスプレイパネル１０５は、画像処理装置１の状態を視覚的に表示する出力インタフェースであると共に、タッチパネルとしてユーザが画像処理装置１を直接操作する際の入力インタフェースでもある。ディスプレイパネル１０５は、図１に示すＬＣＤ７０及び操作部８０によって実現される。

語意情報ＤＢ１０９は、単語とその意味とが関連付けられた辞書情報や、専門用語等の難解な用語とその意味とが関連付けられた情報等を含む。語意情報ＤＢ１０９は、図１に示すＮＶＲＡＭ５０や図示しないＨＤＤ等の不揮発性の記憶媒体に記憶された情報によって実現される。

主制御部１１１は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与える。エンジン制御部１１２は、プリントエンジン１０７やスキャナユニット１０２等を制御若しくは駆動する駆動手段としての役割を担う。入出力制御部１１３は、ネットワークＩ／Ｆ１０４を介して入力される印刷ジョブ等の情報を主制御部１１１に入力する。また、入出力制御部１１３は、主制御部１１１の命令に従ってネットワークＩ／Ｆ１０４を介してネットワークに接続された他の装置に情報を送信する。

画像処理部１１４は、主制御部１１１の制御に従い、印刷ジョブに含まれる情報等に基づいて描画情報を生成する。この描画情報とは、プリントエンジン１０７が画像形成動作において形成すべき画像を描画するための情報である。また、画像処理部１１４は、スキャナユニット１０２から入力される撮像データを処理し、画像データを生成する。この画像データとは、スキャナ動作の結果物として図示しないＨＤＤに格納され若しくはネットワークＩ／Ｆ１０４を介してクライアント端末等に送信される情報である。

情報挿入制御部１２０は、主制御部１１１の制御に従い、画像形成出力対象として入力された情報の解析及び情報の挿入を行なう。情報挿入制御部１２０は、語意情報ＤＢ１０９を参照して、上記の解析及び情報の挿入処理を行なう。情報挿入制御部１２０によって提供される機能が本実施形態の要旨の１つとなる。

画像処理装置１がプリンタとして動作する場合は、まず、入出力制御部１１３がネットワークＩ／Ｆ１０４に接続されたＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して印刷ジョブを受信することにより印刷ジョブが発生する。印刷ジョブが発生すると、主制御部１１１は、印刷ジョブに含まれる画像情報を情報挿入制御部１２０に入力する。情報挿入制御部１２０は、主制御部１１１の制御に従い、訳語や注釈等の情報挿入を実行し、出力情報を生成する。この処理については後に詳述する。

情報挿入が完了すると、情報挿入制御部１２０は、生成した出力情報を主制御部１１１に送信する。次に、画像処理部１１４が主制御部１１１の命令に従い、情報挿入制御部１２０によって生成された出力情報に基づいて描画情報を生成する。画像処理部１１４によって生成された描画情報は、順次図示しないＨＤＤに一時的に保持される。

エンジン制御部１１２は、主制御部１１１の制御に従い、給紙テーブル１０６を駆動して印刷用紙をプリントエンジン１０７に搬送する。また、エンジン制御部１１２は、図示しないＨＤＤに保持された描画情報を取得し、プリントエンジン１０７に入力する。プリントエンジン１０７は、エンジン制御部１１２から受信した描画情報に基づき、給紙テーブル１０６から搬送される用紙に対して画像形成を実行する。即ち、プリントエンジン１０７が画像形成部として動作する。プリントエンジン１０７の具体的態様としては、インクジェット方式による画像形成機構や電子写真方式による画像形成機構等を用いることが可能である。プリントエンジン１０７によって画像形成が施された文書は排紙トレイ１０８に排紙される。

このような画像処理装置１において、上述したように、本実施形態の要旨は情報挿入制御部１２０による訳語や注釈の挿入処理にある。本実施形態に係る情報挿入制御部１２０について、図３を参照して更に詳細に説明する。

図３は、本実施形態に係る情報挿入制御部１２０の詳細及び情報挿入制御部と主制御部１１１、語意情報ＤＢ１０９との接続関係を示すブロック図である。図３に示すように、本実施形態に係る情報挿入制御部１２０は、入力情報取得部１２１、文字情報認識部１２２、情報挿入処理部１２３及び出力情報生成部１２４を有する。本実施形態に係る情報挿入制御部１２０は、図１に示すＲＡＭ２０にロードされたプログラムに従ってＣＰＵ１０が動作することにより構成される。

入力情報取得部１２１は、画像形成出力の対象となる情報、即ち訳語や注釈を付す対象となる情報として入力された情報（以降、入力情報とする）を取得する。入力情報は、スキャナユニット１０２によるスキャン処理によって生成される画像情報若しくはネットワークＩ／Ｆ１０４を介して入力される印刷ジョブに含まれる画像情報として画像処理装置１に入力される。入力情報取得部１２１は、上記入力情報を主制御部１１１から取得する。入力情報取得部１２１は、取得した入力情報を文字情報認識部１２２に入力する。

文字情報認識部１２２は、入力情報取得部１２１が取得した入力情報に含まれる文字情報を認識する。尚、文字情報認識部１２２が実行する文字情報の認識処理は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学文字認識）処理に限られず、印刷ジョブ等により入力された画像情報に含まれる文字コードを認識する処理であってもよい。

ここで、文字情報認識部１２２による文字認識処理について、図を参照して説明する。図４は、本実施形態における文字情報認識部１２２による文字認識動作を示すフローチャートである。図４に示すように、本実施形態に係る文字認識処理において、文字情報認識部１２２は、先ず入力情報取得部１２１から入力情報を取得する（Ｓ４０１）。図４の説明においては、図５に示すような画像５００を入力情報として取得する場合を例とする。図５に示す入力情報は、白地に黒い文字で文章が表示された画像情報である。

図５に示すような入力情報を取得すると、文字情報認識部１２２は、入力情報において連続している黒画素を認識する（Ｓ４０２）。そして、文字情報認識部１２２は、認識した黒画素の外接矩形を抽出する（Ｓ４０３）。図６は、文字認識部１２２による矩形抽出処理の態様を示す図である。図６に示すように外接矩形を抽出すると、文字情報認識部１２２は、隣接する矩形同士を連結し、一定方向に延長することによって行を抽出する（Ｓ４０４）。図７は、文字認識部１２２による行抽出処理の態様を示す図である。

Ｓ４０４における行抽出処理においては、縦書き若しくは横書きのいずれかによって短形同士を連結する方向が異なる。即ち、入力情報に含まれる文書が縦書きであれば、文字情報認識部１２２は、縦方向に短形同士を連結するように処理する。他方、入力情報に含まれる文書が横書きであれば、文字情報認識部１２２は、横方向に短形同士を連結するように処理する。図７に示すように、本実施形態においては、入力情報に表示された文書が横書きである。従って、文字情報認識部１２２は、横方向に短形同士を連結して行抽出を行なう。Ｓ４０４の処理により、図４の例においては、図７に示すように、行画像５０１〜５０４が抽出される。尚、文字情報認識部１２２は、Ｓ４０４の処理により、図７に示すように行画像を抽出する場合の他、例えば英単語毎の単語毎の表示領域を抽出することも可能である。このような例については後述する。

図７に示すように行抽出を行なうと、文字情報認識部１２２は、抽出された行画像の夫々に対して、文字抽出処理を実行する（Ｓ４０５）。文字情報認識部１２２は、文字抽出処理において、特徴抽出、パターン辞書照合により文字画像に対応するテキストデータを抽出し、文字認識を実行する。文字認識処理においては、公知の技術を用いることが可能であり、本実施形態においては詳細な説明を省略する。

文字情報認識部１２２は、図４に示す文字認識動作により、文字情報抽出を抽出すると、抽出した文字情報と入力情報の画像においてその文字情報が表示されている領域とが関連付けられた情報（以降、文字表示領域情報）を生成する。図８に、図４の例において生成される文字表示領域情報に含まれる情報の例を示す。図８に示すように、本実施形態に係る文字表示領域情報には、図４のＳ４０４において抽出した行毎の文字情報（以降、行文字情報とする）と、夫々の行文字情報が表示される領域を示す座標情報とを含む。尚、上述したようにＳ４０４において英単語毎の表示領域を抽出した場合、Ｓ４０５の処理によって生成される情報は、行文字情報ではなく単語文字情報となる。このような例については後述する。

文字情報認識部１２２は、図８に示すように文字表示領域情報を生成すると、透明テキスト情報５１０を生成する。ここで、透明テキスト情報５１０とは、文字表示領域情報に含まれる夫々の行文字情報であって透明な文字情報が、夫々の表示領域に配置された情報である。文字情報認識部１２２は、図９に示すように、透明テキスト情報５１０を入力情報５００に重ねる。このように、画像情報である入力情報５００に透明テキスト情報５１０が重ねられた情報が、本実施形態において画像データである出力対象情報として用いられる。

図９に示すように、入力情報５００に透明テキスト情報５１０を重ねることにより、画像として表示されている文字情報を文字検索の対象とすることが可能となる。このような態様は、出力対象情報（若しくは後述する出力情報）をＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）形式等の情報形式で保存する場合に特に有効である。文字情報認識部１２２は、図９に示す画像データである出力対象情報を情報挿入処理部１２３に入力する。即ち、情報挿入処理部１２３が画像データ取得部として機能する。

情報挿入処理部１２３は、文字情報認識部１２３から取得した出力対象情報と語意情報ＤＢ１１５に基づき、訳語や注釈等の挿入情報を出力対象情報に挿入する。ここで、挿入情報とは、訳語や注釈等、出力対象情報に含まれる文字情報に対応する情報、即ち対応情報である。情報挿入処理部１２３は、出力対象情報への訳語や注釈等の挿入態様を示す挿入態様情報を生成し、出力情報生成部１２４に入力する。情報挿入処理部１２３による処理が、本実施形態に係る要旨の１つとなる。情報挿入処理部１２３の機能については、後に詳述する。

出力情報生成部１２４は、情報挿入処理部１２３から取得した挿入態様情報に基づき、出力対象情報に訳語や注釈等の挿入情報を挿入して最終的に出力すべき出力情報を生成する。このような情報挿入制御部１２０の機能により、本実施形態に係る情報挿入動作が実現される。

次に、本実施形態に係る情報挿入制御部１２０による情報挿入動作について、実例を示しながら説明する。以降、図１０に示すような英文の文書を表示する画像を入力情報として取得し、訳語を挿入する場合を例として説明する。図１１は、本実施形態に係る情報挿入制御部１２０の動作を示すフローチャートである。図１１に示すように、まず、入力情報取得部１２１が、図１０に示す入力情報を取得する（Ｓ１１０１）。入力情報取得部１２１は、取得した入力情報を文字情報認識部１２２に入力する。

入力情報取得部１２１から入力情報を取得すると、文字情報認識部１２２は、図４において説明した処理により文字認識処理を実行する（Ｓ１１０２）。ここで、図４においては、図５に示すように日本語の文書を入力情報とする場合を例とした。そして、図８に示すように、文字表示領域情報が、夫々の行画像が表示される領域を示す座標情報を含む場合を例とした。他方、図１０に示すように、英文の文書を入力情報とする場合、単語画像が表示される領域を示す座標情報を抽出することが可能である。夫々の単語がスペースで区切られていることにより、夫々の単語が表示される範囲を容易に判別可能なためである。

従って、文字情報認識部１２２は、文字表示領域情報として、図１２に示すように、単語の文字情報（以降、単語文字情報とする）とその単語が表示される領域を示す座標情報とが関連付けられた情報を生成する。文字情報認識部１２２は、文字表示領域情報及び図９に示す出力対象情報を情報挿入処理部１２３に入力する。

情報挿入処理部１２３は、文字情報認識部１２２から情報を取得すると、文字表示領域情報に含まれる単語を１つ選択する（Ｓ１１０３）。つまり、情報挿入処理部１２３は、Ｓ１１０３において、文字表示領域情報に含まれる複数の単語のうち、訳語等の対応情報を付加すべき対象の単語を取得する。即ち、情報挿入処理部１２３が、文字情報取得部として機能する。

そして、情報挿入処理部１２３は、語意情報ＤＢ１０９を参照し、選択した単語に対して辞書検索を実行する（Ｓ１１０４）。辞書検索の結果、Ｓ１１０３において選択された単語の訳語がある場合（Ｓ１１０５／ＹＥＳ）、情報挿入処理部１２３は、語意情報ＤＢ１０９から該当する訳語を対応情報として抽出する（Ｓ１１０６）。即ち、情報挿入処理部１２３が、対象文字情報に対応する対応情報を取得する対応情報取得部として機能する。

対応情報を抽出すると、情報挿入処理部１２３は、Ｓ１１０３において選択した単語（以降、対象単語とする）が含まれる行と次の行との行間等の余白の情報に基づき、対応情報の挿入態様を決定する（Ｓ１１０７）。Ｓ１１０７の処理の結果、情報挿入処理部１２３は、挿入すべき訳語とその挿入態様とを関連付けて示す挿入態様情報を生成する。ここで、上記挿入態様とは、挿入すべき単語の文字サイズや行数及び対象単語の近傍に表示するか脚注として表示するかの情報を含む。Ｓ１１０７の処理については、後に詳述する。

Ｓ１１０７の処理の後、出力対象情報に含まれる単語を全て選択し終わっていれば（Ｓ１１０８／ＹＥＳ）、情報挿入処理部１２３は、生成した挿入態様情報を出力情報生成部１２４に入力する。出力情報生成部１２４は、情報挿入処理部１２３によって生成された挿入態様情報に基づき、出力対象情報に訳語や注釈等の挿入情報が挿入された出力情報を生成し（Ｓ１１０９）、処理を終了する。Ｓ１１０７の処理の後、また全単語を選択し終えていない場合（Ｓ１１０８／ＮＯ）、Ｓ１１０３からの処理を繰り返す。尚、辞書検索（Ｓ１１０４）の結果、訳語が無い場合（Ｓ１１０５／ＮＯ）、Ｓ１１０６及びＳ１１０７の処理を行なわずにＳ１１０８の判断を実行する。

次に、図１３を参照して、図１１におけるＳ１１０７の処理の詳細について説明する。情報挿入制御部１２３は、図１１のＳ１１０６において訳語情報を抽出すると、訳語情報を挿入する際に使用することができる領域（以降、挿入可能領域とする）を算出し（Ｓ１３０１）、算出された領域を示す領域情報を取得する。即ち、情報挿入処理部１２３が領域情報取得部として機能する。

挿入可能領域の算出処理について、図１４及び図１５を参照して説明する。図１４の例においては、“ｄｏｃｕｍｅｎｔ”という単語を対象単語とした場合の挿入可能領域を例とする。図１４に示すように、情報挿入処理部１２３は、対象単語が表示されている領域に隣接する余白の領域を挿入可能領域とする。また、情報挿入処理部１２３は、図１４に示すように、対象単語が含まれる行とその行に隣接する行との行間の領域を挿入可能領域とする。

図１４に示すように、情報挿入処理部１２３は、“ｄｏｃｕｍｅｎｔ”という単語に訳語を挿入するための挿入可能領域として、座標“（Ｘ_a，Ｙ_a）―（Ｘ_b，Ｙ_b）”で画定される領域を抽出する。具体的な手順として、先ず情報挿入処理部１２３は、図１２に示す文字表示領域情報のうち、“ｄｏｃｕｍｅｎｔ”に関連付けられた座標情報“（Ｘ₃，Ｙ₃）―（Ｘ₄，Ｙ₄）”を参照する。ここで、文字表示領域情報は、出力対象情報における文字情報構成を示す文字列構成情報として用いられる。そして、情報挿入処理部１２３は、“Ｘ₃”及び“Ｘ₄”に基づいて“Ｘ_a”、“Ｘ_b”を算出する。即ち、情報挿入処理部１２３は、対象単語の幅に応じた領域を挿入可能領域とする。また、情報挿入処理部１２４は、“Ｙ₄”に基づいて“Ｙ_a”を算出する。更に、情報挿入処理部１２３は、図１４に示す単語“ａｎｄ”及び“Ｕ．Ｓ．”の上端の座標に基づいて“Ｙ_b”を抽出する。このような処理により、図１４に破線で示す挿入可能領域を画定する座標の情報が算出される。

情報挿入処理部１２３は、図１４に示す座標“（Ｘ_a，Ｙ_a）―（Ｘ_b，Ｙ_b）”を算出すると、その座標情報に基づき、訳語等の情報を挿入可能な幅及び高さを算出する。図１５が上記幅及び高さの算出態様を示す図である。そして、情報挿入処理部１２３は、算出された幅“Ｗ”及び高さ“Ｈ”の情報を挿入可能領域の情報として用いる。即ち、情報挿入処理部１２３は、挿入可能領域の外周に関する情報を取得する。

情報挿入処理部１２３は、挿入可能領域を算出すると、図１１におけるＳ１１０６において抽出された訳語の挿入態様を決定する（Ｓ１３０２）。Ｓ１３０２の処理において、情報挿入処理部１２３は、上記抽出された訳語がＳ１３０１において算出された挿入可能領域に収まるように、訳語の文字サイズや表示行数等を調整する。図１６は、Ｓ１３０２における情報挿入処理部１２３の処理の例を示す図である。図１６においては、“ｄｏｃｕｍｅｎｔ”という単語の訳語として“文書”という単語がＳ１１０６において抽出された場合を例として説明する。

Ｓ１３０２の処理において、情報挿入処理部１２３は、図１６に示すように、挿入情報を表示するために必要な領域の幅“Ｆ_W”及び高さ“Ｆ_H”が、挿入可能領域の幅“Ｗ”及び高さ“Ｈ”に収まるように、挿入情報の文字サイズを決定する。ここで、挿入情報の文字数及び挿入可能領域の幅“Ｗ”によっては、複数行で表示する方が一行で表示するよりも大きな文字サイズで表示可能な場合もあり得る。情報挿入処理部１２３は、Ｓ１３０２において、挿入情報を表示する行数も考慮して、上記最大の文字サイズを算出する。このような処理は、情報挿入処理部１２３に含まれる文字サイズ決定手段が実行する。

情報挿入処理部１２３は、Ｓ１３０２の処理により上記最大の文字サイズを算出すると、算出された文字サイズと予め定められた閾値となるサイズ（以降、閾値サイズと比較する）とを比較する（Ｓ１３０３）。算出された文字サイズが閾値サイズ以上である場合（Ｓ１３０３／ＹＥＳ）、情報挿入処理部１２３は、挿入情報を挿入可能領域に直接挿入することを決定する（Ｓ１３０４）。換言すると、情報挿入処理部１２３は、上記算出された文字サイズと予め定められた閾値との関係に基づいて対応情報の挿入態様を決定する。即ち、情報挿入処理部１２３が挿入態様決定部として機能する。

他方、算出された文字サイズが閾値サイズ未満である場合（Ｓ１０３／ＮＯ）、情報挿入処理部１２３は、対応情報を脚注として他の領域に挿入することを決定（Ｓ１３０５）する。Ｓ１３０４若しくはＳ１３０５の処理が終了すると、情報挿入処理部１２３は、Ｓ１３０２において決定した挿入態様若しくはＳ１３０５において決定された脚注としての挿入態様に基づいて挿入態様情報を生成し（Ｓ１３０６）、処理を終了する。

訳語や注釈等の対応情報は可能な限り対象単語の近傍（上記の例における挿入可能領域）に挿入することが好ましい。しかしながら、挿入可能領域が狭い場合、図１６に示す幅“Ｆ_W”及び高さ“Ｆ_H”を挿入可能領域の幅“Ｗ”及び高さ“Ｈ”に合わせると、挿入情報の文字サイズが非常に小さくなる。その結果、挿入した訳語や注釈を読むことが困難となってしまう。このような課題に対して、図１３に示す処理を実行することにより、対応情報をそのまま挿入可能領域に表示するか他の領域に表示するかの判断を好適に実行することが可能となる。

Ｓ１３０３の処理に際しては、文字サイズの閾値を予め設定しておく必要がある。この閾値は、人間が視認可能な最低限の文字サイズとして設定される。この閾値の設定は、例えばＪＩＳ（Japanese Industrial Standards：日本工業規格）において採用されているアメリカ式のポイントやＰｏｓｔＳｃｒｉｐｔ Ｐｏｉｎｔによって設定される。設定すべき値としては、例えば、多くの分野において標準として採用されている１０．５ポイントや、官報の文字サイズとして採用されている８ポイントを用いることができる。

また、入力画像に含まれる文字サイズ（以降、入力文字サイズ）に基づいて決定することも可能である。例えば、図４において説明した文字認識動作において、文字サイズも抽出する。この文字サイズは、図４のＳ４０４において抽出された行画像の高さに基づいて抽出することが可能である。そして、このようにして抽出された入力文字サイズの所定の割合を文字サイズの閾値とする。この所定の割合としては、例えば５０％、７５％、８０％等の値を用いることができる。また、入力文字サイズと同一の文字サイズを用いるようにすることもできる。

尚、図１３の説明においては、対応情報を挿入可能領域に直接挿入する態様（Ｓ１３０４）、若しくは脚注として挿入する態様（Ｓ１３０５）のいずれかを判断する例を説明した。しかしながら、脚注に限らず、挿入可能領域以外の領域に挿入することを決定する処理であれば同様に可能である。上記挿入可能領域以外の領域としては、文章の末尾、ヘッダー、フッター及び異なるページ等が考えられる。

図１７に、図１１におけるＳ１１０９において生成される出力態様情報の例を示す。図１７に示すように、情報挿入処理部１２３が、図１１のＳ１１０９において生成する出力態様情報には、対応情報、挿入可能領域及び態様詳細の情報が含まれる。ここで、挿入態様の情報は、対応情報を挿入可能領域に“直接”挿入するか、若しくは“脚注”として挿入するか示す情報に加え、夫々の場合における詳細が含まれる。即ち、“直接”の場合、挿入態様情報は、対応情報を表示する文字サイズの情報を含む。他方、“脚注”の場合、挿入態様情報は、対象単語と脚注とを関連付けるための記号の情報を含む。

図１８は、対応情報を挿入可能領域に直接挿入した場合の例を示す図である。他方、図１９は、対応情報を脚注として挿入した場合の例を示す図である。尚、図１８、図１９の例においては、“ｄｏｃｕｍｅｎｔ”の訳語として“文書”という単語を挿入する場合を例とする。図１９に示すように、対応情報を脚注として挿入する場合、挿入可能領域には“※１”のような数字乃至記号を表示する。そして、他の余白スペースに“※１：文書”のように、挿入可能領域に表示した数字乃至記号と対応情報とを関連付けて表示する。

図１９に示す態様により、挿入可能領域に対応情報を直接表示出来ない場合であっても、対象単語と対応情報との関連を容易に明示することが可能となる。出力情報生成部１２４は、図１８若しくは図１９に示すように対応情報を挿入した出力情報を生成すると、その出力情報を主制御部１１１に送信する。このような処理により、情報挿入制御部１２０による情報挿入動作が完了する。

尚、対応情報の挿入に際しては、図９に示す出力対象情報のように、対応情報を異なるレイヤーとして生成することが好ましい。これにより、入力情報５００及び透明テキスト５１０と対応情報とを容易に分離することが可能となる。また、対応情報を透明テキスト５１０と同一のレイヤー（以降、追加レイヤーとする）に追加しても良い。この場合においても、入力情報５００と追加レイヤーとの分離は容易なままであり、同様の効果を得ることが可能である。

以上説明したように、本実施形態に係る画像処理装置１は、情報挿入制御部１２０の機能により、入力情報のフォーマットを変更することなく、好適に訳語等の挿入を行なうことが可能となる。尚、上記図１８、図１９の説明においては、入力文書に含まれる単語の訳語を挿入する例を説明した。この他、上述した専門用語等の難解な用語に対する注釈や、独自に定義された造語に対する注釈等を挿入することも可能である。

上記の難解な用語若しくは造語の態様は、語意情報ＤＢ１０９に情報を追加することにより可能となる。即ち、難解な用語若しくは独自に定義された造語とそれらに対する説明とを関連付けて語意情報ＤＢ１０９に格納する。そして、情報挿入処理部１２３が、図１１に示すＳ１１０４の辞書検索において、それら格納された用語若しくは造語に対する説明を抽出することにより、それらの説明を挿入情報として用いることが可能となる。

また、上記の説明においては、画像処理装置１がプリンタとして動作する場合に、情報挿入制御部１２０が機能し、訳語等が挿入される例を説明した。しかしながら、画像処理装置１がスキャナとして動作する場合であっても、適用することが可能である。画像処理装置１がスキャナとして動作する場合、まず入出力制御部１１３がスキャン実行指示を受信する。スキャン実行指示は、ユーザによるディスプレイパネル１０９に設けられたスタートキー１９８の操作若しくはネットワークＩ／Ｆ１０４を介して外部のホスト装置から入力される。このようなスキャン実行指示の入力により、入出力制御部１１３が主制御部１１１にスキャン実行信号を送信する。主制御部１１１は、入出力制御部１１３から受信したスキャン実行信号に基づき、エンジン制御部１１２を制御する。

エンジン制御部１１２は、ＡＤＦ１０１を駆動し、ＡＤＦ１０１にセットされた撮像対象原稿をスキャナユニット１０２に搬送する。また、エンジン制御部１１２は、スキャナユニット１０２を駆動し、ＡＤＦ１０１から搬送される原稿を撮像する。また、ＡＤＦ１０１に原稿がセットされておらず、スキャナユニット１０２に直接原稿がセットされた場合、スキャナユニット１０２は、エンジン制御部１１２の制御に従い、セットされた原稿を撮像する。即ち、スキャナユニット１０２が撮像部として動作する。

撮像動作においては、スキャナユニット１０２に含まれるＣＣＤ等の撮像素子が原稿を光学的に走査し、光学情報に基づいて生成された撮像情報が生成される。エンジン制御部１１２は、スキャナユニット１０２が生成した撮像情報を画像処理部１１４に転送する。画像処理部１１４は、主制御部１１１の制御に従い、エンジン制御部１１２から受信した撮像情報に基づいて画像情報を生成する。

画像処理部１１４が生成した画像情報は、主制御部１１１によって情報挿入制御部１２０に入力される。即ち、画像処理部１１４が生成した画像情報が入力情報として用いられる。情報挿入制御部１２０は、図１１及び図１３において説明した動作により情報挿入処理を実行し出力情報を生成する。情報挿入制御部１２０が生成した出力情報は、ユーザの指示に応じてＨＤＤに格納され若しくは入出力制御部１１３及びネットワークＩ／Ｆ１０４を介して外部のホスト装置に送信される。

また、画像処理装置１が複写機として動作する場合であっても、本実施形態に係る情報挿入制御部１２０の機能を用いることが可能である。画像処理装置１が複写機として動作する場合は、エンジン制御部１１２がスキャナユニット１０２から受信した撮像情報若しくは画像処理部１１４が生成した画像情報が、主制御部１１１によって情報挿入制御部１２０に入力される。即ち、上記撮像情報若しくは画像処理部１１４が生成した画像情報が入力情報として用いられる。情報挿入制御部１２０は、上述した動作により情報挿入処理を実行し出力情報を生成する。エンジン制御部１１２は、主制御部１１１の制御に従い、情報挿入制御部１２０が生成した出力情報に基づいて、プリンタ動作の場合と同様に、プリントエンジン１０７を駆動する。

また、上記の説明においては、Ｓ１３０２における挿入態様の決定処理において、複数行の場合を考慮する例を説明した。しかしながら、出力対象情報若しくは出力情報をＰＤＦ形式等の情報として保存し、文字情報の検索対象とする場合、検索語が複数行に分割されていると、異なる別々の文言として判断され、好適な文字検索が出来ない場合があり得る。このような課題は、Ｓ１３０２による処理において、挿入情報を複数行で表示する場合を除外することにより解決することが可能となる。即ち、挿入情報を一の行で挿入すると文字サイズが閾値未満となってしまう場合は、脚注により挿入する。これにより、挿入情報の文字列が複数行に分割されないようにすることが可能となる。

また、上記の説明においては、図１５に示すように、挿入可能領域の幅を対象単語（図１４における“ｄｏｃｕｍｅｎｔ”）の幅に限る例を説明した。しかしながら、対象単語の直前若しくは直後の単語に対して、訳語や注釈を付さない場合もあり得る。このような場合、図２０に示すように、対象単語の幅を超えて挿入可能領域を決定しても良い。

また、対象単語の直前若しくは直後の単語に対して、訳語や注釈を付す場合であっても、対象単語の幅を超えて挿入可能領域を設定することも可能である。そのような例について図２１に示す。図２１に示す例においては、“ｄｏｃｕｍｅｎｔ”という単語に対する対応情報の挿入可能領域が、“ｄｏｃｕｍｅｎｔ”の幅を超えて設定されている。他方、“ｄｏｃｕｍｅｎｔ”の直前の単語である“ｏｒｉｇｉｎａｌ”及び直後の単語である“ｅｓｔａｂｌｉｓｈｉｎｇ”に対する挿入情報の挿入可能領域は、夫々の単語の幅よりも狭い幅で設定されている。即ち、“ｄｏｃｕｍｅｎｔ”に対する挿入情報の挿入可能領域を広げた分、直前及び直後の単語に対する対応情報の挿入可能領域が狭くなっている。

図２１に示す例のような場合、図２０の例と同様に、“ｄｏｃｕｍｅｎｔ”という単語に対する対応情報の挿入可能領域を広げることが可能となる。この場合、直前及び直後の単語である“ｏｒｉｇｉｎａｌ”及び“ｅｓｔａｂｌｉｓｈｉｎｇ”という単語に対する対応情報の挿入可能領域が狭くなる。しかしながら、狭くなった領域内に対応情報を挿入可能であれば、特に問題となることはなく、文書の理解を助けることが可能となる。即ち、このような場合、情報挿入処理部１２３は、対象文字列である“ｄｏｃｕｍｅｎｔ”に隣接する文字列（図２１においては、“ｏｒｉｇｉｎａｌ”、“ｅｓｔａｂｌｉｓｈｉｎｇ”）に付加すべき対応情報に基づいて、対象文字列に対する挿入可能領域を修正する。

図２０、図２１に示す例のような挿入可能領域の設定処理は、情報挿入処理部１２３によって実行される。具体的には、図１３のＳ１３０２において、情報挿入処理部１２３は、対象単語の前後に配置されている単語に基づき、Ｓ１３０１において算出された挿入可能領域の幅を修正する。即ち、情報挿入処理部１２３は、挿入すべき対応情報の幅（図１６に示す“Ｆ_W”）が狭い場合には、挿入可能領域の幅を狭くする。また、情報挿入処理部１２３は、挿入すべき対応情報の幅が広い場合には、挿入可能領域の幅を広くする。このような幅の調整は、図１４に示す“ｏｒｉｇｉｎａｌ”、“ｄｏｃｕｍｅｎｔ”、“ｅｓｔａｂｌｉｓｈｉｎｇ”のように、隣接する単語の挿入可能領域に挿入すべき単語の幅に基づいて実行される。

また、図１８〜図２１に示す例を組み合わせても良い。そのような例について、図２２に示す。図２２においては、“ｏｒｉｇｉｎａｌ”という単語及び“ｅｓｔａｂｌｉｓｈｉｎｇ”という単語に対する対応情報を脚注として挿入し、“ｄｏｃｕｍｅｎｔ”という単語に対する対応情報を挿入可能領域に表示する例を示している。図２２に示す態様により、互いに隣接する単語に対して挿入すべき対応情報の幅がいずれも広い場合において、脚注を用いる頻度を軽減し、文書の理解をより容易化することが可能となる。

尚、図２２に示す態様においては、理解が容易であり対応情報を確認する必要性の低いものを脚注とし、理解が困難であり挿入情報を確認する必要性の高いものを挿入可能領域に挿入することが好ましい。このような判断は、例えば語意情報ＤＢ１０９に格納されている各単語について、語意の難易度を示す情報（以降、難易度情報とする）を付加しておくことにより可能となる。情報挿入処理部１２３は、上記難易度情報を参照し、難易度が高い対応情報を挿入可能領域に直接表示し、難易度が低い対応情報を脚注とする。

また、図２２に示す例においては、１つの対象単語について複数の意味を示す対応情報が表示されている。１つの単語であっても複数の意味を有することは少なくない。このような例については、実施の形態２において詳述する。

また、上記の説明においては、図１０に示すように、英文を入力情報とし、日本語の訳語を挿入する場合を例として説明した。しかしながら、図５に示すように、和文を入力情報とする場合もあり得る。このような場合、図１２に示すように、文章を単語毎に区切ることが困難である。従って、和文を入力情報とする場合、図１１のＳ１１０３において、情報挿入処理部１２３は形態素解析を実行することにより、単語を抽出する、このような態様により、上記と同様の効果を得ることが可能となる。尚、形態素解析処理においては、公知の技術を用いることが可能であり、本実施形態においては詳細な説明を省略する。

また、上記の説明においては、脚注を用いる場合、図１９に示すように、挿入可能領域に記号等を挿入し、その記号と対応情報とを関連付けて他の領域に表示する例を説明した。しかしながら、文章の行間が非常に狭い場合、記号等を挿入することも困難な場合があり得る。このような場合の例について、図２３に示す。図２３の例においては、対象単語に下線を付すことにより、その対象単語に訳語や注釈等が存在することを示す。そして、図２３に示すように、脚注により、対象単語とその訳語とを関連付けて示している。このような態様により、本文中には下線を付すのみで、文章の理解を助ける情報を挿入することが可能となる。

尚、図２３に示す例においては、対象単語に訳語や注釈等が存在することを示すため下線を付す例を示した。この他、対象単語のフォントの種類を変える態様や対象単語の色を変える態様若しくは対象単語を太字にする態様等が考えられる。図２３に示す態様の実行は、情報挿入処理部１２３が、図１３に示すＳ１３０１において算出された挿入可能領域の幅に基づいて判断する。

また、上記の説明においては、印刷ジョブやスキャン若しくは複写動作の結果生成された画像情報を入力情報として取得し、図４において説明したように文字認識を行なう例を説明した。しかしながら、入力情報として、テキスト情報によって構成される文書情報を取得することも考えられる。このような場合、図１１の動作において、Ｓ１１０２の処理は不要となる。

また、上記の説明においては、図１３のＳ１３０１において、図１２に示す文字表示領域情報に基づいて挿入可能領域を算出する例を説明した。しかしながら、入力情報として用いる文書情報がフォーマット情報として行間の余白に関する情報を含む場合もあり得る。このような場合、情報挿入処理部１２３は、図１３のＳ１３０１において、そのフォーマット情報を参照して挿入可能領域を容易に算出することが可能となる。尚、上記行間の余白に関する情報を含む文書情報は、ＰＣのディスプレイモニタやプリントアウト出力等において画像を表現するための情報であり、画像データに含まれる。

また、図１８、図１９の例においては、挿入可能領域の左端から対応情報を表示する例を説明した。この他、情報挿入処理部１２３は、対応情報を挿入可能領域の中央に配置するように出力態様情報を生成しても良い。

また、上記の説明においては、図１０に示すように、白地に黒の文字列が表示されている画像を入力情報とする例を説明した。しかしながら、入力情報の背景色及び文字色は白や黒とは限らない。従って、情報挿入処理部１２３は、入力情報の背景色や文字色に応じた処理を実行することが好ましい。例えば、図４においては黒画素を抽出して文字認識を実行する例を説明したが、入力情報の背景色及び文字色に応じて抽出する画素の色を変更することが好ましい。このような画素の色の変更は、ユーザが手動で設定しても良いし、情報挿入処理部１２３が色を検知することによって実行しても良い。

また、上記の説明においては、図１４に示すように、対象単語が含まれる行とその次の行との行間に挿入可能領域を設定する例を説明した。この他、対象単語が含まれる行とその前の行との行間に挿入可能領域を設定するようにしても良い。

実施の形態２．
実施の形態１においては、図１７に示すように、情報挿入処理部１２３が、１つの対象単語に対して１つの挿入情報を抽出する例を説明した。しかしながら、１つの単語に対して１つの挿入情報が関連付けられているとは限らない。本実施形態においては、語意情報ＤＢ１０９において、１つの単語の意味として複数の情報が格納されている場合について説明する。尚、実施の形態１と同様の符号を付す構成については、実施の形態１と同一または相当部を示し、説明を省略する。

図２４は、本実施形態に係る語意情報ＤＢ１０９に記憶されている情報の例を示す図である。図２４に示すように、語意情報ＤＢ１０９は、“ｏｒｉｇｉｎａｌ”という単語の意味として、複数の情報を記憶している。このような場合、情報挿入処理部１２３は、図１１のＳ１１０６において、複数の訳語を対応情報として抽出する。そして、図１３におけるＳ１３０２及びＳ１３０３において、複数の対応情報に対応した挿入態様の決定処理を実行する。

本実施形態に係るＳ１３０２及びＳ１３０３において、情報挿入処理部１２３は、抽出された全対応情報が挿入可能領域に閾値サイズ以上のサイズで収まるか否かを判断する。収まると判断された場合、情報挿入処理部１２３は、抽出された全対応情報を直接挿入可能領域に挿入する。図２５は、抽出された全対応情報を直接挿入可能領域に挿入した場合を示す図である。

抽出された全対応情報が挿入可能領域内に閾値サイズ以上のサイズで収まらないと判断した場合、情報挿入処理部１２３は、抽出された対応情報を１つ削除し、再度上記の判断を実行する。そして、情報挿入処理部１２３は、上記判断の結果、対応情報が挿入可能領域に収まると判断されたところで、図１３に示すＳ１３０６の処理を実行する。図２６に、そのような例の一態様を示す。図２６は、図２４に示す複数の意味のうち、“原作”及び“独創的な人”という単語を削除したところで挿入可能となった状態を示す図である。

他方、抽出された全対応情報が１つになっても、対応情報が挿入可能領域に収まると判断されなかった場合、情報挿入処理部１２３は、図１３に示すＳ１３０５以降の処理を実行する。このような処理により、１つの単語について複数の対応情報が抽出された場合に、可能な限り多くの対応情報を挿入することが可能となる。

尚、上記の説明においては、抽出された全対応情報が挿入可能領域に閾値サイズ以上のサイズで収まらないと判断した場合、情報挿入処理部１２３は、抽出された対応情報を１つ削除する例を説明した。この対応情報を削除する順番は、例えば、情報挿入処理部１２３が、挿入可能領域の幅及び高さに基づいて決定することが可能である。閾値サイズで対応情報を挿入するために必要な領域が挿入可能領域をわずかにオーバーする場合、文字列長の短い対応情報を削除すれば良いと考えられる。他方、上記必要な領域が挿入可能領域を大幅にオーバーする場合、なるべく文字列長の長い対応情報を削除するべきであると考えられる。

また、図２４に示すように、語意情報ＤＢ１０９が１つの単語の意味として複数の意味を記憶している場合、さらに夫々の意味に優先順位を設定しておくことができる。そして、情報挿入処理部１２３は、上述したように対応情報を削除する場合、上記優先順位の低い順番に削除する。このような態様により、優先順位の高い訳語が挿入されるようにすることができる。

また、情報挿入処理部１２３は、図１３のＳ１３０１において算出した挿入可能領域に基づき、複数の訳語のうちいずれか１つを選択するようにしても良い。例えば、図２７に示すように、情報挿入処理部１２３は、挿入可能領域が広い場合は、文字列長の長い訳語を選択する。他方、図２８に示すように、挿入可能領域が狭い場合、情報挿入処理部１２３は、文字列長の短い訳語を選択する。尚、図２７、図２８においては、挿入可能領域を破線で示している。

また、複数の対応情報が抽出された場合において、全対応情報を挿入することを前提としても良い。この場合、情報挿入処理部１２３は、上述したような訳語を順番に削除する処理を行なわず、複数の訳語を対応情報として図１３に示す処理を実行する。

以上説明したように、本実施形態に係る画像処理装置１により、１つの単語に対して複数の訳語や注釈が対応情報として抽出された場合であっても、好適に文書の理解を助ける訳語等の挿入を行なうことが可能となる。

本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施形態に係る情報挿入制御部の機能構成を示すブロック図である。 本発明の実施形態に係る文字情報認識部の動作を示すフローチャートである。 本発明の実施形態に係る入力情報の例を示す図である。 本発明の実施形態に係る入力情報の例を示す図である。 本発明の実施形態に係る入力情報の例を示す図である。 本発明の実施形態に係る文字表示領域情報の例を示す図である。 本発明の実施形態に係る出力対象情報の例を示す図である。 本発明の実施形態に係る入力情報の例を示す図である。 本発明の実施形態に係る情報挿入処理部の動作を示すフローチャートである。 本発明の実施形態に係る文字表示領域情報の例を示す図である。 本発明の実施形態に係る情報挿入処理部の動作を示すフローチャートである。 本発明の実施形態に係る挿入可能領域の抽出態様を示す図である。 本発明の実施形態に係る挿入可能領域の算出態様を示す図である。 本発明の実施形態に係る対応情報のサイズを示す図である。 本発明の実施形態に係る挿入態様情報の例を示す図である。 本発明の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の実施形態に係る挿入可能領域の抽出態様を示す図である。 本発明の実施形態に係る挿入可能領域の抽出態様を示す図である。 本発明の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の他の実施形態に係る語意情報ＤＢに格納されている情報の例を示す図である。 本発明の他の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の他の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の他の実施形態に係る対応情報の挿入態様の例を示す図である。 本発明の他の実施形態に係る対応情報の挿入態様の例を示す図である。

符号の説明

１ 画像処理装置
１０ ＣＰＵ
２０ ＲＡＭ
３０ エンジン
４０ ＲＯＭ
５０ ＮＶＲＡＭ
６０ Ｉ／Ｆ
７０ ＬＣＤ
８０ 操作部
１００ コントローラ
１０１ ＡＤＦ
１０２ スキャナユニット
１０３ 排紙トレイ
１０４ ネットワークＩ／Ｆ
１０５ ディスプレイパネル
１０６ 給紙テーブル
１０７ プリントエンジン
１０８ 排紙トレイ
１０９ 語意情報ＤＢ
１１１ 主制御部
１１２ エンジン制御部
１１３ 入出力制御部
１１４ 画像処理装置
１２０ 情報挿入制御部
１２１ 入力情報取得部
１２２ 文字情報認識部
１２３ 情報挿入処理部
１２４ 出力情報生成部

Claims (18)

1. 画像データに含まれる文字情報に対応する対応情報を該画像データに挿入する情報処理装置であって、
   複数の文字情報を含む画像データを取得する画像データ取得部と、
   取得された前記画像データに含まれる文字情報に対応する対応情報を取得する対応情報取得部と、
   前記文字情報を含む文字行の構成に基づいて、前記対応情報を挿入するための領域を示す領域情報を取得する領域情報取得部と、
   取得された前記領域情報に基づいて前記対応情報の挿入態様を決定する挿入態様決定部とを有することを特徴とする、情報処理装置。
2. 前記挿入態様決定部は、取得された前記対応情報が前記領域に収まるように前記対応情報の挿入態様を決定することを特徴とする、請求項１に記載の情報処理装置。
3. 前記挿入態様決定部は、取得された前記対応情報を表示するための文字サイズを決定する文字サイズ決定手段を有し、前記挿入態様として前記決定した文字サイズを用いることを特徴とする、請求項２に記載の情報処理装置。
4. 前記文字サイズ決定手段は、取得された前記対応情報が前記領域に収まるように前記対応情報を表示するための文字サイズを決定し、
   前記挿入態様決定部は、前記決定された文字サイズと予め設定された閾値との関係に基づいて前記挿入態様を決定することを特徴とする、請求項３に記載の情報処理装置。
5. 前記挿入態様決定部は、前記文字サイズが前記閾値よりも小さい場合、前記対応情報を前記領域とは異なる他の領域に表示するように前記挿入態様を決定することを特徴とする、請求項４に記載の情報処理装置。
6. 前記挿入態様決定部は、前記挿入態様として、取得された前記対応情報を表示するための行数を決定することを特徴とする、請求項２乃至５いずれか１項に記載の情報処理装置。
7. 前記対応情報取得部は、１つの前記文字情報に対応する対応情報として複数の対応情報を取得し、
   前記挿入態様決定部は、取得された複数の前記対応情報の一部を抽出し、抽出された該対応情報の挿入態様を決定することを特徴とする、請求項２乃至６いずれか１項に記載の情報処理装置。
8. 前記挿入態様決定部は、前記画像データに含まれる文字情報に隣接する他の文字情報に対応する対応情報に基づいて、取得された前記領域情報を修正することを特徴とする、請求項２乃至７いずれか１項に記載の情報処理装置。
9. 前記領域情報取得部は、前記文字情報に隣接する余白の領域を示す領域情報を取得することを特徴とする、請求項１乃至８いずれか１項に記載の情報処理装置。
10. 前記領域情報取得部は、前記文字情報が含まれる対象文字行と該対象文字行に隣接する隣接行との行間の領域を示す領域情報を取得することを特徴とする、請求項１乃至８いずれか１項に記載の情報処理装置。
11. 前記領域情報取得部は、対応情報を挿入するための領域を示す領域情報として、前記文字列の幅に応じた前記行間における領域の情報を取得することを特徴とする、請求項１０に記載の情報処理装置。
12. 前記領域情報取得部は、対応情報を挿入するための領域の外周に関する情報を取得することを特徴とする、請求項１乃至１１いずれか１項に記載の情報処理装置。
13. 前記領域情報取得部は、対応情報を挿入するための領域の座標を示す情報を取得することを特徴とする、請求項１乃至１１いずれか１項に記載の情報処理装置。
14. 前記対応情報取得部は、前記文字情報の訳語を示す情報を取得することを特徴とする、請求項１乃至１３いずれか１項に記載の情報処理装置。
15. 前記対応情報取得部は、前記文字情報を解説する情報を取得することを特徴とする、請求項１乃至１３いずれか１項に記載の情報処理装置。
16. 画像データに含まれる文字情報に対応する対応情報を該画像データに挿入する情報処理方法であって、
    複数の文字情報を含む画像データを取得し、
    取得された前記画像データに含まれる文字情報に対応する対応情報を取得し、
    前記文字情報を含む文字行の構成に基づいて、前記対応情報を挿入するための領域を示す領域情報を取得し、
    取得された前記領域情報に基づいて前記対応情報の挿入態様を決定することを特徴とする、情報処理方法。
17. 請求項１６に記載の情報処理方法を情報処理装置に実行させることを特徴とする情報処理プログラム。
18. 請求項１７に記載の情報処理プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする記録媒体。

Images