JP7236286B2 - 画像形成装置 - Google Patents

Description

この発明は、画像形成装置に関し、特に、印刷情報に関連する情報を、印刷情報に追加して印刷する機能を有する画像形成装置に関する。

従来から、画像形成装置が利用されているが、近年、書類の印刷機能や複製機能に加えて、書類の読取（スキャン）機能や、ネットワーク接続機能なども有する多機能な複合機が利用されている。
特に、スキャナで読み取った画像データ、パソコン等で作成された情報、サーバなどから取得した情報、USBメモリに記憶されている情報などが、ユーザの指定した用紙に印刷される。

また、画像データを印刷する場合、読み取った画像データをそのまま印刷するのではなく、その画像データの中で、印刷したい部分を残し、不要な部分を除去するような編集作業をしてから、印刷することも行われている。
たとえば、特許文献１には、複数のパーツから構成されるWebページを印刷する場合に、ユーザが、Webページ内に含まれる印刷を希望するパーツを選択し、表示画面に表示された白紙のプレビュー画像の上に、選択したパーツをドラッグアンドドロップすることで、印刷すべきパーツを所望のレイアウトに再配置して印刷し、所望のレイアウトを実現するスタイルシートを保存することにより、印刷作業を軽減させる情報処理装置が提案されている。

特開２０１０－１８１９７１号公報

しかし、読み取った画像データの編集作業をする場合や、保存されたスタイルシートを利用してパーツを所望のレイアウトに再配置して印刷する場合も、印刷したい部分を残す操作や、パーツを選択した後選択したパーツをドラッグアンドドロップする操作等を、ユーザが行う必要があり、印刷をする前の準備作業に時間がかかっていた。

また、ユーザが、用紙に印刷された印刷結果を見たときに、空白が目立つ場合や、印刷内容の配置バランスが悪いと判断する場合がある。
このような場合に、空白領域を何らかの情報で埋めることができれば、印刷内容の配置バランスが改善され、ユーザの意図した印刷内容に近づけることが可能な場合がある。
たとえば、ユーザが別途用意した画像や図面等を、空白領域を有する印刷結果の用紙の空白領域に貼り付けたり、ユーザが空白領域に文字や絵を記入したりした後に、再度、読取と印刷をすることにより、空白領域を埋めた印刷結果を得ることができる。

しかし、ユーザは、空白領域を埋めるために、どのような画像等を追加するのが適切かを検討し、その適切と判断した画像等を探し出し、探し出した画像等を印刷結果の用紙の空白領域に貼り付け、再度、読取と印刷処理をするという一連の作業をする必要があるので、ユーザが適切と考える配置バランスで空白の少ない印刷内容を作るのに時間がかかり、ユーザの作業負担が大きかった。

そこで、この発明は、以上のような事情を考慮してなされたものであり、印刷しようとしている印刷情報に、空白領域が存在する場合に、その空白領域を埋めるのに適切な関連情報をユーザに提供することによって、ユーザの入力作業の容易化と時間短縮を図り、ユーザの作業負担を軽減することのできる画像形成装置を提供することを課題とする。

この発明は、ユーザが所定の入力操作をするための操作部と、印刷情報を取得する印刷情報取得部と、前記取得された印刷情報に含まれる空白領域を検出する空白領域検出部と、前記取得された印刷情報に含まれるテキスト情報から、所定数のキーワードを取得するキーワード取得部と、前記取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得する関連候補情報取得部と、前記取得された関連候補情報の中から前記操作部を利用して選択された関連情報を、前記取得された印刷情報の空白領域に合成した合成画像を生成する関連情報合成部と、前記生成された合成画像を所定の印刷用紙に印刷する合成画像印刷部とを備えたことを特徴とする画像形成装置を提供するものである。

また、前記印刷情報を分析し、前記印刷情報を、テキスト情報が記載された文字領域と、画像情報が記載されたラスタ領域に分類する印刷情報分析部と、前記ラスタ領域に含まれる画像情報から、テキスト情報を抽出する文字認識部と、前記文字領域のテキスト情報と、前記抽出されたテキスト情報とを、認識文字情報として記憶する記憶部とを、さらに備えたことを特徴とする。

また、前記キーワード取得部は、前記認識文字情報に含まれるテキスト情報を、単語に分割し、各単語の品詞を認識し、認識した品詞のうち、名詞の単語を、キーワードとして取得することを特徴とする。
また、前記キーワード取得部は、前記取得したキーワードごとに、前記印刷情報に出現した回数を計数し、前記取得したキーワードと出現した回数とを対応付けたキーワード情報を、前記記憶部に記憶することを特徴とする。

また、前記キーワード取得部は、前記キーワードが複数取得された場合、前記出現した回数の多いものから順に、所定数のキーワードを選択して、前記記憶部に記憶することを特徴とする。
また、前記選択されるキーワードの所定数は、前記操作部を利用して、ユーザが設定することを特徴とする。

また、表示部をさらに備え、前記表示部の表示画面には、前記印刷情報を表示する印刷確認用画面と、前記取得した関連候補情報を表示する追加候補用画面とが含まれ、前記操作部によって、前記追加候補用画面に表示された関連候補情報の中から、ユーザが選択した所望の関連情報を、前記印刷確認用画面に表示された印刷情報の空白領域に配置する操作がされた場合に、前記関連情報合成部が、前記選択された所望の関連情報を、前記印刷情報の空白領域に合成した合成画像を生成することを特徴とする。

また、前記取得されたキーワードを、前記表示部に表示し、前記操作部を利用して、ユーザが、前記表示されたキーワードを編集することを特徴とする。
また、前記キーワードを編集することには、キーワードの削除、変更、および追加が含まれることを特徴とする。

また、前記検索範囲情報には、キーワードに関連する関連候補情報を探し出す場所および装置が設定され、複数の情報を格納した情報管理装置、ユーザが所有する情報処理装置、記憶装置のうち、少なくともいずれか１つ以上の装置が、前記検索範囲情報に含まれることを特徴とする。
また、前記検索範囲情報は、前記操作部を利用して、ユーザが設定することを特徴とする。

また、前記生成された合成画像を出力する画像出力部をさらに備え、前記画像出力部は、前記合成画像を所定の記憶媒体に記憶し、または、前記合成画像を複数の情報を格納した情報管理装置に送信することを特徴とする。
また、前記空白領域は、情報の記載されていない領域であって、所定の面積以上の大きさの領域であることを特徴とする。
また、前記印刷情報には、画像読取装置によって読み取られた原稿に記載されていた情報、記憶媒体に記憶されていた情報、および、複数の情報を格納した情報管理装置から送信されてきた情報が含まれることを特徴とする。

また、この発明は、画像形成装置における印刷情報生成方法であって、ユーザが所定の入力操作をすることによって、印刷情報を取得し、前記取得された印刷情報に含まれる空白領域を検出し、前記取得された印刷情報に含まれるテキスト情報から、所定数のキーワードを取得し、前記取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得し、ユーザが所定の入力操作をすることによって、前記取得された関連候補情報の中から選択された関連情報を、前記取得された印刷情報の空白領域に合成した合成画像を生成し、前記生成された合成画像を所定の印刷用紙に印刷する画像形成装置における印刷情報生成方法を提供するものである。

また、この発明は、画像形成装置における印刷情報生成方法であって、ユーザが所定の入力操作をすることによって、印刷情報を取得し、前記取得された印刷情報を、印刷確認用画面に表示し、前記取得された印刷情報に含まれる空白領域を検出し、前記取得された印刷情報に含まれるテキスト情報から、所定数のキーワードを取得し、前記取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得し、前記取得された関連候補情報を、追加候補用画面に表示し、前記表示された関連候補情報の中から、ユーザが所望の関連情報を選択し、前記選択された関連候補情報を、前記印刷確認用画面に表示された印刷情報の空白領域に配置する操作がされた場合に、前記選択された関連情報を、前記取得された印刷情報の空白領域に合成した合成画像を生成し、前記生成された合成画像を所定の印刷用紙に印刷する画像形成装置における印刷情報生成方法を提供するものである。

この発明によれば、取得された印刷情報に含まれる空白領域を検出する空白領域検出部と、取得された印刷情報に含まれるテキスト情報から、所定数のキーワードを取得するキーワード取得部と、取得したキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得する関連候補情報取得部と、取得された関連候補情報の中から選択された関連情報を、取得された印刷情報の空白領域に合成した合成画像を生成する関連情報合成部とを備えているので、取得された印刷情報に空白領域が存在する場合に、印刷情報に関連がある適切な関連候補情報をユーザに提供することができ、空白領域に関連情報を合成した印刷情報を生成する場合におけるユーザの入力作業の容易化と時間短縮を図り、ユーザの作業負担を軽減することができる。

この発明の画像形成装置の一実施例の構成ブロック図である。 この発明の表示部に表示される印刷編集用画面の一実施例の説明図である。 この発明の表示部に表示される印刷編集用画面の一実施例の説明図である。 この発明の表示部に表示される印刷編集用画面の一実施例の説明図である。 この発明において、印刷情報を取得した後、関連候補情報を取得するまでにおける表示画面の一実施例の説明図である。 この発明において、追加する関連情報を選択した後、その追加する関連情報を含む画像を印刷するまでにおける表示画面の一実施例の説明図である。 取得した印刷情報を印刷確認用画面に表示した状態と、取得したキーワードをキーワード画面に表示した状態の一実施例の説明図である。 取得した関連候補情報を追加候補用画面に表示した状態と、選択した関連情報を印刷確認用画面に表示した状態の一実施例の説明図である。 印刷用紙に印刷された合成画像の一実施例の説明図である。 この発明において、関連情報を選択し追加した後、合成画像を印刷する処理の一実施例のフローチャートである。 この発明において、関連情報を取得する検索範囲を指定する処理の一実施例のフローチャートである。 この発明において、キーワード情報を取得する処理の一実施例のフローチャートである。 この発明において、キーワード情報を選択および編集する処理の一実施例のフローチャートである。 この発明において、関連候補情報を取得する処理の一実施例のフローチャートである。

以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。

＜画像形成装置の構成＞
図１に、この発明の画像形成装置の一実施例の構成ブロック図を示す。
画像形成装置（以下、ＭＦＰ：Multifunction Peripheral、複合機とも呼ぶ）１は、画像データを処理する装置であり、たとえば、複写機能、印刷機能、原稿読取機能（スキャン機能）、原稿編集機能、ＦＡＸ機能、通信機能などを備えた電子機器である。

この発明では、特に、画像形成装置１は、ネットワーク２に接続でき、LANなどのネットワーク２を介して、サーバ（SV）３や、パソコン等の情報処理装置（PC）４と相互に通信できるものとする。
サーバ（SV）３は、種々の画像データや書類等の複数の情報を格納した情報管理装置であり、画像形成装置で印刷可能な印刷情報を提供する装置である。
情報処理装置（PC）４は、ユーザの所有するパソコン、タブレット装置、携帯端末などに相当し、画像形成装置で印刷可能な印刷情報を提供する装置である。
後述するように、サーバ（SV）３や、情報処理装置（PC）４は、関連候補情報を取得するための検索範囲に含められ、サーバ（SV）３や、情報処理装置（PC）４に予め記憶されている情報が、関連候補情報となる。

図１において、この発明の画像形成装置（ＭＦＰ）１は、主として、制御部１１、操作部１２、表示部１３、通信部１４、画像形成部１５、画像出力部１６、印刷情報取得部２１、印刷情報分析部２２、空白領域検出部２３、文字認識部２４、キーワード取得部２５、関連候補情報取得部２６、関連情報合成部２７、合成画像印刷部２８、記憶部５０を備える。

制御部１１は、操作部や印刷情報取得部などの各構成要素の動作を制御する部分であり、主として、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏコントローラ、タイマー等からなるマイクロコンピュータによって実現される。
ＣＰＵは、ＲＯＭ等に予め格納された制御プログラムに基づいて、各種ハードウェアを有機的に動作させて、この発明の通信機能、印刷情報取得機能、関連候補情報取得機能などを実行する。

また、上記構成要素のうち、印刷情報取得部２１、印刷情報分析部２２、空白領域検出部２３、文字認識部２４、キーワード取得部２５、関連候補情報取得部２６、関連情報合成部２７は、ＣＰＵが、所定のプログラムに基づいてそれぞれの処理を実行する機能ブロックである。

操作部１２は、画像形成装置のユーザが所定の入力操作をするための入力装置である。
たとえば、文字などの情報の入力や、機能の選択入力をする部分であり、キーボード、マウス、タッチパネルなどが用いられる。
この発明では、特に、印刷作業をしようとするユーザは、タッチパネル等を利用して所定の入力操作をすることによって、キーワードの入力、関連候補情報などの選択入力をする。

表示部１３は、情報を表示する部分であり、各機能の実行に必要な情報や、機能の実行の結果などを、利用者に知らせるために表示する。たとえば、LCD、有機ELディスプレイなどが用いられ、操作部１２としてタッチパネルが用いられる場合は、表示部とタッチパネルとが重ね合わせて配置される。

表示部１３の表示画面を複数の領域に分割し、表示画面の各領域には、それぞれ異なる情報を表示してもよい。
たとえば、後述するように、表示部の表示画面には、印刷確認用画面、キーワード画面、検索範囲画面、追加候補用画面などを含む印刷編集用画面が表示される。
印刷確認用画面には、印刷情報や、印刷情報と関連情報を合成した合成画像が表示される。
追加候補用画面には、取得した関連候補情報が表示される。
また、画像形成装置の印刷機能や原稿読取機能を実行するのに必要な情報や、印刷に必要な設定項目などが、文字、記号、画像、アイコン等を用いて、表示部１３に表示される。

通信部１４は、ネットワーク２を介して、サーバSVや、他の情報処理装置PCと通信をする部分である。たとえば、サーバSVや情報処理装置PCから、印刷情報を受信する。
また、画像形成装置で印刷した合成画像を、情報処理装置PCに送信する。
ネットワークとしては、ＬＡＮ、インターネットなどのＷＡＮ、その他の専用回線などが利用される。

画像形成部１５は、情報を記録媒体に形成する部分であり、たとえば、画像データを記録媒体に印刷する場合、一般的に、帯電、露光、現像、転写、クリーニング、除電、及び定着の各工程を連続的に実施して、画像データを記録媒体に形成する。
現像工程では、トナーカートリッジからトナーを現像装置に補給し、帯電した感光体ドラムの表面に形成された静電潜像が現像され、静電潜像に対応したトナー像が形成される。
感光体ドラムの表面に形成されたトナー像は転写装置によって記録媒体上に転写され、その後、定着装置によって加熱されることにより記録媒体上に定着させられる。

画像出力部１６は、形成された画像データを出力する部分であり、後述するように、関連情報合成部によって生成された合成画像を出力する。
画像出力部１６は、たとえば、プリンタに相当し、印刷情報を、所定の印刷用紙（紙媒体）に、印刷する。
ただし、画像データの出力は、印刷に限るものではなく、たとえば、生成された合成画像をＵＳＢメモリなどの所定の記憶媒体に記憶することや、インターネットなどのネットワークを介して、複数の情報を格納した情報管理装置（サーバ）や他の情報処理装置に送信することも含む。

印刷情報取得部２１は、印刷情報を取得する部分であり、画像や文字図形等が記載された原稿などの情報を入力する。
印刷情報取得部２１としては、たとえば、所定の情報が印刷された原稿を読み取るスキャナ（画像読取装置）を用い、印刷情報が記載された原稿をスキャナで読み取り、電子データ化した印刷情報を、記憶部５０に記憶する。
スキャナで読み取られた印刷情報は、元の原稿に含まれていた文字などのテキスト情報も、画像情報として記憶される。画像情報として記憶されたテキスト情報は、文字認識をすることにより、テキスト情報として抽出され、この抽出されたテキスト情報から、キーワードが取得される。

印刷情報は、原則として、印刷することを目的として取得された情報である。
たとえば、印刷情報には、画像読取装置によって読み取られた原稿に記載されていた情報、記憶媒体に記憶されていた情報、および、複数の情報を格納した情報管理装置から送信されてきた情報等が含まれる。

ただし、印刷することを目的として取得された情報であっても、印刷以外に、USBメモリやハードディスクなどの記憶媒体に記憶されたり、情報管理装置（サーバSV）や情報処理装置PCなどに送信されたりする場合もある。
この発明において、印刷情報には、印刷することを目的として取得された情報以外に、記憶媒体への記憶することを目的として取得された情報や、ネットワークを介して、情報管理装置等に送信することを目的として取得された情報なども含むものとする。

印刷情報を取得する方法は、スキャナによって原稿を読み取るだけでなく、他にも種々の方法がある。
たとえば、ＵＳＢメモリなどの外部の記憶媒体を接続するインタフェースが、印刷情報取得部に該当する。
印刷したい画像情報などの電子データファイルを、ＵＳＢメモリなどの外部の記憶媒体に保存しておき、ＵＳＢメモリ等をＵＳＢ端子などの入力インタフェースに接続し、操作部１２で所定の入力操作を行うことによって、ＵＳＢメモリ等に保存された所望の電子データファイルを読み出して、記憶部５０に、印刷情報として記憶してもよい。
この場合、電子データファイルに含まれる文字などのテキスト情報は、テキスト情報のまま記憶され、このテキスト情報から、直接キーワードが取得される。

また、インターネットなどのネットワーク２を介して、画像情報を予め記憶したパソコンなどの情報処理装置PCやサーバSVに接続して、データ通信によって、画像情報や書面等を受信して、記憶部５０に印刷情報として記憶してもよい。
さらに、通信機能を有するカメラで、印刷したい情報が記載された用紙を撮影し、無線通信によってカメラと接続し、カメラで撮影された情報を受信して、記憶部５０に印刷情報として記憶してもよい。

印刷情報分析部２２は、取得された印刷情報を分析する部分であり、主として、印刷情報を、テキスト情報が記載された文字領域と、画像情報が記載されたラスタ領域に分類する。
文字領域は、文字、記号、数字などのテキスト情報が記載された領域であり、その文字等を直接取得し、文字等のテキスト情報として記憶する。このテキスト情報には、文字等の大きさや色等の情報も含めて記憶してもよい。
文字領域は、たとえば、ページ記述言語のデータを解析することにより、検出することができる。

ラスタ領域は、画像、図形、写真が記載された領域であり、さらに、文字、数字、記号等のテキスト情報が画像データとして含まれる領域である。
ラスタ領域は、たとえば、ページ記述言語のデータを解析することにより、検出することができる。
ラスタ領域に含まれるテキスト情報は、画像データであり、そのままでは文字として扱うことはできないので、文字認識をした後、テキスト情報として抽出する。
印刷情報を２次元座標で表した場合において、文字領域とラスタ領域は、その２次元座標における座標値で記憶される。

空白領域検出部２３は、取得された印刷情報に含まれる空白領域を検出する部分である。
空白領域は、取得された印刷情報において、文字や画像等の情報が記載されていない領域であって、白画素のみからなる所定の面積以上の大きさの領域である。
取得された印刷情報において、有効な情報が存在する領域が上記した文字領域とラスタ領域からなるとすると、空白領域は、主に、文字領域とラスタ領域とを除外した領域である。

ただし、印刷情報において、文字間などにも空白部分が多数存在するが、この発明では、空白領域は、後述する関連候補情報を追加できるような所定の面積以上の大きさを持つ領域を意味するものとする。
空白領域は、白画素しか含まない所定の面積以上の領域を抽出することにより検出すればよい。たとえば、空白領域として検出すべき領域の面積（たとえば、縦５ｃｍ×横５ｃｍ）を予め設定しておき、印刷情報の一端の画素から順に１画素ずつ白画素か否かを確認し、印刷情報の全画素を走査した後、上記面積を持つ白画素しか含まない領域が存在する場合に、その領域を空白領域と判断する。
空白領域も、印刷情報の２次元座標における座標値で表され、空白領域情報５２として記憶部５０に記憶される。

文字認識部２４は、上記したように検出されたラスタ領域に含まれる画像情報から、テキスト情報を抽出する部分である。
上記したようにラスタ領域には、文字や数字等のテキスト情報が、画像データとして記憶されているが、この画像データに対して文字認識を行い、文字等のテキスト情報を抽出する。
すなわち、従来技術と同様に、画像データから文字等を抽出する文字認識処理を行い、文字等のテキスト情報を取得する。
上記した文字領域のテキスト情報と、文字認識によって抽出されたテキスト情報とは、認識文字情報５３として、記憶部５０に記憶される。
また、文字認識処理を行う場合、認識文字の大きさや色も認識し、取得したテキスト情報に、文字等の大きさや色も含めて記憶してもよい。

キーワード取得部２５は、取得された印刷情報に含まれるテキスト情報から、所定数のキーワードを取得する部分である。
取得された印刷情報が、文字領域とラスタ領域とからなる場合、文字領域に含まれるテキスト情報と、ラスタ領域から取得したテキスト情報とから、キーワードを取得する。
たとえば、記憶部に予め所定の多数の単語を記憶しておき、上記テキスト情報の中に、記憶された単語に一致するものが存在すれば、その単語を、キーワードとして取得する。
あるいは、認識文字情報に含まれるテキスト情報を、単語に分割し、各単語の品詞を認識し、認識した品詞のうち、たとえば、名詞の単語だけを抽出し、その名詞の単語を、キーワードとして取得する。

また、テキスト情報の中には、同じキーワードが複数回出現する場合もあるので、キーワード取得部２５は、取得したキーワードごとに、そのキーワードが印刷情報に出現した回数（出現数）を計数する。
取得したキーワードと、その出現した回数（出現数）とを対応付けて、キーワード情報５４として、記憶部５０に記憶する。

出現数の多いキーワードは、印刷情報に関連が深く、印刷情報にとって重要なキーワードである可能性が高い場合が多いと考えられる。
そこで、できるだけ印刷情報に関連が深い情報を、空白領域に追加するという観点で、キーワードを選択する場合、出現数の多いキーワードを選択することが好ましいので、出現数も記憶する。
キーワードが複数取得された場合は、出現した回数の多いものから順に、所定数のキーワードを選択して、記憶部５０に記憶すればよい。
選択されるキーワードの所定数は、予め固定的に設定された数値でもよいが、操作部１２を利用して、ユーザが、任意の数値を設定できるようにしてもよい。

また、取得されたキーワードが適切でない場合や、ユーザがキーワードを設定したい場合もある。
そこで、取得されたキーワードを、表示部１３に表示して、操作部１２を利用して、ユーザが、表示されたキーワードを編集するようにしてもよい。
この表示されたキーワードを編集することには、たとえば、キーワードの削除、変更、および追加などの操作が含まれる。

関連候補情報取得部２６は、取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得する部分である。
記憶されたキーワード情報が、１つのキーワードしかない場合は、その１つのキーワードに関連する関連候補情報を、所定の検索範囲情報の中から探し出す。
キーワード情報に、複数のキーワードが含まれている場合は、キーワードに対応付けられた出現数の多いほうから順に、所定数（たとえば、３つ）のキーワードを選択する。
この選択された所定数のキーワードにそれぞれ関連する情報を、所定の検索範囲情報の中から、探し出す。

所定の検索範囲情報とは、関連候補情報を探し出す検索範囲を示す情報であり、検索範囲情報には、キーワードに関連する関連候補情報を探し出す場所や装置が設定される。
検索範囲情報には、たとえば、複数の情報を格納した情報管理装置（サーバSV）、ユーザが所有する情報処理装置PC、記憶装置のうち、少なくともいずれか１つ以上の装置が含まれる。
さらに、インターネットに接続された多数のWEBサーバのうちユーザが指定したWEBサーバ（以下、単に、WEBとも呼ぶ）や、ユーザが指定した画像ファイル等が存在する記憶位置（たとえば、フォルダ名）も、検索範囲情報に設定してもよい。

また、検索範囲情報に設定される情報としては、サーバSV、情報処理装置PC、WEBサーバ等に容易に接続できるように、これらの装置を特定するIPアドレス、URL、フォルダ名およびファイル名などが記憶される。
検索範囲情報は、予め固定的に記憶部５０に記憶してもよいが、操作部１２を利用して、ユーザが設定変更できるようにしてもよい。

関連候補情報取得部２６は、たとえば、３つのキーワードが選択され、検索範囲情報としてサーバが選択されている場合、サーバに３つのキーワードを送信する。
３つのキーワードを受信したサーバは、サーバに記憶された情報を検索し、３つの各キーワードに一致するファイル名や識別情報を含む文字や画像等の情報を抽出し、抽出した情報を、キーワードを送信してきた画像形成装置に送信し、その画像形成装置の関連候補情報取得部２６は、送信されてきた情報を、関連候補情報として、取得する。
後述するように、取得した関連候補情報は、表示画面の追加候補用画面に、表示される。
取得され表示されている関連候補情報のうち、ユーザが所望の関連候補情報を選択入力することによって、印刷情報に追加する関連情報が選択される。
また、空白領域中において、追加する関連情報を配置する位置も、ユーザが指定してもよい。

関連情報合成部２７は、選択された関連情報を、印刷情報に合成させる部分である。
ここでは、取得された関連候補情報の中から、操作部１２を利用して選択された関連情報を、取得された印刷情報の空白領域に合成した合成画像を生成する。
たとえば、操作部１２によって、表示部１３の追加候補用画面に表示された関連候補情報の中から、ユーザが選択した所望の関連情報を、表示部１３の印刷確認用画面に表示された印刷情報の空白領域に配置する操作がされた場合に、関連情報合成部２７が、選択された所望の関連情報を、印刷情報の空白領域に合成した合成画像を生成する。

合成画像印刷部２８は、生成された合成画像を、所定の印刷用紙に印刷する部分である。
これにより、もとの印刷情報にあった空白領域に、関連情報を合成した画像情報が、印刷される。
ただし、生成された合成画像は、印刷用紙に印刷するだけでなく、USBメモリなどの他の記憶媒体に記憶してもよく、あるいは、ネットワーク２を介してサーバや情報処理装置に送信してもよい。

記憶部５０は、この発明の画像処理装置の各機能を実行するために必要な情報やプログラムを記憶する部分であり、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体記憶素子、ＨＤＤ、ＳＳＤなどの記憶装置、その他の記憶媒体が用いられる。
記憶部５０には、たとえば、印刷情報５１、空白領域情報５２、認識文字情報５３、キーワード情報５４、関連候補情報５５、追加関連情報５６、合成画像情報５７、検索範囲情報５８などが記憶される。

印刷情報５１は、印刷情報取得部２１によって取得された情報であり、主として、印刷用紙に印刷しようとする情報である。
上記したように、スキャナにより読み取られた情報、記憶媒体に記憶された情報、サーバ等に記憶された情報などが、印刷情報５１に相当する。
印刷情報５１は、図２などに示すように、印刷確認用画面７１に表示される。

空白領域情報５２は、文字等が記載されていない空白領域に関する情報であり、取得された印刷情報５１に含まれる空白領域の位置を示す情報である。
上記したように印刷情報分析部２２によって、印刷情報５１のラスタ領域と文字領域が検出された後、空白領域検出部２３が、文字等が記載されていない空白領域を検出し、空白領域情報５２を記憶部５０に記憶する。

認識文字情報５３は、文字認識部２４によって認識された文字等のテキスト情報であり、印刷情報の文字領域に記載されたテキスト情報も含むものとする。
認識されたテキスト情報は、キーワードを取得するために利用される。

キーワード情報５４は、テキスト情報から取得したキーワードであり、キーワードの出現数も対応付けて記憶されている。
取得されたキーワードのうち、出現数の多いキーワードが、表示画面のキーワード画面７２に表示される。

関連候補情報５５は、関連候補情報取得部２６によって取得された情報である。
取得された関連候補情報５５は、表示画面の追加候補用画面７３に表示される。

追加関連情報５６は、関連候補情報５５のうち、ユーザによって選択されて、印刷情報に追加される情報（関連情報とも呼ぶ）である。
追加関連情報５６は、表示画面の印刷確認画面７１に表示される。

合成画像情報５７は、印刷情報５１と、追加関連情報５６とを合成した情報である。
ユーザが、追加関連情報５６を印刷情報５１に追加する操作をした後に、表示画面の印刷確認画面７１に表示される情報に相当する。

検索範囲情報５８は、関連候補情報５５を取得する範囲を示した情報である。
たとえば、サーバのアドレス、情報処理装置のアドレス、WEBのURL、画像形成装置に接続された記憶装置などを特定する情報である。
関連候補情報５５を取得する検索範囲は、予め固定的に、設定記憶してもよい。
あるいは、ユーザによって、所望の検索範囲を選択あるいは、指定入力してもよい。
また、サーバや情報処理装置を検索範囲に設定する場合は、さらに、サーバや情報処理装置に設定されたフォルダを選択してもよい。

また、検索範囲は、一つに限るものではなく、サーバとWEBというように、２つ以上の検索範囲を設定してもよい。
さらに、検索範囲のみならず、詳細な検索条件を設定入力してもよい。たとえば、選択されたキーワードに完全一致するフォルダに含まれるファイルを検索することを設定してもよく、選択されたキーワードを含むファイル名を持つファイルを検索することを設定してもよい。

また、選択されたキーワードに一致する識別情報を含む画像を検索することを設定してもよく、選択されたキーワードが出てくる文書や、選択されたキーワードが撮影された写真を検索することを設定してもよい。
あるいは、選択されたキーワードに関連するWebページのURL、そのWebページに含まれる写真、動画あるいは音声情報なども、検索範囲に含むように設定してもよい。

＜表示部に表示される印刷編集用画面＞
ここでは、印刷情報に空白領域がある場合に、その空白領域に関連情報を追加するために、必要な情報を表示する表示画面の一実施例について説明する。
表示画面に表示される各画面の配置や大きさ等は、以下に図示したものに限るものではない。

（印刷編集用画面の実施例１）
図２に、表示部に表示される印刷編集用画面の一実施例の説明図を示す。
表示部１３の表示画面７０に、いくつかの領域に分割された印刷編集用画面が、表示される。
たとえば、図２（a）に示すように、印刷編集用画面は、印刷確認用画面７１、キーワード画面７２、追加候補用画面７３からなる。
印刷編集用画面に含まれる各画面の配置や大きさは、ユーザによって、変更できるようにしてもよい。

印刷確認用画面７１は、印刷用紙に印刷される情報を視覚的に確認するための画面である。取得された印刷情報は、印刷確認用画面７１に表示される。
図示していないが、印刷を実行させるためのキー入力がされた場合、この印刷確認用画面７１内に表示された状態の画像が、印刷用紙に印刷される。
図２（b）に、印刷編集用画面の具体例を示す。
図２（b）の印刷確認用画面７１には、文字情報や画像からなる印刷情報が表示された状態を示している。

キーワード画面７２は、キーワード取得部２５によって取得されたキーワードを表示するための画面である。
取得されたキーワードが複数ある場合は、出現数の多いキーワードの順に、いくつかのキーワードが表示される。
図２（b）のキーワード画面７２には、２つのキーワード（白毫寺、黒猫）が表示された状態を示している。

このようなキーワードが表示された状態で、ユーザが、図示していない検索開始を意味するキーの入力操作をした場合、キーワードを利用して、関連候補情報５５の検索が開始される。
取得されたキーワードが多数あり、キーワード画面７２に表示しきれない場合は、表示可能な個数のキーワードを表示した後、たとえば、スクロール操作等を行うことにより、残りのキーワードを順次表示するようにしてもよい。

キーワードは、印刷情報から取得されたテキスト情報であるが、ユーザが、表示されたキーワードを編集してもよい。
たとえば、ユーザは、操作部１２によって、表示されたキーワードの削除や変更、あるいは新たなキーワードの追加をしてもよい。
キーワードを編集した後、ユーザが、検索開始キーを入力することにより、関連候補情報５５の検索を再度開始すればよい。

また、複数のキーワードを利用して検索を行う場合、複数のキーワードの全てに関連する情報を検索するのか、あるいは、複数のキーワードのうち、いずれかの１つのキーワードに関連する情報をすべて検索するのかを設定できるようにしてもよい。
さらに、キーワードを含む画像や写真を検索するのか、あるいは、キーワードを含む書面を検索するのかなど、詳細な検索条件を、ユーザが選択または入力できるようにしてもよい。

追加候補用画面７３は、関連候補情報取得部２６によって取得された関連候補情報５５を表示するための画面である。
ここに表示される関連候補情報５５は、所定の検索範囲を検索することにより、探し出されたキーワードに関連する情報である。
図２（b）の追加候補用画面７３には、４つの写真からなる関連候補情報５５が表示された状態を示している。
図２（b）では、２つのキーワード（白毫寺、黒猫）のそれぞれに関連する写真が表示されている。ユーザは、これらの関連候補情報５５を見ながら、印刷情報に追加する情報を選択する。

（印刷編集用画面の実施例２）
図３に、表示部に表示される印刷編集用画面の一実施例の説明図を示す。
ここでは、図２の印刷編集用画面に、検索範囲画面７４を追加した印刷編集用画面を示している。
検索範囲画面７４は、関連候補情報５５の検索範囲を表示した画面であり、検索範囲を設定入力するための画面でもある。
図３（a）のように、検索範囲画面７４は、たとえば、キーワード画面７２の下に表示される。

図３（b）の検索範囲画面７４には、３つの検索範囲（PC内、サーバ、WEB）が示されている。
検索範囲画面７４には、選択可能な複数の検索範囲が表示され、各検索範囲には、選択の有無を示すチェックボックスが表示されている。
ユーザが、検索範囲としたいチェックボックスにチェックを入れることにより、その検索範囲が選択状態となり、チェックボックスのチェックを外すことにより、その検索範囲が非選択状態となる。

図３（b）では、情報処理装置PCが、検索範囲として選択されている状態を示している。
選択できる検索範囲は、一つに限るものではなく、たとえば、３つとも選択してもよい。
この場合、ユーザが、キーワードと検索範囲を選択入力した後、検索開始を意味するキーの入力操作をした場合に、関連候補情報５５の検索が開始される。
なお、検索範囲画面７４そのものを表示するか否かを設定できるようにしてもよい。
ユーザが、検索範囲画面７４を表示させる設定をした場合に、検索範囲画面７４を表示するようにする。

（印刷編集用画面の実施例３）
図４に、表示部に表示される印刷編集用画面の一実施例の説明図を示す。
ここでは、図４（a）に示すように、図３の印刷編集用画面に、検索語数７５を追加した印刷編集用画面を示している。
検索語数７５は、取得したキーワード情報のうち、関連候補情報を検索するのに利用するキーワードの個数である。

検索語数７５としては、予め初期値を設定しておき、その後、ユーザによって、検索語数７５を自由に設定変更できるようにしてもよい。
検索語数７５を増やせば、多数の関連候補を探すことができ、ユーザが選択できる候補数を増加させることができる。ただし、多数の関連候補が、追加候補用画面に表示されることになると、選択に時間がかかる。
あまりに多くの関連候補が探し出された場合は、関連候補の数を減らすために、検索語数７５に、より少ない数字を入力し、再度検索を行えばよい。

＜印刷情報を取得した後、表示部に表示される情報の説明＞
図５に、印刷情報を取得した後、関連候補情報を取得するまでにおける表示画面の一実施例の説明図を示す。
図５（a）に、印刷情報を取得した場合の表示画面の一実施例を示している。
図５（a）は、図２のように３つの画面を配置した表示画面である。
図５（a）では、印刷確認用画面７１に、取得した印刷情報５１が表示された状態を示している。取得した印刷情報５１には、２つの印刷データ８１の領域と、空白領域８２が存在するものとする。
図７（a）に、図５（a）に対応する具体的な表示画面の一実施例を示す。

印刷情報を取得した後、自動的に、空白領域の検出処理を行ってもよく、あるいは、ユーザによる空白領域の検出開始を意味する入力操作がされた場合に、空白領域の検出処理を行ってもよい。
図５（a）のように、印刷情報に空白領域８２が存在することが検出された場合は、印刷データ８１に含まれる情報を分析して、キーワードを取得する。

図５（b）に、キーワード情報５４を取得した場合の表示画面の一実施例を示している。
図５（b）では、キーワード画面７２に、取得したキーワード（WD1、WD2）が表示された状態を示している。
図７（b）に、図５（b）に対応する具体的な表示画面の一実施例を示す。
ユーザがこのキーワード画面７２に表示されたキーワードを確認し、適切なキーワードである場合には、ユーザが、所定の入力操作をすることにより、表示されたキーワードを利用して関連候補情報を検索する処理を実行させる。

あるいは、表示されたキーワードが適切でない場合などでは、ユーザが、キーワードの削除、変更、追加等の入力を行って、キーワードを編集してもよい。この場合は、編集後のキーワードを利用して関連候補情報を検索する処理を実行させる。
この検索処理では、検索範囲情報５８に設定された検索範囲に対して、キーワードに関係する情報の検索が行われ、関連候補情報５５が取得される。

図５（c）に、関連候補情報５５を取得した場合の表示画面の一実施例を示している。
図５（c）では、追加候補用画面７３に、取得した関連候補情報５５（画像１、画像２、画像３）が表示された状態を示している。
図８（a）に、図５（c）に対応する具体的な表示画面の一実施例を示す。

ユーザが、この追加候補用画面７３に表示された関連候補情報５５を確認し、関連候補情報（画像１、画像２、画像３）の中から、印刷情報の空白領域８２に追加する情報（追加関連情報）を選択する。
たとえば、操作部１２によって、追加候補用画面７３に表示された画像のうち、所望の画像を選択し、その選択画像を、印刷確認用画面７１の中の空白領域８２の所望の位置に移動させる入力操作をすればよい。

図６に、追加する関連情報を選択した後、その追加する関連情報を含む画像を印刷するまでにおける表示画面の一実施例の説明図を示す。
図６（a）に、追加関連情報５６を選択した場合の表示画面の一実施例を示している。
図６（a）では、印刷確認用画面７１の空白領域８２に、選択した追加関連情報５６（画像２）が表示された状態を示している。
図８（b）に、図６（a）に対応する具体的な表示画面の一実施例を示す。

ユーザが、空白領域８２に表示された追加関連情報５６（画像２）を確認し、この画像２の位置や大きさ等を変更したい場合は、所定の入力操作をして、画像２の位置や大きさ等を変更してもよい。
追加関連情報５６としては、一つの関連候補情報５５だけを選択してもよいが、空白領域８２の大きさや形状に対応して、２つ以上の関連候補情報５５を選択してもよい。
追加関連情報５６の選択が終了すると、ユーザが、印刷される画像を確認するために、所定の入力操作をすることにより、印刷用紙に印刷される合成画像を生成し、表示画面７０にその合成画像を表示させる。

図６（b）に、生成した合成画像８３を表示した表示画面の一実施例を示している。
ユーザが、この合成画像８３を確認することによって、印刷を実行しても良いか否かを判断する。
確認した合成画像８３を印刷してもよい場合は、ユーザが、所定の印刷を開始させることを意味する入力操作をすることにより、印刷を開始させる。
これにより、図６（c）に示すように、印刷用紙８４に、合成画像が印刷される。
図９に、図６（c）に対応する具体的な印刷画像の一実施例を示す。
あるいは、ユーザは、合成画像８３を印刷するのではなく、合成画像８３を所定の記憶媒体に記憶させる入力操作や、合成画像８３をサーバSVや情報処理装置PCに送信させる入力操作をしてもよい。

＜実施形態１：印刷情報の関連情報を選択追加し、印刷するまでの処理の説明＞
図１０に、関連情報を選択し追加した後、合成画像を印刷するまでの処理の一実施例のフローチャートを示す。
ここでは、印刷情報を印刷しようとする場合において、印刷情報に空白領域があるとき、印刷情報に関連する関連候補情報を取得し、所望の関連情報（追加関連情報）を選択した後に、追加関連情報を印刷情報に合成して、印刷用紙に印刷する処理について説明する。

図１０のステップS1において、印刷情報取得部２１が、印刷情報（画像データ）を取得する。
印刷情報は、上記したように、スキャナによる読み取り、記憶媒体からの読み出し、サーバSVや情報処理装置PCからの受信などにより、取得すればよい。
取得された印刷情報５１は、記憶部５０に記憶し、表示部１３の印刷確認用画面に表示する。
たとえば、図７（a）に示したように、取得された印刷情報が、印刷確認用画面７１に表示される。

ステップS2において、空白領域検出部２３が、取得された印刷情報５１から、空白領域を検出する。
上記したように、所定の大きさ以上の空白領域を検出し、印刷情報に対する空白領域の位置を示す情報を、空白領域情報５２として記憶する。
ステップS3において、空白領域が検出された場合は、ステップS5に進み、空白領域が検出されなかった場合は、ステップS4に進む。
ステップS4において、画面出力部１６によって、取得された印刷情報を印刷し、処理を終了する。

ステップS5において、印刷情報分析部２２が、印刷情報（画像データ）を分析し、キーワード取得部２５が、分析結果から、キーワード情報５４を取得し記憶する。
また、たとえば、図７（b）に示したように、取得されたキーワードが、キーワード画面７２に表示される。
ステップS5の印刷情報（画像データ）の分析と、キーワード情報の取得処理の詳細については、図１２に示す。

ステップS6において、キーワード情報が取得された場合は、ステップS7に進む。
キーワード情報が取得されなかった場合は、ステップS8に進むか、あるいは、キーワード情報が取得されなかったことを表示し、ユーザに、キーワードを入力するように要求する画面を表示してもよい。

ステップS7において、所定数のキーワードを表示させ、検索に利用するキーワードを、ユーザに選択あるいは編集してもらい、キーワードを確定する。
確定されたキーワードも、図７（b）に示したように、キーワード画面７２に表示される。
このキーワード選択編集処理の詳細については、図１３に示す。

ステップS8において、関連候補情報取得部２６が、確定されたキーワードと、検索範囲情報５８を利用して、関連候補情報５５を取得し、記憶する。
この関連候補情報の取得処理の詳細については、図１４に示す。

ただし、キーワード情報がない場合は、検索範囲情報５８を利用して、印刷情報との関係の有無によらず、検索範囲から、ランダムに、関連候補情報を取得してもよい。
あるいは、ユーザが、キーワードを入力した場合は、その入力されたキーワードと、検索範囲情報５８を利用して、関連候補情報を取得する。
検索範囲情報５８は、予め初期値として設定された範囲を用いてもよく、あるいは、ユーザが指定した範囲を用いてもよい。
検索範囲情報の指定処理の詳細については、図１１に示す。

ステップS9において、取得された関連候補情報５５を、追加候補用画面に表示する。
取得された関連候補情報５５は、たとえば、図８（a）に示したように、追加候補用画面７３に表示される。
ユーザは、表示された関連候補情報５５を確認して、印刷情報の空白領域に追加する情報（追加関連情報）を選択する入力操作をする。
ステップS10において、関連候補情報５５の選択入力の有無をチェックする。
ステップS11において、関連候補情報５５の選択入力があった場合は、ステップS12に進み、そうでない場合は、ステップS10に戻る。

ステップS12において、選択された関連候補情報５５を、追加関連情報５６として記憶する。
ステップS13において、関連情報合成部２７が、追加関連情報５６を、印刷情報の空白領域に配置する。
ユーザによって、追加関連情報５６の大きさと位置が指定された場合は、指定された位置に、指定された大きさで、追加関連情報５６を配置する。
ステップS14において、関連情報合成部２７が、印刷情報に追加関連情報５６を合成した画像（合成画像情報５７）を生成する。

ステップS15において、合成画像を、印刷確認用画面７１に表示する。
たとえば、図８（b）に示したように、合成画像が、印刷確認用画面７１に表示される。
また、印刷する前に詳細な印刷状態を確認するために、設定した印刷用紙に合成画像を印刷した状態のみを示す画面を表示してもよい。
ユーザは、印刷確認用画面７１に表示された合成画像を確認して、合成画像に問題がなければ、承認と印刷の実行を意味する入力操作をする。

ステップS16において、承認と印刷の実行を意味する入力がされた場合は、ステップS17に進む。
ただし、承認と印刷の実行を意味する入力がされず、表示された合成画像を修正する入力がされた場合は、ステップS13に戻り、追加関連情報５６の配置等を変更し、上記のステップS13からステップS15までの処理を繰り返す。
ステップS17において、合成画像印刷部２８が、合成画像を印刷用紙に印刷する。
たとえば、図９に示したように、合成画像が、印刷用紙に印刷される。

図１１に、関連情報を取得する検索範囲を指定する処理の一実施例のフローチャートを示す。
図１１のステップS31において、検索範囲を指定するための画面を表示させる。
たとえば、図３に示したように、検索範囲画面７４を、表示画面に表示させる。
検索範囲画面７４に、図３に示したように、検索範囲の選択肢が表示されている場合は、ユーザは、所望の検索範囲を指定する入力をする。
図３に示したようなチェックボックスが表示されている場合は、チェックボックスにチェックを入れる入力をすればよい。
あるいは、検索範囲の詳細な内容を指定する場合は、たとえば、フォルダや、アドレスや、ファイル名を入力してもよい。

ステップS32において、検索範囲を指定するユーザの入力の有無をチェックする。
ステップS33において、検索範囲を指定するユーザの入力のうち、情報処理装置PC内のフォルダを指定する入力があった場合は、ステップS34に進み、そうでない場合は、ステップS35に進む。
ステップS34において、指定されたPC内のフォルダを、検索フォルダとして、検索範囲情報５８に記憶する。

ステップS34の後、ステップS41に進み、検索範囲の指定入力を終了する入力がない場合は、ステップS31に戻り、検索範囲の指定入力を終了する入力があった場合は、処理を終了する。
また、ステップS32においてユーザが複数の検索範囲（チェックボックス）を指定する入力をしていた場合もあるので、ステップS41において、他の検索範囲の指定入力の有無を確認し、まだチェックしていない残りの検索範囲がある場合は、ステップS33に戻り、再度、検索範囲の指定のチェックを繰り返してもよい。この場合、チェックしていない残りの検索範囲がない場合に、検索範囲の指定入力を終了する入力の有無を確認すればよい。

ステップS35において、検索範囲を指定するユーザの入力のうち、サーバSVのアドレスを指定する入力があった場合は、ステップS36に進み、そうでない場合は、ステップS37に進む。
ステップS36において、指定されたサーバSVのアドレスを、検索場所として、検索範囲情報５８に記憶する。
その後、ステップS41に進む。

ステップS37において、検索範囲を指定するユーザの入力のうち、WEBのURLを指定する入力があった場合は、ステップS38に進み、そうでない場合は、ステップS39に進む。
ステップS38において、指定されたWEBのURLを、検索場所として、検索範囲情報５８に記憶する。
その後、ステップS41に進む。

ステップS39において、検索範囲を指定するユーザの入力のうち、画像ファイルを指定する入力があった場合は、ステップS40に進み、そうでない場合は、ステップS41に進む。
ステップS40において、指定された画像ファイルの記憶位置を、検索範囲情報５８に記憶する。
その後、ステップS41に進む。

なお、図１１では、検索範囲として、情報処理装置PC、サーバSV、WEB、画像ファイルを示しているが、これに限るものではなく、他の検索範囲が指定された場合は、その指定された検索範囲を、検索範囲情報５８に記憶すればよい。
また、検索範囲情報５８に、初期値となる検索範囲が予め設定されている場合は、その初期値の検索範囲を、検索範囲画面７４に表示させ、初期値の検索範囲でよい場合は、ユーザは、検索範囲を指定する入力をしなくてもよい。

図１２に、キーワード情報を取得する処理の一実施例のフローチャートを示す。
この処理は、上記したステップS5で行われる処理である。
ステップS51において、印刷情報分析部２２が、印刷情報（画像データ）を分析し、主として、印刷情報に、テキスト情報が含まれているか、あるいは、ラスタ情報が含まれているかをチェックする。

ステップS52において、ラスタ情報が含まれているラスタ領域が存在する場合は、ステップS53に進み、そうでない場合は、ステップS55に進む。
ステップS55において、テキスト情報が含まれているテキスト領域が存在する場合は、ステップS56に進み、そうでない場合は、キーワード情報の取得処理を終了する。
ステップS56において、テキスト領域が存在するので、そのテキスト領域に含まれるテキスト情報を取得し、記憶する。

ステップS53において、文字認識部２４が、印刷情報（画像データ）から、文字認識をして、認識文字情報５３を取得し、記憶する。
ステップS54において、ステップS55と同様に、テキスト情報が含まれているテキスト領域も存在する場合は、ステップS56に進み、そのテキスト領域に含まれるテキスト情報を取得し、認識文字情報５３として記憶する。
ただし、ステップS54において、テキスト情報が含まれているテキスト領域が存在しない場合は、ステップS61に進む。

ステップS61において、取得した認識文字情報５３とテキスト領域のテキスト情報を、単語に分類する。
ステップS62において、分類した単語から、名詞の単語を取得する。
取得した名詞の単語が、キーワードである。
ステップS63において、取得した名詞の単語の出現数をカウントする。
印刷情報に同じ名詞が複数回出てくる場合もあるので、その名詞の出てくる回数（出現数）をカウントする。

ステップS64において、キーワード取得部２５が、取得した名詞の単語と、その出現数とからなるキーワード情報５４を、記憶部５０に記憶する。
これにより、印刷情報から、印刷情報に含まれるキーワードが取得される。

図１３に、キーワード情報を選択および編集する処理の一実施例のフローチャートを示す。
この処理は、上記したステップS7で行われる処理である。
図１３のステップS71において、上記したキーワード取得処理で取得した名詞の数（キーワード数）を、キーワードの選択数Nに設定する。

ステップS72において、キーワードの選択数Nを、表示部１３に表示させる。
ユーザは、表示された選択数Nを確認して、この数字でよいか否かをチェックする。
ユーザは、表示された選択数Nで問題なければ、確認したことを意味する入力をし、表示された選択数Nを変更したい場合は、選択数Nを変更する入力をする。
あるいは、予め設定された初期設定値を、選択数Nに設定してもよい。

ステップS73において、選択数Nを確認した入力があるか否かをチェックし、選択数Nを確認した入力があった場合は、ステップS77に進み、そうでない場合は、ステップS74に進む。
ステップS74において、ユーザによって、選択数Nを設定する入力があるか否かをチェックし、選択数Nの設定値が入力された場合は、ステップS75に進み、そうでない場合は、ステップS76に進む。
ステップS75において、ユーザによって入力された設定値を、選択数Nに設定し、ステップS77に進む。
ステップS76において、予め設定された初期設定値を、選択数Nに設定し、ステップS77に進む。

ステップS77において、キーワード情報から、出現数の多い順に、選択数Nに相当する個数（N個）のキーワードを選択する。
たとえば、選択数Nが２であれば、出現数の多い順に、２つのキーワードを選択する。
ステップS78において、選択したN個のキーワードを、キーワード画面７２に表示させる。
ユーザは、表示されたN個のキーワードを確認し、選択されたキーワードが適切なものであるか否かを判断し、不適切であれば、キーワードを修正等する入力をし、適切であれば、確認したことを意味する入力をする。

ステップS79において、キーワードを修正等する入力があれば、ステップS80に進み、そうでない場合は、ステップS81に進む。
ステップS80において、ユーザにより入力されたキーワードを表示し、ステップS79に戻る。ユーザの入力操作としては、たとえば、キーワードの削除、キーワードの変更、新たなキーワードの追加がある。

ステップS81において、選択されたキーワードを確認したことを意味する入力があった場合は、ステップS82に進み、そうでない場合は、ステップS79に戻る。
ステップS82において、N個のキーワードを確定し、キーワード情報５４を更新記憶して、処理を終了する。
これにより、検索に利用するキーワードが選択され、あるいは、キーワードが編集される。

図１４に、関連候補情報を取得する処理の一実施例のフローチャートを示す。
この処理は、上記したステップS8で行われる処理である。
以下に示す図１４のフローチャートにおいては、検索範囲情報５８に、検索範囲として、情報処理装置PCと、サーバSVと、WEBのURLと、指定された画像ファイルの記憶位置（リンク先アドレス）の情報が設定記憶されており、これら４つの検索範囲について、キーワードに関係する情報を検索するものとする。
ただし、たとえば、検索範囲情報５８に、サーバSVのみが設定されている場合は、サーバSVのみから、キーワードに関係する情報を検索し、他の検索範囲については検索を行わない。

図１４のステップS101において、関連候補情報取得部２６が、検索範囲情報５８を読み出す。
検索範囲情報５８には、１つの検索範囲のみが設定されている場合と、複数の検索範囲が設定されている場合がある。
複数の検索範囲が設定されている場合は、検索範囲ごとに、キーワードによる検索処理が実行される。

ステップS102において、取得したキーワード情報の中から、１つのキーワードを読み出す。
読み出したキーワードが、検索対象であり、検索範囲情報５８に設定された検索範囲において、キーワードに関係する情報が探し出される。
キーワードに関係する情報とは、たとえば、キーワードに一致するファイル名を持つファイル情報や、キーワードに一致するテキスト情報が記載された書面情報、キーワードに一致する識別情報が付加された画像情報、キーワードに関係するWebページのURL、印刷する元の電子データを保存しているフォルダのアドレスなどの情報を意味する。

ステップS103において、検索範囲情報５８に設定された検索範囲において、キーワードに関係する情報の有無をチェックする。たとえば、キーワードに一致する情報の有無をチェックする。
上記したように、キーワードに一致するファイル名を持つファイル情報などの有無をチェックし、該当するファイル情報などが存在する場合は、そのファイル情報などを、検索範囲から取得する。

ステップS104において、検索範囲である情報処理装置PC内に、キーワードに一致する情報が存在する場合は、ステップS105に進み、そうでない場合は、ステップS106に進む。
ステップS105において、情報処理装置PCから、キーワードに一致する情報のファイルを取得し、関連候補情報５５として記憶する。その後、ステップS106に進む。

ステップS106において、検索範囲であるサーバSV内に、キーワードに一致する情報が存在する場合は、ステップS107に進み、そうでない場合は、ステップS108に進む。
ステップS107において、サーバSVから、キーワードに一致する情報のファイルを取得し、関連候補情報５５として記憶する。その後、ステップS108に進む。

ステップS108において、検索範囲であるWEB内に、キーワードに一致する情報が存在する場合は、ステップS109に進み、そうでない場合は、ステップS110に進む。
ステップS109において、WEBから、キーワードに一致する情報のファイルを取得し、関連候補情報５５として記憶する。その後、ステップS110に進む。

ステップS110において、検索範囲に指定された画像ファイルが存在する場合は、ステップS111に進み、そうでない場合は、ステップS112に進む。
ステップS111において、指定された画像ファイルの記憶位置（リンク先アドレス）から、画像ファイルを取得し、関連候補情報５５として記憶する。その後、ステップS112に進む。

ステップS112において、キーワード情報に、まだ検索していない次のキーワードがあるか否かをチェックし、まだ検索していない次のキーワードがある場合は、ステップS113に進む。
ステップS113において、次のキーワードを１つ読み出し、ステップS103に戻り、上記した処理を繰り返す。
まだ検索していない次のキーワードがない場合、すなわちキーワード情報に含まれるすべてのキーワードを検索した場合は、処理を終了する。

このように、印刷情報に含まれるキーワードに関係した情報を、設定された検索範囲から自動的に取得して、印刷情報の空白領域に追加する関連候補情報として記憶するので、ユーザ自らが、印刷情報の空白領域に追加する情報を探し出す必要はなく、空白領域に追加する関連情報を探し出すのにかかるユーザの入力作業の容易化と時間の短縮をすることができ、ユーザの作業負担を軽減することができる。

＜実施形態２：検出範囲の指定処理＞
上記した図３の実施例では、表示画面に、予め設定されたいくつかの検索範囲を表示させて、ユーザが、所望の検索範囲を選択入力するものについて説明した。
たたし、検索範囲の指定は、これに限るものではない。
たとえば、検索範囲を、予め固定的に設定しておき、ユーザが変更できないようにしてもよい。

また、１つの検索範囲を予め固定的に設定しておき、その固定された１つの検索範囲に、予め、ユーザが関連候補情報とすることのできる情報を保存しておいてもよい。たとえば、検索範囲を、ユーザ所有のパソコン内にあるフォルダFDに設定し、ユーザが、このフォルダFDに、関連候補情報とすることのできる多数の情報を保存しておいてもよい。
あるいは、予め設定された検索範囲を選択するのではなく、ユーザが、特定の検索範囲を、直接入力してもよい。たとえば、ユーザが、事前に、所望の情報が記憶されているパソコンの位置を入力するか、または、所望の情報が記憶されているWEBのURLを入力してもよい。

また、検索範囲を予め固定的に設定するか、あるいは、ユーザが検索範囲を予め設定しておき、印刷処理をしていないときに、事前に設定された検索範囲にアクセスして、検索範囲内に存在する各情報からその情報に関連するキーワードを取得して、情報の記憶位置と、情報の識別名と、情報に関連する取得されたキーワードとを対応付けたリンク情報を作成し、複数のリンク情報を、予め関連候補情報を検索する範囲として記憶してもよい。

たとえば、ユーザ所有のパソコンが、予め検索範囲に設定されている場合において、印刷処理をしていないときに、パソコンに記憶された複数の情報ファイルにアクセスして、各情報ファイルのファイル名に含まれる単語をキーワードとして取得し、情報ファイルごとに、情報ファイルの記憶位置（たとえば、フォルダ）と、情報ファイルのファイル名と、取得されたキーワードとを対応付けたリンク情報（たとえば、情報ファイルの記憶位置＝写真フォルダ、情報ファイルのファイル名＝北海道写真001、キーワード＝北海道）を作成し、複数のリンク情報を、関連候補情報を検索する範囲として記憶してもよい。

この場合は、印刷情報から取得したキーワード情報と、リンク情報のキーワードとを比較し、キーワード情報に一致するキーワードがリンク情報にあった場合に、一致するキーワードと対応付けられた情報ファイルの記憶位置にアクセスし、その記憶位置にある情報ファイルを、関連候補情報として取得する。
リンク情報に、「記憶位置＝写真フォルダ、ファイル名＝北海道写真001、キーワード＝北海道」が記憶されていた場合で、印刷情報から取得したキーワード情報に「北海道」が含まれている場合、このキーワード情報「北海道」に一致するキーワードがあるリンク情報の記憶位置（写真フォルダ）にある情報ファイル（北海道写真001）が、関連候補情報として取得される。

このように、検索範囲を固定的に設定するのではなく、ユーザの選択入力や、事前設定によって、検索範囲を柔軟に設定できるようにすることによって、印刷情報により関連性の高い関連候補情報を取得できる可能性を高めることができる。

＜実施形態３：キーワードの編集処理＞
上記実施例では、印刷情報からキーワードを取得して、取得したキーワードをキーワード画面に表示し、ユーザが、表示されたキーワードを編集することを示した。
キーワードの編集では、ユーザが、表示されたキーワードの削除、一部修正、変更、新たなキーワードの追加等ができることが好ましい。

また、キーワード画面に表示できるキーワードの数は限定されるので、取得されたキーワードのうち、キーワードの出現数の多いものから順に、キーワード画面に表示可能な個数のキーワードを選択して表示してもよい。出現数の多いものから順に、キーワードを選択することにより、印刷情報により関連性の強い関連候補情報を取得できる可能性が高くなる。
一方、取得されたキーワードがない場合は、キーワードを入力すべきことを表示画面に表示し、ユーザに、キーワードを入力させるようにしてもよい。

さらに、取得されたキーワードの個数が、キーワード画面に表示できるキーワードの数よりもかなり多い場合は、表示されたキーワード以外に取得されたキーワードがあることを表示し、所定の入力操作をすることによって、取得されたすべてのキーワードを、表示画面に表示させて、採用すべきキーワードを、ユーザに選択させるようにしてもよい。

キーワードを取得する場合に、キーワードの出現数に加えて、印刷情報に記載されているキーワードの文字サイズの大きさ、色なども、キーワードに付随する情報として取得しておいてもよい。また、キーワードを構成する文字に、下線、斜体、太文字、取り消し線などの装飾指定があるかないかの情報も、キーワードに付随する情報として取得してもよい。
たとえば、文字サイズの大きいキーワードほど、印刷情報において、重要なキーワードであると考えることもできるので、キーワードの出現数の多いものから順に選択するが、出現数が同じキーワードが複数個ある場合は、キーワードの大きさの大きいものを、優先的に、選択するようにしてもよい。

キーワードの色については、たとえば、赤色など目立つ色で記載されているキーワードを、優先的に、選択するようにしてもよい。
このように、キーワードの出現数のみならず、キーワードの大きさや色等を考慮することによって、検索に利用するキーワードを選択することにより、印刷情報により関連性の高い関連情報を取得できる可能性を高めることができる。

＜実施形態４：キーワードの個数の設定処理＞
印刷情報から取得するキーワードの個数が少なすぎる場合は、適切な関連候補情報が取得されにくい場合があり、また、取得するキーワードの個数が多すぎる場合は、非常に多数の関連候補情報が取得されたために、ユーザが、それらの関連候補情報から、所望の関連補情報を選択する場合に、時間がかかる場合もある。

そこで、取得されるキーワードの数がかなり多くならないようにするために、取得するキーワードの個数（キーワード取得数K0）を設定するか、あるいは上限数を設定してもよい。たとえば、キーワード画面の大きさを考慮した数（たとえば、３）を、キーワード取得数K0に固定的に設定してもよい。
あるいは、ユーザが、任意に、キーワード取得数K0を設定変更できるようにしてもよい。

また、たとえば、取得されたキーワードの個数がK個であった場合に、そのうち５０％の数（０．５×K個）を、キーワード取得数K0に、動的に設定するようにしてもよい。
ここで、５０％という数値は一例であるので、他の任意の数値でもよい。
このように、取得するキーワードの個数を、固定設定、ユーザによる設定変更、あるいは、動的な設定のうちいずれかによって設定することにより、適切な個数の関連候補情報を取得できるようにすることができる。

１ 画像形成装置（ＭＦＰ）、
２ ネットワーク、
３ サーバ、
４ 情報処理装置、
１１ 制御部、
１２ 操作部、
１３ 表示部、
１４ 通信部、
１５ 画像形成部、
１６ 画像出力部、
２１ 印刷情報取得部、
２２ 印刷情報分析部、
２３ 空白領域検出部、
２４ 文字認識部、
２５ キーワード取得部、
２６ 関連候補情報取得部、
２７ 関連情報合成部、
２８ 合成画像印刷部、
５０ 記憶部、
５１ 印刷情報、
５２ 空白領域情報、
５３ 認識文字情報、
５４ キーワード情報、
５５ 関連候補情報、
５６ 追加関連情報、
５７ 合成画像情報、
５８ 検索範囲情報、
７０ 表示画面、
７１ 印刷確認用画面、
７２ キーワード画面、
７３ 追加候補用画面、
７４ 検索範囲画面、
７５ 検索語数、
８１ 印刷データ、
８２ 空白領域、
８３ 合成画像、
８４ 印刷用紙

Claims (10)

1. ユーザが所定の入力操作をするための操作部と、
   印刷情報を取得する印刷情報取得部と、
   前記取得された印刷情報に含まれる空白領域を検出する空白領域検出部と、
   前記取得された印刷情報に含まれるテキスト情報から、複数のキーワードを取得するキーワード取得部と、
   前記取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得する関連候補情報取得部と、
   前記取得された複数のキーワードと前記取得された関連候補情報とを表示する表示部と、
   前記表示された関連候補情報の中から前記操作部を利用して選択された関連情報を、前記取得された印刷情報の空白領域に合成した合成画像を生成する関連情報合成部と、
   前記生成された合成画像を、所定の印刷用紙に印刷する合成画像印刷部とを備え、
   前記キーワード取得部は、前記取得したキーワードごとに、前記印刷情報に出現した回数を計数し、
   前記キーワードが複数取得された場合、前記出現した回数の多いものから順に、複数かつ所定数のキーワードを選択して前記表示部に表示することを特徴とする画像形成装置。
2. 前記印刷情報を分析し、前記印刷情報を、テキスト情報が記載された文字領域と、画像情報が記載されたラスタ領域に分類する印刷情報分析部と、
   前記ラスタ領域に含まれる画像情報から、テキスト情報を抽出する文字認識部と、
   前記文字領域のテキスト情報と、前記抽出されたテキスト情報とを、認識文字情報として記憶する記憶部とを、さらに備えたことを特徴とする請求項１に記載の画像形成装置。
3. 前記キーワード取得部は、
   前記認識文字情報に含まれるテキスト情報を、単語に分割し、各単語の品詞を認識し、認識した品詞のうち、名詞の単語を、キーワードとして取得することを特徴とする請求項２に記載の画像形成装置。
4. 前記キーワード取得部は、
   前記取得したキーワードごとに、前記取得したキーワードと出現した回数とを対応付けたキーワード情報を、前記記憶部に記憶することを特徴とする請求項２に記載の画像形成装置。
5. 前記選択されるキーワードの所定数は、前記操作部を利用して、ユーザが設定することを特徴とする請求項１に記載の画像形成装置。
6. 前記表示部の表示画面には、前記印刷情報を表示する印刷確認用画面と、前記複数のキーワードを表示するキーワード画面と、前記取得した関連候補情報を表示する追加候補用画面とが含まれる印刷編集用画面を表示し、
   前記操作部によって、前記追加候補用画面に表示された関連候補情報の中から、ユーザが選択した所望の関連情報を、前記印刷確認用画面に表示された印刷情報の空白領域に配置する操作がされた場合に、
   前記関連情報合成部が、前記選択された所望の関連情報を、前記印刷情報の空白領域に合成した合成画像を生成することを特徴とする請求項１に記載の画像形成装置。
7. 前記検索範囲情報には、キーワードに関連する関連候補情報を探し出す場所および装置が設定され、複数の情報を格納した情報管理装置、ユーザが所有する情報処理装置、記憶装置のうち、少なくともいずれか１つ以上の装置が、前記検索範囲情報に含まれることを特徴とする請求項１に記載の画像形成装置。
8. 前記検索範囲情報は、前記操作部を利用して、ユーザが設定することを特徴とする請求項７に記載の画像形成装置。
9. 前記生成された合成画像を出力する画像出力部をさらに備え、
   前記画像出力部は、前記合成画像を所定の記憶媒体に記憶し、または、前記合成画像を複数の情報を格納した情報管理装置に送信することを特徴とする請求項１に記載の画像形成装置。
10. 画像形成装置における印刷情報生成方法であって、
    画像形成装置に備えられた制御部が、
    所定のコンピュータソフトウエアに基づいて、
    ユーザによって行われた入力操作に基づいて、印刷情報を取得する印刷情報取得ステップと、
    前記取得された印刷情報に含まれる空白領域を検出する空白領域検出ステップと、
    前記取得された印刷情報に含まれるテキスト情報から、複数のキーワードを取得するキーワード取得ステップと、
    前記取得されたキーワードに関連する関連候補情報を、所定の検索範囲情報に予め設定された検索範囲の中から取得する関連候補情報取得ステップと、
    前記取得された複数のキーワードと前記取得された関連候補情報とを表示する表示ステップと、
    ユーザによって行われた入力操作よって、前記表示された関連候補情報の中から選択された関連情報を、前記取得された印刷情報の空白領域に合成した合成画像を生成する関連情報合成ステップと、
    前記生成された合成画像を所定の印刷用紙に印刷する合成画像印刷ステップとを実行し、
    前記キーワード取得ステップにおいては、前記取得したキーワードごとに、前記印刷情報に出現した回数を計数し、前記キーワードが複数取得された場合、前記出現した回数の多いものから順に、複数かつ所定数のキーワードを選択して表示することを特徴とする画像形成装置における印刷情報生成方法。

Images