JP2001101435A

JP2001101435A - 文書画像処理装置文書画像処理方法

Info

Publication number: JP2001101435A
Application number: JP27322199A
Authority: JP
Inventors: Katsumi Kato; 克己加藤; Yoshiaki Kurosawa; 由明黒沢
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-09-27
Filing date: 1999-09-27
Publication date: 2001-04-13
Also published as: US6751779B1

Abstract

(57)【要約】【課題】本発明はレイアウト解析技術を用いて文書画像
を加工する際に、合成すべき画像を入力された文書画像
中に適切に配置して、追加、訂正等を簡単に行うことの
できる、操作性がよく、読み易い文書を容易に作成でき
る文書画像処理装置及び文書画像処理方法を提供するこ
とを課題とする。【解決手段】表示画像作成部１３は、操作データ入力部
１５からのオペレータ指示に従い、レイアウト解析部１
２で取得したレイアウト構成要素を用いて、画像入力部
１１で読み取った原画像について、追加、訂正等の加工
処理を行い、新たな文書画像を生成して表示部１４に表
示出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像を入力し
てその内容を加工する処理機能を備えた文書画像処理装
置及び文書画像処理方法に関する。

【０００２】また、本発明は、例えばスキャナ等で読み
取った文書画像を対象に、少なくとも加筆、添削のいず
れかを可能とした文書画像処理装置及び文書画像処理方
法に関する。

【０００３】

【従来の技術】スキャナ等で読み取った帳票類の文書画
像をコンピュータ画面中に表示して修正する技術として
は、特開昭６１−１５２８０号が知られている。しかし
ながらこの従来技術に於いては、例えば文字列画像を元
の文字行画像に挿入する場合、その修正を行なうに際し
て必要となる、移動すべき文字画像に対して、そのすべ
ての位置座標、および移動先をそれぞれオペレータが入
力しなければならず、従ってオペレータにかかる操作負
担が非常に大きく、事実上、実用に供さないという問題
があった。

【０００４】また、特開昭６３−１９７２６６号、特開
昭６３−１９７２６７号、特開昭６３−２９３６８２
号、特開平２−３３６５６号等に於いては、レイアウト
解析を用い、その結果に基づいて文書画像を加工する技
術が示されている。

【０００５】しかしながら、これらの文献に示される技
術は、加工位置、範囲の指定、および行末の文字を次の
行の先頭に移動する処理を含むだけなので、実際に文字
画像を入力された文書画像中に貼り込む際に、適切に配
置することができず、読み易い文書画像を作成する上で
問題があった。

【０００６】また、特開平３−１２２７７３号、特開平
５−１０８７９３号、特開平６−１８７３３３号、特開
平７−８５２９８号等に於いては、レイアウト解析技術
を用いて文書画像を加工する提案がなされている。しか
しながらこれらの技術に於いては、文書画像に、追加、
訂正等を行なう適切な手段を有しておらず、文書画像
に、容易かつ適切に追加、訂正等を行うことができない
という問題があった。

【０００７】

【発明が解決しようとする課題】上記したように、従来
では、レイアウト解析技術を用いて文書画像を加工する
技術に於いて、合成すべき画像を入力された文書画像中
に適切に配置して、追加、訂正等を簡単に行うことので
きる操作性のよい文書画像処理装置が存在しなかった。

【０００８】本発明は上記実情に鑑みなされたもので、
レイアウト解析により得られるレイアウト構成要素に基
づいて、合成すべき画像を入力された文書画像中に適切
に配置することにより、オペレータにかかる操作負担を
著しく軽減して、追加、訂正等を簡単な操作で迅速に行
うことができるとともに、読み易い新たな文書画像を容
易に作成できる文書画像処理装置及び文書画像処理方法
を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、レイアウト解
析結果から得られるレイアウト構成要素の位置サイズ情
報に基づいて、合成すべき画像を入力された文書画像中
に貼り込むための配置位置を取得する手段を有して、合
成すべき画像を入力された文書画像中に適切に配置でき
るようにしたことを特徴とする。これにより、オペレー
タにかかる操作負担を著しく軽減して、読み易い新規文
書を簡単な操作で容易かつ迅速に作成することができ
る。

【００１０】即ち、本発明は、画像入力部と、前記画像
入力部から入力された文書画像のレイアウトを解析し、
レイアウト構成要素を取得するレイアウト解析部と、前
記画像入力部から入力された文書画像を加工する画像加
工部と、前記画像加工部で加工した画像を表示する画像
表示部と、オペレータの指示を入力する操作データ入力
部とを備えた文書画像処理装置であって、前記画像加工
部に、前記画像入力部から入力された文書画像に貼り込
むための合成すべき画像を生成する手段と、前記オペレ
ータの指示に従い、前記レイアウト解析部で取得したレ
イアウト構成要素の位置サイズ情報をもとに前記合成す
べき画像を前記画像入力部から入力された文書画像内に
配置するための配置位置を決定する手段と、前記決定し
た配置位置に前記合成すべき画像を貼り込み、新たな文
書画像を生成する手段とを有してなることを特徴とす
る。

【００１１】また、本発明は、上記文書画像処理装置に
於いて、画像加工部に、合成すべき文字列コードを入力
し、当該文字列コードから貼り込むべき文字画像を生成
する手段と、前記生成された文字画像を前記入力した文
書画像内に配置する際の折り返し位置を決定する手段
と、前記折り返し位置にもとづいて前記文字画像を貼り
込み新たな文書画像を生成する手段とを具備してなるこ
とを特徴とする。

【００１２】また、本発明は、上記文書画像処理装置に
於いて、画像加工部に、合成すべき文字列コードに従う
文字画像を貼り込んで新たな文書画像を生成する処理
と、前記文字画像を前記入力した文書画像内に配置する
際に折り返しを行なう処理の少なくともいずれかに於い
て、レイアウト構成要素として得られる行の位置サイズ
情報にもとづき、該当する行画像の全部または一部を移
動させて文字画像の配置エリアを作成し、当該文字画像
の配置エリアにカーソルを表示して、合成すべき文字画
像の文字列コード入力を待つ手段を有してなることを特
徴とする。

【００１３】また、本発明は、画像入力部と、前記画像
入力部から入力された文書画像のレイアウトを解析し、
レイアウト構成要素を取得するレイアウト解析部と、前
記入力された文書画像を加工する画像加工部と、前記画
像加工部で加工した画像を表示する画像表示部と、オペ
レータの指示を入力する操作データ入力部とからなる文
書画像処理装置に於いて、前記操作データ入力部より合
成すべき画像の入力指示があったとき、前記画像加工部
に於いて、前記レイアウト解析部より得られるレイアウ
ト構成要素にもとづき、前記合成すべき画像を貼り込む
エリアを前記入力した文書画像内に確保し、当該エリア
をその周囲と異なる表示形態で表示して、前記合成すべ
き画像のエリアに合成すべき画像を貼り込み新たな文書
画像を生成し出力することを特徴とする。

【００１４】また、本発明は、画像入力部と、前記画像
入力部から入力された文書画像のレイアウトを解析し、
レイアウト構成要素を取得するレイアウト解析部と、前
記画像入力部から入力された文書画像を加工する画像加
工部と、前記画像加工部で加工した画像を表示する画像
表示部と、オペレータの指示を入力する操作データ入力
部とを備えた文書画像処理装置であって、前記画像加工
部に、前記画像入力部から入力された文書画像に貼り込
むための訂正記号を含む合成すべき画像を生成する手段
と、前記オペレータの指示に従い、前記レイアウト解析
部で取得したレイアウト構成要素の位置サイズ情報をも
とに前記合成すべき画像を前記画像入力部から入力され
た文書画像内に配置するための配置位置を決定する手段
と、前記決定した配置位置に前記訂正記号を含む合成す
べき画像を貼り込み、新たな文書画像を生成する手段と
を有してなることを特徴とする。

【００１５】また、本発明は、上記訂正記号を含む合成
すべき画像を貼り込み新たな文書画像を生成する手段を
有してなる文書画像処理装置に於いて、始点と終点を意
味する２箇所の位置を指定し、その周辺に於ける、レイ
アウト構成要素として得られる文字の切れ目位置を用い
て、新たな文書画像を生成する処理手段を有してなるこ
とを特徴とする。

【００１６】また、本発明は、上記訂正記号を含む合成
すべき画像を貼り込み新たな文書画像を生成する手段を
有してなる文書画像処理装置に於いて、レイアウト構成
要素の読み順にもとづいて、複数のレイアウト構成要素
にわたる訂正記号の画像を含む文書画像を貼り込み、新
たな文書画像を生成する処理手段を有してなることを特
徴とする。

【００１７】また、本発明は、上記訂正記号を含む合成
すべき画像を貼り込み新たな文書画像を生成する手段を
有してなる文書画像処理装置に於いて、訂正記号の画像
の貼り込みに際し、少なくともレイアウト構成要素の位
置サイズ情報にもとづいて、引き出し線の画像をレイア
ウト構成要素の読み取りに支障のないように配置し、貼
り込むことによって、新たな文書画像を生成する手段を
有してなることを特徴とする。

【００１８】また、本発明は、画像入力部より入力され
た文書画像を加工する文書画像処理方法に於いて、画像
入力部で読み取った文書画像のレイアウトを解析し、レ
イアウト構成要素を取得して、当該レイアウト構成要素
の位置サイズ情報をもとに、合成すべき画像の前記文書
画像内に於ける配置位置を決定し、当該位置に前記合成
すべき画像を貼り込んで新たな文書画像を生成すること
を特徴とする。

【００１９】上記したような機能を画像加工部をもつこ
とにより、オペレータにかかる操作負担を著しく軽減し
て、簡単な操作で容易かつ迅速に読み易い新規文書を作
成することができる。

【００２０】即ち、本発明は、オペレータが文書画像を
加工する際、文字列の追加、訂正を行なうときに、レイ
アウト解析結果であるレイアウト構成要素の情報に基づ
いて半自動的な処理がオペレータに提供されるので、従
来技術でオペレータが行わなければならなかった複雑な
操作が省略でき、従ってオペレータの操作負担が大幅に
軽減される。また見易い文書画像作成が可能となるの
で、イメージで表示されている文書の効率の良い読み取
り作業が可能となる。

【００２１】

【発明の実施の形態】以下図面を参照して本発明の実施
形態を説明する。

【００２２】先ず図１乃至図５を参照して本発明の基本
構成並びにその動作を説明する。

【００２３】図１は本発明の実施形態に於ける装置の構
成を示すブロック図であり、図２は上記図１に示す画像
加工部の動作処理手順を示すフローチャートである。図
３乃至図５はそれぞれ上記図２に示す画像加工処理（ス
テップＳ１３）の代表的な処理手順を示したもので、図
３は加筆（横書き）、図４及び図５は添削の各処理手順
を示している。

【００２４】図１に於いて、１１は帳票類（Ｐ）の文書
画像を入力する、例えばスキャナ等を用いて構成された
画像入力部であり、１２は画像入力部１１で読み取った
文書画像からレイアウト構成要素を取得するレイアウト
解析部である。

【００２５】１３は操作データ入力部１５から入力され
るオペレータの指示に基づき、上記レイアウト解析部１
２より得られるレイアウト構成要素を用いて、上記画像
入力部１１で読み込んだ（入力した）原画像を加工処理
し、その加工途中の画像を表示部１６に表示してオペレ
ータに提示する画像加工部であり、ここでは図２乃至図
５に示すような処理を実行する。

【００２６】１４は上記画像加工部１３より出力される
加工が終了した文書画像を外部装置に出力する画像出力
部である。１５はオペレータの各種指示を入力する操作
データ入力部である。１６は上記画像入力部１１で読み
込んだ（入力した）原画像、及び上記画像加工部１３で
加工処理された加工途中を含む文書画像を表示してオペ
レータに提示する画像表示部である。

【００２７】上記構成に於いて、画像入力部１１から入
力された文書画像はレイアウト解析部１２に送られ、そ
のレイアウトが解析されて、レイアウト構成要素が出力
される。ここでレイアウト解析技術とは、文書画像理解
分野で知られている既存の技術である。また、レイアウ
ト構成要素とは、文字の位置サイズ情報、行の位置サイ
ズ情報、ブロック（複数行からなるパラグラフに相当す
るもの）の位置サイズ情報、などの情報の他、写真、
図、テキストなどの領域の位置サイズ情報、種類などで
ある。さらに、その領域をさらに細かく、タイトル、著
者名、日付け、ヘッダー、フッターなどの分類情報を含
むことも可能である。

【００２８】尚、上記説明で使った「位置サイズ情報」
の意味は次の通りである。位置とサイズは互いに関係し
ており、例えば、矩形の左端と右端の位置座標の差が横
方向のサイズであるので、その意味で、特に位置とサイ
ズを区別せず、これらの情報を位置サイズ情報と呼んで
いる。

【００２９】次に、画像加工部１３に於いて、操作デー
タ入力部１５から入力されるオペレータの指示に基づい
て、上記レイアウト解析結果のレイアウト構成要素と原
画像を用いて原画像に含まれる任意の文書画像が図３乃
至図５に示すような処理を経て加工される。この加工処
理に於いて、加工途中の画像が表示部１６に表示されオ
ペレータに提示される。更に加工処理が終了した文書画
像は、新たに作成された文書画像として画像出力部１４
に送られ、外部の装置に出力される。

【００３０】図２はこの際の一連の処理手順を示すフロ
ーチャートであり、ステップＳ１１から順にステップＳ
１７まで処理が実行されるが、ステップＳ１６の判断処
理に於いて、操作データ入力の結果が次の画像（次ペー
ジ）に移ることを指示するものであった場合はステップ
Ｓ１１の画像入力に戻り、加工を継続する場合はステッ
プ１３の画像加工処理に戻る。

【００３１】この画像加工処理（ステップＳ１３）の処
理手順を図３乃至図５に示す。ここで図３は加筆（横書
き）の処理手順を示し、図４及び図５は添削の各処理手
順を示している。

【００３２】加筆処理の際は、図３ステップＳ２１に於
いて、操作データ入力部１５の入力内容が埋め込み位置
指定であるか文字入力であるかが判断され、埋め込み位
置指定であれば、ステップＳ２２〜Ｓ２５の処理が実行
される。また、文字入力であれば、ステップＳ３１〜Ｓ
３４の処理が実行される。

【００３３】即ち、埋め込み位置指定であるときは、レ
イアウト解析部１２より得られたレイアウト構成要素を
参照して、埋め込み位置周辺の、行の幅、高さ、行間距
離、文字サイズの平均値等を求め（図３ステップＳ２
２）、埋め込み位置が行間であるか行上であるかを判断
して（図３ステップＳ２３）、行間であれば、埋め込み
位置より下の文書画像を１行分、下に移動させて１行分
の文字画像配置エリアを形成し（図３ステップＳ２４；
図６参照）、行上であれば、埋め込み位置以降の文章部
分の文書画像を１行分、下に移動させて１行分の文字画
像配置エリアを形成する（図３ステップＳ２５；図７参
照）。

【００３４】また、文字入力であるときは、上記レイア
ウト構成要素を参照して、埋め込む文書ブロックの平均
文字サイズに合わせて合成すべき文字画像を生成し（図
３ステップＳ３１）、当該文字画像を埋め込む位置が文
字画像配置エリアの行末に達するか否かを判断して（図
３ステップＳ３２）、行末に達しなければ、上記生成し
た文字画像を上記文字画像配置エリアに貼り込む（図３
ステップＳ３４）。また上記文字画像の入力位置が行末
に達したならば、更に１行分の文字画像配置エリアを形
成した後（図３ステップＳ３３）、上記生成した文字画
像を文字画像配置エリアに貼り込む（図３ステップＳ３
４）。

【００３５】一方、添削処理の際は、図４ステップＳ４
１に於いて、操作データ入力部１５の入力内容が訂正モ
ード指定であるか訂正位置指定であるか文字入力である
かが判断され、訂正モード指定であればステップＳ４２
の処理が実行され、訂正位置指定であればステップＳ４
３〜Ｓ５２の処理が実行され、文字入力であれば図５に
示すステップＳ６１〜Ｓ６７の処理が実行される。

【００３６】即ち、訂正モード指定であるときは、指示
された訂正モード（挿入／取消／取消挿入）を記憶して
処理を終える（図４ステップＳ４２）。

【００３７】また、訂正位置指定であるときは、訂正モ
ード指定による訂正モードの内容を判断し（図４ステッ
プＳ４３）、「挿入」であれば、指定された位置の最寄
りの行より下の文書画像を１行分下へ移動して（図４ス
テップＳ４４）、指定された行の指定位置の最寄りの文
字間に挿入記号を生成する（図４ステップＳ４５；図１
７参照）。

【００３８】また、上記訂正位置指定の際に、訂正モー
ド内容が、「取消／取消挿入」である際は（図４ステッ
プＳ４３）、始点が入力済みであるか否かを判断し（図
４ステップＳ４６）、当該モードの最初の位置指定であ
れば今回の指定位置を始点として（図４ステップＳ５
１）、始点位置を示す画像を生成する（図４ステップＳ
５２）。

【００３９】また、始点が入力済みであれば（図４ステ
ップＳ４６）、今回の指定位置を終点として（図４ステ
ップＳ４７）、訂正モードが「取消」であれば、始点か
ら終点へ行に沿って取消線を挿入し（図４ステップＳ４
８，Ｓ４９；図１９、図２０参照）、訂正モードが「取
消挿入」であれば、始点から終点へ行に沿って取消挿入
線を生成し、終点の行の下の文書画像を１行分、下へ移
動する（図４ステップＳ４８，Ｓ５０；図２１参照）。

【００４０】また、上記図４ステップＳ４１に於いて、
操作データ入力部１５の入力内容が文字入力である際
は、訂正モードの内容を判断する（図５ステップＳ６
１）。ここで、訂正モードが「取消」である際は文字入
力を無効にして処理を終了する（図５ステップＳ６
７）。また、訂正モードが「挿入」または「取消挿入」
である際は（図５ステップＳ６１）、挿入しようとする
文書ブロックの平均文字サイズに合わせて挿入すべき文
字画像を生成する（図５ステップＳ６２）。更に訂正モ
ードが「取消挿入」である際は（図５ステップＳ６
３）、挿入する文字が行末に達するか否かを判断し（図
５ステップＳ６４）、行末に達していなければ挿入する
文字画像を指定した取消挿入位置に貼り込む（図５ステ
ップＳ６６）。また、挿入する文字が行末に達する際は
（図５ステップＳ６４）、挿入行の下の文書画像を更に
１行分、下へ移動して、取消挿入エリアを広げた後（図
５ステップＳ６５）、挿入する文字画像を貼り込む（図
５ステップＳ６６）。

【００４１】また、訂正モードが「挿入」である際は
（図５ステップＳ６３）、挿入する文字が挿入記号の範
囲を越えるか否かを判断し（図５ステップＳ６８）、挿
入記号の範囲を越えない際は、挿入する文字画像を貼り
込み（図５ステップＳ６６）、挿入記号の範囲を越える
際は、挿入記号を拡張して（図５ステップＳ６９）、挿
入する文字画像を貼り込む（図５ステップＳ６６）。

【００４２】このようにして、操作データ入力部１５か
らのオペレータ指示に従って、画像加工部１３により、
画像加工処理（Ｓ１３；図３〜図５）が実行される。

【００４３】ここで文書画像の加工処理の具体例として
追加記入の処理について述べる。

【００４４】まず、入力された文字列（文字コード列）
から文字列画像を作成する。この文字列画像を、画像入
力部１１より入力された文書画像に合成して、新しい文
書画像を生成する際に、上記文書画像をレイアウト解析
部１２のレイアウト解析の結果から得られるレイアウト
構成要素を用いて、前記入力文字列の文字列画像が文書
画像に合成され組み込まれるように、レイアウト構成要
素の配置を変更し文書画像を加工する。更に、レイアウ
ト構成要素の位置情報に基づいて上記文字列画像、また
は文字画像の配置位置を決定し、これらの文字画像を文
書画像中に合成する。

【００４５】この合成処理については、文書画像の中に
文字列画像を埋め込む形で１枚の画像として生成しても
よいし、または、文字列を表す文字コード列と、その加
工済み画像中の埋め込み位置と、フォントなどの情報を
別途用意して、その文字列イメージを、埋め込む前の加
工済み画像と組にして出力するようにしてもよい。

【００４６】上記編集作業をオペレータが指示する際
は、操作データ入力部１５のキーボード等から文字が入
力される毎に、前記レイアウト構成要素を移動させて、
上記入力された文字イメージ、および既に入力された文
字列イメージを合成して表示部１６に表示しオペレータ
に提示する。

【００４７】ここで本発明の実施形態に於ける、より詳
細な文書画像処理例を図６乃至図２７を参照して説明す
る。尚、以下に示す各実施形態に於ける画像加工処理
は、上記図１に示す画像加工部１３により、図２の画像
加工処理（ステップＳ１３）に於いて実行されるもの
で、それらの各処理手順については上記した図３乃至図
５のフローチャートを参照することにより容易に理解で
きる。

【００４８】先ず図６乃至図１１、図１５，図１６、及
び図２７を参照して本発明の第１実施形態による画像加
工処理動作を説明する。

【００４９】図６は実施形態の画面上での動作の詳細を
示すものである。図に於いて、符号１０１〜１０５は画
像入力部１１より入力した文書画像をレイアウト解析部
１２によりレイアウト解析して得られるレイアウト構成
要素の行の位置サイズ情報に基づいて、各行を意味する
矩形を画面上に表示したものであり、ここでは単に行と
呼ぶ。この行の表示形態は図示するように矩形表示（枠
取り表示、または領域の特定色表示等）であってもよい
し、または原画像そのもの、または原画像を伸縮したも
の、またはそれらの組み合わせであってもよく、要は行
の存在位置が分かればよい。

【００５０】同図（ａ）に示す符号１０６はオペレータ
が文字列を挿入しようとする位置を操作データ入力部１
５のポインティングデバイスなどを用いて指示操作した
際の画像の配置エリアを作成するための指定位置であ
り、ここでは行１０３と行１０４との間を指定してい
る。

【００５１】この操作を受けて、同図（ｂ）に示すよう
に、行１０４以下の行（図では行１０４と行１０５）が
下に行ピッチ分ずらされ、移動するように処理を行な
う。このようにして合成すべき画像の配置エリアを作成
する。

【００５２】この際、行ピッチや文字の大きさ、フォン
ト、文字ピッチなどはレイアウト解析結果のレイアウト
構成要素として得られている。このレイアウト構成要素
に含まれる行ピッチを用いて、下にずらす量を決定す
る。下方への移動手段、即ち下へのずらし方は、例え
ば、ずらせるべき画像の下の画素から順に、ずらし先の
位置にコピーしてゆくことによって実現される。なお、
この際、コピー済みの画素で、かつコピー先になってい
ないコピーエリア、すなわち移動部分の上側部分にある
画素は空白に置き換える。

【００５３】次に、このずらし操作によって得られた空
白領域に新たな記入を行なえるように、同図（ｂ）に示
すように、カーソル１０７を置く。このカーソルを置く
位置は各行１０１〜１０５の横方向の先頭位置（先頭文
字桁位置）に合わせる。

【００５４】このように、レイアウト解析結果として得
られるレイアウト構成要素の各行の先頭位置を用いて、
挿入開始位置を適切に自動設定する。尚、縦方向には、
上記レイアウト構成要素のデータから得られる行ピッチ
に基づいて、直前の行１０３の上側から行ピッチ分下が
った位置をカーソルの配置位置とする。

【００５５】上記図６（ｂ）に示すようにカーソル１０
７が置かれた状態で、オペレータが操作データ入力部１
５のキーボードなどを用いて文字列を入力すると、画像
加工部１３に於いて、その文字コード列に対応する文字
列画像が生成される。この際、文字コードに対応する文
字画像はフォントごとに予め用意しておき、そのフォン
トや文字サイズに対応する文字画像により文字列画像を
作成する。フォント文字サイズは、レイアウト解析結果
として得られたレイアウト構成要素に含まれる、周囲の
文字列のフォント情報に基づいて決めてもよいし、また
オペレータが決定するようにしてもよい。このような文
字入力によって４文字が入力された状態を図６（ｃ）に
符号１０８を付して示している。

【００５６】この入力された文字コードに対応した文字
画像の配置は以下のようにする。文書画像中の文字列が
定ピッチで並んでいる場合にはその文字配置位置が算出
できる。すなわち、文字を囲む矩形の座標値の値から文
字ピッチを推定し、さらに、文字の切れ目の位置を正確
に求める手段により算出できるもので、この手段は当該
画像認識分野で良く知られた技術である。この技術によ
って、合成貼り込みを行なおうとしているエリアの周囲
に於ける文字の配置情報を得ることができる。この情報
に基づいて、当該エリアに於ける文字の配置位置を決め
る。単純な方法としては、先行する行の文字の切れ目
（文字を囲む矩形の先頭位置、または終了位置、または
隣合う文字の矩形の中間などの位置）から、文字ピッチ
の平均値を求め、これを用いて文字の配置位置として、
その位置と実際の文字の切れ目との差が少なくなるよう
に、最適な配置位置を決定し、その位置に文字を貼り込
むようにする。以上の説明での位置とは、横書の場合は
横方向、縦書きの場合には縦方向の位置座標を意味す
る。一方、定ピッチで無い場合には、周囲の文字の平均
ピッチや、文字間空白の平均等を用い、これらに基づい
て文字画像を配置する。英文のように文字間と単語間の
違いかあるものについては、その両方の空白の平均等を
用いることとする。また、予め与えられたピッチを用い
ても良いし、また、オペレータがピッチを指定するよう
にしてもよく、これらを組み合わせることも有効であ
る。もちろん、カーソルの表示と文字の配置位置は一致
させておくようにすることが望ましい。

【００５７】上記図６（ｃ）の状態から、更に文字入力
された状態を同図（ｄ）に符号１０９を付して示す。こ
こでは６文字入力された状態を示している。

【００５８】ここまでに入力された文字列から作成した
文字列画像（図６（ｄ）に符号１０９で示す文字列）の
最終位置をレイアウト解析結果として得られているレイ
アウト構成要素の周囲の行の最終位置と比較することに
よって、この例では、改行、すなわち折り返しが必要と
判断される。この位置が折り返し位置、改行位置とな
る。この場合にも行１０４以下の行は、前回と同様に行
ピッチに基づいて、下にずらされる（移動させる）。そ
の移動に伴ってできた余白エリアの横方向の先頭位置
に、図６（ｄ）に示すように、カーソル１１０を表示す
る。これが折り返し表示、改行表示である。ここでのカ
ーソルの表示の方法は前に述べた方法と同様である。

【００５９】この図６（ｄ）に示す状態に対して、さら
に続けて２文字入力された状態を同図（ｅ）に符号１１
１を付して示す。

【００６０】ここでオペレータが挿入の終了を指示する
ことによって、文字列の挿入が終了する。この際、図６
（ｆ）に符号１１２〜１１４で示すように、同図（ｄ）
の行１０４と行１０５の一部を同図（ｅ）の入力文字列
１１１に接続するように加工してもよい。すなわち行の
幅に合わせて行１０４を分割し、その左側部分を入力文
字列１１１の右側に配置し、行１０４の右側部分を１０
４の先頭であった位置まで左にシフトし、そこに１０５
の左側部分を上記シフトした１０４の左側部分に接続さ
せる。これを繰り返すことによって行１０４以下の各行
を部分的にシフトし、記入付加された文字列と元々ある
文書画像の文字列の間にスペースがない状態で繋ぐこと
ができる。

【００６１】図２７は文字画像を埋め込む例である。図
に於いて符号５０１〜５０４は画像入力部１１より入力
された文書画像の一部の４つの文字を表したものであ
る。この文書画像の文字列が属する文字行の上端と下端
を直線で表し、符号５０５、５０６を付して示してい
る。符号５０７〜５１０は各文字画像の開始位置、符号
５１２〜５１４は各文字間の間隔である。レイアウト解
析部１２から得られるレイアウト構成要素のデータとし
て、この行の平均文字間隔（文字ピッチでも良い）は求
められている。また、平均文字サイズ、フォントも求め
られている。

【００６２】ここで、操作データ入力部１５のキーボー
ドなどから文字コードが入力されると、前記文字サイ
ズ、フォント等をもとに上記文字コードに従う文字画像
を生成する。その文字画像を囲む矩形を符号５１５を付
して示している。平均文字間隔の長さ分、文字画像の開
始位置５１０から離れた位置５１１に、上記文字画像を
囲む矩形５１５の左端を合わせ、行下端５０６の位置に
上記矩形５１５の下側を合わせるように、同矩形５１５
の画像を貼り込む。次に続く文字画像も同様にして配置
して表示する。

【００６３】図７は第１実施形態に於ける他の画像加工
例を示したもので、符号１２１〜１２５は上記図６と同
様に、行を意味する矩形を画面上に表示したものであ
る。同図（ａ）に示す符号１２６はオペレータが文字列
を挿入しようとする位置を操作データ入力部１５のポイ
ンティングデバイスなどを用いて指示操作した際の画像
の配置エリアを作成するための指定位置であり、ここで
は行１２３の行内で位置指定を行っている。この操作を
受けて、行１２３を指定位置１２６の付近において、レ
イアウト解析結果として得られているレイアウト構成要
素の文字の位置サイズ情報により、図７（ｂ）に示すよ
うに、行１２７と行１２８に分割する。そして行１２３
の一部をなす行１２８を一行分下にずらし移動して表示
し、それに対応して行１２４以下の各行も下にずらして
表示する。その上で図示するようにカーソル１２９を行
１２７に続く位置に表示する。このカーソル位置から、
同図（ｃ）に示すように、入力された文字列画像１３０
を表示する。

【００６４】このようにして入力された文字列から作成
した文字列画像の横方向の最終位置を、レイアウト解析
結果として得られているレイアウト構成要素の周囲の行
の最終位置と比較することによって、改行、すなわち折
り返しが必要であるか否かが判断され、折り返しが必要
と判断された際は改行を行なう。

【００６５】更に同図（ｃ）に符号１３１を付して示す
ように、周囲の行の開始位置と比較することによって決
められる表示開始位置から続いて入力される文字列を表
示する。この文字列表示が、行１２８の先頭に到達する
と、行１２８、および行１２４以下の行の表示位置を更
に下にずらし、図７（ｄ）に符号１３２を付して示すよ
うにカーソルを表示して、更に文字の追加入力ができる
ようにする。

【００６６】図８は第１実施形態に於ける他の画像加工
処理例を示したもので、符号１４１は上記図７に示す符
号１２７に対応し、カーソル１４２は同じく図７に示す
カーソル１２９に対応する。行１４３は図７に示す行１
２８に対応するが、図７に示すように下へはずらさず、
右へ１文字分ずらす。これに伴って、行１４３の右側を
周囲の行の最終位置と比較することによって改行が必要
と判断された文字の切れ目の位置で切断し、切断した行
の左側部分をカーソル１４２の右側に表示する。

【００６７】切断された行１４３の右側は図７に示す行
１２４に対応する行１４４の先頭に配置され表示され
る。行１４４とそれに続く部分は図７に示す行１２４に
対応しているが、その最終の部分も前記と同様に切り取
られ、行１４５の先頭部分に配置表示される。以下、同
様にそれ以下の行の表示処理が行なわれる。

【００６８】次に、文字が１文字入力されると、その文
字画像がカーソル１４２の位置に符号１４７に示すよう
に表示される。そして行１４３が右にずらされて、その
空領域にカーソル１４８が表示される。行１４３はその
最後の部分が、やはり周囲の行の最終位置と比較するこ
とによって、改行、すなわち折り返しが必要と判断され
た位置で切断され、切断した左側がカーソル１４８の右
端に行１４９として配置され表示される。行１４３の切
り取られた右側は前回同様、行１５０の先頭に配置表示
され、行１５０の最後の部分は行１５１の先頭に配置表
示され、以下同様の処理を繰り返す。

【００６９】図８（ｃ）に示す符号１５３は同図（ｂ）
の文字入力状態から更に１文字が追加された例で、処理
は上で述べたのと同様にして行なわれる。尚、この画像
加工処理での改行は上述した図７の説明と同様の処理に
より行なう。

【００７０】図９は第１実施形態に於ける他の画像加工
処理例を示したもので、符号１６１〜１６５は上述した
図６と同様に、行を意味する矩形を画面上に表示したも
のである。図９（ａ）に於いて符号１６６はオペレータ
が文字列を挿入しようとする位置を指示操作した際の指
定位置である。この画像加工処理例では、上記位置指定
操作を受けて、図９（ｂ）に示すように、ウィンドウ１
６７を発生表示させる。操作データ入力部１５のキーボ
ード等から入力された文字列は、このウィンドウ１６７
に同図（ｃ）に符号１６８を付して示すように表示さ
れ、その文字列入力の終了を意味する指示によって、図
９（ｄ）に示すように、行１６４以降の行がずらして表
示され、その空いたスペースに符号１６９に示すように
上記入力された文字列が表示される。この際の文字画像
の配置処理については上記した図７の処理例と同様であ
る。

【００７１】図１０は第１実施形態に於ける他の画像加
工処理例を示したもので、ここでは、表に追加記入する
画像加工処理例を示している。

【００７２】ここでは画像入力部１１から入力された原
画像を用いて、同図（ａ）に符号２００を付して示すよ
うに、表の表示を行ない、原画像中の罫線に対応してレ
イアウト解析結果から得られるレイアウト構成要素のう
ちの罫線の位置サイズ情報を保持して、以下の処理を行
なう。

【００７３】即ち、オペレータによって表示画面上の追
加記入する欄、例えば符号２０１に示された欄が指定さ
れると、その位置から、レイアウト解析結果として得ら
れるレイアウト構成要素に含まれる罫線の位置サイズ情
報を用いて、記入欄を特定し、その記入エリアを決定す
る。この例では指定欄２０１がその記入エリアとして決
定される。

【００７４】これにより、図１０（ｂ）に示すように、
上記記入欄の左寄せ、中央、右寄せ位置などにカーソル
２０２が表示される。図１０（ｂ）の例では左寄せであ
る。この状態で操作データ入力部１５のキーボードなど
から入力された文字列が表示され、図１０（ｃ）の例で
は４文字からなる文字列２０３が入力され表示される。
この例では４文字で表示位置が記入エリアの限界である
罫線２０４の位置に到達するので、図１０（ｃ）に示す
ように、次の文字入力位置を示すカーソルが文字列２０
３の左下の位置２０５に移動する。ここから更に文字列
を入力し、図１０に符号２０６で示すように、例えば８
文字の表示が行なわれる。この際は縦方向にも、記入エ
リアの限界である罫線２０７の位置まで表示位置が更新
されるので、これ以上の文字列入力を行なわないように
制御する。もちろん、この際に、仮想の境界を欄２０６
の下に設定して、それを文字列入力に対応して下に下げ
るようにして文字列入力を継続するように制御してもよ
い。

【００７５】次に、自動的に、またはオペレータの指示
によって、上記図１０（ｅ）に示す罫線２０８を移動さ
せる処理について述べる。画像中の罫線２０８につい
て、レイアウト構成要素のデータから同罫線が存在する
と決められる位置の画素の値を背景の画素の値と同じに
することによって消去し、代わって図１０（ｆ）に符号
２０９で示す位置に罫線イメージを発生させることによ
り、見掛け上、罫線２０８を右に移動したように表示す
る。この移動に伴い、追加記入された文字列イメージ２
０６も罫線２０８の移動に伴って新たに設定された記入
エリアに合うように編集されて、図１０（ｆ）に符号２
１０を付して示すように表示される。この例では２行目
の先頭２文字が１行目の後に移動して２行目が左に詰め
られている。この状態で更に文字列が入力された場合
は、カーソル２１１の位置から文字入力が継続される。

【００７６】以上は縦罫線について述べたが、横罫線の
場合についても、同様に移動処理を行なう。その際、罫
線移動に伴う文字列イメージの表示については、罫線を
移動した分、余白が生じてもよいし、高さ変更された枠
内の中央に位置するように文字列イメージを移動させて
もよく、さらには複数行存在すれば行間サイズを変更し
て枠内に均等に文字列の行を配置してもよい。

【００７７】図１１は第１実施形態に於ける他の画像加
工処理例を示したもので、符号２２０は入力された表形
式の画像である。この表形式の画像をレイアウト解析
し、レイアウト構成要素として、罫線の位置サイズ情報
を得ることによって、各欄のエリアを特定する。次に、
オペレータは捺印を電子的に行なう欄を操作データ入力
部１５のポインタデバイスなどによって、例えば、符号
２２１で示す位置に指定し、これを受けて、２２１の位
置を含むエリアを上記罫線位置サイズ情報に基づき、捺
印エリアとして決定する。次に、捺印する印鑑の種類を
指定することにより、その印鑑の画像が前記エリアの中
央に貼り込まれる。ここでは一例として貼り込み位置を
中央としたが、中央以外の場所でもよい。また印影だけ
でなく、なんらかの画像を用いてもよい。また図１１の
例では、符号２２３〜２２５で示す位置の文字列を認識
し、この文字列によって、捺印欄を自動的に特定するよ
うにしてもよい。また、印鑑の種類としては、複数の帳
票の特定の捺印エリアに自動的に同じ印影の画像を貼り
込む所謂めくら判機能を用いてもよい。

【００７８】図１５は第１実施形態に於ける他の画像加
工処理例を示したもので、この例では項目文字列３００
〜３０２について、レイアウト構成要素として、その位
置サイズ情報が得られている。これをもとにマーキング
すべき文字列の近傍を操作データ入力部１５のポインテ
ィングデバイスなどで指示すると、該当する文字列の位
置サイズ情報から、その位置を囲む図形を（図１５の例
では円）文字列が中心にくるように入力画像に埋め込
み、マーク済み画像を作成する。

【００７９】図１６（ａ）は記入用紙の文書画像例を符
号３２０を付して示している。これに対して、同図
（ｂ）には、記入文字列、記入丸印、捺印画像を埋め込
んだ文書画像を符号３２１を付して示している。この画
像を出力してもよいが、以下のように出力することもで
きる。つまり、記入文字列、記入丸印、捺印画像を、そ
れぞれ、文字コード列、記号種類、印影の画像データ、
埋め込み位置、フォント種類、文字画像データ、記号画
像データなどの情報からなる埋め込みデータとして、図
１６（ｃ）に示すように、別途作成し、この埋め込みデ
ータと文書画像３２０を組にして出力する。この際、文
書画像３２０を画像データではなく、帳票の種類を表す
コードデータとして出力してもよい。

【００８０】次に、図１２乃至図１４を参照して本発明
の第２実施形態による画像加工処理動作を説明する。

【００８１】図１２に示す例では、表２４１の中のいく
つかの欄の左上に項目文字列２４２〜２４４が記載され
ている。レイアウト理解により得られるレイアウト構成
要素の情報から、この項目文字列を含まないように、記
入エリア、すなわち、合成すべき画素を貼り込むべきエ
リアを特定する。図１２の例では符号２４５を付した斜
線で示す領域が記入エリアとして表示される、すなわち
周囲とは異なる形式で表示される。この例では次の項目
文字列「Ｂ」を含む記入欄の手前の記入欄までを記入エ
リアとして確定している。実際の表示にあたっては、こ
の斜線の部分について、色を変える、濃度を変える、図
１２に斜線で示すようなパターンで示すなどの手法でオ
ペレータに分かり易く表示する。また、エリア全体の色
を変えるだけでなく、そのエリアを囲む枠や、アンダー
ラインを作成し表示する手段などによって表示してもよ
い、この記入エリアに対して、入力されるオペレータの
指示に基づき合成すべき画像を貼り込んで新たな文書画
像を生成する。

【００８２】図１３は記入欄２６０の中央に符号２６１
で示す記号「〜」を持っている例である。この例の場合
には、文字列として抽出される記号２６１の位置サイズ
情報に基づいて、記入欄２６０をエリア２６２とエリア
２６３に分割する。そして記入エリアとしてエリア２６
２を図１２の実施形態と同様に色を変えるなどして表示
する。エリア２６２の記入が完了すると、次にエリア２
６３の欄が同様に色を変えるなどして表示される。

【００８３】図１４は記入エリアに罫線が含まれない例
である。この例では文字列２８０〜２８４が項目名とし
て得られている。この項目名の前後及び間に、記入エリ
アを設定し、図１２と同様に色を変えるなどして表示す
る。この例では、「年」「月」「日」の文字が文字認識
の結果として得られ、それらがスペースをおいて並んで
いることをチェックし、その形態が確認できたときに、
それらの間の部分２８５〜２８７を記入エリアとして設
定している。一方、項目名２８３、２８４については、
やはり「住所」、「氏名」のキーワードを文字認識結果
を用いて確認し、その結果に基づいて、記入エリア２８
９、２９０を、各文字列の横に接続するように設定し表
示する。このとき、各キーワードごとに記入エリアの長
さを決めておいて、それに基づいて表示エリアを設定す
るようにしてもよい。

【００８４】次に、図１７乃至図２６を参照して本発明
の第３実施形態による画像加工処理動作を説明する。こ
こでは画像加工例として訂正記入について示している。

【００８５】図１７は文書画像中に含まれる文字列画像
の例である。この表示画面に対して、図１７（ａ）に符
号３４０を付して示した位置に新規の文字列を挿入する
ことを指示する操作がオペレータにより行なわれたとし
て、以下の動作を説明する。上記指定位置３４０に図１
７（ｂ）に示すように、挿入記号３４１を発生させ表示
する。さらに、その挿入記号３４１に付随させて文字列
入力のためのカーソル３４２を表示する。操作データ入
力部１５のキーボードなどから入力される文字列は文字
画像に変換されて、図１７（ｃ）に符号３４３で示す位
置に表示される。このケースでは２文字が挿入された例
をしめしている。この挿入された２文字の文字列画像に
より、挿入記号のエリアが一杯になってしまうので、次
に挿入記号の拡大を行なう。その拡大された挿入記号を
図１７（ｂ）に符号３４４で示している。この挿入記号
３４４は前回の挿入記号３４１に置き換えて表示され、
それに付随して、文字列画像３４３も符号３４５で示す
表示位置に変えられ、またカーソル３４６もそれに続い
て表示される。以降、継続して入力された文字列も文字
画像に変換されて、図１７（ｅ）に符号３４７に示すよ
うに表示される。

【００８６】図１８は他の挿入記号例である。図１８
（ａ）に於いて、符号３６０は挿入位置、符号３６１は
引き出し線、符号３６２は挿入文字列画像である。図１
８（ｂ）に於いて、符号３６３は縦書きの例による挿入
文字列画像である。これら符号３６２、３６３で示した
挿入文字列画像は、余白領域に表示される。引き出し線
はオペレータが作成するようにしてもよいし、挿入位置
と挿入文字列の位置を指定したときにそれらを結ぶよう
に自動的に作成してもよい。この際、レイアウト構成要
素の位置サイズ情報に基づいて、引き出し線の画像をレ
イアウト構成要素の読み取りに邪魔にならないように配
置し、貼り込むように構成するようにしてもよい。ま
た、挿入文字列は図１８の例では枠に囲まれているが、
枠なしでもよい。また、縦、横について、その位置の余
白の状況に合わせて、すなわち余白が縦長であれば、縦
書きに、横長であれば横書きにするように自動的に設定
するようにしてもよい。

【００８７】図１９は取消線作成の例である。この図１
９の例は、入力された文書画像の文字列画像の一部と該
入力画像をレイアウト解析して得られる文字の位置サイ
ズ情報を枠として重ねて表示したものである。尚、枠は
必ずしも表示しなくてもよい。この表示画像に対して、
取消の開始位置３８０、及び終了位置３８１をオペレー
タが指示したとして、以下に動作を説明する。指定され
た取消の開始位置、及び終了位置３８０、３８１付近の
文字の切れ目位置をレイアウト構成要素のデータから確
定し、それに基づいて、取消線３８２を発生させ、原画
像の文字列画像に重ねて表示する。この例では２重線で
あるが、取消線はどのようなものであってもよい。

【００８８】図２０の場合も同じく取消線作成の例であ
る。図２０に於いて、符号４０１〜４０４は、行を意味
する矩形を画面上に表示したものである。符号４０５は
オペレータが文字列を削除しようとして指示した削除開
始位置、符号４０６は削除終了位置である。この削除開
始位置、および削除終了位置４０５、４０６付近の文字
の切れ目をレイアウト構成要素のデータから確定し、そ
れに基づいて、取消線４０７〜４１０を発生させ、原画
像の文字列画像に重ねて表示する。ここで、各行の読み
順が４０１〜４０４に順であることがレイアウト解析結
果から得られているので、この順に取消線を作成してい
く。すなわち、開始位置４０５を含む行４０１に対して
は、開始位置４０５から行の終りまでの取消線４０７を
作成表示し、終了位置４０６を含む行４０４に対して
は、行の先頭から終了位置４０６までの取消線４１０を
作成し表示する。行４０１、４０４の間の行４０２、４
０３に対しては行全体に対する取消線４０８、４０９を
作成し表示する。このように、レイアウト構成要素の読
み順に基づいて、複数のレイアウト構成要素にわたる訂
正記号の画像を少なくとも含む画像を貼り込むことによ
って、新たな文書画像を生成する。

【００８９】図２６は他の取消例である。図２６に於い
て、符号５２１〜５２５は、行を意味する矩形を画面上
に表示したものである。オペレータは行５２２〜５２４
を取り消す行として指定すると、その行５２２〜５２４
を囲むエリア５２６に、Ｘ状にクロスした線を持つ矩形
が取消記号として重ねて作成表示される。

【００９０】レイアウト解析結果としてレイアウト構成
要素より得られる、複数の行を含むブロックや図形、写
真などを含むブロックをオペレータが指定することによ
って、上記のような取消記号をその上に重ねて作成表示
してもよい。

【００９１】図２１は取消と挿入を合成した実施形態で
ある。まず、取消開始位置４２１と取消終了位置４２２
を指定することにより、図１９の実施形態と同様にして
取消挿入記号４２３を取消開始位置及び取消終了位置４
２１、４２２の間に作成して表示し、さらに図１７に示
す実施形態と同様の方法で修正文字列の画像４２４を取
消挿入記号の下に配置し表示する。

【００９２】図２２も取消と挿入を合成した実施形態で
ある。この例でも、取消開始位置４４１と取消終了位置
４４２を指定することにより、図１９の実施形態と同様
にして取消線４４３を４４１、４４２の間に作成し表示
し、さらに図１８の実施形態と同様の方法で修正文字列
の画像４４５を挿入文字列画像として図示するような位
置に配置して表示する。そして引き出し線４４４を取消
線４４３と修正文字列画像４４５の間に配置し表示す
る。

【００９３】図２３は複数行にわたる取消挿入の例であ
る。図２３に於いて、符号４６１〜４６４は、行を意味
する矩形を画面上に表示したもので、その上に取消線が
図２０の実施形態と同様の方法で作成されて表示されて
いる。次に、この削除された部分に変えて配置したい文
字列入力が行なわれるが、その文字列画像が、同図
（ｂ）に示すように、行４６１と行４６２の間に作成さ
れた修正文字列エリア４６５に表示される。この表示エ
リア４６５を設けるために行４６２以降の各行を１行分
下にずらして表示する。符号４６６はこの修正文字列エ
リア４６５と取消線を結ぶ引き出し線である。

【００９４】図２４は文字列の一部分の移動を表す例で
ある。図２４に於いて符号４８１〜４８４は行を意味す
る矩形を画面上に表示したものである。符号４８５は移
動部分の開始点、符号４８６は移動部分の終了点であ
る。この指示に基づいて、移動部分を確定する画像が作
成され表示される。図２４の例では上記文字列を囲む枠
を表示しているが、これは、その部分の色や濃度を変え
て表示してもよいし、アンダーラインであってもよい。
次に、移動先の位置をオペレータが符号４８９で示す位
置に指示したとする。これを受けて、引き出し線４９０
が移動部分４８７と、移動先位置４８９を結び付けるよ
うに作成され配置されて表示される。

【００９５】これらの例では取消線は１重線、２重線で
あるが、取消線はどのようなものであってもよく、線で
はない取消記号のようなものであってもよい。この取消
記号の一例を図２５に符号５００を付して示している。

【００９６】次に、特定の文字列の文字列画像を別の文
字列画像に一括変換する例について説明する。まず、置
き換え対象文字列を入力し、これと、入力された文書画
像を文字認識して得られる文字読み取り結果とを比較
し、該当する文字列を見付け出す。このようにして見付
け出された文字列に対応する文字列画像を消去する。次
に、この位置に、入力された、置き換える文字列から生
成された文字列画像を配置し貼り込む。この際、消去跡
のサイズが合わないときは、合わない文字数分、周囲の
文字列画像をずらせて配置し、周囲の文字列画像につい
ても文字の切れ目の位置情報を利用して改行位置の変更
に対処しながら配置し直して表示する。このような処理
を文書中のすべてに対して行なうことによって、特定の
文字列画像の一括変換が可能となる。

【００９７】上記の処理を画像ベースで行なうこともで
きる。すなわち、入力された文書中から、または任意の
ソースから、置き換え対象画像（これは必ずしも文字列
画像でなくともよい）を取り出し、この画像を文書画像
中の一部分とマッチングさせて、一致した部分につい
て、その画像を消去し、前記と同様の方法で置き換える
べき画像（これも入力された文書中からか、または任意
のソースから取り出す）をその部分に貼り込むことによ
って、特定の画像の一括変換を実現することができる。
置き換え対象画像が文字画像である場合には、入力文書
画像中のマッチング位置を、レイアウト解析結果として
得られている文字の切れ目の位置に限定すれば、置き換
え対象画像にマッチする画像の探索が無駄なく行なえ
る。

【００９８】最終的に、出力すべき文書画像は、入力さ
れた原画像の指定された位置に、これまでに説明してき
た挿入記号や取消線、取消記号と文字列画像を作成表示
するのと同様な方法で埋め込んで作成され出力される。
尚、本発明では、上記のような記号を総称して訂正記号
と称している。

【００９９】上記したように本発明の実施形態によれ
ば、オペレータが文書画像を加工する際、文字列の追
加、訂正を行なうときに、レイアウト解析結果であるレ
イアウト構成要素の情報に基づいて半自動的な処理がオ
ペレータに提供されるので、従来技術でオペレータが行
わなければならなかった複雑な操作が省略でき、従って
オペレータの操作負担が大幅に軽減される。また見易い
文書画像作成が可能となるので、イメージで表示されて
いる文書の効率の良い読み取り作業が可能となる。

【０１００】尚、上記した本発明の各実施形態で用いら
れている、各種の記号、挿入記号、削除記号、取消線、
枠、削除や挿入対象となる文字列画像、削除や挿入対象
となる位置、挿入される文字列画像などについて、それ
ぞれに色、濃度などを変えたり、アンダーラインや枠を
付与するなどして、他と容易に区別できるように表示し
てもよい。また、本発明では、追加文字列により本文を
修正するという加工処理形態について説明してきたが、
これに限るものではなく、本文に対するコメントとして
の追加文字列や、追加記号、追加画像等であってもよ
い。更に、本発明に於いて、文字列という場合には、１
文字のケースも含む。また、新たに生成した画像を通信
手段等により外部に転送する処理、印刷する処理、画像
蓄積装置に蓄積する処理等が介在してもよい。また、上
記した説明では横書文書を中心にして説明してきたが、
縦書きでも同様に本発明を適用することができる。要は
本発明の要旨を逸脱しない範囲で種々変形して用いるこ
とができる。

【０１０１】

【発明の効果】以上詳記したように本発明によれば、レ
イアウト解析により得られるレイアウト構成要素に基づ
いて、合成すべき画像を入力された文書画像中に適切に
配置することにより、オペレータにかかる操作負担を著
しく軽減して、追加、訂正等を簡単な操作で迅速に行う
ことができるとともに、読み易い新たな文書画像を容易
に作成できる文書画像処理装置及び文書画像処理方法が
提供できる。

【０１０２】即ち、本発明によれば、オペレータが文書
画像を加工する際、文字列の追加、訂正を行なう時に、
レイアウト解析結果であるレイアウト構成要素の情報に
基づいて半自動的な処理がオペレータに提供されるの
で、従来技術でオペレータが行わなければならなかった
複雑な操作が省略でき、従ってオペレータの負担が大幅
に軽減される。また見易い文書画像作成が可能となるの
で、イメージで表示されている文書の効率の良い読み取
り作業が可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態に於ける装置の構成を示すブ
ロック図。

【図２】上記図１に示す画像加工部の動作処理手順を示
すフローチャート。

【図３】上記図２に示す画像加工処理（ステップＳ１
３）の代表的な処理手順を示すフローチャート。

【図４】上記図２に示す画像加工処理（ステップＳ１
３）の代表的な処理手順を示すフローチャート。

【図５】上記図２に示す画像加工処理（ステップＳ１
３）の代表的な処理手順を示すフローチャート。

【図６】上記実施形態の動作説明図。

【図７】上記実施形態の動作説明図。

【図８】上記実施形態の動作説明図。

【図９】上記実施形態の動作説明図。

【図１０】上記実施形態の動作説明図。

【図１１】上記実施形態の動作説明図。

【図１２】上記実施形態の動作説明図。

【図１３】上記実施形態の動作説明図。

【図１４】上記実施形態の動作説明図。

【図１５】上記実施形態の動作説明図。

【図１６】上記実施形態の動作説明図。

【図１７】上記実施形態の動作説明図。

【図１８】上記実施形態の動作説明図。

【図１９】上記実施形態の動作説明図。

【図２０】上記実施形態の動作説明図。

【図２１】上記実施形態の動作説明図。

【図２２】上記実施形態の動作説明図。

【図２３】上記実施形態の動作説明図。

【図２４】上記実施形態の動作説明図。

【図２５】上記実施形態の動作説明図。

【図２６】上記実施形態の動作説明図。

【図２７】上記実施形態の動作説明図。

【符号の説明】

１１…画像入力部１２…レイアウト解析部１３…画像加工部１４…画像出力部１５…操作データ入力部１６…画像表示部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B009 NC01 NC02 NC03 NC06 NC07 NG03 QB12 RB32 TB11 5B050 BA06 BA16 CA07 DA06 EA12 EA19 EA20 FA02 FA09 FA16

Claims

【特許請求の範囲】

【請求項１】画像入力部と、前記画像入力部から入力
された文書画像のレイアウトを解析し、レイアウト構成
要素を取得するレイアウト解析部と、前記画像入力部か
ら入力された文書画像を加工する画像加工部と、前記画
像加工部で加工した画像を表示する画像表示部と、オペ
レータの指示を入力する操作データ入力部とを備えた文
書画像処理装置であって、前記画像加工部に、前記画像
入力部から入力された文書画像に貼り込むための合成す
べき画像を生成する手段と、前記オペレータの指示に従
い、前記レイアウト解析部で取得したレイアウト構成要
素の位置サイズ情報をもとに前記合成すべき画像を前記
画像入力部から入力された文書画像内に配置するための
配置位置を決定する手段と、前記決定した配置位置に前
記合成すべき画像を貼り込み、新たな文書画像を生成す
る手段とを有してなることを特徴とする文書画像処理装
置。
【請求項２】画像加工部に、合成すべき文字列コード
を入力し当該文字列コードから貼り込むべき文字画像を
生成する手段と、前記生成された文字画像を前記入力し
た文書画像内に配置する際の折り返し位置を決定する手
段と、前記折り返し位置にもとづいて前記文字画像を貼
り込み、新たな文書画像を生成する手段とを具備してな
る請求項１記載の文書画像処理装置。
【請求項３】画像加工部に、レイアウト構成要素とし
て得られる行の位置サイズ情報にもとづき、該当する行
画像の全部または一部を移動させて文字画像の配置エリ
アを作成し、当該文字画像の配置エリアにカーソルを表
示して、合成すべき文字画像の文字列コード入力を待つ
手段を有してなる請求項１記載の文書画像処理装置。
【請求項４】行画像の全部または一部を移動させて文
字画像の配置エリアを作成する手段は、少なくとも、合
成すべき文字列コードに従う文字画像を貼り込んで新た
な文書画像を生成する処理が指示された際、または前記
文字画像を前記入力した文書画像内に配置する際に折り
返しを行なう際のいずれかに於いて実行される請求項３
記載の文書画像処理装置。
【請求項５】画像入力部と、前記画像入力部から入力
された文書画像のレイアウトを解析し、レイアウト構成
要素を取得するレイアウト解析部と、前記入力された文
書画像を加工する画像加工部と、前記画像加工部で加工
した画像を表示する画像表示部と、オペレータの指示を
入力する操作データ入力部とからなり、前記操作データ
入力部より合成すべき画像の入力指示があったとき、前
記画像加工部に於いて、前記レイアウト解析部より得ら
れるレイアウト構成要素にもとづき、前記合成すべき画
像を貼り込むエリアを前記入力した文書画像内に確保
し、当該エリアをその周囲と異なる表示形態で表示し
て、前記合成すべき画像のエリアに合成すべき画像を貼
り込み、新たな文書画像を生成し出力することを特徴と
する文書画像処理装置。
【請求項６】画像入力部と、前記画像入力部から入力
された文書画像のレイアウトを解析し、レイアウト構成
要素を取得するレイアウト解析部と、前記画像入力部か
ら入力された文書画像を加工する画像加工部と、前記画
像加工部で加工した画像を表示する画像表示部と、オペ
レータの指示を入力する操作データ入力部とを備えた文
書画像処理装置であって、前記画像加工部に、前記画像
入力部から入力された文書画像に貼り込むための訂正記
号を含む合成すべき画像を生成する手段と、前記オペレ
ータの指示に従い、前記レイアウト解析部で取得したレ
イアウト構成要素の位置サイズ情報をもとに前記合成す
べき画像を前記画像入力部から入力された文書画像内に
配置するための配置位置を決定する手段と、前記決定し
た配置位置に前記訂正記号を含む合成すべき画像を貼り
込み、新たな文書画像を生成する手段とを有してなるこ
とを特徴とする文書画像処理装置。
【請求項７】始点と終点を意味する２箇所の位置を指
定し、その周辺に於ける、レイアウト構成要素として得
られる文字の切れ目位置を用いて、新たな文書画像を生
成する処理手段を有してなる請求項６記載の文書画像処
理装置。
【請求項８】レイアウト構成要素の読み順にもとづい
て、複数のレイアウト構成要素にわたる訂正記号の画像
を含む文書画像を貼り込み、新たな文書画像を生成する
処理手段を有してなる請求項６記載の文書画像処理装
置。
【請求項９】訂正記号の画像の貼り込みに際し、少な
くともレイアウト構成要素の位置サイズ情報にもとづい
て、引き出し線の画像をレイアウト構成要素の読み取り
に支障のないように配置し、貼り込むことによって、新
たな文書画像を生成する請求項６記載の文書画像処理装
置。
【請求項１０】画像入力部で読み取った文書画像のレ
イアウトを解析し、レイアウト構成要素を取得して、当
該レイアウト構成要素の位置サイズ情報をもとに、合成
すべき画像の前記文書画像内に於ける配置位置を決定
し、当該位置に前記合成すべき画像を貼り込んで新たな
文書画像を生成することを特徴とする文書画像処理方
法。