JP6984145B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置に関する。

例えば、特許文献１には、原稿に記述された第１の言語を画像データとして読み取り、文字認識を行った後、文字認識結果に基づいて第１の言語を第２の言語に変換し自動翻訳する自動翻訳文書の文書作成方法において、第２の言語に変換された翻訳文書に誤りがあったときは第２の言語の文書に修正処理を施して正確な翻訳文書を作成する自動翻訳文書の文書作成方法の技術が開示されている。

また、例えば、特許文献２には、ソース文書をユーザに対して提示する段階であって、ソース文書は、ソース言語におけるソーステキストと、少なくとも１つのグラフィック要素を含んでいる段階と、グラフィック要素をターゲット文書に対してマッピングする段階と、ソーステキストをターゲット言語に翻訳することにより、ターゲットテキストを生成する段階と、ターゲットテキストをターゲット文書に対してマッピングする段階と、を有する翻訳ツールの技術が開示されている。

特開平８−３１４９４０号公報 特表２００７−５１５０１９号公報

画像に含まれる文書を翻訳する場合、翻訳前の状態と翻訳後の状態とに表示上の大きな差異が生じてしまうことがある。ユーザが画面を確認しながらこのような差異を判断するのは煩雑な作業となり、文書の量が多くなるほど時間を要することになる。
本発明の目的は、ユーザが画面上で確認しながら翻訳前の状態と翻訳後の状態とを比較する場合と比べて、翻訳前の状態と翻訳後の状態との差異の程度が予め定められた程度を超えるか否かを判断することの煩雑さを軽減することにある。

請求項１に記載の発明は、画像の情報を取得する取得手段と、前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段とを備え、前記表示制御手段は、前記レイアウト崩れが検出されている領域の種類によって、前記レイアウト崩れが検出された領域の表示形態を変更することを特徴とする情報処理装置である。
請求項２に記載の発明は、前記表示形態を変更することは、前記領域から予め定められた範囲内に付加する画像を変更することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記レイアウト崩れを修正する修正手順の候補を提示する提示手段をさらに備えることを特徴とする請求項１又は２に記載の情報処理装置である。
請求項４に記載の発明は、画像の情報を取得する取得手段と、前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段と前記レイアウト崩れを修正する修正手順の候補を提示する提示手段とを備え、前記修正手順には、複数の形式が存在しており、前記提示手段は、領域の種類によって、前記候補として提示する前記修正手順の形式を変更することを特徴とする情報処理装置である。
請求項５に記載の発明は、画像の情報を取得する取得手段と、前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段とを備え、前記レイアウト崩れの度合いは、前記画像内の領域毎の翻訳後の位置の変化を相対的に評価されることを特徴とする情報処理装置である。
請求項６に記載の発明は、レイアウト崩れの度合いは、前記画像内の領域のうちの翻訳後の位置の変化が、予め定められた程度を超えるか否かで評価されることを特徴とする請求項５に記載の情報処理装置である。

請求項１記載の発明によれば、ユーザが画面上で確認しながら翻訳前の状態と翻訳後の状態とを比較する場合と比べて、翻訳前の状態と翻訳後の状態との差異の程度が予め定められた程度を超えるか否かを判断することの煩雑さを軽減することができる。
請求項２記載の発明によれば、さらに、領域内の差異の程度又は領域の種類を把握し易くなる。
請求項３記載の発明によれば、修正手順が提示されずにユーザが修正を行う場合と比べて、差異の程度を修正し易くなる。
請求項４記載の発明によれば、領域の種類によらず同一の修正手順を提示する場合と比べて、差異の程度を修正し易くなる。
請求項５記載の発明によれば、各領域の差異の程度に全体的な偏りがある場合であっても、差異の程度が予め定められた程度を超える領域の情報を出力することができる。
請求項６記載の発明によれば、各領域の差異の程度に全体的な偏りがある場合であっても、特定の割合の領域の情報を出力することができる。

本実施の形態に係る画像処理装置のハードウェア構成例を示す図である。 本実施の形態に係る画像処理装置の機能構成例を示したブロック図である。 画像処理装置による一連の処理の手順の一例を示したフローチャートである。 （ａ）、（ｂ）は、修正領域検出部が修正領域を検出する処理の一例を説明するための図である。 修正領域検出部が修正領域を検出する処理の手順の一例を示したフローチャートである。 （ａ）、（ｂ）は、翻訳結果及びレイアウト崩れの情報の表示例を示した図である。 修正手順の候補の表示例を示した図である。 本実施の形態を適用可能なコンピュータのハードウェア構成例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理装置のハードウェア構成＞
まず、本実施の形態に係る画像処理装置１００のハードウェア構成について説明する。図１は、本実施の形態に係る画像処理装置１００のハードウェア構成例を示す図である。本実施の形態に係る画像処理装置１００は、例えば、画像読み取り機能（スキャン機能）、印刷機能（プリント機能）、複写機能（コピー機能）及びファクシミリ機能等の各種の画像処理機能を備えた、いわゆる複合機である。なお、本実施の形態において、画像処理装置１００は、情報処理装置の一例として用いられる。

図示するように、本実施の形態に係る画像処理装置１００は、制御部１１０と、ＨＤＤ（Hard Disk Drive）１２０と、操作パネル１３０と、画像読取部１４０と、画像形成部１５０と、通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）１６０とを備える。なお、これらの各機能部はバス１７０に接続されており、このバス１７０を介してデータの授受を行う。

制御部１１０は、画像処理装置１００の各部の動作を制御する。この制御部１１０は、ＣＰＵ（Central Processing Unit）１１０、ＲＡＭ（Random Access Memory）１１０ｂ、ＲＯＭ（Read Only Memory）１１０ｃにより構成される。
ＣＰＵ１１０は、ＲＯＭ１１０ｃ等に記憶された各種プログラムをＲＡＭ１１０ｂにロードして実行することにより、画像処理装置１００における各機能を実現する。ＲＡＭ１１０ｂは、ＣＰＵ１１０の作業用メモリ等として用いられるメモリ（記憶部）である。ＲＯＭ１１０ｃは、ＣＰＵ１１０が実行する各種プログラム等を記憶するメモリ（記憶部）である。

ＨＤＤ１２０は、各種データを記憶する記憶部である。ＨＤＤ１２０には、例えば、画像読取部１４０の画像読み取りによって生成された画像データや、通信Ｉ／Ｆ１６０によって外部から受信した画像データ等が記憶される。

操作パネル１３０は、各種の情報を表示するとともに、ユーザからの操作を受け付ける。この操作パネル１３０は、液晶ディスプレイ等で構成された表示パネル、表示パネルの上に配置され、ユーザによりタッチされた位置を検出するタッチパネル、ユーザにより押下される物理キー等から構成される。そして、操作パネル１３０は、例えば、画像処理装置１００の操作画面等の各種画面を表示パネルに表示したり、タッチパネル及び物理キーによりユーザからの操作を受け付けたりする。

画像読取部１４０は、原稿台上にセットされた用紙等の記録材に形成されている画像を読み取って、読み取った画像を示す画像情報（画像データ）を生成する。ここで、画像読取部１４０は、例えばスキャナーであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部１５０は、用紙等の記録材に画像を形成する印刷機構である。ここで、画像形成部１５０は、例えばプリンターであり、感光体に付着させたトナーを記録材に転写して像を形成する電子写真方式や、インクを記録材上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ１６０は、不図示のネットワークを介して他の装置との間で各種データの送受信を行う通信インタフェースである。

そして、この画像処理装置１００では、制御部１１０による制御の下、画像読取部１４０によってスキャン機能が実現され、画像形成部１５０によってプリント機能が実現され、画像読取部１４０及び画像形成部１５０によってコピー機能が実現され、画像読取部１４０、画像形成部１５０及び通信Ｉ／Ｆ１６０によってファクシミリ機能が実現される。

＜画像処理装置の機能構成＞
次に、本実施の形態に係る画像処理装置１００の機能構成について説明する。図２は、本実施の形態に係る画像処理装置１００の機能構成例を示したブロック図である。

本実施の形態に係る画像処理装置１００は、機械翻訳の対象となる画像情報を取得する画像情報取得部１０１と、画像に含まれる文字を認識する文字認識部１０９と、画像内の文書を翻訳（機械翻訳）する機械翻訳部１０２と、翻訳によるレイアウト崩れの発生している箇所を検出する修正領域検出部１０３と、翻訳結果及びレイアウト崩れの情報を表示する結果表示部１０４とを備える。また、画像処理装置１００は、レイアウト崩れに対する修正を行う修正部１０５と、レイアウト崩れに対する修正指示をユーザから受け付ける修正指示受付部１０６と、翻訳結果の出力指示をユーザから受け付ける出力指示受付部１０７と、翻訳結果を出力する翻訳結果出力部１０８とを備える。

画像情報取得部１０１は、機械翻訳の対象となる画像情報を取得する。ここで、画像情報取得部１０１は、例えば、画像読取部１４０が用紙等の記録材に形成された画像を読み取って生成した画像情報を取得する。また、画像情報取得部１０１は、例えば、通信Ｉ／Ｆ１６０を介して他の装置から送られてきた画像情報を取得してもよい。

文字認識部１０９は、画像情報取得部１０１が取得した画像情報に対して、例えばＯＣＲ（Optical Character Recognition）の処理を行って文字認識を行う。ＯＣＲとは、画像データ上にある文字を解析し、コンピュータで扱われる文字データに変換する技術である。

より具体的には、文字認識部１０９は、まず、画像情報取得部１０１が取得した画像情報により特定される画像を、１又は複数の領域に分割する。この領域分割は従来の手法により行われるものであり、例えば、文字の大きさや行間の幅、罫線などの情報を基に、画像を構成する構成要素毎に分割される。画像の構成要素としては、例えば、文書オブジェクト、表オブジェクト、図形オブジェクト、写真等のイメージオブジェクト（いわゆる、ビットマップ画像）などが例示される。文字認識部１０９は、画像の領域分割を行うと、分割後の各領域において、ＯＣＲ（Optical Character Recognition）等の処理により文字認識を行う。

機械翻訳部１０２は、画像情報取得部１０１が取得した画像情報により特定される画像内の文書の翻訳を行う。翻訳としては、例えば、英語（第１言語の一例）から日本語（第２言語の一例）への翻訳などが例示される。

より具体的には、機械翻訳部１０２は、分割後の各領域において、予め定められたレイアウトで配置されている文書の翻訳を行う。そして、翻訳後の文書を、翻訳前の文書が配置されていた位置に配置する。さらに、文書以外の構成要素についても、翻訳前に配置されていた位置に配置する。このようにして、機械翻訳部１０２は翻訳後の画像情報を生成する。

なお、領域の種類によっては機械翻訳部１０２による翻訳を行わない設定をしてもよい。例えば、イメージオブジェクトの領域について、領域内に文書が含まれているか否かにかかわらず、機械翻訳部１０２による翻訳を行わないというような設定をしてもよい。
また、画像情報取得部１０１が取得した画像情報において、各領域の文字情報がすでに把握されている場合には、上述した文字認識部１０９による文字認識を行わずに、機械翻訳部１０２の機械翻訳を行ってもよい。

修正領域検出部１０３は、翻訳前の画像情報（即ち、画像情報取得部１０１が取得した画像情報）における文書のレイアウトと、翻訳後の画像情報における文書のレイアウト（翻訳後レイアウト）とを比較して、翻訳によるレイアウト崩れの発生している箇所を検出する。ここでは、レイアウト崩れは、翻訳前後によって、文書中のテキストや画像の文書全体に対する位置が大きく変化することをいっている。言い換えると、修正領域検出部１０３は、翻訳前の画像情報における文書のレイアウトと、翻訳後の画像情報における文書のレイアウトとを比較して、両者のレイアウトに差異のある領域（以下、修正領域と称する）を検出する。ここで検出される修正領域は、画像に含まれる１又は複数の領域のうち、翻訳前の状態と翻訳後の状態との差異の程度が予め定められた程度を超える領域として捉えることができる。

より具体的には、修正領域検出部１０３は、分割後の各領域について、翻訳前の状態と翻訳後の状態とを比較する。そして、領域毎に、翻訳前の状態と翻訳後の状態との差異の程度を計算する。差異の程度が予め定められた程度を超える領域がある場合、その領域を修正領域として検出する。修正領域を検出する処理の詳細については、後述する。

結果表示部１０４は、レイアウト崩れの情報及び翻訳結果を操作パネル１３０に表示する。ここで、結果表示部１０４は、翻訳結果として、翻訳後の画像を表示する。また、結果表示部１０４は、レイアウト崩れの情報として、翻訳後の画像内における修正領域の位置を示す情報を表示する。

さらに、結果表示部１０４は、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正するための修正手順の候補を表示する。そして、後述するように、ユーザが選択した修正手順に従って修正が行われると、結果表示部１０４は、修正の反映された翻訳後の画像を表示する。

修正指示受付部１０６は、レイアウト崩れに対する修正指示をユーザから受け付ける。言い換えると、修正指示受付部１０６は、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正する指示をユーザから受け付ける。

より具体的には、例えば、結果表示部１０４により提示された修正手順の候補をユーザが操作パネル１３０上で選択することにより、修正指示受付部１０６は、選択された修正手順による修正の指示を受け付ける。また、例えば、ユーザが、直接、翻訳後の画像情報を編集してもよい。この場合、修正指示受付部１０６は、翻訳後の画像情報を編集する指示を受け付ける。

修正部１０５は、修正指示受付部１０６が受け付けた修正指示に従って、レイアウト崩れに対する修正を行う。言い換えると、修正部１０５は、修正指示受付部１０６が受け付けた修正指示に従って、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正する。

より具体的には、例えば、ユーザが修正手順の候補を選択した場合には、修正部１０５は、選択された修正手順に従って、翻訳後の画像情報を修正する。また、例えば、ユーザが、直接、翻訳後の画像情報を編集した場合には、修正部１０５は、その編集を反映させることにより、翻訳後の画像情報を修正する。

出力指示受付部１０７は、翻訳結果の出力指示をユーザから受け付ける。より具体的には、例えば、操作パネル１３０上でユーザが翻訳結果を出力することを選択することにより、出力指示受付部１０７は、出力指示を受け付ける。ここで、出力指示受付部１０７は、翻訳結果をどのようなフォーマットで出力するかの指示も受け付ける。出力のフォーマットとしては、例えば、用紙等の記録材、電子データ等が例示される。

翻訳結果出力部１０８は、出力指示受付部１０７が受け付けた出力指示に従って、翻訳結果を出力する。ここで、翻訳結果出力部１０８は、出力指示受付部１０７が受け付けた出力指示に従って、修正部１０５による修正の反映された翻訳結果（即ち、修正部１０５による修正の反映された翻訳後の画像情報）を出力する。

より具体的には、例えば、翻訳結果出力部１０８は、修正部１０５による修正の反映された翻訳後の画像情報を画像形成部１５０に出力して、印刷するように指示を行う。また、例えば、翻訳結果出力部１０８は、修正部１０５による修正の反映された翻訳後の画像情報を、通信Ｉ／Ｆ１６０を介して、ユーザの指定した出力先の装置に出力する。

そして、図２に示す画像処理装置１００を構成する各機能部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、画像処理装置１００を図１に示したハードウェア構成にて実現した場合、例えば、ＲＯＭ１１０ｃに格納されているＯＳのプログラムやアプリケーション・プログラムが、ＲＡＭ１１０ｂに読み込まれてＣＰＵ１１０に実行されることにより、画像情報取得部１０１、機械翻訳部１０２、修正領域検出部１０３、結果表示部１０４、修正部１０５、修正指示受付部１０６、出力指示受付部１０７、翻訳結果出力部１０８、文字認識部１０９等の各機能部が実現される。

なお、本実施の形態では、取得手段の一例として、画像情報取得部１０１が用いられる。出力手段、提示手段の一例として、結果表示部１０４が用いられる。置換手段の一例として、機械翻訳部１０２が用いられる。比較手段の一例として、修正領域検出部１０３が用いられる。

＜画像処理装置による一連の処理手順の説明＞
次に、画像処理装置１００による一連の処理の手順について説明する。図３は、画像処理装置１００による一連の処理の手順の一例を示したフローチャートである。

まず、画像情報取得部１０１は、機械翻訳の対象となる画像情報を取得する（ステップ１０１）。次に、文字認識部１０９は、画像情報取得部１０１が取得した画像情報に対して、例えばＯＣＲの処理を行って文字認識を実行する（ステップ１０２）。次に、機械翻訳部１０２は、画像情報取得部１０１が取得した画像情報により特定される画像内の文書を翻訳する（ステップ１０３）。ここでは、１又は複数の領域毎に文書の翻訳が行われ、翻訳後の画像情報が生成される。

次に、修正領域検出部１０３は、翻訳前の画像情報と翻訳後の画像情報とを比較し、翻訳前の状態と翻訳後の状態との差異の程度が予め定められた程度を超える修正領域を検出する（ステップ１０４）。次に、結果表示部１０４は、翻訳後の画像内に存在する修正領域の位置を示す情報を表示する（ステップ１０５）。さらに、結果表示部１０４は、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正するための修正手順の候補を表示する（ステップ１０６）。

次に、修正指示受付部１０６は、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正する指示を受け付ける（ステップ１０７）。ここでは、ステップ１０６で提示された修正手順の候補をユーザが選択したり、直接ユーザが画像情報を編集したりすることにより、修正指示を受け付ける。なお、ユーザは、複数の修正手順の候補を選択したり、提示された修正手順を選択するとともに直接画像情報を編集したりしてもよい。

次に、修正部１０５は、修正指示受付部１０６が受け付けた修正指示に従って、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正する（ステップ１０８）。ステップ１０７においてユーザが複数の修正手順の候補を選択した場合には、複数の修正手順により修正が行われる。また、ユーザが提示された修正手順を選択するとともに直接画像情報を編集した場合には、修正手順による修正が行われるとともにユーザによる編集も反映される。

次に、結果表示部１０４は、修正部１０５による修正の反映された翻訳後の画像を表示する（ステップ１０９）。なお、ユーザが修正を完了するまで、ステップ１０６〜ステップ１０９の処理が繰り返し実行される。
次に、出力指示受付部１０７は、翻訳結果を出力する指示を受け付ける（ステップ１１０）。次に、翻訳結果出力部１０８は、出力指示受付部１０７が受け付けた出力指示に従って、修正部１０５による修正の反映された翻訳結果を出力する（ステップ１１１）。そして、本処理フローは終了する。

＜修正領域を検出する処理の説明＞
次に、修正領域検出部１０３が修正領域を検出する処理について説明する。図４（ａ）、（ｂ）は、修正領域検出部１０３が修正領域を検出する処理の一例を説明するための図である。図４（ａ）に示す画像１Ａは、翻訳前の画像（画像情報）であり、図４（ｂ）に示す画像１Ｂは、翻訳後の画像（画像情報）である。

ここで、図４（ａ）、（ｂ）に示す画像１Ａ及び画像１Ｂにおいて直交座標系を考える。具体的には、例えば、画像１Ａ及び画像１Ｂの図中左上の隅を原点Ｏとし、図中右方向にｘ軸、図中下方向にｙ軸を定める。そして、画像１Ａ及び画像１Ｂの横方向（図中左右方向）の座標をｘ座標、画像１Ａ及び画像１Ｂの縦方向（図中上下方向）の座標をｙ座標とする。

また、画像１Ａは、画像１Ａを構成する構成要素を基に複数の領域に分割されている。図示の例では、文書オブジェクトの領域１１Ａ〜１１Ｄ、表オブジェクトの領域１２Ａ〜１２Ｌ、図形オブジェクトの領域１３Ａに分割される。なお、文書オブジェクトの領域のうち、領域１１Ａは箇条書きの領域として、領域１１Ｂ〜１１Ｄは文章の領域として分割される。

さらに、画像１Ｂは、画像１Ａに含まれる文書を翻訳して翻訳後の文書を配置した画像であり、画像１Ａと同様に、文書オブジェクトの領域１１Ａ〜１１Ｄ、表オブジェクトの領域１２Ａ〜１２Ｌ、図形オブジェクトの領域１３Ａに分割されている。付言すると、画像１Ｂの各領域は、画像１Ａの各領域に対応しており、画像１Ｂにおける各領域の位置は、画像１Ａにおける各領域の位置と同じである。例えば、画像１Ｂ内での領域１１Ａの位置（座標）は、画像１Ａ内での領域１１Ａの位置（座標）と同じである。

そして、修正領域検出部１０３は、翻訳前の画像１Ａと翻訳後の画像１Ｂとを比較する。より具体的には、修正領域検出部１０３は、画像内の各領域について、翻訳前の状態と翻訳後の状態とを比較して、差異の程度を計算する。ここで、修正領域検出部１０３は、領域内の画素毎に、翻訳後の画素値が翻訳前の画素値から一定範囲内の値であるか否かを判定する。例えば、翻訳後の画素値（Ｒ，Ｇ，Ｂ）が、翻訳前の画素値（Ｒ，Ｇ，Ｂ）から一定範囲内にあるか否かを判定する。そして、翻訳後の画素値が翻訳前の画素値から一定範囲内にある画素を一致画素とし、翻訳後の画素値が翻訳前の画素値から一定範囲を超えている画素を不一致画素とする。

このようにして、修正領域検出部１０３は、領域内の全画素について、一致画素と不一致画素とに分類する。そして、修正領域検出部１０３は、領域内の全画素のうちの不一致画素の占める割合（以下、不一致度と称する）を計算する。この不一致度が予め定められた程度（例えば、３０％）を超える領域がある場合、その領域を修正領域として検出する。

さらに説明すると、翻訳前と翻訳後とでは文書の言語が異なるため、翻訳の前後で画像が完全に一致することはない。ただし、翻訳後でも翻訳前のレイアウトが維持されている場合には、一致画素の割合が多くなり、不一致画素の割合が少なくなると想定される。そこで、本実施の形態では、不一致度が予め定められた程度以下の領域については、翻訳後でも翻訳前のレイアウトが維持されているものとする。一方、不一致度が予め定められた程度を超える領域については、翻訳後には翻訳前のレイアウトが維持されておらず、レイアウト崩れが発生しているものとする。

例えば、図４に示す領域１１Ａについて、翻訳前の状態と翻訳後の状態とを比較する場合を説明する。この場合、修正領域検出部１０３は、領域１１Ａの各画素について、翻訳後の画素値が翻訳前の画素値から一定範囲内の値であるか否かを判定する。例えば、画像１Ａの領域１１Ａに含まれる画素（座標ｘ１、ｙ１）は、画像１Ｂ内で同じ位置の画素、即ち、画像１Ｂの領域１１Ａに含まれる画素（座標ｘ１、ｙ１）と比較される。また、例えば、画像１Ａの領域１１Ａに含まれる画素（座標ｘ２、ｙ２）は、画像１Ｂの領域１１Ａに含まれる画素（座標ｘ２、ｙ２）と比較される。このようにして、領域１１Ａ内の全画素が一致画素と不一致画素とに分類される。そして、領域１１Ａ内の全画素のうちの不一致画素の占める割合、即ち、領域１１Ａの不一致度が、予め定められた程度を超えるか否かが判定される。

図示の例では、領域１１Ａは、不一致画素の割合が予め定められた程度を超えておらず、修正領域には該当しない。言い換えると、領域１１Ａは、翻訳の前後でレイアウトが維持されており、レイアウトの崩れは生じていない。
一方、領域１１Ｂ、領域１２Ｃ、領域１３Ａは、不一致画素の割合が予め定められた程度を超えており、修正領域として検出される。言い換えると、領域１１Ｂ、領域１２Ｃ、領域１３Ａは、翻訳の前後でレイアウトが維持されておらず、レイアウトの崩れが生じている。

例えば、領域１１Ｂにおいては、翻訳前の原文に装飾文字が施されている。そして、原文を翻訳した結果、翻訳後にも原文の装飾文字の画像が残っている。
また、例えば、領域１２Ｃにおいては、文書の位置が翻訳前と翻訳後とで大きく異なっている。

さらに、例えば、領域１３Ａにおいては、隣の領域１１Ｄの翻訳後の文書が改行されずに領域１３Ａにはみ出しており、領域１３Ａの図形オブジェクトに被っている。
このように、領域１１Ｂ、領域１２Ｃ、領域１３Ａでは、翻訳の前後でレイアウトが維持されておらず、不一致画素の割合が予め定められた程度を超えているため、修正領域として検出される。

＜修正領域を検出する処理の手順＞
次に、修正領域検出部１０３が修正領域を検出する処理の手順について説明する。図５は、修正領域検出部１０３が修正領域を検出する処理の手順の一例を示したフローチャートである。図５の処理は、図３に示すステップ１０４の処理であり、図３のステップ１０３の処理（機械翻訳部１０２による翻訳）の後に行われる。

まず、修正領域検出部１０３は、画像内の１又は複数の領域から１つの領域を選択する（ステップ２０１）。ここで、修正領域検出部１０３は、翻訳前の画像及び翻訳後の画像の中から、同じ位置（座標）の領域を１つずつ選択する。次に、修正領域検出部１０３は、選択した領域から１つの画素を選択する（ステップ２０２）。ここで、修正領域検出部１０３は、翻訳前の領域及び翻訳後の領域の中から、同じ位置（座標）の画素を１つずつ選択する。

次に、修正領域検出部１０３は、選択した画素について、翻訳後の画素値が翻訳前の画素値から一定範囲内の値であるか否かを判定する（ステップ２０３）。ステップ２０３で肯定の判断（Ｙｅｓ）がされた場合、修正領域検出部１０３は、選択した画素を一致画素とする（ステップ２０４）。一方、ステップ２０３で否定の判断（Ｎｏ）がされた場合、修正領域検出部１０３は、選択した画素を不一致画素とする（ステップ２０５）。

次に、修正領域検出部１０３は、ステップ２０１で選択した領域において、全ての画素を選択したか否かを判定する（ステップ２０６）。ステップ２０６で肯定の判断（Ｙｅｓ）がされた場合、後述するステップ２０７へ移行する。一方、ステップ２０６で否定の判断（Ｎｏ）がされた場合、ステップ２０２に移行し、まだ選択されていない画素が選択される。

次に、ステップ２０７において、修正領域検出部１０３は、ステップ２０１で選択した領域において、領域内の全画素のうちの不一致画素の占める割合である不一致度を計算する（ステップ２０７）。次に、修正領域検出部１０３は、計算した不一致度が予め定められた程度を超えるか否かを判定する（ステップ２０８）。ステップ２０８で肯定の判断（Ｙｅｓ）がされた場合、修正領域検出部１０３は、この領域（即ち、ステップ２０１で選択した領域）を修正領域として検出する（ステップ２０９）。

ステップ２０９の後、又はステップ２０８で否定の判断（Ｎｏ）がされた場合、修正領域検出部１０３は、画像内の全ての領域を選択したか否かを判定する（ステップ２１０）。ステップ２１０で肯定の判断（Ｙｅｓ）がされた場合、本処理フローは終了する。一方、ステップ２１０で否定の判断（Ｎｏ）がされた場合、ステップ２０１へ移行し、まだ選択されていない領域が選択される。

＜翻訳結果及びレイアウト崩れの情報の表示例＞
次に、結果表示部１０４が表示する翻訳結果及びレイアウト崩れの情報について説明する。図６（ａ）、（ｂ）は、翻訳結果及びレイアウト崩れの情報の表示例を示した図である。ここで、図６（ａ）に示す画像１Ａは、図４（ａ）と同様に翻訳前の画像である。また、図６（ｂ）に示す画像１Ｂは、図４（ｂ）と同様に翻訳後の画像であり、翻訳結果を示す。そして、図４（ａ）、（ｂ）に示す例のように、画像１Ａの文書を翻訳した結果、領域１１Ｂ、領域１２Ｃ、領域１３Ａが修正領域として検出されるものとして説明する。

結果表示部１０４は、レイアウト崩れの情報として修正領域の位置を示す情報を表示し、修正領域の位置をユーザに提示する。図示の例では、結果表示部１０４は、修正領域の周囲を囲む画像（以下、周囲画像と称する）を表示する。言い換えると、周囲画像は、修正領域から予め定められた範囲内に付加される画像である。図示の例では、結果表示部１０４は、領域１１Ｂの周囲を囲む画像１４、領域１２Ｃの周囲を囲む画像１５、領域１３Ａの周囲を囲む画像１６を表示する。

ただし、修正領域の位置を示す情報としては、周囲画像を表示する場合に限られるものではない。例えば、修正領域から予め定められた範囲内に、その修正領域の不一致度の値（例えば、５０％）を示す画像を表示して、修正領域の位置をユーザに提示してもよい。また、例えば、修正領域から予め定められた範囲内に、その修正領域の種類（例えば、文書オブジェクト、表オブジェクトなど）を示す画像を表示して、修正領域の位置をユーザに提示してもよい。

さらに、結果表示部１０４は、不一致度に応じて、修正領域の位置を示す情報を変えてもよい。例えば、不一致度に応じて、周囲画像の色や模様を変えてもよい。例えば、不一致度が８０％以上を示す修正領域の周囲画像は赤色、不一致度が５０〜８０％を示す修正領域の周囲画像は黄色、不一致度が３０〜５０％を示す修正領域の周囲画像は青色にされる。また、例えば、修正領域から予め定められた範囲内に、その修正領域の不一致度の値を示す画像を表示する場合は、不一致度に応じて、表示される情報が変化することになる。

また、結果表示部１０４は、修正領域の種類に応じて、修正領域の位置を示す情報を変えてもよい。例えば、修正領域の種類に応じて、周囲画像の色や模様を変えてもよい。例えば、修正領域が文書オブジェクトの場合には周囲画像は赤色、修正領域が表オブジェクトの場合には周囲画像は黄色、修正領域が図形オブジェクトの場合には周囲画像は青色、修正領域がイメージオブジェクトの場合には周囲画像は緑色にされる。また、例えば、修正領域から予め定められた範囲内に、その修正領域の種類を示す画像を表示する場合は、修正領域の種類に応じて、表示される情報が変化することになる。

なお、結果表示部１０４は、修正領域に関して複数の情報を表示してもよい。例えば、各修正領域について、周囲画像を表示するとともに、不一致度の値を示す画像や、修正領域の種類を示す画像を表示してもよい。ここで、周囲画像を表示する場合には、不一致度の値を示す画像や修正領域の種類を示す画像は、修正領域から予め定められた範囲内に表示しなくてもよい。

＜修正手順の候補の説明＞
次に、結果表示部１０４が表示する修正手順の候補について説明する。修正手順の候補としては、例えば、「フォントサイズの変更」、「文書位置の変更」、「短い文章に再翻訳」、「回り込み指定」、「領域変更」、「原文のまま表示」などの複数の形式が存在する。

図７は、修正手順の候補の表示例を示した図である。図７に示す画像１Ｂは、図４（ｂ）、図６（ｂ）と同様に翻訳後の画像である。
修正手順による修正を行う場合、ユーザは、まず、修正手順によって修正を行う領域を選択する。ユーザが領域を選択すると、その領域に対して適用される修正手順の候補が表示される。図示の例では、ユーザが画面上で領域１３Ａを選択するものとする。ユーザが領域１３Ａを選択すると、領域１３Ａに対して適用される修正手順の候補の一覧を示す画像１７が表示される。例えば、ユーザが「フォントサイズの変更」を選択すると、領域１３Ａに対して「フォントサイズの変更」の修正が行われる。そして、領域１３Ａに対して修正が反映された状態で、翻訳後の画像が再度表示される。

なお、修正を行う領域は、修正領域に限られない。例えば、図４（ａ）、（ｂ）の領域１３Ａでは、領域１１Ｄの文書がはみ出して、領域１３Ａの図形に被さっている。ここで、領域１１Ｄは修正領域として検出されないが、領域１１Ｄの文書に対して修正を行うことにより、領域１３Ａの不一致度が修正される場合がある。このような場合、ユーザは、修正領域ではない領域１１Ｄを選択して、領域１１Ｄに対して修正を行えばよい。さらに、例えば、図４（ａ）、（ｂ）の領域１１Ａのように、修正領域ではなく、他の領域の不一致度に対しても影響を与えていないような領域について、修正を行ってももちろんよい。

次に、修正手順の候補について、具体的に説明する。
「フォントサイズの変更」は、領域内の文書のフォントサイズを変更する処理である。例えば、文書のフォントサイズを小さくすることにより、文書によって隠れていた箇所が隠れずに表示されたり、文書が他の領域にはみ出さずに表示されたりする。
修正手順として「フォントサイズの変更」をユーザが選択した場合には、例えば、変更後のフォントサイズの候補が複数表示される。そして、例えば、ユーザが、表示された候補の中から何れかのフォントサイズを選択すると、領域内の文書のフォントサイズがユーザの選択したフォントサイズに変更されて、翻訳後の画像が再度表示される。

「文書位置の変更」は、領域内の文書の位置を変更する処理である。例えば、図４（ａ）、（ｂ）の領域１２Ｃのように、文書の位置が翻訳前と翻訳後とで大きく異なる場合に、翻訳後の文書が翻訳前の文書と同じような位置に配置されるように変更する。
修正手順として「文書位置の変更」をユーザが選択した場合には、例えば、文書位置の候補として、縦揃え（上揃え、中央揃え、下揃え）、横揃え（左揃え、中央揃え、右揃え）が表示される。そして、例えば、ユーザが、表示された文書位置の候補の中から何れかを選択すると、領域内の文書の位置が変更されて、翻訳後の画像が再度表示される。

「短い文章に再翻訳」は、領域内の文書を短い文章に再翻訳する処理である。例えば、機械翻訳では、翻訳後の言語によっては翻訳後の文書が原文よりもはるかに長くなってしまう場合がある。そこで、機械翻訳部１０２が、例えば、頭文字を取った略語を使用したり、簡潔な文法で記述したりすることにより、短い文章へ再翻訳する。
修正手順として「短い文章に再翻訳」をユーザが選択した場合には、例えば、機械翻訳部１０２が、領域内の文書に対して再翻訳を行う。そして、再翻訳後の文書を含む画像が再度表示される。

「回り込み指定」は、他の領域からはみ出してきた文書に対して改行を施すことにより、他の領域からはみ出さずに回り込むようにする処理である。例えば、図４（ａ）、（ｂ）の領域１３Ａでは、領域１１Ｄの文書がはみ出して、領域１３Ａの図形に被さっている。ここで、例えば、領域１３Ａに対して、修正手順として「回り込み指定」をユーザが選択した場合には、他の領域から領域１３Ａにはみ出してきた文書、即ち、領域１１Ｄの文書に対して改行が施され、領域１３Ａにはみ出さずに回り込んで領域１１Ｄ内に収まるようにして表示される。

「領域変更」は、文書が表示される領域の範囲を変更して、変更した領域内に文書が収まるようにする処理である。例えば、図４（ａ）、（ｂ）の領域１３Ａでは、領域１１Ｄの文書がはみ出して、領域１３Ａの図形に被さっている。言い換えると、領域１１Ｄの文書の表示される領域として、領域１３Ａが含まれてしまっている。ここで、例えば、領域１１Ｄに対して、修正手順として「領域変更」をユーザが選択した場合には、文書が表示される領域を変更するようにユーザに通知される。そして、ユーザが、領域１１Ｄの文書の表示される領域として、領域１３Ａを含まない領域、言い換えると、領域１１Ｄの領域を指定することにより、領域１１Ｄの文書に対して改行が施される。そして、領域１１Ｄの文書が領域１３Ａにはみ出さずに回り込んで領域１１Ｄ内に収まるようにして表示される。

「原文のまま表示」は、領域内の文書を翻訳せずに、原文のまま表示する処理である。原文のまま表示することにより、翻訳によるレイアウト崩れが生じていない状態で表示されることになる。修正手順として「原文のまま表示」をユーザが選択した場合には、領域内の文書が原文のままで、翻訳後の画像として表示される。

また、結果表示部１０４は、これらの修正手順の候補を全て表示するのではなく、修正領域の種類に応じて、表示する修正手順の候補を変えてもよい。例えば、修正領域が文書オブジェクトの場合には、「フォントサイズの変更」、「短い文章に再翻訳」、「領域変更」、「原文のまま表示」の４つが表示されるようにしてもよい。また、例えば、修正領域が図形オブジェクトの場合には、「文書位置の変更」、「回り込み指定」の２つが表示されるようにしてもよい。

以上説明したように、本実施の形態に係る画像処理装置１００は、画像内の領域のうち、翻訳前の状態と翻訳後の状態との差異が予め定められた程度を超える修正領域を検出する。そして、画像処理装置１００は、検出した修正領域の位置をユーザに提示するとともに、修正手順の候補をユーザに提示する。さらに、画像処理装置１００は、ユーザによる修正指示に従って、修正領域についての翻訳前の状態と翻訳後の状態との差異を修正し、修正を反映した翻訳結果を表示する。

このように、画像処理装置１００は、翻訳によるレイアウト崩れの発生している箇所を検出して、レイアウト崩れに対する修正を行う。そのため、本実施の形態に係る画像処理装置１００を用いることにより、例えば、ユーザが画面上で確認しながら翻訳前の状態と翻訳後の状態とを比較する場合と比べて、翻訳によるレイアウト崩れの発生有無を判断することの煩雑さが軽減される。

また、本実施の形態において、修正領域検出部１０３は、上述したように、翻訳前の状態と翻訳後の状態との差異の程度が予め定められた程度を超える修正領域を検出するが、予め定められた程度を固定的に決めて修正領域を検出する構成に限られない。例えば、画像内の領域毎に計算される不一致度の値を相対的に評価して、予め定められた程度を設定してもよい。

さらに説明すると、修正領域検出部１０３は、画像内の領域毎に計算される不一致度の値を相対的に評価して、特定の条件を満たす値を、予め定められた程度として設定してもよい。例えば、画像内の領域のうち、不一致度の値が予め定められた程度を超える領域の割合が、Ｎ％（特定の割合）になるように、予め定められた程度が設定される。言い換えると、例えば、修正領域検出部１０３は、画像内の領域のうち、不一致度の値が上位Ｎ％に含まれる領域を、修正領域として検出してもよい。
また、例えば、画像内の領域のうち、不一致度の値が予め定められた程度を超える領域の数が、Ｎ個（特定の数）になるように、予め定められた程度が設定される。言い換えると、例えば、修正領域検出部１０３は、画像内の領域のうち、不一致度の値が上位のものから順番に選択して、Ｎ個の領域を、修正領域として検出してもよい。

＜適用可能なコンピュータの説明＞
ところで、本実施の形態に係る画像処理装置１００による処理は、例えば、ＰＣ（Personal Computer）等の汎用のコンピュータにおいて実現してもよい。そこで、この処理をコンピュータ２００で実現するものとして、そのハードウェア構成について説明する。図８は、本実施の形態を適用可能なコンピュータ２００のハードウェア構成例を示した図である。なお、本実施の形態において、コンピュータ２００は、情報処理装置の一例として用いられる。

コンピュータ２００は、演算手段であるＣＰＵ２０１と、記憶手段であるメインメモリ２０２及び磁気ディスク装置（ＨＤＤ）２０３とを備える。ここで、ＣＰＵ２０１は、ＯＳやアプリケーション等の各種プログラムを実行する。また、メインメモリ２０２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置２０３は、図２に示す各機能部を実現するためのプログラムを格納する。そして、このプログラムがメインメモリ２０２にロードされ、このプログラムに基づく処理がＣＰＵ２０１により実行されることで、各機能部が実現される。
さらに、コンピュータ２００は、外部との通信を行うための通信インタフェース（Ｉ／Ｆ）２０４と、ビデオメモリやディスプレイ等からなる表示機構２０５と、キーボードやマウス等の入力デバイス２０６とを備える。

より具体的には、ＣＰＵ２０１が、画像情報取得部１０１、機械翻訳部１０２、修正領域検出部１０３、結果表示部１０４、修正部１０５、修正指示受付部１０６、出力指示受付部１０７、翻訳結果出力部１０８、文字認識部１０９等を実現するプログラムを、例えば磁気ディスク装置２０３からメインメモリ２０２に読み込んで実行することにより、これらの機能部が実現される。

また、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

なお、上記では種々の実施形態および変形例を説明したが、これらの実施形態や変形例どうしを組み合わせて構成してももちろんよい。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。

１００…画像処理装置、１０１…画像情報取得部、１０２…機械翻訳部、１０３…修正領域検出部、１０４…結果表示部、１０５…修正部、１０６…修正指示受付部、１０７…出力指示受付部、１０８…翻訳結果出力部、１０９…文字認識部

Claims (6)

1. 画像の情報を取得する取得手段と、
   前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、
   前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段と
   を備え、
   前記表示制御手段は、前記レイアウト崩れが検出されている領域の種類によって、前記レイアウト崩れが検出された領域の表示形態を変更すること
   を特徴とする情報処理装置。
2. 前記表示形態を変更することは、前記領域から予め定められた範囲内に付加する画像を変更すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記レイアウト崩れを修正する修正手順の候補を提示する提示手段をさらに備えることを特徴とする請求項１又は２に記載の情報処理装置。
4. 画像の情報を取得する取得手段と、
   前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、
   前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段と
   前記レイアウト崩れを修正する修正手順の候補を提示する提示手段と
   を備え、
   前記修正手順には、複数の形式が存在しており、
   前記提示手段は、領域の種類によって、前記候補として提示する前記修正手順の形式を変更すること
   を特徴とする情報処理装置。
5. 画像の情報を取得する取得手段と、
   前記画像に含まれる文書を翻訳した後の画像である第１画像の、翻訳前の画像である第２画像に対するレイアウト崩れを検出する検出手段と、
   前記検出手段が前記レイアウト崩れを検出した場合に、前記第１画像における前記レイアウト崩れが検出された領域を、前記レイアウト崩れが検出されていない領域と区分して表示するよう制御する表示制御手段と
   を備え、
   前記レイアウト崩れの度合いは、前記画像内の領域毎の翻訳後の位置の変化を相対的に評価されること
   を特徴とする情報処理装置。
6. 前記レイアウト崩れの度合いは、前記画像内の領域のうちの翻訳後の位置の変化が、予め定められた程度を超えるか否かで評価されること
   を特徴とする請求項５に記載の情報処理装置。

Images