JP6790384B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

現在、ユーザが作成する原稿は、カラーにて作成される場合が少なくない。企業において複写装置を用いてカラー原稿を印刷する場合、コストの面からモノクロ原稿として複写される場合が少なくない。

特開２０１２−２５３６３６号公報

カラー原稿は電子データのまま取り扱われていれば、カラー原稿の色情報は失われることはない。ただ、印刷により作成されたモノクロ原稿には色情報がないので、モノクロ原稿からカラー原稿を復元することはできない。また、カラー原稿自体も経年劣化により色情報が劣化してしまうこともある。

本発明は、モノクロ画像又は原画像から色情報が劣化した画像の色情報を復元することを目的とする。

本発明に係る画像処理装置は、モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段と、前記処理対象画像の類似画像を着色支援情報として取得する着色支援情報取得手段と、前記着色支援情報に基づいて前記処理対象画像の色情報を復元する復元手段と、を有し、前記着色支援情報取得手段は、前記類似画像の候補となる画像に付加されている属性情報に含まれる当該画像の特徴事項に基づいて前記着色支援情報として取得する前記処理対象画像の類似画像を選出することを特徴とする。

本発明に係る画像処理装置は、モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段と、前記処理対象画像の色情報を復元する復元手段と、を有し、前記復元手段は、前記原画像に当該原画像の格納先情報が埋め込まれている場合、前記処理対象画像に埋め込まれている前記原画像の格納先情報に基づいて前記処理対象画像の原画像を取得し、その取得した原画像で前記画像取得手段が取得した処理対象画像を差し替えることで前記処理対象画像の色情報を復元することを特徴とする。

本発明に係るプログラムは、コンピュータを、モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段、前記処理対象画像の類似画像を着色支援情報として取得する着色支援情報取得手段、前記着色支援情報に基づいて前記処理対象画像の色情報を復元する復元手段、として機能させ、前記着色支援情報取得手段は、前記類似画像の候補となる画像に付加されている属性情報に含まれる当該画像の特徴事項に基づいて前記着色支援情報として取得する前記処理対象画像の類似画像を選出することを特徴とする。
本発明に係るプログラムは、コンピュータを、モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段、前記処理対象画像の色情報を復元する復元手段、として機能させ、前記復元手段は、前記原画像に当該原画像の格納先情報が埋め込まれている場合、前記処理対象画像に埋め込まれている前記原画像の格納先情報に基づいて前記処理対象画像の原画像を取得し、その取得した原画像で前記画像取得手段が取得した処理対象画像を差し替えることで前記処理対象画像の色情報を復元することを特徴とする。

請求項１，３に記載の発明によれば、モノクロ画像又は原画像から色情報が劣化した画像の色情報を復元することができる。また、属性情報に基づいて処理対象画像の類似画像を選出することができる。

請求項２，４に記載の発明によれば、処理対象画像に付加されている格納先情報に基づいて処理対象画像の原画像を取得することができる。

本発明に係る画像処理装置の一実施の形態を示したブロック構成図である。 本実施の形態における画像処理装置１０を形成するコンピュータのハードウェア構成図である。 本実施の形態において処理対象画像の色情報の復元方法を示した概念図である。 本実施の形態を提供する会社ロゴの一例を示した図である。 本実施の形態において処理対象画像の色情報の他の復元方法を示した概念図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

実施の形態１．
図１は、本発明に係る画像処理装置の一実施の形態を示したブロック構成図である。また、 図２は、本実施の形態における画像処理装置１０を形成するコンピュータのハードウェア構成図である。本実施の形態において画像処理装置１０を形成するコンピュータは、パーソナルコンピュータ（ＰＣ）などの従前から存在する汎用的なハードウェア構成で実現できる。すなわち、コンピュータは、図２に示したようにＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、入力手段として設けられたマウス２５とキーボード２６、及び表示装置として設けられたディスプレイ２７をそれぞれ接続する入出力コントローラ２８、通信手段として設けられたネットワークコントローラ２９を内部バス３０に接続して構成される。

図１に戻り、本実施の形態における画像処理装置１０は、画像取得部１１及び画像処理部１２を有している。なお、本実施の形態の説明に用いない構成要素については図１から省略している。画像取得部１１は、色情報のない画像又は原画像から色情報が劣化した画像を処理対象画像として取得する。

色情報のない画像（以下、「モノクロ画像」と称する）は、カラー原稿のスキャン時に出力をモノクロ画像として指定されて生成された画像である。あるいは、モノクロ原稿がスキャンされることによって生成されてもよい。モノクロ原稿は、カラー原稿がカラーモード(印刷色)として白黒が選択されて印刷されることによって生成される。原画像から色情報が劣化した画像は、経年劣化により色情報が劣化したカラー原稿の読取データでもよいし、何らかの画像処理が施されて色情報の一部が欠損されて生成された画像データでもよい。処理対象画像は、このように原画像より色情報が劣化した画像である。

画像処理部１２は、画像取得部１１により取得された処理対象画像に対して後述する画像処理を行う。画像処理部１２に含まれている着色支援情報取得部１２１は、処理対象画像の色情報の復元の際に参照される着色支援情報を取得する。復元部１２２は、取得された着色支援情報に基づいて処理対象画像の色情報を復元する。

画像処理装置１０における各構成要素１１，１２は、画像処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ２１で動作するプログラムとの協調動作により実現される。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における動作について説明する。本実施の形態において取り扱う処理対象画像は、色情報のない白黒電子データであるものとして説明する。ただ、この処理対象画像の原画像（原稿）は、カラー画像（カラー原稿）とする。

ユーザにより処理対象の画像データファイルが選択されると、画像取得部１１は、その選択された画像データファイルを処理対象画像として取得する。処理対象画像が取得されると、画像処理部１２における着色支援情報取得部１２１は、画像検索ツールを利用して処理対象画像の類似画像を着色支援情報として取得する。類似画像の検索処理自体は既存の技術を利用してよいが、着色支援情報取得部１２１は、処理対象画像と検索対象の画像とを照合する際、検索対象の画像をモノクロ画像に変換してから照合する。あるいは、検索対象の画像の色情報を参照せずに照合してもよい。なお、着色支援情報取得部１２１は、予め用意されたデータベースやインターネットを介してアクセス可能なデータベース等を類似画像の検索先とする。画像形成装置が原画像（カラー原稿）をスキャンしたことで生成された画像が装置内部にまだ保持されている場合を想定して、検索先を画像形成装置に内蔵されたＨＤＤとしてもよい。複数の類似画像が検索された場合、その検索結果をユーザに提示して、いずれか１つの画像を復元部１２２が利用する類似画像として選択させてもよい。

選択された類似画像は、本実施の形態の目的からして色情報以外の属性、例えば処理対象画像と構図が類似していると考えられる。構図が類似している場合、復元部１２２は、処理対象画像の所定の領域を、類似画像の対応する領域の色情報を参照して着色する。

処理対象画像が、図３に例示したように左側に星、右上に顔及び右下に雲を含む画像だとする。着色支援情報取得部１２１は、処理対象画像と同様の構図を持つ類似画像を選出するので、復元部１２２は、処理対象画像における星、顔及び雲それぞれの位置に対応した類似画像における星、顔及び雲それぞれの色情報を参照して、処理対象画像における星、顔及び雲それぞれに着色を行う。このように、復元部１２２は、類似画像を参照して処理対象画像に着色を行う。

また、着色する際、復元部１２２は、着色支援情報取得部１２１が取得した類似画像の作成日時を参照し、その時間が夜であれば色合いを濃くしたり、昼間の場合は色合いを明るくしたり調整するようにしてもよい。また、室外であれば、着色支援情報取得部１２１が取得した画像の撮影日時の天気情報を参照して色合いを調整するようにしてもよい。

なお、時間情報は、画像の作成日時以外に、例えば、類似画像候補に付加されている属性情報に画像の作成日時を含む時間情報が含まれている場合、その時間情報を参照してもよい。また、写真では画像の一部（一般に右下の角）の撮影日時が刻印されている場合があるが、類似画像が写真画像の場合は、その写真上の時間情報を参照してもよい。

また、類似画像候補となる画像に属性情報が付加されている場合、着色支援情報取得部１２１は、その属性情報を参照して類似画像を選出するようにしてもよい。属性情報には、画像の特徴事項が記述されており、例えば、３人の人物が映っている、人物が帽子をかぶっている、黒色の犬が走っている。雪景色である、等である。なお、処理対象画像に対し、どの属性情報をピックアップ(比較対象に)して着色支援情報に強調して反映させるかはユーザが指定することができる。

以上の説明では、原画像の再現を目指し、類似画像に基づき処理対象画像の色情報が原画像の色情報と同じになるよう復元した。もちろん、原画像の色情報そのものを参照したわけではないので、原画像の色情報と同一となる保証はない。ただ、処理対象画像の原画像が類似画像として選出できた際には、原画像を再現することが可能になる。

ところで、原画像から色情報を抽出し、モノクロ画像に抽出した色情報が埋め込める場合、復元部１２２は、モノクロ画像から抽出された色情報にて処理対象画像を復元するようにしてもよい。埋め込まれる情報は、可視の状態でも不可視の状態でよい。

また、原画像の格納先を含む格納先情報をＱＲコード（登録商標）等のコードに記録し、そのＱＲコードを原画像に埋め込むようにして原画像が形成されている場合、原画像から生成されるモノクロ画像にもＱＲコードは埋め込まれている。この場合、着色支援情報取得部１２１は、処理対象画像に埋め込まれたＱＲコードを読み取り抽出した格納先情報を着色支援情報として取得する。復元部１２２は、その格納先情報にアクセスすることで原画像を取得する。このように、復元部１２２は、処理対象画像に対して画像処理を直接施すのではなく、原画像を取得して処理対象画像と入れ替えるという画像に対する差し替え処理を行う。このように、格納先情報が記録されたコードを利用すれば、処理対象画像から原画像を完全に復元できることになる。

ＱＲコードには、格納先情報ではなく原画像の色情報を記録するようにしてもよいし、原画像の格納先情報をモノクロ画像への埋込情報としてもよい。

なお、本実施の形態においては、画像処理装置１０をＰＣで実現したことを想定して、処理対象画像はユーザにより指定されるものとして説明したが、画像形成装置で実現してもよい。画像形成装置は、画像処理装置（コンピュータ）、スキャナ、プリンタエンジン等を搭載し、コピー機能、スキャナ機能等の各種機能を提供する複合機である。本実施の形態における画像形成装置は、モノクロ原稿のスキャンにより得られたモノクロ画像を処理対象画像として取得し、前述した色情報の復元処理を実行することでカラー画像を出力する。つまり、ユーザは、本実施の形態における画像形成装置を利用してモノクロ原稿のコピーを行うと、その原稿は原画像（カラー原稿）のように着色されて出力されることになる。

実施の形態２．
上記実施の形態１では、処理対象画像全体の配色を原画像に復元しようとするのに対し、本実施の形態では、画像全体の色情報が得られない場合に処理対象画像を部分的にでも原画像に復元しようとするものである。

会社ロゴの一例を図４に示す。会社ロゴにおけるロゴタイプ及びロゴマークの配色は決まっている。例えば、文字“ＸＹＺ ｃｏ．”は緑色であり、図形のリボン部分は黄色などと決まっている。

着色支援情報取得部１２１は、予め用意したデータベース又はインターネットを介していずれかの会社ロゴ（ロゴ画像）を着色支援情報として取得する。復元部１２２は、会社ロゴの画像をモノクロ画像に変換し、変換後の会社ロゴの形状と合致する画像が処理対象画像の中に含まれているかどうか照合する。もちろん、必要により会社ロゴの大きさを拡縮する。そして、処理対象画像の中に会社ロゴが含まれていると判断した場合、処理対象画像に含まれていた画像を当該会社ロゴの色情報に従い着色する。

なお、ここでは、ロゴ画像として会社ロゴを例にして説明したが、商品等に付けられるロゴタイプやロゴマーク等種々のロゴ画像を着色支援情報として取得するようにしてもよい。

実施の形態３．
上記実施の形態２では、ロゴ画像に特化して説明したが、これに限定する必要はない。例えば、バナナは基本的に黄色である。従って、着色支援情報取得部１２１は、種々の物体の画像（オブジェクト画像）と当該オブジェクトの基本となる色とを対応付けした情報を着色支援情報として取得する。

復元部１２２は、処理対象画像にどのようなオブジェクト画像が含まれているかを探し出す。そして、バナナの画像が検出すると、着色支援情報を参照してバナナの基本となる色、すなわち黄色でバナナの画像を着色する。ここではバナナという１オブジェクトで１色の場合を例にしたが、信号機、五輪マーク、横断歩道等色及びその並びが予め決められているオブジェクトにも適用可能である。

以上説明したように、本実施の形態によれば、各オブジェクトの基本となる色に基づいて処理対象画像を部分的にでも原画像に復元する。オブジェクトによっては、基本となる色を一意に特定できないかもしれない。人物であれば、毛髪や肌の色は異なる。しかしながら、画像の中にいる人は着色されていないモノクロ画像より見つけやすくなると考えられる。

実施の形態４．
本実施の形態では、画像の色情報が得られない場合、ユーザからの入力を頼って処理対象画像に着色を行うことを特徴とする。

図５は、左側に処理対象画像を、右側に着色後の復元画像を示した図である。着色支援情報取得部１２１は、処理対象画像を画面に表示する。ユーザは、処理対象画像の原画像の配色を、記憶をたどって画像上に着色する領域及び色を指示する。例えば、左側の星は金色に、右上の顔は肌色に、右下の雲は水色に、背景を黄色に、それぞれ着色するよう指示する。例えば、星の領域内に金色のペンで線を描く。同様に顔の領域内に肌色のペンで、雲の領域内に水色のペンで、そして背景を黄色のペンでそれぞれ線を描くことで、ユーザは着色する領域及び色を指定する。なお、図５では、色の違いを実線、破線、一点鎖線で示した。着色支援情報取得部１２１は、このようなユーザからの入力指示を着色支援情報として取得する。

復元部１２２は、着色支援情報を参照し、処理対象画像上のペンで描かれた領域を特定する。復元部１２２は、画素値が大きく変化するところを領域の境界線として領域の範囲を特定する。そして、各領域をペンにて指定された色で着色する。このように、着色する範囲を特定するので、ユーザは、領域を示す情報を入力する必要はなく、領域内の任意の位置にペンで色を指定すればよい。なお、本実施の形態における着色に関する処理は、既存の技術を利用してよい。

以上説明したように、本実施の形態によれば、ユーザの記憶に頼って原画像の色情報に復元する。なお、ユーザは、原画像の色に指定せずに所望の色を指定すれば、その色にて処理対象画像を着色することは可能なので、本実施の形態は、原画像の復元ではなくモノクロ画像への着色サービスとして提供することも可能である。

実施の形態５．
現在、ビジネス文書をはじめ多くの文書は、ワープロソフトなどで作成されることがほとんどである。これらの文書の内容を校正する場合、手書きにて行う場合がある。そして、手書き文字を目立たせるために印刷された文字と異ならせたりする。例えば、印刷文字が黒色の場合、赤色のペンを使って校正する。本実施の形態は、このような手書き文字を含む文書が原画像（カラー原稿）の場合であって原画像の色情報がない場合に適している。

この原画像の処理対象画像が取得されると、着色支援情報取得部１２１は、例えばユーザから指示された着色対象を手書き文字とする旨及び手書き文字の色を着色支援情報として取得する。復元部１２２は、着色支援情報から手書き文字が着色対象と認識すると、処理対象画像を分析することで手書き文字を特定する。これは、例えばいずれのフォント文字にも該当しない文字、整列された文字以外の画像等所定の条件に該当する画像を手書き文字と判断する。そして、復元部１２２は、手書き文字と判断した画像に、指定された色、例えば赤色で着色する。

以上説明したように、本実施の形態では、所定の条件に合致した画像として手書き文字の画像を例にし、また復元する色赤色を例にして手書き文字を赤色で着色する場合について説明した。ただ、手書き文字以外の画像を着色対象の画像としてもよい。例えば、答案用紙に記入された解答が正解の場合にはマルが付けられ、間違いの場合にはバツが付けられて採点される。一般に解答は黒色のペンでされるので、正誤を示すマル及びバツの記号は、手書きであれ機械であれ赤色の場合がほとんどである。従って、着色支援情報取得部１２１は、着色対象とする記号（マルとバツ）及び記号に着色する色を着色支援情報として取得すると、復元部１２２は、処理対象画像の中にあるマル及びバツを検出して赤色に着色する。

また、１つのグラフに複数の線を引く場合、線の色を異ならせることによって何を示す線であるかを判別できるようにすることは一般的である。この場合、復元部１２２は、処理対象画像を解析することでグラフの線を特定して、それぞれを異なる色で着色する。原画像が採用している配色とは異なるかもしれないが、グラフの線が明瞭となるので視認しやすくなる。

また、記載内容に着目させるために下線を引く場合もあるが、処理対象画像に含まれる１又は複数の文字の下方に沿って引かれた線を下線と判断して、その下線を赤色に着色するようにしてもよい。また、特定の目的を示す文字の並び、例えば“ｈｔｔｐ”で始める文字列は情報の格納先を示す情報とみなして青色に着色する。

このように、着色支援情報取得部１２１は、指定されたマルや下線等のオブジェクトの位置、形状、あるいはサイズ等の属性値や規則性のある文字の並び等着色対象を特定するための条件を着色支援情報として取得し、復元部１２２は、この着色支援情報に基づき着色対象とするオブジェクトを特定し、指定された色に着色するようにしてもよい。このようにして、処理対象画像を部分的にでも復元する。

本実施の形態は、ユーザにより指定された所望の色で、指定されたオブジェクトを着色することは可能なので、実施の形態４と同様に原画像の復元ではなくモノクロ画像への着色サービスとして提供することも可能である。

上記各実施の形態では、処理対象画像全体またその一部分の色情報の復元を図ることを特徴としているが、実施の形態４，５のように原画像とは異なる着色を行うことにも適用できる構成を有する画像処理装置１０であれば、モノクロ画像の着色サービスとしても利用可能である。

本実施の形態では、処理対象画像の色情報の復元のために種々の実施の形態を示したが、これらの技術は適宜組み合わせて利用してもよい。

１０ 画像処理装置、１１ 画像取得部、１２ 画像処理部、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ハードディスクドライブ（ＨＤＤ）、２５ マウス、２６ キーボード、２７ ディスプレイ、２８ 入出力コントローラ、２９ ネットワークコントローラ、３０ 内部バス、１２１ 着色支援情報取得部、１２２ 復元部。

Claims (4)

1. モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段と、
   前記処理対象画像の類似画像を着色支援情報として取得する着色支援情報取得手段と、
   前記着色支援情報に基づいて前記処理対象画像の色情報を復元する復元手段と、
   を有し、
   前記着色支援情報取得手段は、前記類似画像の候補となる画像に付加されている属性情報に含まれる当該画像の特徴事項に基づいて前記着色支援情報として取得する前記処理対象画像の類似画像を選出することを特徴とする画像処理装置。
2. モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段と、
   前記処理対象画像の色情報を復元する復元手段と、
   を有し、
   前記復元手段は、前記原画像に当該原画像の格納先情報が埋め込まれている場合、前記処理対象画像に埋め込まれている前記原画像の格納先情報に基づいて前記処理対象画像の原画像を取得し、その取得した原画像で前記画像取得手段が取得した処理対象画像を差し替えることで前記処理対象画像の色情報を復元することを特徴とする画像処理装置。
3. コンピュータを、
   モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段、
   前記処理対象画像の類似画像を着色支援情報として取得する着色支援情報取得手段、
   前記着色支援情報に基づいて前記処理対象画像の色情報を復元する復元手段、
   として機能させ、
   前記着色支援情報取得手段は、前記類似画像の候補となる画像に付加されている属性情報に含まれる当該画像の特徴事項に基づいて前記着色支援情報として取得する前記処理対象画像の類似画像を選出することを特徴とするプログラム。
4. コンピュータを、
   モノクロ画像又は原画像から色情報が劣化した画像を処理対象画像として取得する画像取得手段、
   前記処理対象画像の色情報を復元する復元手段、
   として機能させ、
   前記復元手段は、前記原画像に当該原画像の格納先情報が埋め込まれている場合、前記処理対象画像に埋め込まれている前記原画像の格納先情報に基づいて前記処理対象画像の原画像を取得し、その取得した原画像で前記画像取得手段が取得した処理対象画像を差し替えることで前記処理対象画像の色情報を復元することを特徴とするプログラム。