JP4695914B2

JP4695914B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4695914B2
Application number: JP2005122523A
Authority: JP
Inventors: 保司中島; 英毅入澤; 透尾崎
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-07-05
Filing date: 2005-04-20
Publication date: 2011-06-08
Anticipated expiration: 2025-04-20
Also published as: JP2006050548A

Description

本発明は、カラー画像を複数のレイヤに分けてファイル化する、いわゆるマルチレイヤ画像を生成する画像処理装置及び画像処理方法に関し、特にカラー画像を文字などの主画像とその背景となる下地画像とに分けて異なる圧縮方法にて圧縮処理する画像処理装置及び画像処理方法に関するものである。

文書の電子化のため、文書をスキャナで読み取ってイメージデータ化する方法が広く普及しており、またコンピュータ上の文書作成ソフトウェアで作成された文書を配布する際に配布先で支障なく閲覧できるように文書をイメージデータ化しておくことが望ましく、このような文書のイメージデータ化にあたっては、記憶装置の容量の節約や通信時間の短縮などの要望からデータ量を削減するための様々な圧縮方法が利用されている。

しかるにカラー文書の場合、通常低輝度で描画される文字とその周辺との輝度差が原因でカラー圧縮処理により再生画質が低下することがあり、このような不具合を避けるため、カラー画像を文字画像と下地画像とに分けて異なる圧縮方法にて圧縮処理する技術が知られている。（特許文献１参照）。この技術では、カラー画像の２値化により文字像を抽出して、その文字像の周辺と同一の色を用いて文字像の部分を塗り潰した下地画像を作成するようにしている。
特開２００３−２４４４４７号公報

しかしながら、前記従来の技術では、下地画像を作成する際の塗り潰し色を取得するにあたり、文字像の周辺の背景となる画素の値を平均処理して求めるようにしており、Ｒ・Ｇ・Ｂの各成分値ごとに平均値を算出するため、演算工程が煩雑になり、ソフトウェア処理する場合には処理に長時間を要し、またハードウェア処理する場合には回路構成が複雑になり、製造コストが嵩む難点がある。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、カラー画像をマルチレイヤ化するための下地画像を生成する際に、塗り潰し色取得のための演算工程を簡略化して、ソフトウェア処理での高速化を図り、またハードウェア処理での低コスト化を図ることができるように構成された画像処理装置及び画像処理方法を提供することにある。また、本発明は、白抜き文字のように、カラーの原画像内において文字や線画図形などの主画像が下地画像（背景画像）に比較して高輝度で描画される場合でも適切な塗り潰し処理を行うことができるように構成することも目的としている。

このような課題を解決するために、本発明による画像処理装置においては、請求項１に示すとおり、原画像中に下地と異なる輝度で描画される主画像を原画像から取り出す主画像生成手段と、前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成手段と、これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、前記下地画像生成手段が、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め中間値に設定された色度成分値とにより前記塗り潰し色を決定し、前記塗り潰し色を無彩色にするものとした。

これによると、塗り潰し色を取得するにあたり、輝度成分値のみの演算で済むため、演算工程が大幅に簡略化されるので、ソフトウェア処理にあっては処理時間を短縮し、またハードウェア処理にあっては回路構成を単純化することができる。

この場合、主画像に対応する原画像中の部分が、その周辺部分と異なる塗り潰し色で塗り潰されることになるが、この塗り潰し色は周辺部分と輝度の差が小さいため、圧縮処理により再生画質が大きく低下することはない。

また、主画像が複数の色で描画されている場合には、主画像をその表示色ごとに仕分けして、表示色別に複数のレイヤに分けてファイルに格納する構成とすると良い。また、文字などの主画像と下地画像とを複数のレイヤに分けて格納するファイル形式は、特に限定されないが、汎用性の高いものとして、ＰＤＦ、ＴＩＦＦ、ＸＭＬなどが好適である。また、主画像生成手段は、輝度成分値を所定のしきい値と比較して２値化することで、比較的低輝度で描画される主画像を原画像から抽出することができる。

この画像処理装置においては、前記下地画像生成手段において塗り潰し色を決定する際の色度成分値が中間値に予め設定され、塗り潰し色が無彩色となる構成としたので、塗り潰し色の色度成分値を中間値としておくことで、周辺画素の輝度成分値に基づいて輝度成分値を決定した際に、多くの場合に白色となる下地部分と塗り潰し色とが同一の白色となり、最適な結果が得られる。

また本発明による画像処理装置においては、請求項２に示すとおり、原画像中に下地と異なる輝度で描画される主画像を原画像から取り出す主画像生成手段と、前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成手段と、これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、前記下地画像生成手段が、主画像が周囲より低輝度となる通常画像の場合に、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め設定された色度成分値とにより前記塗り潰し色を決定し、主画像が周囲より高輝度となる反転画像の場合に、周辺画素の色度成分値に基づいて決定された色度成分値と、予め設定された輝度成分値とにより前記塗り潰し色を決定するものとした。

これによると、主画像が周囲を低輝度な有彩色で囲まれた反転画像の場合でも、適切な塗り潰し色を取得して、画像品質を向上させることができる。

反転画像では、明瞭に視認し得るように主画像部分とその周囲の下地部分とで輝度差が大きくなるが、通常画像と同様に、周辺画素の輝度成分値に基づく輝度成分値と、予め設定された色度成分値とにより塗り潰し色を決定すると、主画像部分とその周囲の下地部分とで色度成分値の差が大きくなり、圧縮処理（例えばＪＰＥＧ）を行った際に、主画像部分の塗り潰し色（例えばグレー）が主画像部分の外側に滲み出て画像品質を低下させることがあり、これに対し、本発明のように構成すると、画像品質の低下を避けることができる。

また本発明による画像処理方法においては、請求項３に示すとおり、原画像中に下地と異なる輝度で描画される主画像を原画像から取り出すステップと、前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成するステップと、これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理するステップとを有し、前記下地画像を生成するステップにおいて、主画像が周囲より低輝度となる通常画像の場合に、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め設定された色度成分値とにより前記塗り潰し色を決定し、主画像が周囲より高輝度となる反転画像の場合に、周辺画素の色度成分値に基づいて決定された色度成分値と、予め設定された輝度成分値とにより前記塗り潰し色を決定するものとした。

なお、本発明においては、明るさを示す輝度成分値と色合いを示す色度成分値とで色を表示する表色系（色空間）が用いられ、例えばＹＣｂＣｒ表色系では、輝度成分値はＹ、色度（色差）成分値はＣｂ・Ｃｒとなる。

このように本発明によれば、カラー画像をマルチレイヤ化するための下地画像を生成する際に、輝度成分値に関する演算のみで塗り潰し色を取得することができ、塗り潰し色取得のための演算工程が大幅に簡略化されるので、ソフトウェア処理にあっては処理時間を短縮して高速化を図る上で大きな効果が得られ、またハードウェア処理にあっては回路構成を単純化して製造コストを削減する上で大きな効果が得られる。また、主画像が周囲を低輝度な有彩色で囲まれた反転画像の場合に、周辺画素の色度成分値に基づく色度成分値及び固定値とした輝度成分値により塗り潰し色を決定することで、適切な塗り潰し色を取得することができ、画像品質を向上させる上で顕著な効果が得られる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本発明による画像処理装置が適用された複合機の構成概略を示すブロック図である。この複合機は、原稿の画像を読み取るＣＣＤ１と、適切な読取結果が得られるようにＣＣＤ１からの画データを処理する読取データ処理部２と、適切なプリント結果が得られるように読取データ処理部２からの画データを処理するプリントデータ処理部３と、プリントデータ処理部３からの画データに基づいて記録紙に画像を記録するプリンタエンジン４とを有し、原稿画像を記録紙に複写する複写機能を備えている。

また、この複合機は、原稿の画像を読み取って出力画像ファイルを作成するスキャナ機能を備えており、ＣＣＤ１及び読取データ処理部２を経て得られた画データが、マルチレイア画像生成部５に送られ、ここで読取画データが下地画像と文字画像とに分離された上で異なる圧縮方法にて圧縮処理されてレイヤ別に格納したＰＤＦ（portable document format）のファイル形式による出力ファイル（マルチレイヤ画像ファイル）が作成される。

さらに、この複合機は、ＰＣなどのコンピュータ上の文書作成ソフトウェアで作成された文書の印刷データからマルチレイヤ画像ファイルを作成するデータ変換機能を備えており、ポストスクリプトなどのページ記述言語による印刷データがネットワーク制御部６で受信され、その印刷データがデータ変換部７にてＲＢＧの画データに変換された後、マルチレイア画像生成部５に送られてマルチレイヤ画像ファイルが作成される。

読取データ処理部２は、ＣＣＤ１の出力信号のＡ／Ｄ変換及びオフセット調整を行うＡ／Ｄ・オフセット調整部１１と、ＣＣＤ１の感度ムラを修正するシェーディング・黒補正部１２と、ラインセンサで構成されるＣＣＤ１による副走査方向のずれを補正するライン間補正部１３と、ＣＣＤ１の特性に応じたガンマ補正を行うガンマ補正部１４とを有している。

プリントデータ処理部３は、ＲＧＢの画データをＣＭＹＫの画データに色空間変換する色変換部１６と、プリンタエンジン４の出力解像度に対応する画像サイズに拡大・縮小する変倍部１７と、プリンタエンジン４の出力特性に適合するように階調を補正するプリンタ階調補正部１８と、色変換部１６及びプリンタ階調補正部１８の処理を画像の特性に応じて適正に行わせるために文字や写真などの領域を検出する像域判定部１９とを有している。

図２は、図１に示したマルチレイア画像生成部の構成を示すブロック図である。マルチレイア画像生成部５は、カラーの原画像内において下地画像（背景画像）に比較して低輝度で描画される文字や線画図形などの主画像を原画像から取り出す主画像生成部（主画像生成手段）２１と、主画像の画線部に対応する原画像中の部分を所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成部（下地画像生成手段）２２と、これにより得られた主画像及び下地画像とを互いに異なる圧縮方法にて圧縮処理する主画像圧縮部（画像圧縮手段）２３及び下地画像圧縮部（画像圧縮手段）２４と、これにより得られた主画像及び下地画像の各圧縮画像データを複数のレイヤに振り分けてファイル化するファイル生成部２５とを有している。

主画像生成部２１は、ＲＧＢの画データから画素ごとの輝度を算出する輝度生成部３１と、これにより得られた輝度画像を所定のしきい値を基準にして２値化する２値化処理部３２と、これにより得られた２値画像内の文字や図形などの領域を判定する領域判定部３３と、これにより得られた領域情報に基づいて文字や図形などの主画像を抽出する像抽出部３４と、これにより得られた主画像の再生時の表示色を原画像から抽出する主画像色抽出部３５と、これにより得られた表示色ごとに主画像を別レイヤでファイルに格納するために色別の主画像のデータを作成する色別レイヤ分割部３６とを有している。

領域判定部３３では、２値画像内の文字、罫線で区切られた表、線画で描かれた図形、ビットマップイメージ（写真など）の各領域を判定し、ここで得られる各領域の２値画像上の位置（座標）に関する領域情報に基づいて像抽出部３４において、主画像としての文字、罫線、並びに線画図形の画像が抽出される。文字領域では、行認識を経て１文字単位の画像を切り出す処理が行われる。表領域では、表構造を認識して罫線の画像、並びにセル単位の画像を切り出す処理を行うようにしても良い。

主画像圧縮部２３では、２値画像の圧縮に適した圧縮方式、例えばＭＭＲやＪＢＩＧにより文字や線画図形などの主画像のデータが圧縮処理される。下地画像圧縮部２４では、多値画像の圧縮効率に優れた圧縮方式、例えばＪＰＥＧにより下地画像のデータが圧縮処理される。このようにして得られた主画像及び下地画像の各圧縮画像データは、ファイル生成部２５で別レイヤとしてファイル化され、これにより原画像をそのままＪＰＥＧ圧縮した場合に、周辺の下地部分より低輝度に描画された文字や線画などの主画像により、周辺の下地部分にモスキートノイズが発生することを避けることができる。

主画像の圧縮データを色別レイヤに振り分けるにあたっては、色別レイヤを予め所定の数（例えば、８つ）だけ設定しておき、主画像色抽出部３５では、レイヤ数に対応する色数とするため、近似色に統一する減色処理が行われる。また主画像色抽出部３５では、色別に分離された主画像（２値画像）の表示色と色別レイヤの識別番号との対応関係を示すカラーパレット情報が生成され、このカラーパレット情報は、ファイル生成部２５においてマルチレイヤ画像ファイルに格納される。

下地画像生成部２２は、主画像生成部２１の像抽出部３４で得た２値の主画像の画線部、すなわち２値画像上で黒画素となる画素に対応する原画像中の部分をその周辺色に類似する塗り潰し色で塗り潰して下地画像を生成するものであり、塗り潰しのための塗り潰し色を原画像から抽出する塗り潰し色抽出部３７と、主画像生成部２１の像抽出部３４で得た主画像の画線部に対応する原画像中の部分を、塗り潰し色抽出部３７で得た塗り潰し色で塗り潰す塗り潰し処理部３８とを有している。

塗り潰し色抽出部３７では、像抽出部３４で得た主画像の画線部の周囲の非画線部に対応する原画像中の部分の画素値を参考にして塗り潰し色が決定される。特にここでは、ＲＧＢの画データがＹＣｂＣｒの画データに変換された後、非画線部に対応する原画像中の部分の画素の輝度成分値に基づいて塗り潰し色の輝度成分値Ｙが決定され、他方、塗り潰し色の色差成分値Ｃｂ・Ｃｒは、中間値、例えば色差成分値を２５６段階で表す場合にはＣｂ＝Ｃｒ＝１２８に予め設定されており、塗り潰し色は無彩色となる。

下地画像圧縮部（画像圧縮手段）２４では、下地画像のデータがＪＰＥＧ圧縮され、このＪＰＥＧ圧縮では、輝度成分値に対して色差成分値を大きく圧縮するダウンサンプリングが行われる。輝度成分値Ｙ及び色差成分値Ｃｂ・Ｃｒのサンプリング比率Ｙ：Ｃｂ：Ｃｒは、４：１：１、４：２：２、４：２：０のいずれかとすれば良い。

図３は、図２に示したマルチレイヤ画像生成部での処理の要領を示す概念図である。主画像生成部２１の輝度生成部３１及び２値化処理部３２を経て原画像を２値化した２値画像が得られ、さらに領域判定部３３及び像抽出部３４を経て文字、表、図形などの領域種別ごとの主画像の画データが得られ、文字領域の画像は、２値画像において文字に外接する矩形により１文字単位で切り分けて１文字ごとの文字画像が得られる。

主画像生成部２１の主画像色抽出部３５で行われる主画像の色の抽出、並びに下地画像生成部２２の塗り潰し色抽出部３７及び塗り潰し処理部３８で行われる塗り潰し色の抽出及び塗りつぶしの処理は、ＪＰＥＧ圧縮処理での処理単位となる８×８画素からなるブロックごとに行われる。

まず主画像生成部２１の主画像色抽出部３５では、２値画像上で黒画素となる画線部を構成する画素と同一座標の画素の色が多値画像（原画像）のデータから取得され、その多値画像上の各画素値の平均値を算出する、すなわち各画素のＲＧＢの各値をそれぞれ平均してＲＧＢごとの平均値を算出して、主画像の画線部を表示する色（例えば、赤色）が決定される。

また下地画像生成部２２の塗り潰し色抽出部３７では、２値画像上で黒画素となる画線部の周囲で白画素となる非画線部を構成する画素と同一座標の画素の輝度成分値が、ＹＣｂＣｒ表色系変換された多値画像のデータから取得され、その多値画像上の各画素ごとの輝度成分値の平均値が算出され、その平均輝度成分値と中間値（１２８）に予め設定され色差成分値とにより、塗り潰し色が決定される。例えば、２値画像の非画線部に対応する多値画像中の部分が青色であれば、塗り潰し処理部３８で得られる下地画像では、２値画像の画線部に対応する部分がその周囲の青色と同一輝度の灰色で塗り潰された配色となる。

なお、主画像の表示色の取得の際には、処理ブロック内の画線部を構成する全ての画素を対象せず、適宜な規則にしたがって選出された複数の画素を対象として表示色を決定するものとしても良い。また下地画像の塗り潰し色の取得の際も、同様に非画線部を構成する画素の中から適宜な規則にしたがって選出された複数の画素を対象として塗り潰し色を決定するものとしても良い。この他、１文字ごとの文字画像の外周部に位置する画素を、下地画像の塗り潰し色決定の基準とすることも可能である。

以上のようにして下地画像が作成されるが、ここでは塗り潰し色の色差成分値が固定されているため、場合によっては塗り潰し画素とその周辺画素との間の色差成分値の差が大きくなり、下地画像圧縮の演算に手間取ることがあるが、ＪＰＥＧ圧縮のように輝度成分値に対して色差成分値を大きく圧縮するダウンサンプリングが行われる場合には、輝度成分値に比較して色差成分値の演算負担が相対的に小さくなるため、塗り潰し色取得も含めた全体的な演算負担は軽減される。

図４及び図５は、図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図である。ここでは、文字を主画像とした例について示す。

まずメモリに格納されたＲＧＢによる原画像の画データが主画像生成部２１において取得され（ステップ１０１）、ついで表色系（色空間）変換処理によりＹＣｂＣｒによる画データが生成され（ステップ１０２）、その輝度成分値Ｙによる輝度画像が輝度生成部３１で作成された後、その輝度画像を２値化する処理が２値化処理部３２で行われる（ステップ１０３）。そして２値画像内の文字や図形などの領域を検出するレイアウト解析処理が領域判定部３３で行われ、文字や図形などの領域種別や領域の原画像上の位置（座標）に関する属性を領域ごとに記載した領域リストが作成される（ステップ１０４）。

次に１文字単位の画像を取得する工程（ステップ１０５〜１０８）に進み、ここではまず文字領域内の２値画像から１文字ごとの文字画像を切り出す処理が像抽出部３４で行われ（ステップ１０６）、ついで切り出した１文字ごとの文字画像の格納先アドレスを領域リストに追加する処理が行われる（ステップ１０７）。

次に文字画像の表示色を１文字ごとに取得して色別文字レイヤに振り分けて圧縮処理する工程（ステップ１０９〜１１６）に進み、ここではまず領域リストを参照して文字領域に属する文字画像に関する処理ブロックごとの座標を求める処理が行われ、これにより得られた処理ブロックに関する情報を記載した文字リストが作成される（ステップ１１０）。そして文字リストに記載された処理ブロック単位で文字画像の表示色を取得する処理が主画像色抽出部３５で行われ（ステップ１１２）、ついで処理ブロック単位の画像を表示色ごとに仕分けする処理が色別レイヤ分割部３６で行われる（ステップ１１３）。さらに対象文字領域に属する全ての文字ごとの表示色の取得及び仕分けの処理が終了すると（ステップ１１４）、表示色ごとの２値画像を圧縮する処理が主画像圧縮部２３で行われる（ステップ１１５）。

次に図５に示すように、下地画像の塗り潰し色を処理ブロック単位で取得して塗り潰す工程（ステップ１１７〜１２３）に進み、ここではまず前記と同様に１文字ごとの処理ブロックに関する情報を記載した文字リストが作成された後（ステップ１１８）、文字リストに記載された処理ブロック単位で塗り潰し色を取得する処理が塗り潰し色抽出部３７で行われ（ステップ１２０）、ついで取得した塗り潰し色で塗り潰す処理が塗り潰し処理部３８で処理ブロック単位で行われる（ステップ１２１）。

そして１ページ分の塗り潰し処理が終了すると（ステップ１２３）、塗り潰し済みの多値画像をサブサンプリングしてＪＰＥＧ圧縮する処理が下地画像圧縮部２４で行われる（ステップ１２４・１２５）。

このようにして文字画像及び下地画像の圧縮データが取得されると、マルチレイヤ画像ファイルの作成の工程に進み、文字画像及び下地画像の各圧縮データにヘッダ情報を付けてファイルに書き込む処理がファイル生成部２５で行われる（ステップ１２６・１２７）。

図６は、図１に示したマルチレイア画像生成部の別の例を示すブロック図である。ここでは、前記の例と同様に、主画像生成部２１において、輝度生成部３１及び２値化処理部３２を経て得られた２値画像内の文字や図形などの領域を判定する処理が領域判定部３３にて行われ、ここで得られた領域情報に基づいて文字や図形などの主画像を抽出する処理が像抽出部３４にて行われるようになっているが、前記の例とは異なり、像抽出部３４において、その主画像となる文字が周囲より低輝度となる通常文字と、主画像となる文字が周囲より高輝度となる白抜き文字（反転文字）とを判別し、その判別結果（白抜き文字情報）が下地画像生成部２２の塗り潰し処理部３８に送られる。

ここで、通常文字は、２値画像上で黒画素で構成され、その周囲を白画素で覆われる状態となるのに対し、白抜き文字（反転文字）は、２値画像上で白画素で構成され、その周囲を黒画素で覆われる状態となる。なおここでは、文字について、主画像が周囲より低輝度となる通常画像と主画像が周囲より高輝度となる反転画像との識別して異なる処理を行うようにしているが、罫線や線画図形についても同様の処理が可能である。

図７は、図６に示した下地画像生成部の構成を詳しく示すブロック図である。下地画像生成部２２の塗り潰し色抽出部３７では、ＲＧＢの画データがＹ・Ｃｂ・Ｃｒの画データに変換された後、像抽出部３４で得た主画像の周囲の画素に対応する原画像中の部分の画素値を参考にして塗り潰し色が決定され、特にここでは、主画像の周囲の画素に対応する原画像中の部分の画素値に基づいて、輝度成分値Ｙ及び色差成分値Ｃｂ・Ｃｒの各値が求められる。

塗り潰し処理部３８には、像抽出部３４からの白抜き文字情報に基づいて、塗り潰し色抽出部３７からの画信号を切り換えるＹ・Ｃｂ・Ｃｒの各画信号ごとの信号切換部４２ａ・４２ｂ・４２ｃが設けられており、白抜き文字情報が通常文字（０）を示す場合には、輝度成分値Ｙは、塗り潰し色抽出部３７で得られたものがそのまま主画像部分塗り潰し処理部４１に送られ、色差成分値Ｃｂ・Ｃｒは、固定値が主画像部分塗り潰し処理部４１に送られる。他方、白抜き文字情報が白抜き文字（１）を示す場合には、輝度成分値Ｙは、固定値が主画像部分塗り潰し処理部４１に送られ、色差成分値Ｃｂ・Ｃｒは、塗り潰し色抽出部３７で得られたものが主画像部分塗り潰し処理部４１に送られる。

通常文字の場合に色差成分値Ｃｂ・Ｃｒを決定する固定値は、前記の例と同様に、中間値、例えば色差成分値を２５６段階で表す場合にはＣｂ＝Ｃｒ＝１２８に設定されており、塗り潰し色は無彩色となる。他方、白抜き文字（反転文字）の場合に輝度成分値Ｙを決定する固定値は、中間値より小さい値、例えば輝度成分値を２５６段階で表す場合にはＹ＝１００に設定されている。これは、白抜き文字の場合に、文字を明瞭に視認し得るように、その周囲が、通常、比較的低輝度で描画されることが多いことによるものであり、これにより適切な塗り潰し色を取得することができる。

下地画像圧縮部（画像圧縮手段）２４では、前記と同様に、下地画像のデータがＪＰＥＧ圧縮され、このＪＰＥＧ圧縮では、輝度成分値に対して色差成分値を大きく圧縮するダウンサンプリングが行われる。輝度成分値Ｙ及び色差成分値Ｃｂ・Ｃｒのサンプリング比率Ｙ：Ｃｂ：Ｃｒは、４：１：１、４：２：２、４：２：０のいずれかとすれば良い。

図８は、図７に示した下地画像生成部２２での処理の要領を示す概念図である。白抜き文字（反転文字）の場合には、２値画像に対して白画素と黒画素とを反転させる処理が行われ、これにより得られた反転２値画像上で主画像としての文字が黒画素（画線部）で構成され、主画像生成部２１の主画像色抽出部３５において、反転２値画像上で黒画素となる画素と同一座標の画素の色が多値画像（原画像）のデータから取得され、その多値画像上の各画素値の平均値を算出する、すなわち各画素のＲＧＢの各値をそれぞれ平均してＲＧＢごとの平均値を算出して、主画像を表示する色（例えば、薄いグレー）が決定される。

また下地画像生成部２２の塗り潰し色抽出部３７では、反転２値画像上で黒画素となる画線部の周囲で白画素となる非画線部を構成する画素と同一座標の画素の色差成分値Ｃｂ・Ｃｒが、ＹＣｂＣｒ表色系変換された多値画像のデータから取得され、その多値画像上の各画素ごとの色差成分値Ｃｂ・Ｃｒの平均値が算出され、その平均色差成分値と、所定値（１００）に予め設定された輝度成分値Ｙとにより、塗り潰し色が決定される。例えば、反転２値画像の非画線部に対応する多値画像中の部分が赤色であれば、塗り潰し処理部３８で得られる下地画像では、反転２値画像の画線部に対応する部分がその周囲の赤色と概ね同一の色差の赤色で塗り潰された配色となる。

また、図７に示したように、下地画像生成部２２の塗り潰し処理部３８には、前記の通り、主画像生成部２１の像抽出部３４で得た主画像に対応する原画像中の部分を、塗り潰し色抽出部３７で得た塗り潰し色で塗り潰す主画像部分塗り潰し処理部４１の他に、主画像部分の周囲を取り巻くように原画像中に存在する輪郭部分を、その外側の領域の画素値に基づいて決定された塗り潰し色で塗り潰す輪郭部分塗り潰し処理部４３が設けられており、ここで塗り潰し処理を経たＹ・Ｃｂ・Ｃｒの各画信号が、Ｙ・Ｃｂ・Ｃｒの各画信号ごとのＯＲ回路４４ａ・４４ｂ・４４ｃを介して下地画像圧縮部２４に送られる。

図９は、図７に示した輪郭部分塗り潰し処理部での処理の概要を示す概念図である。原画像には、画像読取装置の特性などに応じて、主画像部分の周囲を取り巻くように主画像部分の描画色が薄く残る輪郭部分が形成されていることがあり、この輪郭部分は、圧縮効率の低下及び画質の劣化を招くことから、輪郭部分塗り潰し処理部４３において、輪郭部分をその外側の下地部分の色で塗り潰す処理が行われ、輪郭部分が除去された下地画像を得ることができる。

図１０は、図７に示した輪郭部分塗り潰し処理での処理の要領を示す概念図である。輪郭部分塗り潰し処理部４３では、画素ごとの画信号が入力されると、１画素ずつその画素が輪郭部分にあるか否かの判定、並びに塗り潰し色の抽出の各処理が行われ、これらの処理は、対象画素を中心とした所定の窓領域単位で行われる。

対象画素が輪郭部分にあるか否かの判定処理は、窓領域内に対象画素を除いて文字（主画像）を構成する黒画素が存在するか否かにより行われ、ここで黒画素が存在し、対象画素が輪郭部分にあるものと判定されると、次に塗り潰し色の抽出処理が行われる。

塗り潰し色の抽出処理では、まず窓領域内に下地部分を構成する周辺画素があるか否かの判定が行われ、具体的には、窓領域内において黒画素に隣接する隣接画素を除いた残りの周辺画素があるか否かの判定が行われ、ここで周辺画素があるものと判定されると、黒画素及び隣接画素を除いた周辺画素の値を平均して対象画素の塗り潰し色が決定される。他方、周辺画素がない場合には、対象画素の直前の画素を対象とした処理で取得した塗り潰し色が採用される。

例えば（Ｉ）、（II）で示す例では、判定領域内に周辺画素があるため、周辺画素の値を平均して対象画素の塗り潰し色が決定される。これに対し、（III）で示す例では、周辺画素がないため、判定領域内での塗り潰し色の抽出は行われず、対象画素の直前の画素を対象とした処理で取得した塗り潰し色が採用され、特にここでは直前の画素及びさらにその前の画素でも判定領域内での塗り潰し色の抽出は行われないため、実際には（II）の過程で取得した塗り潰し色が採用される。このとき、文字部分の内外では、通常、色の変化はないため、適切な塗り潰し色を得ることができる。

さらに、直前の画素を対象とした処理で取得した塗り潰し色を採用する場合には、下地色が変化する部分で誤った色で塗り潰されることがないように、直前の画素で採用された輪郭塗り潰し色の値と、対象画素の現状の値とを比較し、両者に所定値を超える色差がある場合には、直前の画素の輪郭塗り潰し色は採用せず、塗り潰し処理を行わないようにする。

なお、この輪郭部分塗り潰し処理は、入力される画素ごとに順次行われ、塗り潰した後の値に基づいて、後方に位置する画素の処理が行われる。また、ここでは、説明の便宜のため、２値画像上で黒画素となる主画像部分を多値画像上に重ねて表示しているが、主画像部分の実際の画データは多値画像での画素値となる。

図１１は、図１０に示した窓領域の大きさを変更した場合の例を示す概念図である。窓領域は、Ｎ×Ｎ（Ｎは縦横の画素数で、３以上）の正方形をなし、（Ａ）に示す例は、窓領域を３×３としたものであり、対象画素とこれに上下、左右、斜めの各方向で隣接する合計９画素で窓領域が構成される。（Ｂ）に示す例は、窓領域５×５としたものであり、合計２５画素で窓領域が構成される。

窓領域の大きさ（画素数）は、原画像の状態、具体的には輪郭部分の幅に応じて変更することができ、対象画素が輪郭部分にあるか否かの判定処理で、窓領域内に対象画素を除いて黒画素が存在するか否かを判定する際に、（Ｂ）に示したように、輪郭部分の幅に応じて窓領域が大きく設定されていると、文字部分（主画像部分）の境界画素（黒画素）から所定の距離までの画素を輪郭部分にあるものと判定して塗り潰すことができ、塗り潰し処理の精度を向上させることができる。

図１２は、図６に示したマルチレイア画像生成部での処理の手順を示すフロー図である。これは、図４に示したフローに続くものであり、下地画像の塗り潰し色を処理ブロック単位で取得して塗り潰す工程において、１文字ごとの処理ブロックに関する情報を記載した文字リストが作成された後に（ステップ１１８）、まず文字部分（主画像部分）の周囲に存在する輪郭部分を塗り潰す処理が輪郭部分塗り潰し処理部４３で行われ（ステップ１３１）、ついで文字リストに記載された処理ブロック単位で文字部分の塗り潰し色を取得する処理が塗り潰し色抽出部３７で行われ（ステップ１３２）、ついで取得した塗り潰し色で文字部分を塗り潰す処理が塗り潰し処理部３８で処理ブロック単位で行われる（ステップ１３３）。この他は、前記図５に示した例と同様である。

図１３は、図１２に示した輪郭部分塗り潰し処理の手順を示すフロー図である。ここでは、図１０に示した要領で、対象画素を中心とするＮ×Ｎの窓領域での黒画素の出現状況に基づいて対象画素が文字部分（主画像部分）の周囲に存在する輪郭部分にあるか否かの判定が行われ、対象画素が輪郭部分である場合には、窓領域内の文字部分から離間した位置にある周辺画素の値から塗り潰し色を抽出する処理が行われ、これにより取得した輪郭塗り潰し色で対象画素を塗り潰す処理が行われる。

まず輪郭部分塗り潰し処理部４３において、対象画素を中心とするＮ×Ｎの窓領域内にその中心の対象画素を除いて黒画素が存在するか否かにより、対象画素が輪郭部分を構成するものか否かの判定が行われ（ステップ２０１）、これにより窓領域内に黒画素が存在し、対象画素が輪郭部分を構成するものと判定されると、次に窓領域内に主画像の画素（黒画素）及びこれに隣接する隣接画素のいずれにも該当しない周辺画素が存在するか否かを判定する処理が行われ（ステップ２０２）、これにより窓領域内に周辺画素が存在するものと判定されると、周辺画素の画素値を平均して輪郭塗り潰し色を決定する処理が行われ（ステップ２０３）、さらにここで取得した輪郭塗り潰し色の値に対象画素の値を置き換える塗り潰し処理が行われる（ステップ２０４）。

他方、窓領域内の黒画素の有無により対象画素が輪郭部分にあるか否かの判定（ステップ２０１）で、窓領域内に黒画素が存在せず、対象画素が輪郭部分を構成しないものと判定されると、塗り潰しは行われない。また、窓領域内に周辺画素が存在するか否かの判定（ステップ２０２）で、窓領域内に周辺画素が存在しないものと判定されると、窓領域内での輪郭塗り潰し色の取得処理（ステップ２０３）は行われず、直前に取得した輪郭塗り潰し色の値に対象画素の値を置き換える塗り潰し処理が行われる（ステップ２０４）。

図１４は、図１２に示した文字塗り潰し色抽出処理の手順を示すフロー図である。ここでは、対象となる文字部分が白抜き文字を構成するものか否かの判定が行われ、白抜き文字でない通常文字の場合には、図３に示した要領で塗り潰し色が決定され、他方、白抜き文字の場合には、図８に示した要領で塗り潰し色が決定される。

まず像抽出部３４にて切り分けられた１文字ごとの文字画像の外周部に位置する画素の値（Ｙ、Ｃｂ、Ｃｒ）を多値画像から検索してその画素値から文字周辺色の候補を求める処理が塗り潰し色抽出部３７で行われる（ステップ３０１）。そして塗り潰し処理部３８において、対象となる文字部分が白抜き文字か否かの判定が行われ（ステップ３０２）、白抜き文字と判定されると、塗り潰し色抽出部３７で取得した文字周辺色の候補の色差成分値Ｃｂ・Ｃｒ及び所定の固定値とした輝度成分値Ｙにより塗り潰し色を求める処理が行われる（ステップ３０３）。他方、白抜き文字でないと判定されると（ステップ３０２）、文字周辺色の候補の輝度成分値Ｙ及び所定の固定値とした色差成分値Ｃｂ・Ｃｒにより塗り潰し色を求める処理が行われる（ステップ３０４）。

図１５は、図１２に示した文字部分塗り潰し処理の手順を示すフロー図である。ここでは、まず２値画像中に黒画素が存在するか否かの判定が行われ（ステップ４０１）、２値画像中に黒画素が存在するものと判定されると、図１４に示した塗り潰し色抽出処理で決定された塗り潰し色で、文字（主画像部分）と同一の位置（座標）となる多値画像上の画素を塗り潰す処理が行われる（ステップ４０２）。他方、２値画像中に黒画素が存在しない場合には、塗り潰す処理は行われない。

本発明にかかる画像処理装置及び画像処理方法は、カラー画像をマルチレイヤ化するための下地画像を生成する際に、塗り潰し色取得のための演算工程を簡略化する効果を有し、カラー画像を文字などの主画像と下地画像とに分けて異なる圧縮方法にて圧縮処理する画像処理装置及び画像処理方法などとして有用である。

本発明による画像処理装置が適用された複合機の構成概略を示すブロック図図１に示したマルチレイア画像生成部の構成を示すブロック図図２に示したマルチレイヤ画像生成部での処理の要領を示す概念図図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図図２に示したマルチレイヤ画像生成部での処理の手順を示すフロー図図１に示したマルチレイア画像生成部の別の例を示すブロック図図６に示した下地画像生成部の構成を詳しく示すブロック図図７に示した下地画像生成部での処理の要領を示す概念図図７に示した輪郭部分塗り潰し処理部での処理の概要を示す概念図図７に示した輪郭部分塗り潰し処理での処理の要領を示す概念図図１０に示した窓領域の大きさを変更した場合の例を示す概念図図６に示したマルチレイア画像生成部での処理の手順を示すフロー図図１２に示した輪郭部分塗り潰し処理の手順を示すフロー図図１２に示した文字塗り潰し色抽出処理の手順を示すフロー図図１２に示した文字部分塗り潰し処理の手順を示すフロー図

符号の説明

５マルチレイア画像生成部
２１主画像生成部（主画像生成手段）
２２下地画像生成部（下地画像生成手段）
２３主画像圧縮部（画像圧縮手段）
２４下地画像圧縮部（画像圧縮手段）
３７塗り潰し色抽出部
３８塗り潰し処理部

Claims

原画像中に下地と異なる輝度で描画される主画像を原画像から取り出す主画像生成手段と、
前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成手段と、
これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、
前記下地画像生成手段が、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め中間値に設定された色度成分値とにより前記塗り潰し色を決定し、前記塗り潰し色を無彩色にすることを特徴とする画像処理装置。
原画像中に下地と異なる輝度で描画される主画像を原画像から取り出す主画像生成手段と、
前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成する下地画像生成手段と、
これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理する画像圧縮手段とを有し、
前記下地画像生成手段が、主画像が周囲より低輝度となる通常画像の場合に、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め設定された色度成分値とにより前記塗り潰し色を決定し、主画像が周囲より高輝度となる反転画像の場合に、周辺画素の色度成分値に基づいて決定された色度成分値と、予め設定された輝度成分値とにより前記塗り潰し色を決定することを特徴とする画像処理装置。
原画像中に下地と異なる輝度で描画される主画像を原画像から取り出すステップと、
前記主画像に対応する原画像中の部分をその周辺画素の画データに基づく所要の塗り潰し色で塗り潰して下地画像を生成するステップと、
これにより得られた主画像及び下地画像の各画データを互いに異なる圧縮方法にて圧縮処理するステップとを有し、
前記下地画像を生成するステップにおいて、主画像が周囲より低輝度となる通常画像の場合に、周辺画素の輝度成分値に基づいて決定された輝度成分値と、予め設定された色度成分値とにより前記塗り潰し色を決定し、主画像が周囲より高輝度となる反転画像の場合に、周辺画素の色度成分値に基づいて決定された色度成分値と、予め設定された輝度成分値とにより前記塗り潰し色を決定することを特徴とする画像処理方法。