JP3176057B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、カラー画像中の所定色の線画部を抽出し、
他の画像部と異なる方法で圧縮符号化を行う画像処理装
置に関するものである。

［従来の技術］ 従来、カラー画像を符号化する方法として、画像をブ
ロックに分割し、直交変換を施した後、その係数を量子
化・符号化するものが知られていた。

ところが、上記従来例では、直交変換後の係数を量子
化するため、高周波成分が失われ、エッジ部でリンギン
グ（Ringing）を起こし、原稿の文字部の品位が低下し
ていた。

また、低ビットレートで符号化する場合にブロックと
ブロックの境界においてブロック歪を生じ、文字のアウ
トラインが見苦しくなっていた。

これに対し、最も使用頻度高い黒文字の品位を向上さ
せるために、黒文字部とそれ以外の部分を分離して符号
化する技術が本出願人により提案されている。

しかしながら、上記技術では、原稿の特定の１色のみ
抽出する様に構成されていたため、例えば原稿中に複数
色の色文字が存在する場合については改善の余地があっ
た。

また、入力画像データの所定の色の線画部分を抽出
し、その部分を他の部分と分離して符号化する際に、単
に線画部のみを除去するのみでは、抽出手段の精度等の
関係上、不十分であり例えば色文字周辺の高周波部分が
残ってしまう場合がある。このような問題は、符号化以
外の画像処理、例えば色変換処理等、においても生じて
いた。

以上の従来例に鑑みて、本発明は、カラー画像の所定
色の線画部分を精度良く分離すると共に、該線画部分と
それ以外の画像情報を効率良く圧縮符号化する方式を提
供することを目的とする。特に線画以外の画像を符号化
する場合に適した直交変換、量子化を用いたブロック符
号化を使用する際に最適な方式を提供することを目的と
する。

［課題を解決するための手段］ 上記目的を達成するため、本発明の画像処理装置によ
れば、入力画像データにおける所定色の線画部分をブロ
ック毎に判定する色文字判定手段と、前記ブロック毎
に、前記入力画像データから、前記所定色の線画部分と
共に、該線画部分の周囲かつ該所定色と同様の色相を有
する部分を除去した後、前記ブロック内の他の画素群に
基づく代表値を置換する色文字除去手段と、前記色文字
判定手段にて判定された所定色の線画部分を符号化する
第１符号化手段と、前記色文字除去手段の除去、置換が
施された入力画像データを、前記ブロック毎に直交変換
し、量子化符号化する第２符号化手段とを有することを
特徴とする。

［実施例］ 以下図面を用いて本発明の好適な実施例を説明する。

第１の実施例 第１図は、本発明の第１の実施例の画像符号化装置の
全体構成を示す図である。

第１図において、１は原稿を表す画像信号を入力する
画像入力部であり、CCDラインセンサーにより原稿を走
査し、画素毎にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブ
ルー）各々８ビットの色成分信号を出力するイメージセ
ンサーにより構成される。２はエッジ検出部であり、後
述の方法により原稿画像の高周波成分の部分を検出す
る。３は色検出部であり、所定の色成分の画素を検出す
る。４は色文字判定部であり、エッジ部かつ所定の色成
分の画素を判定する。５は２値系列変換部であり、複数
色を表す画素データを算術符号化に適した２値系列信号
に変換する。６は算術符号化部であり、２値系列符号を
動的算術符号化により符号化する。７は色文字除去部で
あり、色文字と判定された画素のデータをその画素の属
するブロックの平均値データで置換する。８は直交変換
部であり、ブロック毎にDCT（Discrete Cosine Trans
form）を行い、更にハフマン符号化を行う、いわゆるAD
CT方式の符号化を行う。９は符号データ送信部であり、
算術符号化部６及び直交変換部８の出力を統合し、送信
すべき符号データを生成する。

10は符号データ受信部であり、受信した符号データを
算術符号とハフマン符号に分離する。11は逆算術符号化
部であり、算術符号を復号化し色文字データを出力す
る。12は逆直交変換部であり、ハフマン復号化、逆直交
変換を行い、多値画像データを出力する。13は平滑化部
であり復号化された画像のブロック歪みを除去すべく、
平滑化を行う。14は合成部であり色文字と多値画像デー
タを合成し、再生すべき画像データを出力する。15は画
像出力部であり、画像データを可視画像形成する。

以下各部について説明する。

＜エッジ検出部２＞ エッジ検出部２においては、注目画素Ｘに対して、第
２図に示す様に周辺画素A,B,C,Dとのあいだで以下に示
す様な演算を行い、RGB空間における２点間の距離を算
出し、画像中のエッジを検出する。即ち、いま注目画素
及び周辺画素の画像データをそれぞれ（Xr,Xg,Xb）、
（Ar,Ag,Ab）とすると、 Ｓ＝（（Xr−Ar）^２＋（Xg−Ag）^２ （Xb−Ab）^２）^1/2 ・・・（１） Ｓ＞TH1（＝100） ・・・・・・（２） を満たすとき、ＸとＡとの間にはエッジがあると判定す
る。

同様にして、B,C,Dとの間においてもエッジの有無を
判定して、A,B,C,Dのいずれか１つでもエッジと判定さ
れれば、注目画素Ｘはエッジであると判定する。

この様に、注目画素と周辺画素との３次元の色空間上
の距離を算出することにより、エッジの有無を判定する
ので、例えば、同じ明度で色相や彩度が異なる色エッジ
も判定することができる。従って、本発明において色文
字を検出するうえで極めて有効である。

上記画素ごとのエッジ判定に加え、後述の色文字除
去、直交変換を行なう８×８画素ブロック内にエッジ画
素が含まれているか否かの判定も行ない、その判定信号
も出力する。

なお、周辺画素の取り方は上述の例に限らず、例えば
周辺８画素をとってもよい。

また、例えば、A,B,C,Dの画素データの平均値を算出
し、その平均値と画素Ｘとの間で上記演算を行なっても
よい。

＜色検出部３＞ 色検出部３は、下記の式により所定の複数の限定色カ
ラーの検出を行なう。いま、注目画素Ｘの画像データを
（r,g,b）とすると、 r,g,b＜th1 かつ |r−g|,|g−b|,|b−r|＜th3 ・・・（３） のとき、注目画素ＸをＫ（黒）と判定する。

同様にして、 ｒ＞th2 かつ g,b＜th1 かつ |g−b|＜th3 ・・・（４） のとき、Ｘ＝Ｒ（赤）、 ｇ＞th2 かつ r,b＜th1 かつ |r−b|＜th3 ・・・（５） のとき、Ｘ＝Ｇ（緑）、 ｂ＞th2 かつ r,g＜th1 かつ |r−g|＜th3 ・・・（６） のとき、Ｘ＝Ｂ（青）、 r,g＞th2 かつ ｂ＜th1 かつ |r−g|＜th3 ・・・（７） のとき、Ｘ＝Ｙ（イエロー）、 r,b＞th2 かつ ｇ＜th1 かつ |r−b|＜th3 ・・・（８） のとき、Ｘ＝Ｍ（マゼンタ）、 g,b＞th2 かつ ｒ＜th1 かつ |g−b|＜th3 ・・・（９） のとき、Ｘ＝Ｃ（シアン）、 として色検出を行なう。

なお、ここでth1,th2,th3は所定の閾値であり、例え
ば、 th1＝50,th2＝205,th3＝30 とすると、検出結果が良好である。

色検出信号は（R,G,B）の３ビットで表され、各検出
色とR,G,Bの値との対応関係は第３図に示す通りであ
る。

＜色文字判定部４＞ 色文字判定部４は、エッジ検出部２によりエッジに該
当する画素が存在すると判定されたブロック内の画素で
あって、色検出部３により上記式（３）〜（９）のいず
れかを満たす画素を色文字と判定する。

＜２値系列変換部５＞ ２値系列変換部５は、３ビットの色文字判定信号によ
り表される８色の色信号を第３図に示す２値系列信号に
変換する。

２値系列変換部５のブロック図を第４図に示す。入力
データ200〜202はROM等で構成される変換テーブル91
で、画素ごとに第３図に示した最大７ビットの信号212
に変換され、信号出力器92に入力される。ここで、変換
テーブル91に、出現頻度の多い色に短いビット長を割り
当てられるように、複数のROMが用意し、コントロール
信号300に応じて複数のROMを選択できる様にしてもよ
い。

信号出力器92はシフトレジスタの構成をとっており、
７ビットの入力信号212が並列に入力され、MSBから１ビ
ットずつシリアルに出力される。これが２値系列信号D2
03である。信号出力器92は２値系列信号が１になったと
き、または０を７個出力したとき、１画素の色信号の出
力を終了させ、次の入力データを受け取る。また、信号
出力器92からは現在出力しているbitが２値系列信号の
何bit目かを表す信号Bt204が出力される。

このように、３ビットの色文字判定信号を２値系列変
換して、１ビットのシリアル信号として符号化すること
により、互いに相関性をもった３ビットの信号を別々に
符号化することなく、色相関性を保存したままで符号化
ができる。しかも、例えば算術符号化のごとく、注目画
素を予測しながら符号化を行なう際に、Ｒ、Ｇ、Ｂの色
成分毎に予測、符号化を行なうことなく、色情報として
予測、符号化ができ、符号化効率を上げることができ
る。

また、各画素の色を表すＲ、Ｇ、Ｂの各色成分が１つ
のデータとして表されるので、復号時に１つデータを復
号することで、各画素に対応するR,G,B信号を一度に得
ることができ、カラー画像の再生を迅速に行なうことが
できる。

＜算術符号化部６＞ 算術符号化部６においては、数色を表す２値系列信号
を可逆符号化である算術符号化により符号化する。算術
符号化の方法及び回路構成は特開平２−65372号公報に
示される通りである。

＜色文字除去部７＞ 色文字除去部７は、上記色文字判定部４により色文字
と判定された画素のデータを該画素の属するブロック中
の他の画素のデータに応じた値を用いて置換する。

即ち、第５図（ａ）のように色文字の存在する画像か
ら第５図（ｂ）のように色文字データを除去する。また
その際に、色文字を差し引くことによって第５図（ｂ）
のように生じるエッジも除去するため第５図（ｃ）のよ
うに色文字の周囲の画素であって、色文字画素と同様の
色相を有する画素のデータも合わせて差し引き、ブロッ
ク内の他の画素データの平均値で置換する。

このとき、色文字除去処理のブロックと後述の直交交
換のブロックのサイズは同一とする。

色文字除去部７の構成を第６図に示す。

各８ビットの画像データr,g,bは色検出器71に入力さ
れ、上記式（３）〜（９）に基いて除去すべき色の画素
を検出する。その際、色文字周辺部も検出される様にす
るため、閾値を例えば下記の様に定める。

th1＝120,th2＝130,th3＝30 このように、前述の色検出の閾値を変更して色検出部
３よりも広い範囲で色検出を行なうことにより、色文字
に近似する色味の部分を抽出することができ、この部分
の入力画像データも除去することができる。

色検出器71の検出信号Ｒ′、Ｇ′、Ｂ′のうち少なく
とも１つが１の場合に、除去すべき色が存在する画素と
判断し、減算回路72において該画素のr,g,bの値を０と
する。次に平均値演算回路73において、８×８画素ブロ
ック内のr,g,bデータの平均値を演算し、置換部74にお
いて、その平均値を色が除去された画素の画像データと
して置換し、ｒ′,g′,b′として出力する。

なお、平均値での置換に限らず、もっとも頻度の多い
値に置き換えること、或はメディアンフィルタ用いてブ
ロック内の画素の中央値に置き換えることもできる。

また、色文字周囲の画素であって、色文字に近似する
色実の部分のみをより正確に抽出するために、色文字判
定信号Ｒ、Ｇ、ＢのORをとった信号と第６図の２つのOR
回路の出力信号のANDをとって、減算回路72及び置換部7
4における処理を行なう様にしてもよい。

＜直交変換部８＞ 直交変換部８は、８×８画素ブロック単位で２次元離
散コサイン変換を行ない、得られた変換係数を量子化し
た後ハフマン符号化する、いわゆるADCT方式の符号化を
行なう。

第７図に直行変換部８の構成を示す。前処理部81にお
いて、画素毎にｒ′,g′,b′の８ビットの信号が、輝度
信号Ｙ及び色度信号Cr,Cbに変換される。次に、サブサ
ンプリング部82においてCr,Cb信号は２×２画素ブロッ
ク毎に平均値がとられる。これは、色度信号の劣化が輝
度信号の烈火に比べて人間の視覚にとらえられにくいと
いう性質を利用したものである。最後に、直行変換部83
において、Y,Cr,Cbの各面について、独立にADCT方式の
符号化を行なう。この符号化は、専用の演算回路を構成
し、あるいはコンピュータのソフトウエアにより実行す
ることができる。

＜符号データ送信部９＞ 符号データ送信部９においては、最初に色文字のパタ
ーン符号が送信され、次に、Y,Cr,Cbの符号データが面
順次に送信される。各面の送信に先立って、そのデータ
がどの成分であるかを示すフラッグが送信される。この
とき、各データの送信順序に応じた時間的なずれを補償
するためのメモリを有する。

以上の様に、色文字パターンを可逆符号化により、符
号化することで色文字の品位を保ちつつ、高能率のデー
タ圧縮を行なうことができる。

一方、色文字をオリジナルデータから分離する際にそ
の周囲の部分も含めて所定の置換を行なうことにより、
直交変換符号化の効率を向上させることができる。

＜符号データ受信部10＞ 符号データ受信部10は、送信部９からの符号データを
受信し、フラッグに基づき算術符号であるY,Cr,Cbのい
ずれかのハフマン符号であるかを判断し、それぞれのデ
ータを逆算術符号化部11、逆直交変換符号化部12に出力
する。

＜逆算術符号化部11、 逆直交変換符号化部12＞ 逆算術符号化部11、逆直交変換符号化部12は、算術符
号化、直交変換符号化と逆の手順で、色文字データ、お
よびｒ′,g′,b′の多値データを復号化する。

復号化されたｒ′,g′,b′の多値データは、平滑化部
13において、それぞれの面で平滑化される。色文字デー
タに対して平滑化を行なわず、多値データのみに平滑化
を行なうのは、色文字の解像度の劣化を防止し、鮮明な
色文字を再生するためである。

＜合成部14＞ 合成部14は、復号化された色文字データとｒ′,g′,
b′の多値データとを合成する。

即ち、色文字データ（Ｒ、Ｇ、Ｂ）に所定の係数ａを
乗算した結果（Ｒ×a,G×a,B×ａ）と多値データ
（ｒ′,g′,b′）とを合成する。この合成に際しては、
色文字の存在する画素の画像データとして色文字データ
を優先させる様にする。これにより、色文字をくっきり
と再現することができる。

＜画像出力部15＞ 画像出力部15は、例えばレーザービームプリンタ、LE
Dプリンタ、液晶プリンタ、熱転写プリンタ、ドットプ
リンタ、インクジェットプリンタ等の画像出力装置、CR
T等の画像表示装置であり、再生信号に応じて記録媒体
上に可視画像形成を行なう。

特に、インクジェットプリンタには、熱エネルギーを
利用した膜沸騰により液滴を吐出させるタイプのヘッド
を用いたいわゆるバブルジェットプリンタが含まれる。

第２の実施例 本発明は、カラーファクシミリ等の画像通信装置に限
らず、画像ファイル等の記憶装置にも適用することがで
きる。

第８図は、本発明を記憶装置に用いた場合の例であ
る。第８図において、１〜15は第１図と同様なのでその
説明は省略する。21は、ハードディスク、ROM,RAMなど
により構成される画像ファイルであり、複数の画像を記
憶することができる。記憶時には、前記算術符号とハフ
マン符号を別々に記憶させても良く、画像ごとにまとめ
て記憶させても良い。また、例えば、文字部のみをディ
スプレイやハードコピーで利用したい場合には、算術符
号のみを復号化すれば良く、その場合には処理時間を短
縮することができる。

第３の実施例 本実施例は、第１の実施例の構成に加え、復号化時の
画像合成部14の後に、更に平滑化部31を設けたものであ
る。

平滑化のためには、例えば３×３画素ブロックの平滑
フィルターを用いることができる。また、フィルター係
数として、注目画素と周辺画素の加重平均をとる様な係
数を用いても良い。

本実施例によれば、色文字と多値画像の合成後にも平
滑化を行なうので、色文字部と多値画像との境界が不自
然になるのを防止することができる。これは特にCCDセ
ンサーにより文字と自然画像の混在した原稿を読み取っ
た場合に有効である。従って、例えば、コンピュータグ
ラフィックスの様に、文字をはっきり分離できる様な画
像の場合には、この平滑化を行なわない様にしても良
い。

以上の様に、本発明の上記実施例によれば、入力画像
に存在する色文字部分を同時にい検出し、これらを同時
に符号化する様にしたので、複数の色文字を迅速に符号
化することができ、しかも、階調画像部とは、別に符号
化することにより、高品位を保ちながら高能率の符号化
を行なうことができる。即ち、階調加増に対しては非可
逆の高能率符号化を行ない、この階調画像の符号化によ
り高周波成分が失われるという欠点を補うために、エッ
ジ部、特に色文字に対してはエントロピー符号化をする
ことによりリンギングを防止し、色文字部を高品位に再
現することができる。

また、色文字部に加え、色文字部とほぼ等しい色相の
周囲の色部分も階調画像から除去し、所定の置換を行な
うことにより、階調画像の効率が格段に向上する。

なお、上記画像入力部１はCCDラインセンサーに限ら
ず、コンピュータの処理結果を出力するインターフェー
ス、静止画像を記録するスチルビデオカメラ、動画像を
記録するビデオカメラなどであってもよい。

特に、コンピュータのインターフェースとしては、例
えば、ポストスクリプト、PCLなどのページ記述言語の
インタープリタが含まれる。

また、入力信号もＲ、Ｇ、Ｂの色成分に限らず例え
ば、（Y,I,Q），（Ｌ^＊,a^＊,b^＊），（Ｌ^＊,u^＊,
v^＊），（Y,M,C）などの信号であってもよい。

また、色検出のための色成分信号も同様に上述のＲ、
Ｇ、Ｂ信号に限らない。

また、上記色文字の符号化方法は２値系列変換、算術
符号化に限らず、ランレングス符号化、MH、MR、MMRな
ど他の可逆符号化であってもよい。

また、多値画像の符号化方法もADCTに限らず、ベクト
ル量子化や他の直交変換符号化であってもよい。

また検出する色文字の種類や数も上述の例に限らな
い。

また、仮に上記従来技術の黒文字抽出のための回路を
複数色分設け、複数の色文字を抽出できる様に構成して
もよい。

また、本発明は、符号化装置に限らず、画像処理装
置、特に、色変換処理、線画抽出処理を行なう複写機、
カラー画像編集装置等に適用可能である。

［発明の効果］ 以上説明した様に本発明によれば、入力画像データか
ら、所定色の線画部分と共に、該線画部分の周囲かつ該
所定色と同様の色相を有する部分を除去した後、このブ
ロック内の他の画素群に基づく代表値（平均値、頻度の
多い値等）を置換する様にしたので、線画部分だけを除
去する場合と比較して、上記置換後の入力画像データを
効率良く第２符号化処理することができる。特に、上記
除去、ブロック内代表値への置換処理は上記第２符号化
処理と同一のブロック毎に行われるので、各ブロックの
直交変換後の高周波成分の発生を抑制しやすいという効
果が有る。

【図面の簡単な説明】

第１図は、本発明の第１の実施例の符号化装置のブロッ
ク図、 第２図は、エッジ検出を説明する図、 第３図は、２値系列変換を説明する図、 第４図は、２値系列変換部の構成を示すブロック図、 第５図は、色文字除去を説明する図、 第６図は、色文字除去部の構成を示すブロック図、 第７図は、直交変換部の構成を示すブロック図、 第８図は、本発明の第２の実施例の構成を示すブロック
図、 第９図は、本発明の第３の実施例の構成を示すブロック
図である。 ２……エッジ判定部 ３……色検出部 ４……色文字判定部 ５……２値系列変換部 ７……色文字除去部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−197173（ＪＰ，Ａ) 特開 平１−241978（ＪＰ，Ａ) 特開 平１−144778（ＪＰ，Ａ) 特開 昭61−123277（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/46 - 1/64 H04N 1/41 - 1/419 G06T 1/00 510

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】入力画像データにおける所定色の線画部分
   をブロック毎に判定する色文字判定手段と、 前記ブロック毎に、前記入力画像データから、前記所定
   色の線画部分と共に、該線画部分の周囲かつ該所定色と
   同様の色相を有する部分を除去した後、前記ブロック内
   の他の画素群に基づく代表値を置換する色文字除去手段
   と、 前記色文字判定手段にて判定された所定色の線画部分を
   符号化する第１符号化手段と、 前記色文字除去手段の除去、置換が施された入力画像デ
   ータを、前記ブロック毎に直交変換し、量子化符号化す
   る第２符号化手段とを有することを特徴とする画像処理
   装置。
2. 【請求項２】前記代表値は前記ブロック内の他の画素の
   平均値であることを特徴とする請求項（１）に記載の画
   像処理装置。
3. 【請求項３】前記代表値は前記ブロック内の他の画素の
   うち、最も頻度が多い値であることを特徴とする請求項
   （１）に記載の画像処理装置。