JP3167120B2 - 画像処理装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力した画像情報
を拡大変倍する又は、入力した低解像情報を高解像情報
に解像度変換する画像処理装置及び方法に関する。

【０００２】

【従来の技術】従来より、入力した低解像情報を高解像
情報に解像度変換する方法として、様々な方法が提案さ
れている。提案されている従来方法は、対象となる画像
の種類（例えば、各画素ごとに階調情報を持つ多値画
像、疑似中間調により２値化された２値画像、固定閾値
により２値化された２値画像、文字画像等）によって、
その変換処理方法が異なっている。従来の内挿方法は図
２0に示すような内挿点に最も近い同じ画素値を配列す
る最近接内挿方法、図２1に示すような内挿点を囲む４
点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）の距離によ
り、以下の演算によって画素値Ｅを決定する共１次内挿
法等が一般的に用いられている。

【０００３】Ｅ＝（ｌ−ｉ）（ｌ−ｊ）Ａ＋ｉ・（ｌ−
ｊ）Ｂ＋ｊ・（ｌ−ｉ）Ｃ＋ｉｊＤ （但し、画素間距離をｌとした場合に、Ａから横方向に
ｉ、縦方向にｊの距離があるとする。（ｉ≦ｌ、ｊ≦
ｌ））

【０００４】

【発明が解決しようとする課題】しかし、上記従来例に
は、以下に示す欠点がある。

【０００５】まず、図２0の方法は構成が簡単であると
いう利点はあるが、対象画像を自然画像等に用いた場合
には拡大するブロック毎に画素値が決定される為、視覚
的にブロックが目立ってしまい画質的に劣悪である。

【０００６】また、文字、線画像、ＣＧ（コンピュータ
グラフィック）画像等に用いた場合でも、拡大するブロ
ック毎に同一画素値が連続する為、特に、斜線等には、
ジャギーといわれるギザギザの目立った劣悪な画像にな
ってしまう。ジャギーの発生の様子を図２２，図２３に
示す。図２２は入力情報、図２３が図２０の方法により
縦横ともに２倍の画素数にした解像度変換の例である。
一般に倍率が大きくなればなるほど、画質劣化は大きく
なる。（図中の“２００”、“１０”は画素値であ
る。）

【０００７】図２１の方法は自然画像の拡大には一般的
に良く用いられている方法である。この方法では、平均
化され、スムージングのかかった画質になるが、エッジ
部や、シャープな画質が要求される部分には、ぼけた画
質になってしまう。さらに、地図等をスキャンした画像
や、文字部を含む自然画像の様な場合には、補間による
ぼけの為に、たいせつな情報が受け手に伝わらないこと
もある。

【０００８】図２４は図２１の方法により、図２２の入
力画像情報を縦横２倍ずつに補間処理をした画像情報を
示している。

【０００９】図２４からも明らかな様に、斜線周辺のみ
ならず、斜線そのものも画素値が均一にならず、ぼけが
生じてしまう。

【００１０】そこで、以前から、より高画質に解像度変
換する技術が多々提案されている。例えば、ＵＳＰ５２
８０５４６では、補間ボケを取り除く為に自然画像と線
画像とを分離して、自然画像は線形補間を施し、線画像
には線形補間を２値化することによって周辺画素の最大
値、最小値を配置させる補間方法が述べられている。し
かし、この技術では、自然画像では補間ボケが生じ、ま
た線画像に対しても低解像情報の解像性が引きずったま
ま高解像情報を作成しようとしている為に、ジャギーの
発生は避けられない。しかも、線画像も２階調に量子化
している為に、原情報が２階調しか存在していない場合
には良いが、多階調の線画像に対しては、階調数の減少
した画質になってしまうことは避けられない。

【００１１】ＵＳＰ５４３０８１１では、ＬＵＴを用い
た非線形補間の技術を示している。しかし、この技術で
は、アルゴリズム自体が２倍×２倍の拡大率にしか対応
せず、他の倍率に拡大する為には、この処理の繰り返し
処理、もしくは他の拡大処理との併用が必要であり処理
が複雑になる。しかも、繰り返し処理において２のべき
乗の拡大率を実現したとしても、最終的な拡大率におい
て高解像情報の各画素に所望な非線形性を持たせるよう
な制御をすることは、繰り返し処理の構成上、容易なこ
とではない。また、この技術では、観測画素（原情報）
の画素値を変更しない為に、ＵＳＰ５２８０５４６同
様、ジャギーの発生は避けられない。

【００１２】また、ＵＳＰ５０５４１００にも非線形補
間が示されている。しかし、この技術では、縦方向、及
び横方向にエッジの有する単純な補間ボケには有効であ
るが、少しでも複雑な画像情報になると、効果を得るこ
とができない。先の２つの従来例同様、ジャギーの発生
は避けられない。

【００１３】また、古くからディザ法や誤差拡散法等の
疑似階調処理の施した２値画像の解像度変換に注目画素
近辺にデジタルフィルタを通し、多値画像に変換した後
に、線形補間、再２値化を施し、良好な解像度変換を実
現する技術が知られている。（ＵＳＰ４８０３５５８，
特公昭６１−５６６６５号公報等）。これらの技術を応
用し、原画像が多値画像の場合に良好な解像度変換処理
をする提案のあるが、エッジを作成する方式に、２値化
等の量子化技術を用いている限り、画素値の空間的な連
続性を持たせた良好な多値画像形成は困難である。

【００１４】以上説明した従来技術の欠点を除去する為
に、本出願人は、ＵＳＰ５８７５２６８、特開平９−２
５２４００、特開平１０−２４８０１２等において、入
力した低解像度情報から高解像度情報に変換する際に、
自然画像では特に問題となっていた補間によるぼけを生
じることなく、また、入力した原情報の低解像性に依存
せず、ジャギーの全く発生しない画質的に良好な変換処
理を発明した。

【００１５】しかし、上記の公報に開示の技術は、低解
像情報の１画素単位で最適な非線形処理を行い高解像情
報を作成している為、隣接画素で作成した高解像情報と
の連続性が失われ、自然画像のエッジ部作成においても
階調方向に鋸歯状のエッジ形状になってしまう恐れがあ
る。特に解像度変換の拡大率が大きい程、画素値の連続
性が途切れた人工的で違和感のある自然画像になってし
まう恐れがあった。

【００１６】本発明は上述した従来技術の欠点を除去
し、入力した低解像度情報から高解像情報に変換する際
に、補間によるぼけを生じることなく、また、入力した
原情報の低解像性に依存せず、ジャギーの全く発生しな
い画質的に良好な変換処理が実現できるとともに、非線
形性を持たせた変換において、変換処理単位の境界点で
の不連続性を消滅することができる為、いかなる非線形
性を持たせた変換においても連続性が途切れない良好な
高解像情報の作成が可能となる画像処理装置及び方法の
提供を目的とする。

【００１７】

【課題を解決するための手段】上述の目的を達成するた
め本発明の画像処理装置は低解像度の画像情報を入力
し、１画素分をＮ×Ｍ画素分（Ｎ、Ｍは１以上の整数、
但し、Ｎ＝１かつＭ＝１を除く）に拡大し、前記入力画
像を高解像度の画像に解像度変換する画像処理装置にお
いて、注目画素を含む周辺画素を参照する第１のウイン
ドウ形成手段と、１画素分をＮ×Ｍ画素分に変換する変
換方法の異なる複数の変換手段と、第１のウインドウ内
の画素値の分布状態を基に、前記複数の変換手段から適
切な変換手段を選択する選択手段とを有し、前記変換手
段は注目画素を含む隣接画素における選択された変換手
段の種類を評価し、その評価結果に応じて注目画素のＮ
×Ｍ画素分の各変換値を算出することを特徴とする。

【００１８】更に好ましくは、注目画素を含む隣接画素
における選択された変換手段の種類を参照する第２のウ
インドウ形成手段と、第２のウインドウ内の組み合わせ
を評価する評価手段と、該評価手段による評価結果に基
づいて、注目画素と隣接画素との境界に代表点を設定す
る設定手段と、隣接画素の選択された変換手段の変換条
件に基づいて、前記代表点の変換値を算出する代表点変
換手段とを有し、前記変換手段は、前記代表点の変換値
に基づいて、注目画素のＮ×Ｍ画素分の各変換値を算出
する。

【００１９】また本発明の画像処理方法は、低解像度の
画像情報を入力し、１画素分をＮ×Ｍ画素分（Ｎ、Ｍは
１以上の整数、但し、Ｎ＝１かつＭ＝１を除く）に拡大
し、前記入力画像を高解像度の画像に解像度変換する画
像処理方法において、注目画素を含む周辺画素を参照す
る第１のウインドウ形成工程と、１画素分をＮ×Ｍ画素
分に変換する変換方法の異なる複数の変換工程と、第１
のウインドウ内の画素値の分布状態を基に、前記複数の
変換工程から適切な変換工程を選択する選択工程とを有
し、前記変換工程は注目画素を含む隣接画素における選
択された変換工程の種類を評価し、その評価結果に応じ
て注目画素のＮ×Ｍ画素分の各変換値を算出することを
特徴とする。

【００２０】更に好ましくは、注目画素を含む隣接画素
における選択された変換工程の種類を参照する第２のウ
インドウ形成工程と、第２のウインドウ内の組み合わせ
を評価する評価工程と、該評価工程による評価結果に基
づいて、注目画素と隣接画素との境界に代表点を設定す
る設定工程と、隣接画素の選択された変換工程の変換条
件に基づいて、前記代表点の変換値を算出する代表点変
換工程とを有し、前記変換工程は、前記代表点の変換値
に基づいて、注目画素のＮ×Ｍ画素分の各変換値を算出
することを特徴とする。

【００２１】

【発明の実施の形態】以下、実施の形態を説明する。

【００２２】図１は本発明にかかる第１の実施の形態の
画像処理装置のブロック図である。本発明の画像処理装
置は、主としてコンピュータの接続されるプリンタや、
ビデオ信号を入力するビデオプリンタ等の画像出力装置
内部に具備することが効率的であるが、画像出力装置以
外の画像処理装置、ホストコンピュータ内のアプリケー
ションソフト、また、プリンタに出力する為のプリンタ
ドライバソフトとして内蔵することも可能である。

【００２３】図１のブロック図に沿って本実施の形態の
動作手順を説明していく。本実施の形態では、入力した
画像情報を縦Ｎ倍、横Ｍ倍の画素数の情報に変換する例
について述べる。

【００２４】図中１００は入力端子を示し、低解像のｎ
ｂｉｔ／画素（ｎ＞１）の画像情報が入力される。この
低解像情報は、ラインバッファ１０１により、数ライン
分格納、保持される。この数ライン分の画像情報によ
り、注目画素を含む複数の周辺画素によるウインドウが
設定される（第１のウインドウ形成部１０２）。

【００２５】ウインドウは注目画素を中心とした矩形が
一般的であるが、当然矩形以外も考えられる。今、図２
に示すようにウインドウサイズを５画素×５画素の矩形
を想定する。注目画素は図中のＭになる。

【００２６】１０３は最大値最小値検出部を示し、１０
２のウインドウ内の２５画素内の最大値（ＭＡＸ５とす
る）と最小値（ＭＩＮ５とする）、また、注目画素を中
心とする３×３画素内での最大値（ＭＡＸ３とする）と
最小値（ＭＩＮ３とする）を検出する。１０４は、ウイ
ンドウ内の画像情報から、画素値の分布状態を評価し
て、注目画素がいかなる種類の画像であるのかを分類す
る分類部である。本実施の形態では、注目画素が自然画
像の特性を示すのか、または、ＣＧ（コンピュータグラ
フィック）の様な人工的に作成された画像の特性を示す
のか、また、平坦部なのか、エッジ部なのか等、複数種
の画像属性を局所的に判断して分類する。本実施の形態
では、分類する為のウインドウサイズは注目画素を中心
とする３×３画素とする。

【００２７】１０５は、分類した画像の局所的な特性に
応じて、１画素からＮ×Ｍ画素に変換する方法におい
て、保持している複数種の変換方法の中から最適な変換
を選択する選択部である。

【００２８】１０６は選択された変換方式の種類を示す
信号（以下、変換方式識別信号と称す）のウインドウを
形成する手段（第２のウインドウ形成部）であり、注目
画素を含み、注目画素に隣接した隣接画素の変換方式識
別信号を参照する。１０６のウインドウサイズは注目画
素であるＭの画素位置を中心とした３×３画素を想定す
る（図３）。

【００２９】図３において、Ｇ′，Ｈ′，Ｉ′，Ｌ′，
Ｍ′，Ｎ′，Ｑ′，Ｒ′，Ｓ′はそれぞれ図２の、Ｇ，
Ｈ，Ｉ，Ｌ，Ｍ，Ｎ，Ｑ，Ｒ，Ｓの各画素の変換方式識
別信号を示している。注目画素の変換方式識別信号であ
るＭ′以外のＧ′，Ｈ′，Ｉ′，Ｌ′，Ｎ′，Ｑ′，
Ｒ′，Ｓ′を算出する為には、それぞれ各画素の分類部
で３×３画素分が必要となる為、最低５×５画素の第１
のウインドウ（図２）が必要になる。但し、注目画素Ｍ
の処理が完結し、次の注目画素であるＮの位置に移動し
た場合には、Ｍの処理に作成した変換方式識別信号を記
憶しておくことで、Ｈ′，Ｉ′，Ｍ′，Ｎ′，Ｒ′，
Ｓ′の値を再利用することが可能になる。同様に、既に
処理が完結しているＩが注目画素時にＪ′，Ｏ′の値を
算出している為、その変換方式識別信号を記憶させてお
けば、Ｎが注目画素時に新たに算出する変換方式識別信
号は、Ｔの画素位置の変換方式識別信号Ｔ′のみで済む
ことになり、非常に効率的である。

【００３０】１０７は、１０６にて形成した変換方式識
別信号のウインドウ内を評価する評価手段である。これ
は、ウインドウ内の変換方式識別信号の組み合わせを評
価する。

【００３１】１０８は、変換部を示し、原情報のウイン
ドウ内の情報（第１のウインドウ情報）、及び、第１の
ウインドウ内の最大値、最小値に関する情報、及び、注
目画素の変換方式識別信号、及び、隣接画素の変換方式
識別信号のウインドウ内の評価結果の各情報に基づい
て、注目画素に対応するＮ画素×Ｍ画素の画像情報を作
成する。

【００３２】変換された画像情報は、出力端子１０９に
てプリンタエンジン等に出力される。

【００３３】次に、図１の構成の各ブロックについての
詳細を説明する。図４、図５は、分類部１０４の動作手
順を説明するためのフローチャートである。いま、前述
したように１０２で作成した第１のウインドウのうち、
３画素×３画素のみを分類の判定に使用するものとす
る。Ｓ４０２では、ＭＡＸ３とＭＩＮ３が同一か否かを
判断する。これは、同一であれば、３×３画素のウイン
ドウ内は１階調しか存在しないものと判断することが可
能である。すなわち、ＹＥＳの場合には、Ｓ４０３にて
ＦＬＡＧ＝ＯＮＥ＿ＬＥＶＥＬと分類される。ＮＯの場
合には、複数階調存在しているものとして、Ｓ４０４に
てＭＡＸ３とＭＩＮ３の差分が予め設定している閾値
（ｔｈ１）よりも大きいか否かを判断する。閾値よりも
小さい場合には、Ｓ４０５にて平坦部と判断してＦＬＡ
Ｇ＝ＦＬＡＴと分類される。閾値よりも大きい場合に
は、Ｓ４０６にてＭＡＸ３とＭＩＮ３の平均値ＡＶＥを
算出する。ＭＡＸ３、ＭＩＮ３、ＡＶＥの３つの値が算
出された後は、Ｓ４０７にて再び３画素×３画素のウイ
ンドウ内をスキャンして、以下の５種の分布状態評価パ
ラメータを算出する。

【００３４】ＬＥＶＥＬ＿ＮＯ ＭＡＸ＿ｄｉｆｆ＿ｍｉｎ ＭＡＸ＿ｄｉｆｆ＿ｍａｘ ＭＩＮ＿ｄｉｆｆ＿ｍｉｎ ＭＩＮ＿ｄｉｆｆ＿ｍａｘ

【００３５】ＬＥＶＥＬ＿ＮＯはウインドウ内の階調数
を表すパラメータであるが、正確な階調数の情報は必要
ない。ウインドウ内の画素値のヒストグラムの作成が処
理時間がかかる等の問題で困難であれば、階調数が２階
調（ＭＡＸ３とＭＩＮ３のみ）である（ＬＥＶＥＬ＿Ｎ
Ｏ＝０）のか、３階調以上である（ＬＥＶＥＬ＿ＮＯ＝
１）のかだけが判断できれば良い。

【００３６】ＭＡＸ＿ｄｉｆｆ＿ｍｉｎはＡＶＥ以上か
つ、ＭＡＸ３以外かつＭＡＸ３に最も近い値（Ａとお
く）とＭＡＸ３までの差を表している。同様にＭＡＸ＿
ｄｉｆｆ＿ｍａｘは、ＡＶＥ以上かつ、ＭＡＸ３以外か
つ、ＭＡＸ３に最も遠い値（Ｂとおく）とＭＡＸ３まで
の差を表している。ともに、ＡＶＥ以上でＭＡＸ３以外
の値が存在しない場合には、ＭＡＸ＿ｄｉｆｆ＿ｍｉｎ
＝ＭＡＸ＿ｄｉｆｆ＿ｍａｘ＝０に設定する等、後の判
定時に識別ができれば良い。

【００３７】ＭＩＮ＿ｄｉｆｆ＿ｍａｘは、ＡＶＥ未満
かつ、ＭＩＮ３以外かつ、ＭＩＮ３に最も近い値（Ｃと
おく）とＭＩＮ３までの差を表している。同様に、ＭＩ
Ｎ＿ｄｉｆｆ＿ｍａｘは、ＡＶＥ未満かつＭＩＮ３以外
かつＭＩＮ３に最も遠い値（Ｄとおく）とＭＩＮ３まで
の差を表している。ともに、ＡＶＥ未満でＭＩＮ３以外
の値が存在しない場合には、ＭＩＮ＿ｄｉｆｆ＿ｍｉｎ
＝ＭＩＮ＿ｄｉｆｆ＿ｍａｘ＝０に設定する等、後の判
定時に識別ができれば良い。

【００３８】さて、以上の５種の値を基に、ウインドウ
内の画像の特性を調べて属性を分類する。

【００３９】図６のＳ４０８は、ＬＥＶＥＬ＿ＮＯが０
か否か、すなわち、ウインドウ内が２階調なのか、３階
調以上なのかを判定する。ＹＥＳの場合には、２階調の
みのエッジ部であるとしてＳ４０９にてＦＬＡＧ＝ＢＩ
＿ＥＤＧＥと分類する。続いてＳ４１０では以下の評価
がなされる。

【００４０】（評価１） diff = CONT − (MAX_diff_max + MIN_diff_max) 1. diff > th2 AND MAX_diff_max < th3 AND M
IN_diff_max < th3 2. diff > th4 AND MAX_diff_min > th5 AND M
IN_diff_min > th5 １ＯＲ２であるか否か。 （ｔｈ２，ｔｈ３，ｔｈ４，ｔｈ５は予め設定している閾値） …（１）

【００４１】Ｓ４１０で、ＹＥＳとなった場合には、人
工的に作成されたエッジの特性を示したとして、Ｓ４１
１にてＦＬＡＧ＝ＡＲＴ＿ＥＤＧＥと分類する。

【００４２】ＮＯの場合にはＳ４１２にて、以下の評価
を施す。

【００４３】（評価２） MAX_diff_min > th6 AND MIN_diff_min > th6 （ｔｈ６は予め設定した閾値）…（２） （ただし、ｔｈ２＞ｔｈ４＞ｔｈ６が好ましい）

【００４４】もしＹＥＳである場合には、予め疑似階調
処理の施された画像情報である可能性がある為に、Ｓ４
１３にてＦＬＡＧ＝ＩＮＤＥＸ＿ＥＤＧＥの分類を施
し、ＮＯの場合には自然画像のエッジ部の特性に近い
為、Ｓ４１４にてＦＬＡＧ＝ＰＩＣＴ＿ＥＤＧＥとす
る。（１）、（２）の評価はウインドウ内の画素値の離
散的状態を評価している。

【００４５】評価１は、画素値がＭＡＸ３近辺やＭＩＮ
３近辺に偏っていて存在し、中間部分の画素値が存在し
ない、いわゆる“中抜け”的な分布（（１）の１）や、
また、ＭＡＸ３からＭＩＮ３にかけて全体的に均等に量
子化されたような離散的な分布（（１）の２）を示して
いる為、人工的に作成している画像と判断している。

【００４６】評価２は、評価１ほどの顕著な人工性は見
られないものの、ＭＡＸ３近辺、ＭＩＮ３近辺の値が共
に連続的というよりは離散的な“歯抜け”的な分布を示
している為、元来は自然画像であっても、本実施の形態
の画像処理装置入力以前に、伝送経路の圧縮等の為によ
り予め数ｂｉｔに量子化された画像情報であると判断し
ている。昨今、急速に普及しているインターネット上で
は、人工的画像、自然画像の区別を問わず、数ｂｉｔの
疑似階調の画像情報が流通していることが多い。イメー
ジスキャナ、デジタルカメラ等の階調性が豊かなキャプ
チャー手段から入力した写真等の自然画像のエッジ部で
は、入力時のＭＴＦの鈍り等により、上記の様な大なり
小なりの離散的傾向を示す分布にはなりづらく、分布の
一部には必ず連続性が見いだされるものである。

【００４７】以上が、分類手段の一例である。本実施の
形態の分類手段では、ＯＮＥ＿ＬＥＶＥＬ，ＦＬＡＴ，
ＢＩ＿ＥＤＧＥ，ＡＲＴ＿ＥＤＧＥ，ＩＮＤＥＸ＿ＥＤ
ＧＥ，ＰＩＣＴ＿ＥＤＧＥという６種類の分類を施して
いる。当然、これ以上の分類でも、これ以下の分類でも
構わない。

【００４８】また、３×３画素内ではなく、５×５画素
の情報を用いても良いし、ＭＡＸ５，ＭＩＮ５の情報を
ＭＡＸ３，ＭＩＮ３の情報と併用して評価に用いても良
い。当然、評価パラメータもこれ以上でも以下でも良
い。

【００４９】続いて、選択部１０５について詳細を説明
する。図６は、選択部の処理手順を示すフローチャート
である。図６において、前述した６種の分類において、
最適な変換方式を選択している。

【００５０】図６のＳ６０１は、分類部からの出力であ
る分類信号がONE_LEVELか、否かを判断している。も
し、ONE_LEVELの場合には、Ｓ６０２において、変換方
式を０次補間に設定する。また、変換方式には予め順位
付けがなされていて、０次補間の順位である“３”が割
り当てられる。変換方式の順位は変換方式の優先度を表
し、本実施の形態では、順位の値が大きくなる程、優先
度は低くなる。

【００５１】Ｓ６０3は、分類部からの出力である分類
信号がFLATか、否かを判断している。もし、FLATの場合
には、Ｓ６０4において、変換方式を線形補間（１次補
間）に設定する。変換方式の順位は、線形補間の順位で
ある“２”が割り当てられる。

【００５２】Ｓ６０５は、分類部からの出力である分類
信号がBI_EDGEか、否かを判断している。もし、BI_EDGE
の場合には、Ｓ６０６において、変換方式を非線形補間
に設定する。変換方式の順位は、非線形補間の順位であ
る“１”が割り当てられる。また、非線形補間の積和演
算等で使用される積和係数等の条件を格納している条件
セット番号を１に設定する。

【００５３】同様に、Ｓ６０７にて、ART_EDGEか、否か
を、Ｓ６０８にて、INDEX_EDGEか、否かを、Ｓ６０９に
て、PICT_EDGEか、否かを、判断する。もし、分類が、
どれにも属さない場合には、Ｓ６１０にてエラーを出力
する。

【００５４】前述したＳ６０７、Ｓ６０８，Ｓ６０９に
て、ART_EDGE、INDEX_EDGE、PICT_EDGEであると判断さ
れた場合には、それぞれＳ６１１、Ｓ６１２、Ｓ６１３
にて変換方式を非線形補間に設定され、非線形補間の順
位である“１”が割り当てられる。また、非線形補間で
使用される条件セット番号をそれぞれ、２、３、４に設
定して終了する。

【００５５】続いて、図１の評価部１０７について説明
する。図７は、評価部の処理手順を示したフローチャー
トである。

【００５６】図７のＳ７０１は、初期設定を示し、変数
Aに注目画素の変換方式の順位を代入し、また、変数B
[i]（iは０〜７までの整数）に、図１の１０６で形成し
た第２のウインドウ内の注目画素を取り囲む周囲８画素
の変換方式の順位をそれぞれ代入する。Ｓ７０２は、初
期化でiに０を代入する。Ｓ７０３は、比較手段を示
し、順位同士の比較をする。すなわち、注目画素の変換
方式の順位と周囲画素の変換方式の順位とを比較する。
もし、周囲画素の変換方式の順位が小さければ、Ｓ７０
４にて変数であるflagに１を代入する。Ｓ７０３にて否
と判断された場合には、Ｓ７０５にて、iの値を１だけ
カウントアップして、Ｓ７０６にて、周囲８画素分の比
較を終了したかを判断して、終了してなければＳ７０３
の比較を繰り返す。もし、周囲８画素が全て、注目画素
の順位よりも小さくない場合には、Ｓ７０７にて変数で
あるflagに０を代入して終了する。

【００５７】続いて、図１の変換部１０８について詳細
を説明する。図８は、変換部１０８を示す要部ブロック
図である。破線で囲んだブロックが、変換部１０８を示
す。選択部１０５からの注目画素の変換方式識別信号
は、判定部８０１、及び、補間条件設定部８０２に送信
される。また、評価部１０７からの変換方式識別信号の
ウインドウ内の評価結果は、同様に判定部８０１に送信
される。判定部８０１は、判定結果を基にスイッチ８０
３に指示を出し、最適な変換方式が選択される。スイッ
チ８０３は、４種の変換方式の切り替えを司り、０次補
間部８０４、線形補間部A８０５、線形補間部B８０６、
非線形補間部８０７の変換方式が切り替えの対象とな
る。各補間部は、第１のウインドウからの画素値情報を
基に補間処理を行う。非線形補間部に関しては、最大
値、最小値検出部からのウインドウ内の最大値、最小値
情報を入力する。

【００５８】図９は、判定部８０１の処理手順を示した
フローチャートである。Ｓ９０１は、選択部からの出力
が、線形補間か否かを判断している。もし、否であるな
らば、Ｓ９０２にて、選択部が指定した変換方式を選択
して終了する。Ｓ９０１にて、線形補間であると判断さ
れた場合には、Ｓ９０３にて、評価部からの出力である
変数flagが１か否かを判定する。もし、変数flagが１で
あるならば、Ｓ９０４にて線形補間Ｂを選択し、否なら
ばＳ９０５にて線形補間Aを選択して終了する。すなわ
ち、注目画素の変換方式が線形補間であり、かつ、周囲
８画素の変換方式が線形補間よりも小さい順位を持つ変
換（本実施の形態の場合には、非線形補間）の時には、
線形補間Ｂが選択されることになる。

【００５９】続いて、各補間方式について説明する。

【００６０】０次補間部８０４は、図２０の従来例で示
した方式（最近接内挿法）と等価で、注目画素値をＮ×
Ｍ画素分出力することで実現できる。

【００６１】線形補間部A８０５は、図２１の従来例で
示した方式（共一次内挿法）と等価で、標本点と補間点
との相対的な位置関係と、補間点における補間値とが、
線形的に決定する方法である。補間点の算出には、第１
のウインドウ内の注目画素を含む３×３画素の周辺画素
情報があれば十分である。

【００６２】線形補間Ｂ８０６は、本実施の形態で独自
な方法である。まづ、第１のウインドウから、代表点設
定部８０８において、補間演算に必要な代表点が設定さ
れる。代表点は、図１０に示したように、注目画素と周
辺画素の各標本点の中間位置に設定する。図１０は、Ｎ
＝Ｍ＝４の場合を示したもので、●印が標本点、○印が
代表点に相当する。設定した代表点をそれぞれ、G",H",
I", L", M", N", Q",R", S"とおく。

【００６３】代表点変換部８０９は、設定した代表点８
点の変換値を算出する手段である。図１１は代表点変換
部の処理手順を示したフローチャートである。

【００６４】図１１において、Ｓ１１０１は、初期設定
で、説明を容易にする為、隣接した標本点８画素をm[ ]
の変数として扱い、設定した代表点８画素をm"[ ]の変
数として扱う。

【００６５】Ｓ１１０２は変数の初期化で変数iに０を
代入している。

【００６６】Ｓ１１０３は、標本点m[i]の変換方式が非
線形補間か否かを判断している。すなわち、本実施の形
態では、注目画素よりも以降に走査される隣接画素の変
換方式は既に決定しておく必要がある。Ｓ１１０３で、
否と判断された場合には、Ｓ１１０４にて、代表点の位
置における線形補間値を算出して、変換値（TRとおく）
に代入する。

【００６７】Ｓ１１０３で、標本点m[i]の変換方式が非
線形補間と判断された場合には、Ｓ１１０５にて、以下
の演算が行われる。

【００６８】 TR[m"[i]] = fm[i][m"[i]] …（３） （fm[i][a]は、標本点m[i]の非線形補間に基づいた点a
における変換結果を示す）

【００６９】すなわち、代表点の変換値は、注目画素で
選択された変換方式ではなく、隣接する周辺画素の非線
形な変換によって算出することになる。

【００７０】Ｓ１１０６にて、変数iの値をカウントア
ップして、Ｓ１１０７にてiが８画素分終了したか否か
を判断し、終了してなければ繰り返す。

【００７１】８画素分終了すると、各代表点の変換値が
算出されることになる。

【００７２】図８の線形補間部Ｂは、線形補間の処理方
式は変わらないが、演算に使用する標本点が変わる。す
なわち、線形補間Aが、原情報の標本点を使用して線形
補間するのに対して、線形補間Ｂは、代表点の変換値を
基に線形補間する。すなわち、代表点変換部で算出され
たTR[G"], TR[H"], TR[I"], TR[L"], TR[N"], TR[Q"],
TR[R"], TR[S"]の８種の変換値と、注目画素であるＭの
画素値で、線形補間の演算をする。図９の例では、Ｎ＝
Ｍ＝４の為、１６画素の変換値を算出するが、図１２に
示した様に、注目画素を中心としたa〜ｐまでの補間点
の変換値を算出する。

【００７３】続いて、非線形補間の一例について詳細を
説明する。

【００７４】図１３は、非線形補間部の構成の一例を示
している。図中、１３０１は、適応ＬＰＦ（ローパスフ
ィルタ）部であり、入力した第１のウインドウ内の画素
情報を基にフィルタリングをする手段である。フィルタ
の係数、タップ数等の条件は補間条件設定部から適切な
条件が与えられる。これは、入力した低解像情報に依存
した高周波成分を除去することが目的である。当然、分
類したクラス毎に最適なフィルタの条件を予め実験的に
設定しておくのが好ましい。図１４にフィルタの一例を
示す。

【００７５】１３０２は、線形補間部であり、前述した
ＬＰＦ後のウインドウ内の情報を基に線形補間をする手
段である。当然、注目画素以外のウインドウ内の各画素
も、各画素に適したＬＰＦがかけられている。

【００７６】１３０３は、線形補間の補間情報、及び、
最大値、最小値検出手段からのウインドウ内の最大値、
最小値情報（本実施の形態では、前述したMAX5,MIN5,MA
X3,MIN3とする）、及び、選択部からの積和係数を基に
各補間値を演算する演算部である。

【００７７】演算部では、以下の演算によって内挿点
(i,j)での補間値OUT[i][j]を算出している。

【００７８】up[i][j] = (a×MAX3 + b×inter_data[i]
[j]) / (a + b) down[i][j] = (a×MIN3 + b×inter_data[i][j]) / (a
+ b) mid[i][j] = c×inter_data[i][j] + d×MAX3 + d×MIN
3 + e×MAX5 + e×MIN5 （ｉ…０〜Ｎ−１） （ｊ…０〜Ｍ−１） （Ａ）if mid[i][j] > up[i][j] の時 out[i][j] = up[i][j] （Ｂ） if mid[i][j] ≦ down[i][j]の時 out[i][j] = down[i][j] （Ｃ）上記以外の時 out[i][j] = mid[i][j] ａ，ｂ，ｃ，ｄ，ｅは係数 inter_data[i][j]は線形補間による内挿点(i,j)の補間
値 out[i][j] は非線形補間部からの内挿点(i,j)の出力値 …（４） 当然、非線形補間部で用いている線形補間の演算部 （ inter_data[i][j]の算出）は全て共通化できること
は勿論である。

【００７９】図１５、図１６は、前述したｕｐ，ｄｏｗ
ｎ，ｍｉｄの各軌跡を、説明を容易にする為に、一次元
においてアナログ的に示した図である。図１５は第１の
ウインドウ形成部の画素値情報を用いた例を示し、横軸
は空間的座標、縦方向は濃度を表している。今、注目画
素をｑとして、観測画素値は●印で示したI[q]になる
（空間的に前後の標本点の画素値をI[q-1]，I[q+1]とす
る）。注目画素を変換した時の補間範囲を注目画素ブロ
ックとしてアナログ的に表示している。ｕｐ，ｄｏｗ
ｎ，ｍｉｄの３本の軌跡の大小関係により、太線で示し
た軌跡がＯＵＴの出力となる。用いている係数は、ａ＝
１，ｂ＝１，ｃ＝２，ｄ＝−１／２，ｅ＝０である。図
から明らかな様にエッジ傾斜が急になる非線形補間が実
現できる。

【００８０】図１6は適応ＬＰＦ部にて、あるフィルタ
を用いた例である。観測画素に加え、○印で示した点が
適応的なＬＰＦを用いた変換後の画素値を示している。
但し、説明を容易にする為、図中に第１のウインドウに
よる観測画素をも表し、変換値との相対的位置関係を示
している。第２のウインドウによる高解像作成は第１の
ウインドウを用いたものよりもエッジ位置が多少異な
る。このエッジ位置のズレがジャギー軽減の大きな役割
を表している。

【００８１】図１６で用いている係数は、ａ＝３，ｂ＝
１，ｃ＝４，ｄ＝−３／２，ｅ＝０である。

【００８２】図１５、図１６ともに説明を容易にするた
めに、I[q-1]をＭＩＮ３、I[q+1]をＭＡＸ３である例を
説明しているが、当然いかなる場合においても本実施の
形態では良好な非線形性補間を実現することができる。

【００８３】本実施形態では、説明を容易にするため
に、線形補間部とウインドウ内の代表値との積和演算を
（４）式の形式にて記述したが、線形補間自体も積和演
算により成り立っている為、当然、ひとつの積和演算の
形式に記述することが可能である。すなわち、線形補間
は内挿点を囲む４点のＬＰＦ後の変換値の積和演算によ
り成立する為、例えばウインドウ内の代表値を前述した
ようにＭＡＸ３，ＭＩＮ３，ＭＡＸ５，ＭＩＮ５の４点
を用いるのであれば、合計８点の積和演算により非線形
補間が成立する。

【００８４】非線形補間は以下の思想により成り立って
いる。すなわち、入力画像情報から入力解像度依存部を
除去する為には、入力解像度の高周波成分をカットする
適応的な平滑化処理が必要になる。しかし、通過した低
周波成分のみを出力しても、ボケが目立つだけの画像に
なっていまう。そこで、出力解像度に見合う、新たな高
周波成分を作成する非線形補間が必要不可欠になる。周
辺画素の中から代表的な画素値（本実施の形態では最大
値、最小値に相当する）を抜き出し、線形的な補間と代
表的な画素値との適応的な積和演算を施すことにより、
非線形な性質を生み出させる。しかも、積和演算の係数
を切り替えたり、最適化したりすることにより、容易に
非線形性を制御することが可能である。また、係数の変
更を段階的な切り替えではなく、例えばエッジのコント
ラストの大きさに基づいて動的に、かつ連続的に変化さ
せることも可能である。ＣＧや線画像のみならず自然画
像も基本的な思想は同じである。ただ、自然画像に関し
ては、出力画像の画質に“自然さ”が要求される為に、
あまりにも入力情報から逸脱させるわけにはいかない。
ただ、線形補間のみでは高周波成分低減の為に補間ボケ
が生じてしまう。その為、新たな高周波成分を作成する
には、最適なＬＰＦ、もしくはスルーのフィルタの後の
線形的な補間と周辺画素の中の代表的な画素値との適応
的な積和演算を施す非線形補間が画質向上には不可欠に
なる。

【００８５】本実施の形態の処理を用いると、いかなる
属性の画像でも、いかなる拡大倍率の処理でも良好な出
力解像度に見合う画像作成が可能になる。当然、拡大倍
率を評価変数にして、各種の係数を切り替えても良い
し、また、実際の絶対的な出力解像度（例えばｄｐｉ
（ドットパーインチ）や、ｐｐｉ（ピクセルパーイン
チ）等て表示できる数値）を評価して切り替えても良
い。

【００８６】また、前述した非線形補間は、一例であ
り、当然、他の非線形補間も考えられる。また、非線形
補間の相対値を予め演算しておいて、LUT（ルックアッ
プテーブル）に格納し、LUTを参照することにより、補
間値を求めることも可能である。

【００８７】以上、図１に示した本実施の形態の構成を
説明してきたが、本発明の目的は、画素単位で適応的な
補間変換処理を行うときに、いかに変換後の画素値の連
続性を保つかである。

【００８８】例えば、図１５、及び図１６にて説明した
非線形補間を実行した場合には、従来例で示した特開平
10-248012では、画素単位では最適な変換処理を行って
いるが、画素の切り替わった時には、変換値の連続性は
保証できない。

【００８９】図１７，図１８、図１９を基に説明する。
図１７は、第１のウインドウ形成部の画素値情報を用い
た例を示し、横軸は空間的座標、縦方向は濃度を表して
いる。今、注目画素を点ｑとして、観測画素値は●印で
示したI[q]になる（空間的に前後の標本点の画素値をI
[q−2], I[q−1], I[q], I[q+1], I[q+2]とする）。注
目画素を変換した時の補間範囲を注目画素ブロックとし
てアナログ的に表示している。前述したup[j],down[j],
mid[j]の３本の軌跡の大小関係により、太線で示した
軌跡が注目画素のOUT[j]の出力となる。

【００９０】図１８は、図１７の軌跡に加え、空間的に
前後の画素である点q−1, 点q+1が、共に線形補間の処
理となった場合の、従来例（特開平10-248012）による
変換値の軌跡を示す。図から明らかなように、点q−1、
及び、点q+1が注目画素の時には、●印で示した観測画
素値の線形補間の軌跡を辿ることになる。いま、各標本
点の補間範囲を、変換画素ブロックと称する。すなわ
ち、変換画素ブロックが切り替わる際に不連続な歪みが
生じてしまう。図１８では、変換画素ブロックの境界点
は、標本点ｑと標本点ｑ−１の中点、及び、標本点ｑと
標本点ｑ＋１の中点となる。

【００９１】図１９は、本実施の形態の図１の構成を用
いた時の変換値の軌跡を示す。すなわち、点q−1が注目
画素の時には、変換方式が線形補間であり、また、隣接
画素（この場合点qに相当する）の変換方式が非線形補
間である為、点ｑと点ｑ−１の中点となる変換画素ブロ
ックの境界点（□印で示す）の非線形補間値を算出し
て、その変換値からの線形補間を算出する。点q+1が注
目画素の時も同様に、点ｑと点ｑ＋１の中点となる変換
画素ブロックの境界点（□印で示す）の非線形補間値を
算出して、その変換値からの線形補間を算出する。図か
ら明らかなように、変換画素ブロックの境界点において
も、連続性がある良好な高解像エッジを作成することが
できる。図中、太線部が出力値となる。

【００９２】以上、線形補間と非線形補間との変換方式
の順位比較によって説明してきたが、これに限定するも
のではない。０次補間との順位比較も当然考えられる。

【００９３】本発明を実現することで、いかなる非線形
補間を用いても連続性が途切れることはない。すなわ
ち、実験的に解像度変換の画像設計を行う際に、作成す
る高解像のエッジを硬調にも軟調にも調整が可能で、標
本値を補間値にしない極端な非線形性を有する場合で
も、常に連続性のある変換が実現できる。

【００９４】従来の非線形補間技術で頻繁に用いられて
いる原情報の標本値を補間値にする補間方法では、非線
形な補間の実現には限度がある。つまり、原情報の標本
点間を非線形に推移させるだけなので、補間ぼけや、ジ
ャギーの軽減には効果は少ない。

【００９５】補間ぼけや、ジャギーを大きく軽減し、高
精細な高解像情報を作成するには、原情報の標本値を補
間値として設定しない補間方法を用いないといけない。
原情報の標本値は、低解像である入力解像度に依存して
いるからだ。しかし、そこで問題になっていたのは、非
線形補間を用いた場合の補間後の連続性の欠如であっ
た。

【００９６】本発明の思想は、非線形補間＋動的補間で
ある。ここで動的補間とは、標本点を基に演算する補間
と、設定した代表点の変換値を基に演算する補間とが動
的に切り替わるという意味である。言い換えれば、補間
演算に使用する代表点の位置が動的に変化することに相
当する。動的な変化を司どるのは、注目画素と隣接画素
との変換方式の組み合わせになる。変換方式に順位付け
がなされている為、境界点においても優先順位に基づい
た変換が可能になる。

【００９７】本実施の形態では、動的補間を線形補間を
例にして、非線形補間＋動的線形補間として説明した
が、当然、非線形補間＋動的非線形補間の例も考えられ
る。その時には、非線形補間の中でも、幾つかの優劣の
順位付けを設定しておくことが好ましい。

【００９８】また、本実施の形態の技術を用いること
で、解像度変換処理を用いることで、インターネット上
に流通している画像や、デジタルカメラから入力した画
像等の情報量の少ない画像でも画質の良い出力が期待で
きるプリンタや、ビデオプリンタ、アプリケーションソ
フト等の様々な製品が提供できる。

【００９９】また本発明の画像処理装置の形態として
は、コンピュータ等の情報処理機器の画像出力端末とし
て一体または別体に設けられるものの他、リーダ等と組
み合わせた複写装置、更には送受信機能を有するファク
シミリ装置の形態を取るものであっても良い。

【０１００】また本発明は、例えば、ホストコンピュー
タ，インタフェイス機器，リーダ，プリンタ等の複数の
デバイスによって構成されるシステムにも適用でき、更
に、例えば、複写機、ファクシミリ装置等の単体の装置
に適用できる。

【０１０１】前述した実施形態の機能を実現するソフト
ウェアのプログラムコードを記録した記憶媒体を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読出し実行することにも適用で
きる。

【０１０２】この場合、記憶媒体から読み出されたプロ
グラムコード自体が、上述した実施形態の機能を実現す
ることになり、そのプログラムコード を記憶した記憶
媒体は本発明を構成することになる。

【０１０３】プログラムコードを供給するための記憶媒
体としては、例えば、フロッビディスク，ハードディス
ク，光ディスク，光磁気ディスク，CD一ROM，CD一R，磁
気テープ，不揮発性のメモリカード，ROM等を用いるこ
とができる。

【０１０４】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているOS（オペレ
ーティングシステム）等が実際の処理の一部または全部
を行ない、その処理によって、上述した実施形態の機能
が実現される場合も含まれることは言うまでもない。

【０１０５】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの・指
示に基づき、その機能拡張ボードや機能拡張ユニットに
備わるCPU等が実際の処理の一部または全部を行ない、
その処理によって、上述した実施形態の機能が実現され
る場合も含まれることは言うまでもない。

【０１０６】

【発明の効果】以上説明したように、本発明によれば、
入力した低解像度情報から高解像情報に変換する際に、
補間によるぼけを生じることなく、また、入力した原情
報の低解像性に依存せず、ジャギーの全く発生しない画
質的に良好な変換処理が実現できるとともに従来処理で
問題となった非線形性を持たせた変換において、変換処
理単位の境界点での不連続性を消滅することができる
為、いかなる非線形性を持たせた変換においても連続性
が途切れない良好な高解像情報の作成が可能になる。ま
た、その結果、高解像のエッジ作成に使用できる非線形
性の自由度が大幅に増加する。

【図面の簡単な説明】

【図１】本発明の実施形態の構成を示すブロック図であ
る。

【図２】第１のウインドウ形成部で形成されるウインド
ウを示した図である。

【図３】第２のウインドウ形成部で形成されるウインド
ウを示した図である。

【図４】図１の分類部の処理を説明するフローチャート
図である。

【図５】図１の分類部の処理を説明するフローチャート
図である。

【図６】図１の選択部の処理を説明するフローチャート
図である。

【図７】図１の評価部の処理を説明するフローチャート
図である。

【図８】図１の変換部の構成を示した図である。

【図９】図８の判定部の構成を示した図である。

【図１０】図８の代表点設定部の設定位置を示した図で
ある。

【図１１】図８の代表点変換部の処理を説明するフロー
チャートである。

【図１２】注目画素ブロック内の変換画素位置を示した
図である。

【図１３】図８の非線形補間部の構成を示した図であ
る。

【図１４】平滑化フィルタ（ＬＰＦ）の一例を示した図
である。

【図１５】高解像情報作成の一例を示した図である。

【図１６】高解像情報作成の一例を示した図である。

【図１７】注目画素ブロックの高解像情報作成の一例を
示した図である。

【図１８】従来例を用いた場合の高解像情報作成の一例
を示した図である。

【図１９】本発明を用いた場合の高解像情報作成の一例
を示した図である。

【図２０】従来例である最近接内挿法の説明図である。

【図２１】従来例である共１次内挿法の説明図である。

【図２２】入力情報の例を示す図である。

【図２３】図２２の図２０による方法の処理例を示した
図である。

【図２４】図２２の図２１による方法の処理例を示した
図である。

【符号の説明】

１０１ ラインバッファ １０２ 第１のウインドウ形成部 １０３ 最大値最小値検出部 １０４ 分類部 １０５ 選択部 １０６ 第２のウインドウ形成部 １０７ 評価部 １０８ 変換部

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 低解像度の画像情報を入力し、１画素分
   をＮ×Ｍ画素分（Ｎ、Ｍは１以上の整数、但し、Ｎ＝１
   かつＭ＝１を除く）に拡大し、前記入力画像を高解像度
   の画像に解像度変換する画像処理装置において、 注目画素を含む周辺画素を参照する第１のウインドウ形
   成手段と、 １画素分をＮ×Ｍ画素分に変換する変換方法の異なる複
   数の変換手段と、 第１のウインドウ内の画素値の分布状態を基に、前記複
   数の変換手段から適切な変換手段を選択する選択手段と
   を有し、 前記変換手段は注目画素を含む隣接画素における選択さ
   れた変換手段の種類を評価し、その評価結果に応じて注
   目画素のＮ×Ｍ画素分の各変換値を算出することを特徴
   とする画像処理装置。
2. 【請求項２】 更に、注目画素を含む隣接画素における
   選択された変換手段の種類を参照する第２のウインドウ
   形成手段と、 第２のウインドウ内の組み合わせを評価する評価手段
   と、 該評価手段による評価結果に基づいて、注目画素と隣接
   画素との境界に代表点を設定する設定手段と、 隣接画素の選択された変換手段の変換条件に基づいて、
   前記代表点の変換値を算出する代表点変換手段とを有
   し、前記変換手段は、前記代表点の変換値に基づいて、
   注目画素のＮ×Ｍ画素分の各変換値を算出することを特
   徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記複数の変換手段は、各々、優先度を
   表す順位が設定されていて、前記評価手段は、順位の比
   較を行うことにより評価することを特徴とする請求項２
   に記載の画像処理装置。
4. 【請求項４】 前記評価手段の評価は、注目画素の順位
   が隣接画素の順位よりも優先度が低い場合に、前記代表
   点の変換値に基づいた注目画素の変換を行うことを特徴
   とする請求項3に記載の画像処理装置。
5. 【請求項５】 前記複数の変換手段のうち、少なくとも
   ひとつは、補間点の空間的変化量と、補間値の変化量と
   が非線形な関係である非線形補間であることを特徴とす
   る請求項１に記載の画像処理装置。
6. 【請求項６】 前記複数の変換手段のうち、少なくとも
   ひとつは、補間点の空間的変化量と、補間値の変化量と
   が線形な関係である線形補間であり、前記非線形補間よ
   りも優先度の順位を低く設定することを特徴とする請求
   項３若しくは４に記載の画像処理装置。
7. 【請求項７】 前記代表点の変換値に基にして、線形補
   間することにより注目画素のＮ×Ｍ画素分の各変換値を
   算出することを特徴とする請求項２に記載の画像処理装
   置。
8. 【請求項８】 前記複数の変換手段のうち、少なくとも
   ひとつは、補間点の空間的変化量と、補間値の変化量と
   が線形な関係である線形補間であり、標本点を基にして
   線形補間するか、前記代表点の変換値を基にして線形補
   間するかを動的に切り替えることを特徴とする請求項５
   に記載の画像処理装置。
9. 【請求項９】 低解像度の画像情報を入力し、１画素分
   をＮ×Ｍ画素分（Ｎ、Ｍは１以上の整数、但し、Ｎ＝１
   かつＭ＝１を除く）に拡大し、前記入力画像を高解像度
   の画像に解像度変換する画像処理方法において、 注目画素を含む周辺画素を参照する第１のウインドウ形
   成工程と、 １画素分をＮ×Ｍ画素分に変換する変換方法の異なる複
   数の変換工程と、 第１のウインドウ内の画素値の分布状態を基に、前記複
   数の変換工程から適切な変換工程を選択する選択工程と
   を有し、 前記変換工程は注目画素を含む隣接画素における選択さ
   れた変換工程の種類を評価し、その評価結果に応じて注
   目画素のＮ×Ｍ画素分の各変換値を算出することを特徴
   とする画像処理方法。
10. 【請求項１０】 更に、注目画素を含む隣接画素におけ
    る選択された変換工程の種類を参照する第２のウインド
    ウ形成工程と、 第２のウインドウ内の組み合わせを評価する評価工程
    と、 該評価工程による評価結果に基づいて、注目画素と隣接
    画素との境界に代表点を設定する設定工程と、 隣接画素の選択された変換工程の変換条件に基づいて、
    前記代表点の変換値を算出する代表点変換工程とを有
    し、 前記変換工程は、前記代表点の変換値に基づいて、注目
    画素のＮ×Ｍ画素分の各変換値を算出することを特徴と
    する請求項9に記載の画像処理方法。