JP5388559B2 - 画像処理装置及び画像処理方法並びに画像処理方法を実行するプログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置及び画像処理装置の制御方法並びに画像処理方法を実行するプログラム及び記憶媒体に関する。

一定の解像度の画像データを複数フレーム分用いて解像度を向上させる「超解像度処理・超解像度変換」という技術が存在する。

その技術を用いれば低解像度の画像から高解像度の画像への変換が可能となり、従来と同じデバイスで高解像度な画像を得ることが可能となる（非特許文献１）。

超解像度技術を行うためには原稿画像においてサブピクセル（１画素よりも小さい単位）で、原稿画像の読み取り位置が微小に異なる複数フレーム分の画像データが必要となるため、動画像処理などの分野で広く適用されている。

しかし超解像度処理を行うためには高解像度画像の１画素分の画像を生成するためには複数フレーム分の画像データが必要となるため、データ量及び計算量が多くなるという問題がある。

そこで従来では注目した画像領域のサイズによって超解像度処理を実施するフレーム数を決定することで計算量を削減していた（特許文献１）。
特開２００６−０９２４５０ 「複数のデジタル画像データによる超解像度処理」（Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶＥＭＢＥＲ，１９９８）

しかしながら、上述した従来の技術では注目領域のみ超解像度処理を実施する画像数を決定している。このため、予め超解像度処理に必要なフレーム画像データ数は画像領域全体で確保する必要があった。

また、超解像度処理を画像処理装置である複合機、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）に利用した場合、複合機、スキャナ等における読み取り装置は、一般的にはラインセンサが用いられている。

つまり、１回の読み取り動作により得られる読み取りフレームの枚数は１フレームである。

また、上述の読み取り装置は、主走査方向に画素の整数倍の距離を隔てて水平に配置されている画素センサ群を用いて原稿画像の読み取りを行っている。この読み取られる位置において主走査方向にて微小（サブピクセル）なずれを持たせて原稿画像を読み取ることが出来ない。

そこで、エリアセンサを傾斜させて装置内に設置すると、１回の読み取り動作により、読み取られる画素の位置において主走査方向及び／又は副走査方向に微小なずれをもった画像データを取得できる。

しかし、この際、画像データの出力条件に関わらず読み取られた複数のフレーム分の低解像度のフレーム画像データを使用する。

したがって、必要以上の低解像度のフレーム画像データを記憶すること、それらを用いて超解像度処理を実施してしまうことで、データ量及び計算量が増大してしまう課題がある。

上記課題を解決するため、本発明の画像処理装置は、原稿画像から１画素未満のずれを有する複数枚数分の画像データを読み取るセンサを有し、前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得手段、前記出力解像度取得手段の結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御手段、前記画像データ数制御手段にて制御された枚数分の画像データの傾斜を補正する補正手段、前記補正手段で傾きを補正された複数枚数分の画像データを用いて補間処理を行うことで、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換手段、を有することを特徴とする。

本発明によれば、画像を出力する際の条件に応じて超解像度処理に必要な量の低解像度画像データを取得することが可能となり、データ量及び計算量の削減を実施することが可能となる。

以下では、図面を参照して本発明を実施するための形態について説明する。

本発明の実施形態について説明する。本実施例ではカラースキャナを有する画像処理装置を対象とし、エリアセンサを利用して高解像度画像を作成する手法について説明する。

画像処理装置の外観について
画像処理装置１の外観を図１に示す。画像処理装置１は原稿画像を読み取るスキャナ部１１、読み取った画像データを再現するプリンタ部１２、画像処理装置１の各種動作設定を指定する操作部１３に分けられる。スキャナ部１１は、原稿画像上の画像を露光走査して得られた反射光をＣＣＤに入力することで原稿画像の情報を電気信号に変換する。スキャナ部１１はさらに電気信号をＲ，Ｇ，Ｂ各色からなる輝度信号に変換し、この輝度信号を画像データとして後ほど図３で説明するコントローラ２０に対して出力する。

なお、原稿画像は原稿フィーダ１５のトレイ１４にセットされる。ユーザが操作部１３から読み取り開始を指示すると、図３にて後述するコントローラ２０からスキャナ部１１に原稿画像読み取り指示が与えられる。

スキャナ部１１は、この指示を受けると原稿フィーダ１５のトレイ１４から原原稿画像を１枚ずつフィードして、原稿画像の読み取り動作を行う。

なお、原稿画像の読み取り方法は原稿フィーダ１５による自動送り方式ではなく、原稿画像を不図示のガラス面上に載置し、露光部を移動させることで原稿の走査を行う方法であってもよい。

プリンタ部１２は、コントローラ２０から受け取った画像データを用紙上に形成する画像処理デバイスである。なお、本実施例において画像処理方式は感光体ドラムや感光体ベルトを用いた電子写真方式となっているが、本発明はこれに限られることはない。例えば、微少ノズルアレイからインクを吐出して用紙上に印字するインクジェット方式などでも適用可能である。また、プリンタ部１２には、異なる用紙サイズ又は異なる用紙向きを選択可能とする複数の用紙カセット１７、１８、１９が設けられている。排紙トレイ１６には印字後の用紙が排出される。

（画像処理装置の読み取り部の構成）
図２は、本実施例を適用した複合機の読み取り部の一例を示す図である。

同図において、２０１は読み取り部、２０２は原稿画像を抑え、流し読みを行う時には原稿画像を原稿読み取り位置まで送るＡＤＦ機能を有する。
２０３は原稿画像、２０４は原稿台読み取り時に原稿画像２０３を載せるガラス板である。
２０５は原稿画像２０３を読み取る読み取りデバイスを含むユニットであり、原稿画像を撮像するデバイスを含んでいる。
２０６は光源であり、キセノン管などの白色光源が用いられる。
２０７〜２１１はミラーであり、光源２０６から原稿画像に照射される光の反射光を、撮像素子まで伝達する役割を持つ。
２１２はミラー２１１により反射された原稿画像からの反射光を撮像素子幅に集光するためのレンズである。２１３は撮像素子である。

コントローラの詳細説明
図３は、画像処理装置１の内部に存在するコントローラ２０の構成をより詳細に説明するためのブロック図である。

コントローラ２０はスキャナ部１１やプリンタ部１２と電気的に接続されており、一方ではＬＡＮ２１やＷＡＮ２２を介して外部の装置などと接続されている。これにより画像データやデバイス情報の入出力が可能となっている。

ＣＰＵ３０１は、ＲＯＭ３０３に記憶された制御プログラム等に基づいて接続中の各種デバイスとのアクセスを統括的に制御する。またＣＰＵ３０１は、コントローラ２０内部で行われる各種処理についても統括的に制御する。

ＲＡＭ３０２は、ＣＰＵ３０１が動作するためのシステムワークメモリであり、かつ画像データを一時記憶するためのメモリでもある。このＲＡＭ３０２は、記憶した内容を電源ｏｆｆ後も保持しておくＳＲＡＭ及び電源ｏｆｆ後には記憶した内容が消去されてしまうＤＲＡＭにより構成されている。

ＲＯＭ３０３には装置のブートプログラムなどが格納されている。ＨＤＤ３０４はハードディスクドライブであり、システムソフトウェアや画像データを格納することが可能となっている。

操作部Ｉ／Ｆ３０５は、システムバス３１０と操作部１３とを接続するためのインターフェース部である。この操作部Ｉ／Ｆ３０５は、操作部１３に表示するための画像データをシステムバス３１０から受取り操作部１３に出力すると共に、操作部１３から入力された情報をシステムバス３１０へと出力する。

ＮｅｔｗｏｒｋＩ／Ｆ３０６はＬＡＮ２１及びシステムバス３１０に接続し、情報の入出力を行う。Ｍｏｄｅｍ３０７はＷＡＮ２２及びシステムバス３１０に接続しており、情報の入出力を行う。２値画像回転部３０８は送信前の画像データの方向を変換する。２値画像圧縮・伸張部３０９は、送信前の画像データの解像度を所定の解像度や相手能力に合わせた解像度に変換する。なお圧縮及び伸張にあたってはＪＢＩＧ、ＭＭＲ、ＭＲ、ＭＨなどの方式が用いられる。画像バス３３０は画像データをやり取りするための伝送路であり、ＰＣＩバス又はＩＥＥＥ１３９４で構成されている。

スキャナ画像処理部３１２は、スキャナ部１１からスキャナＩ／Ｆ３１１を介して受け取った画像データに対して、補正、加工、及び編集を行う。なお、スキャナ画像処理部３１２は、受け取った画像データがカラー原稿か白黒原稿か、文字原稿か写真原稿かなどを判定する。そして、その判定結果を画像データに付随させる。こうした付随情報を属性データと称する。このスキャナ画像処理部３１２で行われる処理の詳細については後述する。

圧縮部３１３は画像データを受取り、この画像データを３２画素×３２画素のブロック単位に分割する。なお、この３２×３２画素の画像データをタイルデータと称する。原稿（読み取り前の紙媒体）において、このタイルデータに対応する領域をタイル画像と称する。なおタイルデータには、その３２×３２画素のブロックにおける平均輝度情報やタイル画像の原稿上の座標位置がヘッダ情報として付加されている。さらに圧縮部３１３は、複数のタイルデータからなる画像データを圧縮する。伸張部３１６は、複数のタイルデータからなる画像データを伸張した後にラスタ展開してプリンタ画像処理部３１５に送る。

プリンタ画像処理部３１５は、伸張部３１６から送られた画像データを受取り、この画像データに付随させられている属性データを参照しながら画像データに画像処理を施す。画像処理後の画像データは、プリンタＩ／Ｆ３１４を介してプリンタ部１２に出力される。このプリンタ画像処理部３１５で行われる処理の詳細については後述する。

画像変換部３１７は、画像データに対して所定の変換処理を施す。この処理部は以下に示すような処理部により構成される。

伸張部３１８は受け取った画像データを伸張する。圧縮部３１９は受け取った画像データを圧縮する。回転部３２０は受け取った画像データを回転する。変倍部３２１は受け取った画像データに対し解像度変換処理（例えば６００ｄｐｉから２００ｄｐｉ）を行う。色空間変換部３２２は受け取った画像データの色空間を変換する。この色空間変換部３２２は、マトリクス又はテーブルを用いて公知の下地飛ばし処理を行ったり、公知のＬＯＧ変換処理（ＲＧＢ→ＣＭＹ）を行ったり、公知の出力色補正処理（ＣＭＹ→ＣＭＹＫ）を行ったりすることができる。２値多値変換部３２３は受け取った２階調の画像データを２５６階調の画像データに変換する。逆に多値２値変換部３２４は受け取った２５６階調の画像データを誤差拡散処理などの手法により２階調の画像データに変換する。

合成部３２７は受け取った２つの画像データを合成し１枚の画像データを生成する。なお、２つの画像データを合成する際には、合成対象の画素同士が持つ輝度値の平均値を合成輝度値とする方法や、輝度レベルで明るい方の画素の輝度値を合成後の画素の輝度値とする方法が適用される。また、暗い方を合成後の画素とする方法の適用も可能である。さらに合成対象の画素同士の論理和演算、論理積演算、排他的論理和演算などで合成後の輝度値を決定する方法などの適用も可能である。これらの合成方法はいずれも周知の手法である。間引き部３２６は受け取った画像データの画素を間引くことで解像度変換を行い、１／２，１／４，１／８などの画像データを生成する。移動部３２５は受け取った画像データに余白部分をつけたり余白部分を削除したりする。

ＲＩＰ３２８は、プリントサーバ（不図示）などから送信されたＰＤＬコードデータを元に生成された中間データを受取り、ビットマップデータ（多値）を生成し、これを圧縮部３２９にて圧縮する。

スキャナ画像処理部３１２の詳細説明
図４にスキャナ画像処理部３１２の内部構成を示す。
スキャナ画像処理部３１２はスキャナ部１１からスキャナＩ／Ｆ３１１を介してＲＧＢ各８ｂｉｔの輝度信号からなる画像データを受け取る。この輝度信号は、マスキング処理部４０１によりＣＣＤのフィルタ色に依存しない標準的な輝度信号に変換される。

フィルタ処理部４０３は、受け取った画像データの空間周波数を任意に補正する。この処理部は、受け取った画像データに対して、例えば７×７のマトリクスを用いた演算処理を行う。ところで、複写機では、ユーザは操作部１３を操作することにより、コピーモードとして文字モードや写真モードや文字／写真モードを選択することができる。ここでユーザにより文字モードが選択された場合には、フィルタ処理部４０３は文字用のフィルタを画像データ全体にかける。また、写真モードが選択された場合には、写真用のフィルタを画像データ全体にかける。また、文字／写真モードが選択された場合には、後述の文字写真判定信号（属性データの一部）に応じて画素ごとに適応的にフィルタを切り替える。つまり、画素ごとに写真用のフィルタをかけるか文字用のフィルタをかけるかが決定される。なお、写真用のフィルタには高周波成分のみ平滑化が行われるような係数が設定されている。これは、画像のざらつきを目立たせないためである。また、文字用のフィルタには強めのエッジ強調を行うような係数が設定されている。これは、文字のシャープさを出すためである。

ヒストグラム生成部４０４は、受け取った画像データを構成する各画素の輝度データをサンプリングする。より詳細に説明すると、主走査方向、副走査方向にそれぞれ指定した開始点から終了点で囲まれた矩形領域内の輝度データを、主走査方向、副走査方向に一定のピッチでサンプリングする。そして、サンプリング結果を元にヒストグラムデータを生成する。生成されたヒストグラムデータは、下地飛ばし処理を行う際に下地レベルを推測するために用いられる。入力側ガンマ補正部４０５は、テーブル等を利用して生成されたヒストグラムデータを非線形特性を持つ輝度データに変換する。

カラーモノクロ判定部４０６は、受け取った画像データを構成する各画素が有彩色であるか無彩色であるかを判定し、その判定結果をカラーモノクロ判定信号（属性データの一部）として画像データに付随させる。

文字写真判定部４０７は、画像データを構成する各画素が文字を構成する画素なのか、網点を構成する画素なのか、網点中の文字を構成する画素なのか、ベタ画像を構成する画素なのかを各画素の画素値と各画素の周辺画素の画素値とに基づいて判定する。なお、どれにもあてはまらない画素は、白領域を構成している画素である。そして、その判定結果を文字写真判定信号（属性データの一部）として画像データに付随させる。

超解像度処理部４０２は受け取った画像データに対して超解像度処理を実行する。なお、複写機では、ユーザは操作部１３を操作することにより、超解像度処理の処理モードを選択することができる。

超解像度処理の処理モードの詳細については後述するが、超解像度処理を行うには、条件がある。

それは、まず読み取り装置のセンサ解像度で読み取られた原稿画像の画像データを基準に、読み取られる位置が主走査方向及び／又は副走査方向に微小にずれている原稿画像の画像データが複数画面（フレーム）分必要になる。

つまり、基準となる画像データから主走査方向及び／又は副走査方向にセンサが読み取る原稿の位置が少しずつ、ずれている画像データが連続して複数フレーム分必要となる。

また、この複数画面（フレーム）分の画像データを読み取る際に、隣り合ったセンサが得る画像データの間に存在する、原稿画像の読み取り位置のずれが主走査方向及び／又は副走査方向に１画素未満（サブピクセル）である必要がある。

この読み取り位置のずれは、整数倍の位置ずれをオフセット補正した結果残る、１画素未満のずれであってもよい。

以下、１画面（フレーム）で構成される原稿画像を走査した際に読み取られたデータであり、この１画面（フレーム）分の原稿画像を構成するデータを「フレーム画像データ」という。

また、原稿画像にて読み取られる画素の位置を「位相」と言う。
また、この位相がずれることを「位相がずれる」と言い、読み取り画素のずれを「位相ずれ」と言う。

また、ここで使用する低解像度とは、３００ｄｐｉに限られてはおらず、装置が通常の印刷で出力する画像の解像度のことを表す。
主走査方向とは、原稿台上に設置された原稿画像をスキャナで読み取る際、原稿画像に対してユニット２０５が移動する方向に対して垂直な方向である。
そして、図８の矢印（Ａ）に示すように、この読み取られた原稿画像の横方向を「主走査方向」という。
同様に、副走査方向とは、ユニット２０５の移動方向と水平な方向である。
そして、図８の矢印（Ｂ）に示すように、この読み取られた原稿画像の縦方向を「副走査方向」という。

本実施形態ではエリアセンサを斜めに配置することによりＲＧＢチャンネル毎に主走査方向と副走査方向に対して、位相がずれた複数の画像を取得することが可能となる。

図５は本実施形態により得られる画像の一例である。
５０１〜５０４はそれぞれ主走査方向と副走査方向に対して位相がずれた状態で取得される。

（エリアセンサについて）
本実施形態において、画像を読み取るセンサはエリアセンサで構成される。
エリアセンサとはデジタルカメラなどに適用されている撮像素子であり、上述したライン単位のセンサとは異なり、データを読み取る画素センサが２次元的に配列されている。

図７は、エリアセンサの構成を示す図である。同図において７０１はエリアセンサデバイスを示している。
７０２はエリアセンサ７０１における画素センサを示しており長辺方向にＨ画素、短辺方向にＬ画素の画素センサにより構成されている。

この１つ画素は、この１画素の画素センサを４等分してＲＧＢで構成されるカラー対応の画素センサであってもよい。また、Ｈ画素＝Ｌ画素（長辺＝短辺）としてもよい。

このエリアセンサの解像度は画素センサ間の距離Ｎにより決定される。

高解像度のデジタルカメラに使用されているエリアセンサは、長辺方向画素センサ数、及び短辺方向画素センサ数として非常に多くの画素により構成されている。例えば、１，０００万画素クラスのデジタルカメラにおいては、長辺方向の画素センサとして３，８００画素、短辺方向の画素センサとして２，８００画素を有しているものがある。

一般的にエリアセンサをカメラ等に用いる際、エリアセンサは入力される画像データを２次元領域として捉え撮像する。

つまり、１回の撮像において２次元に配列した画素センサを用いて撮像する。エリアセンサデバイスを読み取り装置へ装着する際には、撮像した原稿画像を横方向、縦方向に歪みのない画像データとするため、画素センサは傾斜なく配置される。

したがって撮像された画像を再現した場合、斜め方向には一切のずれがないように配置する。

例えば一般的なカメラ内にエリアセンサが取り付けられた場合、７０３の黒枠で示すラインの画素センサで読み取る画像データは、撮像物の最上端部を構成する画像データとなる。

この際、読み取られた画像データはラインを構成する方向に傾きがないものとなる。

同様に、７０４の黒枠で示すラインの画素センサで読み取る画像データは、７０３で読み取った撮像物位置と異なる位置、すなわち垂直方向に下の位置の画像データである。よって、７０５は７０３で読み取った撮像位置よりも垂直方向に４つ下の位置の画像データとなる。

このように、デジタルカメラのエリアセンサを用いる際、画像データを２次元領域として撮像するため、エリアセンサを構成する画素センサは全て撮像物の異なる位置を撮像していることとなる。

しかしながら、本実施例にて用いる装置におけるエリアセンサの使用方法は、前記デジタルカメラでの使用方法とは異なる。

まず、図７に示したエリアセンサを読み取り装置の基準となる設置位置に取り付ける。
図２における原稿台２０４上にて、指定された位置に原稿画像を置いた時、原稿画像の下を原稿画像の縦方向と同じ方向に平行走行する光源から原稿画像に照射される光の反射光がセンサに集光される。この反射光がセンサに対して傾くことがないように取り込まれる。
光源が平行走査されることで得る１ライン分の画像データとしての反射光は、図７に示すセンサの横方向（長辺方向）に平行に集光される。

このため、センサはほぼ傾斜なく原稿画像を取り込むことができる位置に設置される。
このように原稿画像の出力を実現するためのセンサの設置位置をセンサの「基準となる設置位置」とする。

本説明においては説明を簡略化するために、長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。
もちろん、長辺方向＝短辺方向となる構造であってもよい。

なお、前記画素センサ数は本実施例におけるエリアセンサの用途及び構成の説明を行うためのものであり、図示した画素センサ数に制限されるものではない。

実際には、デジタルカメラで使用されている画素センサ数で構成しても良いことは言うまでもない。

読み取り装置に実装したエリアセンサ２１３を含む読み取りユニット２０５を、図２に記載した矢印方向に駆動させることにより、原稿台２０４に載せられた原稿画像２０３を読み取る。

つまり、画素センサの集まりである読み取りラインセンサ７０４及び７０５を、上述したラインセンサのように扱うことにより読み取り動作を行う。

次に、読み取りラインセンサ７０４及び７０５によって読み取られる原稿画像がどのようになるか説明する。

本説明において読み取りを行う原稿画像を図８とする。
同図において格子で示したものは、読み取りラインセンサ７０４、あるいは７０５を構成する画素センサの解像度に対応したものである。
矢印（Ａ）で示す方向が主走査方向、矢印（Ｂ）で示す方向が副走査方向に対応する方向である。

読み取りユニット２０５が駆動して、原稿台下を副走査方向に移動すると、読み取りラインセンサ７０４及び７０５に入力される画像データが、順次読み取られる。

つまり、原稿画像のうち、読み取りユニット２０５の位置に相当するライン幅に対応する部分が時々刻々と、読み取られる。

この原稿画像を読み取るプロセスを説明する。
読み取りユニット２０５が原稿台下を副走査方向へ移動すると、図９（ａ）、１０（ａ）、１１（ａ）、１２（ａ）で示す原稿画像の斜線部に、光源からの光が当たる。

まず、ある瞬間において、図９（ａ）の斜線部に光源からの光が当たる。
すると、エリアセンサは光を検知して、光の当たった部分であるライン幅部分の原稿画像を検知する。

例えばこの時、ラインセンサ７０４は図９（ｂ）で示されるような画像データを検知する。
同時にラインセンサ７０５では図９（ｃ）で示されるような画像データを検知する。

２つの画像データ間において読み取り位置のずれがあるのは、２つのラインセンサが短辺方向に物理的に距離をもって設置されているためである。

そして、読み取られる原稿画像は、読み取りラインセンサごと異なる画像データとして扱われ、図９（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体へ別々に記憶される。

次に、センサユニット２０５が移動し、光源が動くとともに、図１０（ａ）に示すようにラインセンサが検知する原稿画像の位置が変わる。すると、ラインセンサ７０４は図１０（ｂ）、ラインセンサ７０５は図１０（ｃ）に示すような画像を検知する。

そして、読み取られる原稿画像は、読み取りラインセンサごと異なる画像データとして扱われ、図１０（ｄ）、図１０（ｅ）に示すようなメモリ等の記憶媒体へ別々に記憶される。

同様に、図１１（ａ）に示した位置を読み取られると、図１１（ｂ）、（ｃ）に示すような画像データが、図１１（ｄ）、（ｅ）のようなメモリ等の記憶媒体に記憶される。

また、図１２（ａ）に示した位置を読み取られると、図１２（ｂ）、（ｃ）に示すような画像データが、図１２（ｄ）、（ｅ）のようなメモリ等の記憶媒体に記憶される。

最終的には、原稿画像の全てに光源からの光が照射され、各ラインセンサがそれぞれの位置にて画像データを読み取る。

すると、読み取られた画像データは、順にメモリに格納され、それぞれ図１３（ａ）、（ｂ）に示すような副走査方向への１画素分のずれが生じた複数の画像データが取得できる。

この副走査方向へのずれをもった画像データはエリアセンサの集合で構成されたラインセンサの本数分のフレーム画像データを得られることとなる。

このように、画像の読み取りに画素センサを２次元的に配置してエリアセンサとして用いると、一回の読み取り動作で副走査方向に連続して位相がずれたフレーム画像データが複数フレーム分得られる。

次に、本実施例にて用いる装置におけるエリアセンサの使用方法について述べる。

まず、図７で示したようなエリアセンサを、読み取り装置へ傾斜させて実装する。

図１４（ａ）に、本実施例におけるエリアセンサの実装形態の一例を示す。
１４０１はエリアセンサデバイスを示している。
１４０２は画素センサを示しており、本説明においては長辺方向に２０画素、短辺方向に１０画素の画素センサにより構成されているものとする。

そして、エリアセンサを基準となる設置位置に対して傾斜させて実装する。
つまり、図７に示すように基準となる設置位置に設置されていた時、エリアセンサ内にて一番下に設置されていたラインセンサとの間に角度θをつけて設置する。

構成する画素センサの位置は、エリアセンサ左端上部を原点に、長辺方向をｘ方向、短辺方向をｙ方向として表すこととする。

つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。

同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。

１４０３は、エリアセンサ１４０１を構成する１ライン分の画素センサの集まりを示している。具体的には、長辺方向を構成する２０個の画素センサにより構成されている。

つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。

なお、以下の説明において、前記１４０３で囲まれる複数の画素センサを読み取りラインセンサ１４０３と称する。

同様に１４０４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成され、以下の説明において読み取りラインセンサ１４０４と称する。

本実施例においては、読み取り装置に実装したエリアセンサ２１３を含む読み取りユニット２０５を、図２に記載した矢印方向に駆動させることにより、原稿台２０４に載せられた原稿画像を読み取る。

つまり、画素センサの集まりである読み取りラインセンサ１４０３及び１４０４を、上述したように、ラインセンサのように扱うことにより読み取り動作を行う。

次に、読み取りラインセンサ１４０３及び読み取りラインセンサ１４０４によって読み取られる原稿画像がどのようになるかを説明する。
本説明において読み取りを行う原稿画像を図８とする。
つまり、この原稿画像は図２における原稿画像２０３に相当する。

また、同図において格子で示したものは、読み取りラインセンサ１４０３、あるいは１４０４を構成する画素センサの解像度に対応したものである。
原稿画像は前述した図９〜１３において示されたように読み取られるが、θ傾斜していることで、角度θ傾斜した画像データが得られる。

例えば、本来エリアセンサに傾きがなければ、図１５（ａ）の斜線部で示す位置が読み取られるはずである。しかし、エリアセンサが傾いていることで、ラインセンサ１４０３、１４０４は、図１５（ｂ）、（ｃ）に示すように画像データを検知する。

そして、これらの画像データは傾いたままそれぞれ図１５（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。

同様に、センサユニット２０５が移動し光源が動くとともに図１６（ａ）の斜線部に示す位置を読み取る。このとき、ラインセンサ１４０３、１４０４は、図１６（ｂ）、（ｃ）に示すように画像データを検知する。

そして、これらの画像データはそれぞれ図１６（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。

さらに、読み取りユニットの副走査方向への移動とともに光源が移動して図１７（ａ）の斜線部に示す位置を読み取る。この際、ラインセンサ１４０３、１４０４では図１７（ｂ）、（ｃ）に示す画像データが得られる。

そして、これらの画像データはそれぞれ図１７（ｄ）、（ｅ）に示すようなメモリ等の記憶媒体に記憶される。

最終的には、ラインセンサ１４０３、１４０４にて検知され、読み取られた画像データは、図１８（ａ）、（ｂ）に示すようなデータであり、いずれも角度θ傾斜した画像データとして読み取られる。
この時、図１８の矢印（Ａ）に示す方向を主走査方向、矢印（Ｂ）に示す方向を副走査方向という。
これに対して、矢印（Ｃ）に示した方向を読み取り画像データの横方向という。また、矢印（Ｄ）に示した方向を読み取り画像データの縦方向という。

図１４（ａ）に示すように、読み取りラインセンサ１４０３と読み取りラインセンサ１４０４は、物理的に短辺方向に１画素センサ分ずれている。

したがって、読み取りラインセンサ１４０３を構成する画素センサと、読み取りラインセンサ１４０４を構成する画素センサには、短辺方向に対して位相ずれがある。

例えば、読み取りラインセンサ１４０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ１４０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、短辺方向であるｙ軸方向における位置はｙ＝１分ずれている。
そのずれは、副走査方向へΔβ分のずれをもたらす。

一方、長辺方向であるｘ軸方向における位置は全く同じｘ＝１５である。
しかし、傾斜角度θにより、基準となる設置位置における水平方向である主走査方向に対して、サブピクセル以内の微小量Δαだけ位相がずれたものとなる。

つまり、読み取りラインセンサ内において長辺方向であるｘ軸方向に同じ位置の画素センサであっても、エリアセンサを傾けることにより、微小単位の位相ずれが発生する。この位相ずれは傾斜角度に依存する。

したがって、エリアセンサ２１３内に定義した読み取りラインセンサで読み取った画像データは、ラインセンサ毎に、異なる位相ずれを持った画像データとなる。

具体的には、図１８（ａ）の読み取り画像データと図１８（ｂ）の読み取り画像データとは、副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。

前記説明においては、読み取りラインセンサが２つ（読み取りラインセンサ１４０３、１４０４）であることを前提にしたが、これに限られるものではない。

エリアセンサ１１３を構成する画素センサを、ｘ軸方向に増やすことで読み取りラインセンサを多数構成しても良い。
つまり、読み取りラインセンサは、エリアセンサ２１３を構成するｘ軸方向に並ぶ画素数分設けることが可能である。

読み取りラインセンサとして構成した数は、１回の読み取り動作によって得られる画像データ数と等しい。
つまり、エリアセンサ２１３内に、読み取りラインセンサを３０ライン分構成すれば、１回の読み取り制御にて、それぞれに固有の位相ずれを有する３０枚の読み取り画像を得ることが出来る。

エリアセンサを傾けることにより、１回の原稿画像の走査で、短辺方向に隣接したセンサが読み取る原稿画像の位置のずれが１画素未満である複数のフレーム画像データを得ることができる。
また、図１４（ｂ）で示すように、センサを配置してもよい。
長辺方向は、基準となる設置位置における水平方向と同じ方向である。しかし、短辺方向には、基準となる設置位置に対して傾斜している。

この場合も、図１４（ａ）と同様に、１回の原稿画像の走査で、短辺方向に隣接したセンサが読み取る位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得ることができる。
つまり、複数のセンサからなるエリアセンサにおいて、
原稿画像に対して相対的に走査位置が平行に移動することにより、短辺方向に隣接した第１のセンサと第２のセンサ間で読み取る位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得ることができるセンサであればよい。

また、図１４（ａ）のθ、図１４（ｂ）のθ´の両方において、その角度は、１度の走査で短辺方向に隣接したセンサが読み取る原稿画像の位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得ることができればよい。

さらに、原稿画像読取時の副走査方向の読取回数を多くし、単位時間あたりのサンプリング回数を増やすことで、センサの短辺方向において得られるフレーム画像データの取得数を増やすことができる。

プリンタ画像処理部３１５の詳細説明
図６にプリンタ画像処理部３１５の内部構成を示す。
下地飛ばし処理部６０１は、スキャナ画像処理部３１２で生成されたヒストグラムを用いて画像データの下地色を飛ばす（除去する）。

モノクロ生成部６０２はカラーデータをモノクロデータに変換する。Ｌｏｇ変換部６０３は輝度濃度変換を行う。このＬｏｇ変換部６０３は、例えば、ＲＧＢ入力された画像データを、ＣＭＹの画像データに変換する。

出力色補正部６０４は出力色補正を行う。例えばＣＭＹ入力された画像データを、テーブルやマトリックスを用いてＣＭＹＫの画像データに変換する。

出力側ガンマ補正部６０５は、この出力側ガンマ補正部６０５に入力される信号値と、複写出力後の反射濃度値とが比例するように補正を行う。

中間調補正部６０６は、出力するプリンタ部の階調数に合わせて中間調処理を行う。例えば、受け取った高階調の画像データに対し２値化や３２値化などを行う。

なお、スキャナ画像処理部３１２やプリンタ画像処理部３１５における各処理部では、受け取った画像データに各処理を施さずに出力させることも可能となっている。このような、ある処理部において処理を施さずにデータを通過させることを、以下では「処理部をスルーさせる」と表現することにする。

超解像度処理の処理モード設定
以下に本実施例の処理モード設定について図１９を用いて詳細に説明する。

なお、本実施形態では、図１４（ａ）に示したエリアセンサを用いる。そして、原稿画像を読み取った際には１００ｄｐｉ相当の低解像度のフレーム画像データが１００フレーム取得可能なエリアセンサを有する画像処理装置を用いる。また、この画像処理装置は、超解像度処理において４フレーム分の低解像度フレーム画像データで２００ｄｐｉの高解像度画像が生成可能とする。

同様に、１０フレーム分の低解像度のフレーム画像データで３００ｄｐｉの画像が生成可能とする。

また、４０フレーム分の低解像度のフレーム画像データで６００ｄｐｉの高解像度画像が生成可能でとする。
１００フレーム分の低解像度のフレーム画像データで１２００ｄｐｉの高解像度画像が生成可能とする。

なお、所望する解像度を得る為に必要な低解像度画像データのフレーム数は、上述した低解像度画像データのフレーム数に限らない。例えば、５０フレームで１０００ｄｐｉの高解像度画像を生成、５０フレームで５００ｄｐｉの高解像度画像を生成しても良い。
これは、画像処理装置の能力に依存する。

また、取得した低解像度画像が全て使用できるわけではない。
例えば、隣接したセンサが読み込むフレーム画像データの読み取り画素位置のずれ、つまり位相ずれが１画素以上のものは超解像度処理に使用できない。
このような低解像度のフレーム画像データは、取得した低解像度のフレーム画像データにカウントされない。

図１９は超解像度処理モード設定処理を実施する動作の概略を説明するための図である。図１９に示す処理を実現する制御プログラムは、上述したようにＲＯＭ３０３に格納されており、ＣＰＵ３０１により実行される。

まず、ステップＳ１９０１にて、ＵＩを介してユーザから出力モードの指示を受ける。
するとこの指示を受けたＵＩが操作部Ｉ／Ｆを介してＣＰＵ３０１へこの指示を送り、ＣＰＵ３０１は出力モードを取得する。

次にＣＰＵ３０１はステップＳ１９０２で取得した出力モードに応じて設定された出力解像度取得を行う。

次にＣＰＵ３０１はステップＳ１９０３にてステップＳ１９０２で取得した出力解像度が２００ｄｐｉであるかを判断し、出力解像度が２００ｄｐｉに設定されていた場合、低解像フレーム画像データの取得数を４フレームに設定する（ステップＳ１９０４）。

次に、ステップＳ１９０５にてスキャナ部が原稿読取を実施し、４フレームの低解像度フレーム画像データを取得する。
次に、ステップＳ１９０６にて画像変換部３１７はステップＳ１９０５で取得した低解像度フレーム画像データに対して傾斜を補正する。

この際、取得したフレーム画像データの傾斜角度θは、このエリアセンサ含んだ複合機を組み立てる工程において、エリアセンサ２１３を読み取りユニット２０５に実装した時点で取得出来る値である。

この傾斜角度θは、実装された機器固有の値として複合機内部の記憶領域に保持されるものである。

これらの角度情報を用いてアフィン変換を行い、取得した斜めに傾いたフレーム画像データを回転させる。この際、フレーム画像データを基準となる設置位置からの傾き分回転させる。これによりフレーム画像データの傾きを補正する。 変換前の座標を（Ｘ，Ｙ）、変換後の座標を（Ｘ’，Ｙ’）、回転角度（本実施例においてはエリアセンサの傾き角度）をθとすると、式１に示すようなアフィン変換処理により傾きを補正したフレーム画像データを得ることができる。

・・・（式１）
Ｘ´、Ｙ´：変換後座標位置
Ｘ、Ｙ ：変換前座標位置

上記アフィン変換により得られるフレーム画像データは、傾きを補正された低解像度のフレーム画像データとなる。

なお、この傾きを補正する方法についてはアフィン変換に限られたものでなく、フレーム画像データの傾きを補正できる方法であればよい。
なお、図１４（ｂ）にて示した様に短辺方向に隣接したセンサが読み取る位置のずれが主走査方向及び／又は副走査方向に１画素未満であるフレーム画像データを得られるセンサが、傾きなくフレーム画像データを得られる場合、この処理は必要ない。

そして、傾きを補正した複数のフレーム分のフレ−ム画像データを用いてステップＳ１９１３で、超解像度処理を実施して処理を終了する。

この際に行われる超解像度処理に関して図２０、図２１を用いて詳細に説明する。

図２０は超解像度処理に用いる低解像度画像データと超解像度処理後の画像データを示す図である。図２０では原稿画像と原稿画像をエリアセンサで読み取られて得られた基準低解像度画像データＦ０と対象低解像度画像データＦ１〜Ｆ３を示している。原稿を囲む点線矩形は基準低解像度画像データＦ０をエリアセンサで読み取った際の領域を示す。実線矩形は対象低解像度画像データＦ１〜Ｆ３のそれぞれをエリアセンサで読み取った際の領域を示す。

本実施形態では、主走査方向のずれ量を「ｕｍ」、副走査方向のずれ量を「ｖｍ」とそれぞれ表す。また、対象低解像度画像データＦｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図２０に示すように、対象低解像度画像データＦ１は、基準低解像度画像データＦ０に対して、副走査方向のずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。
同様に、対象低解像度画像データＦ２、Ｆ３についてもずれ量ｕｍ２、ｖｍ２及びｕｍ３、ｖｍ３と表される。

各対象低解像度画像データＦｎ（ｎ＝１〜３）についてのずれ量ｕｍｎ、ｖｍｎは基準低解像度画像データＦ０の画像データと対象低解像度画像データＦ１〜Ｆ３の画像データとに基づき算定される。算定には予めＲＯＭ３０３に記憶されたエリアセンサの傾き情報による所定の算出が用いられる。

図２０では、模式的に各対象低解像度画像データのずれは１画素単位であるものとして示している。
しかし、本実施例のエリアセンサによる読み取りにおいては主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。この微小なずれを利用することで画像の高解像度化が可能となる。

したがって、生成する超解像度処理画像を構成する各画素（以下「生成画素」という）のうち基準低解像度画像データ及び対象低解像度画像データのいずれにも存在しない画素が存在する。

このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストレイバ法等の補間処理を用いることができる。

例えば、バイ・リニア法による補間処理を用いる場合について図２１を用いて説明する。まず、基準低解像度画像データ及び対象低解像度画像データから、生成画素１８０１の位置に最も近い距離にある最近傍画素１８０２を抽出する。そして、図２１の対象低解像度画像データから生成画素位置を囲む４つの画素を周辺画素１８０２〜１８０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により生成画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜

以上の処理を各生成画素位置について繰り返すことにより、例えば、図２０に示す解像度が２倍の超解像度画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数の低解像度画像データのデータ値を用いるほど、高精細な超解像度画像を得ることができる。

一方、ステップＳ１９０３にてステップＳ１９０２で取得した出力解像度が２００ｄｐｉでないと判断された場合、ＣＰＵ３０１は出力解像度が３００ｄｐｉであるかを判断する（ステップＳ１９０７）。ステップＳ１９０７にて出力解像度が３００ｄｐｉに設定されていた場合、ＣＰＵ３０１は低解像度データの取得フレーム数を１０フレームに設定（ステップＳ１９０８）してＳ１９０５に進む。

一方、ステップＳ１９０７にてステップＳ１９０２で取得した出力解像度が３００ｄｐｉでないと判断された場合、ＣＰＵ３０１は出力解像度が６００ｄｐｉであるかを判断する（ステップＳ１９０９）。ステップＳ１９０９にて出力解像度が６００ｄｐｉに設定されていた場合、ＣＰＵ３０１は低解像度画像データの取得フレーム数を４０フレームに設定（ステップＳ１９１０）してＳ１９０５に進む。

一方、ステップＳ１９０９にてステップＳ１９０２で取得した出力解像度が６００ｄｐｉでないと判断された場合、ＣＰＵ３０１は出力解像度が１２００ｄｐｉであるかを判断する（ステップＳ１９１１）。ステップＳ１９１１にて出力解像度が１２００ｄｐｉに設定されていた場合、ＣＰＵ３０１は低解像度画像データの取得フレーム数を１００フレームに設定（ステップＳ１９１２）してＳ１９０５に進む。

一方、ステップＳ１９１１にてステップＳ１９０２で取得した出力解像度が１２００ｄｐｉでないと判断された場合、ＣＰＵ３０１は出力モードが不正と判断してステップＳ１９０１へ進む。

出力モード取得処理
図１９のステップＳ１９０１で説明した出力モード取得処理について詳細に説明する。本実施形態ではスキャン解像度取得により出力解像度を決定する。

図２２は出力モード取得を実施する動作の概略を説明するための図である。図２２に示す処理を実現する制御プログラムは、上述したようにＲＯＭ３０３に格納されており、ＣＰＵ３０１により実行される。

まず、ステップＳ２２０１でＵＩである操作部１３を介してユーザからスキャン解像度を指定され、この指定を受けた操作部１３が操作部Ｉ／Ｆを介してＣＰＵ３０１へこの指定を送る。

そしてステップＳ２２０２にて、このスキャン解像度を指定されたＣＰＵ３０１は、このスキャン解像度を出力解像度として設定し処理を終了する。

図２３はスキャン解像度を設定するための操作部の一例を示した模式図であり、ユーザはこれを用いてスキャン解像度設定メニュー２３０１で設定することが可能である。

また、本実施形態ではスキャン解像度を指定したが、装置の上限解像度を予め設定しておくことで出力解像度を決定することも可能である。

原稿読み取り処理
図１９のステップＳ１９０５で説明した原稿読み取り処理について詳細に説明する。本実施形態ではエリアセンサの有効エリアを制御することにより取得フレーム画像データのフレーム数を決定する。

図２４は本実施形態で使用するスキャナ部１１内にあるエリアセンサを示した図である。
２４０１で示すようなエリアセンサを短辺方向に１００分割したものを１バンドとし、１本のラインセンサとして読み取りを行うように制御する。
このバンド単位で１００ｄｐｉのフレーム画像データを最大１００フレーム取得することを可能としている。

よって、図１９のステップＳ１９０４の場合には、２４０２で示すようにバンド０〜３までを実際の入力画像データ読み取りエリアとしてフレーム画像データ取り込む。バンド４以降はマスクする。同様に図１９のステップＳ１９０８の場合には２４０３で示すようにバンド０〜９までを実際の入力画像データ読み取りエリアとする。バンド１０以降はマスクする。図１９のステップＳ１９１０の場合には２４０４で示すようにバンド０〜３９までを実際の入力画像データ読み取りエリアとする。バンド４０以降はマスクする。図１９のステップＳ１９１２の場合には全バンド（２４０５）を実際の入力画像データ読み取りエリアとしてフレーム画像データを取り込む。以上の動作により取得フレーム画像データのフレーム数を決定することが可能である。

このようにして、出力解像度に応じて取得フレーム画像データのフレーム数制御を行い、取得したフレーム分の画像データを用いて傾斜した画像データの角度補正を行う（Ｓ１９０６）。
そして、これらのフレーム画像データを用いて高解像度変換を行う（Ｓ１９１３）。
なお、１９０５にて、上述したように傾きのないフレーム画像データを読み取り可能な場合は、Ｓ１９０６の角度補正の処理を行わなくてもよい。

以上の処理により、設定されたスキャン解像度に応じて超解像度処理に必要な低解像度のフレーム画像データのフレーム数を設定し、得られたフレーム画像データを用いて上記の超解像度処理を行うことで、高解像の画像データを得る事ができる。

また、出力の際に求められる解像度を基に必要な低解像度のフレーム画像データ数制御を行うので、読取時にデータ量の削減が可能となる。

また、読取時に取得される低解像度フレーム画像のフレーム数が予め制限されるため、超解像度処理の計算量削減も合わせて可能となる。

実施例１においてはスキャン解像度を取得することにより出力解像度を決定した。本実施例ではコピーモードを指定することにより出力解像度を決定する場合について説明する。

なお、実施例１と同様の処理については同様の記号を図示し、概略説明を省略する。

本実施例ではコピーモードとして、印画紙写真モード、文字モード、文字／写真／地図モード、印刷写真モードの４種類のモードについて説明する。
また、印画紙写真モードは階調性を重視し、解像度３００ｄｐｉで出力する設定とする。
同様に、文字モードは解像力を重視し、解像度１２００ｄｐｉで出力する設定とする。
その他のモードは階調性と解像力の両立を図り、解像度６００ｄｐｉで出力する設定とする。
また、コピーモードと出力解像度の関係は任意に設定できる。

図２５は図１９のステップＳ１９０１で説明した、出力モード取得を実施する動作の概略を説明するための図である。図２５に示す処理を実現する制御プログラムは、上述したようにＲＯＭ３０３に格納されており、ＣＰＵ３０１により実行される。

まず、ステップＳ２５０１で操作部１３から指定されたコピーモードを取得する。次にステップＳ２５０２で取得したコピーモードが印画紙写真モードであるかを判断し、印画紙写真モードであると判断された場合には出力解像度を３００ｄｐｉに設定して（ステップＳ２５０３）、処理を終了する。

一方、ステップＳ２５０２で印画紙写真モードでないと判断された場合、ステップＳ２５０２で取得したコピーモードが文字モードであるかを判断する（ステップＳ２５０４）。ステップＳ２５０４で文字モードであると判断された場合には出力解像度を１２００ｄｐｉに設定して（ステップＳ２５０５）、処理を終了する。

一方、Ｓ２５０４で文字モードでないと判断された場合、ステップＳ２５０２で取得したコピーモードが文字／写真／地図モード若しくは印刷写真モードであるかを判断する（ステップＳ２５０６）。ステップＳ２５０６で文字／写真／地図モード若しくは印刷写真モードであると判断された場合には出力解像度を６００ｄｐｉに設定して（ステップＳ２５０７）、処理を終了する。

一方、ステップＳ２５０６で文字／写真／地図モード若しくは印刷写真モードでないと判断された場合には、ステップＳ２５０１に戻る。

図２６はコピーモードを設定するための操作部の一例を示した模式図であり、コピーモード設定メニュー２６０１で設定することが可能である。

以上の処理により、設定されたスキャン解像度に応じて超解像度処理に必要な低解像度のフレーム画像データのフレーム数を設定し、得られたフレーム画像データを用いて上記の超解像度処理を行うことで、高解像の画像データを得る事ができる。

また、出力の際に求められる解像度を基に必要な低解像度フレーム画像データのフレーム数を制御するので、読取時にデータ量の削減が可能となる。

また、読取時に取得される低解像度のフレーム画像データのフレーム数が予め制限されるため、超解像度処理の計算量削減も合わせて可能となる。

以上の処理により、設定されたコピーモードに応じて超解像度処理に必要な低解像度のフレーム画像のフレーム数を設定し、得られたフレーム画像データを用いて上記の超解像度処理を行うことで、高解像の画像データを得る事ができる。

また、出力の際に求められる解像度を基に必要な低解像度画像データの数を制御するので、読取時に扱うデータ量の削減が可能となる。
その上、読取時に取得される低解像度のフレーム画像データのフレーム数が予め制限されるため、超解像度処理の計算量削減も合わせて可能となる。

本実施例では原稿の拡大率及び縮小率に応じて出力解像度を決定する場合について説明する。

なお、実施例１と同様の処理については同様の記号を図示し、概略説明を省略する。

本実施例では拡大率としてＡ４原稿をＡ３原稿に拡大印刷する１４１％を基準として、その際の出力解像度をスキャン解像度の倍に設定することにより拡大処理におけるジャギーを軽減する。
また、縮小率としてＡ３原稿をＡ４原稿に縮小印刷する７０％を基準として、その際の出力解像度をスキャン解像度の半分に設定することにより縮小処理における計算量を軽減する。
また、本実施例ではそれぞれ出力解像度を固定で設定しているが、もちろん各拡大縮小率に応じて任意に設定できることは言うまでもない。

図２７は図１９のステップＳ１９０１で説明した出力モード取得を実施する動作の概略を説明するための図である。図２７に示す処理を実現する制御プログラムは、上述したようにＲＯＭ３０３に格納されており、ＣＰＵ３０１により実行される。

まず、ステップＳ２７０１で操作部１３から指定された拡大縮小率Ｘを取得する。次にステップＳ２７０２でスキャン解像度を取得する。次にステップＳ２７０１で取得した拡大縮小率Ｘが１００％以上１４１％以下であるかを判断する（ステップＳ２７０３）。ステップＳ２７０３で拡大縮小率Ｘが１００％以上１４１％以下であると判断された場合には、出力解像度をスキャン解像度の倍に設定する。

例えば、スキャン解像度が３００ｄｐｉなら、出力解像度は６００ｄｐｉとなる。（ステップＳ２７０４）
このように、出力解像度がわかると、この後の処理は図１９で示したフローに沿って行われる。したがって、出力解像度が６００ｄｐｉとされた場合は、Ｓ１９０９からＳ１９１０に進み、必要なフレーム画像データのフレーム数は４０フレームとなる。
その後、Ｓ１９０５へ進み、原稿画像読み取りが行われ、Ｓ１９０６、１９１３にて画像補正と高解像度処理である超解像度処理がなされる。

一方、ステップＳ２７０３で拡大縮小率Ｘが１００％以上１４１％以下でないと判断された場合、次に７０％以上１００％以下であるかを判断する（ステップＳ２７０５）。ステップＳ２７０５で拡大縮小率Ｘが７０％以上１００％以下であると判断された場合には、出力解像度をスキャン解像度の１／２に設定する。例えば、スキャン解像度が６００ｄｐｉなら、出力解像度は３００ｄｐｉとなる。（ステップＳ２７０６）
このように、出力解像度がわかると、この後の処理は図１９で示したフローに沿って行われる。したがって、出力解像度が３００ｄｐｉとされた場合は、Ｓ１９０７からＳ１９０８に進み、必要なフレーム画像データのフレーム数は１０フレームとなる。
そのご、Ｓ１９０５へ進み、原稿画像読み取りが行われ、Ｓ１９０６、１９１３にて画像補正と高解像度処理である超解像度処理がなされる。

図２８はコピーモードを設定するための操作部の一例を示した模式図であり、ユーザは倍率設定メニュー２８０１で設定することが可能である。

以上の処理により、出力する際の変倍率である設定された拡大縮小率に応じて超解像度処理に必要な低解像度のフレーム画像データのフレーム数を設定し、得られたデータを用いて上記の超解像度処理を行うことで、高解像の画像データを得る事ができる。

また、出力の際に求められる解像度を基に必要な低解像度のフレーム画像データのフレーム数を制御するので、読取時に扱うデータ量の削減が可能となる。

その上、読取時に取得される低解像度のフレーム画像データのフレーム数が予め制限されるため、超解像度処理の計算量削減も合わせて可能となる。

本実施例では原稿の出力レイアウトに応じて出力解像度を決定する場合について説明する。

なお、実施例１と同様の処理については同様の記号を図示し、概略説明を省略する。

本実施例では縮小レイアウトを２ｉｎ１（２ページ分の文書を１ページで表現）時は３００ｄｐｉ、４ｉｎ１（４ページ分の文書を１ページで表現）時は２００ｄｐｉとする。つまり、１ページの領域が小さくなるほど出力解像度を低解像度に設定する。

図２９は図１９のステップＳ１９０１で説明した出力モード取得を実施する動作の概略を説明するための図である。図２９に示す処理を実現する制御プログラムは、上述したようにＲＯＭ３０３に格納されており、ＣＰＵ３０１により実行される。

まず、ステップＳ２９０１で操作部１３から指定されたレイアウト設定値を示すレイアウト情報を取得する。次にステップＳ２９０１で取得したレイアウト設定値が２ｉｎ１であるかを判断する（ステップＳ２９０２）。ステップＳ２９０２でレイアウト設定値が２ｉｎ１であると判断された場合には、出力解像度を３００ｄｐｉに設定して（ステップＳ２９０３）、処理を終了する。

一方、ステップＳ２９０２で２ｉｎ１でないと判断された場合、次に４ｉｎ１であるかを判断する（ステップＳ２９０４）。ステップＳ２９０４で４ｉｎ１であると判断された場合には、出力解像度を２００ｄｐｉに設定して（ステップＳ２９０５）、処理を終了する。

図３０は縮小レイアウトを設定するための操作部の一例を示した模式図であり、ユーザは縮小レイアウト設定メニュー３００１で設定することが可能である。

以上の処理により、設定された出力レイアウトに応じて超解像度処理に必要な低解像度のフレーム画像データのフレーム数を設定し、得られたデータを用いて上記の超解像度処理を行うことで、高解像の画像データを得る事ができる。

また、出力の際に求められる解像度を基に必要な低解像度のフレーム画像データのフレーム数を制御するので、読取時に扱うデータ量の削減が可能となる。

その上、読取時に取得される低解像度のフレーム画像データのフレーム数があらかじめ制限されるため、超解像度処理の計算量削減も合わせて可能となる。

実施例１から実施例４においては原稿読取処理時にエリアセンサの一定のバンド幅で分割し、バンド単位で制限することにより、有効エリアの制御を実施した。本実施例では出力解像度によってエリアセンサのバンド幅を制御することにより低解像度のフレーム画像データの取得フレーム数を決定する。

図３１は本実施形態で使用するスキャナ部１１内にあるエリアセンサを示した図である。
３１０１で示すようなエリアセンサを短辺方向に任意に分割して一本のラインセンサを複数本束ねて１本のラインセンサとして扱い、読み取りを行うように制御を行う。

よって、図１９のステップＳ１９０４の場合には、３１０２で示すようにエリアセンサを４バンドに分割し、バンド０〜３として画像データ取り込む。同様に図１９のステップＳ１９０８の場合には３１０３で示すようにバンド０〜９としてフレーム画像データを取り込む。
図１９のステップＳ１９１０の場合には３１０４で示すようにバンド０〜３９としてフレーム画像データを取り込む。
図１９のステップＳ１９１２の場合には全バンド（３１０５）として画像データを取り込む。以上の動作により取得フレーム画像データのフレーム数を決定することが可能である。
このようにエリアセンサを取得フレーム画像データのフレーム数分に領域分割する。

以上の処理により、設定されたスキャン解像度又は出力解像度に応じて超解像度処理に必要な低解像度のフレーム画像データのフレーム数を設定することで、エリアセンサ全体を有効に活用できる。また読取時に取得される低解像度のフレーム画像データのフレーム数があらかじめ制限されるため、超解像度処理の計算量削減も合わせて可能となる。

また、上述したように、原稿画像読取時の副走査方向の読取回数を多くし、単位時間あたりのサンプリング回数を増やすことで、センサの短辺方向において得られるフレーム画像データの取得数を増やすことができる。
よって、サンプリングのタイミングを制御することによって、センサの短辺方向において得られるフレーム画像データの取得数を制御することができる。

（その他の実施形態）
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。また、前述のプログラムが記憶された記憶媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。

かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。

また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。

画像処理装置の概観図 画像処理装置１の読み取り部の構成を示す図 画像処理装置１のコントローラ構成を示すブロック構成図 スキャナ画像処理部２１２の内部構成を示すブロック構成図 スキャナ部１１で取得される画像の一例を示す図 プリンタ画像処理部２１５の内部構成を示すブロック構成図 エリアセンサの構成を示す図 エリアセンサが読み取る原稿画像 ライン画像データの取得方法を示す図 ライン画像データの取得方法を示す図 ライン画像データの取得方法を示す図 ライン画像データの取得方法を示す図 エリアセンサ中のラインセンサが読み取る画像データ エリアセンサを斜めに実装した場合の構成図 傾斜したエリアセンサのライン画像データの取得方法を示す図 傾斜したエリアセンサのライン画像データの取得方法を示す図 傾斜したエリアセンサのライン画像データの取得方法を示す図 傾斜したエリアセンサ中のラインセンサが読み取る画像データ 第１実施例に関わる超解像度処理モード設定処理を実施する動作の概略を説明するためのフローチャート 超解像度処理の詳細についての説明図 超解像度処理の詳細についての説明図 図１９に示した出力モード取得処理を実施する動作の概略を説明するためのフローチャート 第１実施例に関わる図２２に示した出力モード取得処理を設定するための操作部の一例を表示したＧＵＩ エリアセンサの分割方法を示した図である。 第２実施例に関わる図１９に示した出力モード取得処理を実施する動作の概略を説明するためのフローチャートである。 第２実施例に関わる図２５に示した出力モード取得処理を設定するための操作部の一例を表示したＧＵＩ 第３実施例に関わる図１９に示した出力モード取得処理を実施する動作の概略を説明するためのフローチャート 第３実施例に関わる２７に示した出力モード取得処理を設定するための操作部の一例を表示したＧＵＩ 第４実施例に関わる図１９に示した出力モード取得処理を実施する動作の概略を説明するためのフローチャート 第４実施例に関わる図２９に示した出力モード取得処理を設定するための操作部の一例を表示したＧＵＩ 第５実施例に関わるスキャナ部１１内にあるエリアセンサの分割方法を示した図

符号の説明

１ 画像処理装置
１１ スキャナ部
１２ プリンタ部
１３ 操作部
１４ トレイ
１５ 原稿フィーダ
１６ 排紙トレイ
１７、１８、１９ 用紙カセット

Claims (17)

1. 原稿画像から１画素未満のずれを有する複数枚数分の画像データを読み取るセンサを有し、
   前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得手段、
   前記出力解像度取得手段の結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、前記第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御手段、
   前記画像データ数制御手段にて制御された枚数分の画像データの傾斜を補正する補正手段、
   前記補正手段で傾きを補正された複数枚数分の画像データを用いて補間処理を行うことで、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換手段、
   を有することを特徴とする画像処理装置。
2. 前記出力解像度取得手段は、ユーザから指定された解像度により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
3. 前記出力解像度取得手段は、前記原稿画像の種類に応じて、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
4. 前記出力解像度取得手段は、前記原稿画像を出力する際の変倍率により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
5. 前記出力解像度取得手段は、前記原稿画像を出力する際のレイアウト情報により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
6. 前記出力解像度取得手段は、操作部より指定された上限解像度により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
7. 前記出力解像度取得手段は、前記原稿画像をスキャンした際のスキャン解像度より、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項１に記載された画像処理装置。
8. 原稿画像から１画素未満のずれを有する複数枚数分の画像データを読み取るセンサを有する画像処理装置における画像処理方法であり、
   前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得ステップ、
   前記出力解像度取得ステップの結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、前記第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御ステップ、
   前記画像データ数制御ステップにて制御された枚数分の画像データの傾斜を補正する補正ステップ、
   前記補正ステップで傾きを補正された複数の枚数分の画像データを用いて補間処理を行うことで、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換ステップ、
   を有することを特徴とする画像処理方法。
9. 前記出力解像度取得ステップは、ユーザから指定された解像度により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８に記載された画像処理方法。
10. 前記出力解像度取得ステップは、前記原稿画像の種類に応じて、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８に記載された画像処理方法。
11. 前記出力解像度取得ステップは、前記原稿画像を出力する際の変倍率により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８に記載された画像処理方法。
12. 前記出力解像度取得ステップは、前記原稿画像を出力する際のレイアウト情報により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８記載された画像処理方法。
13. 前記出力解像度取得ステップは、操作部より指定された上限解像度により、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８に記載された画像処理方法。
14. 前記出力解像度取得ステップは、前記原稿画像をスキャンした際のスキャン解像度より、前記原稿画像を出力する際の画像の解像度を決定することを特徴とする請求項８に記載された画像処理方法。
15. 原稿画像の読み取り位置が、複数のセンサのうち第１のセンサと該第１のセンサに隣接する第２のセンサ間で１画素未満ずれるように、前記第１のセンサと前記第２のセンサが配置されたセンサを有し、
    前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得手段、
    前記出力解像度取得手段の結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、前記第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御手段、
    前記画像データ数制御手段によって制御された枚数分の画像データを用いて補間処理を行い、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換手段、
    を有することを特徴とする画像処理装置。
16. 原稿画像の読み取り位置が、複数のセンサのうち第１のセンサと該第１のセンサに隣接する第２のセンサ間で１画素未満ずれるように、前記第１のセンサと前記第２のセンサが配置されたセンサを有した画像処理装置における画像処理方法であり、
    前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得ステップ、
    前記出力解像度取得ステップの結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、前記第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御ステップ、
    前記画像データ数制御ステップによって制御された枚数分の画像データを用いて補間処理を行い、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換ステップ、
    を有することを特徴とする画像処理方法。
17. 原稿画像から１画素未満のずれを有する複数の枚数分の画像データを読み取るセンサを有する画像処理装置における画像処理方法をコンピュータに実行させるプログラムであって、
    前記プログラムは
    前記センサによって読み取られた前記原稿画像を出力する際の画像の解像度を取得する出力解像度取得ステップ、
    前記出力解像度取得ステップの結果により第１の出力解像度が取得された場合は、第１の枚数分の画像データを前記センサによって読み取り、第２の出力解像度が取得された場合は、前記第１の枚数とは異なる第２の枚数分の画像データを前記センサによって読み取る画像データ数制御ステップ、
    前記画像データ数制御ステップにて制御された枚数分の画像データの傾斜を補正する補正ステップ、
    前記補正ステップで傾きを補正された複数枚数分の画像データを用いて補間処理を行うことで、読み取った画像データの解像度よりも高い解像度の画像データを得る高解像度変換ステップ、
    を実行させるためのプログラム。

Images