JP7351124B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、文書セキュリティの目的で、目に見えない不可視情報を原稿に埋め込み、不可視情報を不可視光で読み取ることで原稿の真贋判定を行う撮影技術が知られている。

特許文献１には、赤外波長成分を含むランプで原稿画像を照明し、赤外イメージセンサによって取得した赤外成分で構成される赤外画像と、同時に可視イメージセンサによって取得した赤外成分および可視成分で構成される可視画像とを利用して、赤外成分を含んだ可視画像から赤外成分を除去することで可視波長成分のみ取り出す技術が開示されている。

しかしながら、特許文献１に開示の技術では、赤外成分を含んだ可視画像から赤外成分を取り除く際の演算で、赤外成分を除去した可視画像に含まれるノイズが大きくなり、画像品質が劣化するという問題があった。

本発明は、上記に鑑みてなされたものであって、可視画像に含まれる不可視成分の除去に際して、画像品質の劣化を抑えることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、原稿に対し、可視成分の光と不可視成分の光とを照射する光源と、前記原稿からの反射光を受光し、不可視成分および可視成分を含む可視不可視混合画像と、不可視成分を含む不可視画像と、を検出するイメージセンサと、検出された前記可視不可視混合画像と前記不可視画像とに基づいて、前記可視不可視混合画像から不可視成分を除去した可視画像を生成する不可視成分除去部といった、少なくともスキャナ機能を備え、前記不可視成分除去部は、前記可視不可視混合画像に対し、不可視成分の除去演算処理を行う除去演算部と、前記除去演算部に入力される画像、または出力される画像の少なくても何れか一方にノイズ低減処理を実施するノイズ低減部と、を備えることを特徴とする。

本発明によれば、可視画像に含まれる不可視成分の除去に際して、不可視成分を除去した時に発生するノイズの増加を防ぐことができ、画像品質の劣化を抑えることができる、という効果を奏する。

図１は、第１の実施の形態にかかる画像処理装置の一例の構成を示す図である。 図２は、画像読取部の構造を例示的に示す断面図である。 図３は、画像読取部を構成する各部の電気的接続を示すブロック図である。 図４は、ＮＩＲ成分除去部の構成について示すブロック図である。 図５は、線形フィルタを使ったノイズ低減処理について説明する図である。 図６は、非線形フィルタを使ったノイズ低減処理について説明する図である。 図７は、除去演算前におけるノイズ低減の効果を説明する図である。 図８は、可視成分とＮＩＲ成分の成分比率によるノイズ低減強度の決定を説明する図である。 図９は、第２の実施の形態にかかる画像読取部を構成する各部の電気的接続を示すブロック図である。 図１０は、画像読取部の構成の変形例を示すブロック図である。 図１１は、第３の実施の形態にかかるＮＩＲ成分除去部の構成について示すブロック図である。 図１２は、除去演算前にオフセット量を与えた場合のノイズ低減の効果を説明する図である。 図１３は、ノイズが大きい場合とノイズが小さい場合におけるノイズ低減の効果を説明する図である。 図１４は、第４の実施の形態にかかる画像読取部を構成する各部の電気的接続を示すブロック図である。 図１５は、第５の実施の形態にかかるＮＩＲ成分除去部の構成について示すブロック図である。 図１６は、画像読取部の構成の変形例を示すブロック図である。 図１７は、第６の実施の形態にかかる画像読取部を構成する各部の電気的接続を示すブロック図である。 図１８は、モード設定による動作制御例を示す図である。

以下に添付図面を参照して、画像処理装置、画像処理方法およびプログラムの実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像処理装置１００の一例の構成を示す図である。図１において、画像処理装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する一般に複合機と称される画像形成装置である。

画像処理装置１００は、読取装置あるいは画像読取装置である画像読取部１０１およびＡＤＦ（Automatic Document Feeder）１０２を有し、その下部に画像形成部１０３を有する。画像形成部１０３については、内部の構成を説明するために、外部カバーを外して内部の構成を示している。

ＡＤＦ１０２は、画像を読み取らせる原稿を読取位置に位置づける原稿支持部である。ＡＤＦ１０２は、載置台に載置した原稿を読取位置に自動搬送する。画像読取部１０１は、ＡＤＦ１０２により搬送された原稿を所定の読取位置で読み取る。また、画像読取部１０１は、原稿を載置する原稿支持部であるコンタクトガラスを上面に有し、読取位置であるコンタクトガラス上の原稿を読み取る。具体的に画像読取部１０１は、内部に光源や、光学系や、ＣＣＤ（Charge Coupled Device）等のイメージセンサを有するスキャナであり、光源で照明した原稿の反射光を光学系を通じてイメージセンサで読み取る。

画像形成部１０３は、画像読取部１０１で読み取った原稿画像を印刷する。画像形成部１０３は、記録紙を手差しする手差ローラ１０４や、記録紙を供給する記録紙供給ユニット１０７を有する。記録紙供給ユニット１０７は、多段の記録紙給紙カセット１０７ａから記録紙を繰り出す機構を有する。供給された記録紙は、レジストローラ１０８を介して二次転写ベルト１１２に送られる。

二次転写ベルト１１２上を搬送する記録紙は、転写部１１４において中間転写ベルト１１３上のトナー画像が転写される。

また、画像形成部１０３は、光書込装置１０９や、タンデム方式の作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５や、中間転写ベルト１１３や、上記二次転写ベルト１１２などを有する。作像ユニット１０５による作像プロセスにより、光書込装置１０９が書き込んだ画像を中間転写ベルト１１３上にトナー画像として形成する。

具体的に、作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５は、４つの感光体ドラム（Ｙ、Ｍ、Ｃ、Ｋ）を回転可能に有し、各感光体ドラムの周囲に、帯電ローラ、現像器、一次転写ローラ、クリーナーユニット、及び除電器を含む作像要素１０６をそれぞれ備える。各感光体ドラムにおいて作像要素１０６が機能し、感光体ドラム上の画像が各一次転写ローラにより中間転写ベルト１１３上に転写される。

中間転写ベルト１１３は、各感光体ドラムと各一次転写ローラとの間のニップに、駆動ローラと従動ローラとにより張架して配置されている。中間転写ベルト１１３に一次転写されたトナー画像は、中間転写ベルト１１３の走行により、二次転写装置で二次転写ベルト１１２上の記録紙に二次転写される。その記録紙は、二次転写ベルト１１２の走行により、定着装置１１０に搬送され、記録紙上にトナー画像がカラー画像として定着する。その後、記録紙は、機外の排紙トレイへと排出される。なお、両面印刷の場合は、反転機構１１１により記録紙の表裏が反転されて、反転された記録紙が二次転写ベルト１１２上へと送られる。

なお、画像形成部１０３は、上述したような電子写真方式によって画像を形成するものに限るものではなく、インクジェット方式によって画像を形成するものであってもよい。

次に、画像読取部１０１について説明する。

図２は、画像読取部１０１の構造を例示的に示す断面図である。図２に示すように、画像読取部１０１は、本体１１内に、撮像素子であるイメージセンサ９を備えたセンサ基板１０、レンズユニット８、第１キャリッジ６及び第２キャリッジ７を有する。イメージセンサ９は、例えばＣＣＤやＣＭＯＳイメージセンサなどである。第１キャリッジ６は、ＬＥＤ（Light Emitting Diode）である光源２及びミラー３を有する。第２キャリッジ７は、ミラー４,５を有する。また、画像読取部１０１は、上面にコンタクトガラス１及び基準白板１３を設けている。

画像読取部１０１は、読取動作において、第１キャリッジ６及び第２キャリッジ７を待機位置（ホームポジション）から副走査方向（Ａ方向）に移動させながら光源２から光を上方に向けて照射する。そして、第１キャリッジ６及び第２キャリッジ７は、原稿１２からの反射光を、レンズユニット８を介してイメージセンサ９上に結像させる。

また、画像読取部１０１は、電源ＯＮ時などには、基準白板１３からの反射光を読取って基準を設定する。即ち、画像読取部１０１は、第１キャリッジ６を基準白板１３の直下に移動させ、光源２を点灯させて基準白板１３からの反射光をイメージセンサ９の上に結像させることによりゲイン調整を行う。

図３は、画像読取部１０１を構成する各部の電気的接続を示すブロック図である。図３に示すように、画像読取部１０１は、読取部２１と、画像処理部２２と、制御部２３と、光源駆動部２４と、を備えている。

読取部２１は、可視成分と不可視成分である近赤外（ＮＩＲ）成分を含む光源２と、イメージセンサ９と、を備える。読取部２１は、光源２から可視成分と近赤外（ＮＩＲ）成分とを原稿に照射する。

光源駆動部２４は、光源２を駆動する。

イメージセンサ９は、原稿からの反射光に基づいて、可視成分とＮＩＲ成分（不可視成分）を含む可視不可視混合画像（可視ＮＩＲ混合画像）と、ＮＩＲ成分（不可視成分）を含むＮＩＲ画像（不可視画像）とを取得し、後段の画像処理部２２へ出力する。イメージセンサ９は、可視画像の読取りの場合はＲＧＢ信号を、不可視画像の読取りの場合はＮＩＲ信号を出力する。なお、一般のイメージセンサのカラーフィルタはＮＩＲ光透過する特性を持っているため、不可視画像の読取りの場合にはＮＩＲ信号がＲＧＢ各出力に現れることになる（ＮＩＲｒ、ＮＩＲｇ、ＮＩＲｂ）。

なお、本実施形態においては、不可視画像として近赤外（ＮＩＲ）画像を用いる例について説明するが、不可視画像として紫外画像を用いるようにしても良く、不可視画像で使用する波長域は限定しない。

制御部２３は、光源駆動部２４、イメージセンサ９、画像処理部２２の各部を制御する。

画像処理部２２は、黒減算部２２１と、ライン間補正部２２２と、ＮＩＲ成分除去部２２３と、画像補正部であるシェーディング補正部２２４と、を備える。

黒減算部２２１は、イメージセンサ９から出力された可視ＮＩＲ混合画像とＮＩＲ画像とに対し、黒レベルの補正を行う。

ライン間補正部２２２は、イメージセンサ９の物理的なラインずれを補正するライン間補正処理を行う。

ＮＩＲ成分除去部２２３は、詳細は後述するが、不可視成分除去部として機能するものであって、可視ＮＩＲ混合画像（可視不可視混合画像）からＮＩＲ成分（不可視成分）を除去し、ＮＩＲ成分（不可視成分）を含まない可視画像を生成する。

シェーディング補正部２２４は、画像補正部として機能するものであって、ＮＩＲ成分除去された可視画像とＮＩＲ画像に対し、それぞれシェーディング補正を実施する。シェーディング補正は、主走査画素毎に白背景板の読取レベルを保持し、原稿読取データを白背景板の読取レベルで規格化することで、主走査方向の読取レベルの変動を除去する補正を行う。

ここで、ＮＩＲ成分除去部２２３について詳述する。

図４は、ＮＩＲ成分除去部２２３の構成について示すブロック図である。図４に示すように、ＮＩＲ成分除去部２２３は、イメージセンサ９で取得した可視ＮＩＲ混合画像とＮＩＲ画像とを入力する。ＮＩＲ成分除去部２２３は、ノイズ低減部２２５と、除去演算部２２６とを備える。

ノイズ低減部２２５は、入力された可視ＮＩＲ混合画像とＮＩＲ画像とに対し、ノイズ低減処理を行う。

除去演算部２２６は、ノイズ低減された可視ＮＩＲ混合画像とＮＩＲ画像とを利用して、可視ＮＩＲ混合画像からＮＩＲ成分の除去を実施する。

ここで、下記式は、除去演算部２２６における除去演算式の例を示すものである。下記式において、Ｒｉｎ，Ｇｉｎ，Ｂｉｎは、除去演算部２２６へ入力された画像信号を示すものである。
Ｒｏｕｔ＝Ｒｉｎ－ＮＩＲ×Ｋｒ
Ｇｏｕｔ＝Ｇｉｎ－ＮＩＲ×Ｋｇ
Ｂｏｕｔ＝Ｂｉｎ－ＮＩＲ×Ｋｂ

上記に示す画像信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）は、可視成分とＮＩＲ成分が混合した画像となっている。除去演算部２２６は、入力した画像信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対し、ＮＩＲ信号を減算することで可視成分のみの画像を出力する。また、除去演算部２２６は、ＮＩＲ信号に対し、チャンネル毎に異なる係数Ｋｒ，Ｋｇ，Ｋｂを掛けている。これは、イメージセンサ９に設けられたカラーフィルタの特性などに起因するチャンネル毎のＮＩＲ成分の差を補正するためである。

一般的に、それぞれノイズをもった画像の加減算をすると、ノイズは重畳される。つまり、入力の可視ＮＩＲ混合画像が持っているノイズ量σ１とＮＩＲ画像が持っているノイズ量σ２との二乗和平方根が出力となる可視画像のノイズ量σ３となる。
σ３＝√（σ１^２＋σ２^２）

このように演算により出力する可視画像のノイズ量は、赤外カットフィルタなどで光学的に可視成分を限定して取得した可視画像よりもノイズ量が大きくなる。

そこで、本実施形態においては、除去演算部２２６の前段に備えられたノイズ低減部２２５によってＮＩＲ成分除去の前にノイズ低減を実施することによって、σ１とσ２を予め小さくすることで、出力可視画像のノイズ量σ３も小さくすることができる。このように除去演算の前段でノイズ低減処理を実施することで、除去演算部２２６ではノイズ低減された画像に対してＮＩＲ成分除去演算が実施できるので、ノイズ影響を抑えることが可能となり、出力画像の品質を保つことが可能となる。

次に、ノイズ低減部２２５におけるノイズ低減方法について説明する。

まず、ノイズ低減方法として線形フィルタを用いる例について説明する。

図５は、線形フィルタを使ったノイズ低減処理について説明する図である。線形フィルタとは、図５（ａ）に示すような平均化フィルタや図５（ｂ）（ｃ）に示すような平滑化フィルタなどを指す。線形フィルタは、注目画素に対して周辺画素値に重み付けを行い、畳み込み演算を行う。

平滑化フィルタに関しては、係数の設定によってフィルタ強度を様々に変更することができる。ただし、画素位置や画素値によってフィルタ係数は変わらず、全面で同じ重みづけ演算が実施される。平滑化フィルタは、複雑な処理を必要としないため、回路規模が小さなノイズ低減処理を実現できる。

このように、ノイズ低減部２２５は、線形フィルタを使ったフィルタ処理を実施することにより、簡易な処理でノイズ低減を実施し、ざらつきの悪化を防ぐことができる。

次に、ノイズ低減方法として非線形フィルタを用いる例について説明する。

図６は、非線形フィルタを使ったノイズ低減処理について説明する図である。ここでは、イプシロンフィルタを例として説明する。イプシロンフィルタは、下記式で表される。出力ｙ（ｎ）は、入力ｘ（ｎ）に係数ａ_ｋと非線形関数Ｆから求められる値を加算した値となる。

図６に示す非線形関数Ｆは、入力画素値と入力画素から一定距離離れた値の差ｘ（ｎ－ｋ）－ｘ（ｎ）を入力とし、この差の絶対値がイプシロンより大きい場合は０、イプシロンより小さい場合はその差の値を返す関数となる。つまり、イプシロンフィルタは、画素値の差が大きい画素は重み付け演算の対象から外されることで、エッジを劣化させることなく、ノイズ低減を可能とした平滑化フィルタとなっている。

なお、非線形フィルタとしてはイプシロンフィルタに限られるものではなく、バイラテラルフィルタなどの非線形フィルタを用いてノイズ低減を実施しても良い。

このように、ノイズ低減部２２５は、非線形フィルタを使ったフィルタ処理を実施することにより、エッジ保存した状態でノイズ低減処理を実施することで、解像力劣化を抑えながら、ざらつきの悪化を防ぐことができる。

次に、除去演算部２２６の前段におけるノイズ低減の効果について説明する。

ここで、図７は除去演算前におけるノイズ低減の効果を説明する図である。図７は、ある画素値の画像を読み取った読取値の変化を示すものである。

図７（ａ）は、除去演算のみを実施した場合の読取値および除去演算結果を示すものである。図７（ａ）の太線は、可視ＮＩＲ混合読取を想定したものであって、平均読取値２５をとるデータである。また、図７（ａ）の細線は、ＮＩＲ読取を想定したものであって、平均読取値２０をとるデータである。また、図７（ａ）の点線は、可視ＮＩＲ混合画像とＮＩＲ画像で除去演算を実施した結果である。

図７（ａ）に示すように、読取データではノイズ成分を持つために一定の値とはならず、位置によって読取値は変動する。このようにノイズが付加された状態における除去演算結果に示すように、位置によってはゼロ以下の値となってしまう。ビット幅を維持した状態ではゼロ以下はクリップされるため、平均的に見ると本来取るべき画素値より、大きな値となり、色再現が悪化することがわかる。

図７（ｂ）は、除去演算の前段でノイズ低減を実施した場合の読取値および除去演算結果を示すものである。図７（ｂ）に示すように、除去演算の前段でノイズ低減を実施した場合、読取値の変動が減少し、クリップされる画素が減る。そのためマイナス表現のビットを追加することなく、より高精度な色再現でＮＩＲ除去ができる。

ところで、図５（ｂ）（ｃ）で示すような平滑化フィルタ（線形フィルタ）を可視ＮＩＲ混合画像とＮＩＲ画像とで異なる強度で使った場合、あるいは式１で示すような画素毎に処理が切り替わるイプシロンフィルタ（非線形フィルタ）を使った場合、可視ＮＩＲ混合画像に含まれるＮＩＲ成分とＮＩＲ画像に含まれるＮＩＲ成分がそれぞれ変化してしまうため、係数演算による除去演算だけでは可視ＮＩＲ混合画像から適切なＮＩＲ成分の除去はできなくなる。このような場合、前段のノイズ低減部２２５におけるフィルタの特性を吸収するように、除去演算部２２６の処理を複雑に切り替える必要性が発生する。

そこで、本実施形態においては、ノイズ低減部２２５は、ノイズ低減に際して、可視ＮＩＲ混合画像とＮＩＲ画像に対して、同じ強度の線形フィルタを使用することが好ましい。これにより、除去演算部２２６の処理を簡易なものとした場合でも、可視ＮＩＲ混合画像から適切にＮＩＲ成分の除去が可能となる。

このように、可視ＮＩＲ混合画像とＮＩＲ画像に対し、同じ強度の線形フィルタを使用することで、除去演算時に、可視ＮＩＲ混合画像とＮＩＲ画像に含まれる不可視成分の不一致を防ぐことができる。

次に、ノイズ低減部２２５におけるノイズ低減強度の決定について説明する。

図８は、可視成分とＮＩＲ成分の成分比率によるノイズ低減強度の決定を説明する図である。図８においては、可視成分とＮＩＲ成分の混合比率に対する各画像のＳ／Ｎ比変化を示す。灰色実線はＮＩＲ画像のＳ／Ｎ比変化を示し、黒色実線は可視ＮＩＲ混合画像からＮＩＲ画像を使ってＮＩＲ成分を除去した可視画像のＳ／Ｎ比変化を示し、点線は可視画像のＳ／Ｎ比変化を示す。

図８に示すように、ＮＩＲ成分の比率を上げると、ＮＩＲの信号レベルは上昇し、Ｓ／Ｎ比も上昇する。ＮＩＲ成分の比率が上がると、可視成分は小さくなるためＳ／Ｎ比は下がる。さらに、ＮＩＲ成分除去を行うことにより、Ｓ／Ｎ比悪化も含んでいる（可視成分のみ取得した場合のＳ／Ｎ比より減少が大きい）。

したがって、可視画像生成後のＳ／Ｎは可視成分とＮＩＲ成分の混合比率から見積もることができる。このため、混合比率に応じて、ノイズ低減強度を変更することで、簡単に狙いのＳ／Ｎ比に調整することが可能となる。

このように本実施形態によれば、可視画像に含まれる不可視成分の除去に際して、不可視成分を除去した時に発生するノイズの増加を防ぐことができ、画像品質の劣化を抑えることができる。

また、本実施形態によれば、除去演算処理の前段でノイズ低減処理を実施することで、除去演算時の計算誤差を抑えることができる。

（第２の実施の形態）
次に、第２の実施の形態について説明する。

第２の実施の形態は、除去演算部２２６の後段にノイズ低減部２２５を設ける点が、第１の実施の形態と異なる。第１の実施の形態ではノイズ低減を除去演算部２２６の前段で実施する例を示しているが、出力可視画像のノイズ量σ３を小さくするためには、除去演算部２２６からの出力可視画像にノイズ低減を実施する構成でも良い。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

図９は、第２の実施の形態にかかる画像読取部１０１を構成する各部の電気的接続を示すブロック図である。図９に示すように、画像読取部１０１は、読取部２１と、画像処理部２２と、を備えている。

画像処理部２２は、黒減算部２２１と、ライン間補正部２２２と、ＮＩＲ成分除去部２２３と、シェーディング補正部２２４と、を備える。

本実施形態のＮＩＲ成分除去部２２３は、第１の実施の形態で説明したＮＩＲ成分除去部２２３とは異なり、除去演算部２２６の後段に、ノイズ低減部２２５を備える。すなわち、ＮＩＲ成分除去部２２３は、ライン間補正部２２２から出力された可視ＮＩＲ混合画像とＮＩＲ画像を入力として、まず除去演算部２２６において除去演算を行う。そして、ＮＩＲ成分除去部２２３は、除去演算部２２６から出力された可視画像とＮＩＲ画像に対して、ノイズ低減部２２５でノイズ低減処理を実施する。これにより、除去演算でノイズが重畳された可視画像の画像品質を向上させつつ、元々信号レベルの小さいＮＩＲ画像の画像品質を向上させることができる。

また、可視ＮＩＲ混合画像からＮＩＲ成分を精度良く除去するためには、混合画像とＮＩＲ画像それぞれに含まれるＮＩＲ成分の関係性が明確な状態（一致していることが最も良い）である必要がある。

第１の実施の形態で説明したような除去演算の前段でノイズ低減をする場合においては、ノイズ低減方式によってその関係性を崩す恐れがあるが、除去演算の後段でノイズ低減をする場合では、除去演算がされた画像にノイズ低減を実施するため、ノイズ低減方式を選ばずに実施することができる。

また、ノイズ低減方式がＮＩＲ成分除去演算の精度に影響を与えないために、式１で示したような非線形フィルタを積極的に使うことができるため、文字や線の鮮鋭性低下を抑えつつ、ノイズを低減することができ、さらに画質向上を見込める。

このように本実施形態によれば、除去演算部２２６の後段でノイズ低減処理を実施することで、除去演算処理への影響を気にすることなく、様々なノイズ低減手法を適用できる。

また、本実施形態によれば、除去演算部２２６の後段で非線形フィルタを使用することで、除去演算への影響を気にすることなく、解像力維持かつノイズによるざらつき悪化を防ぐことができる。

ここで、図１０は画像読取部１０１の構成の変形例を示すブロック図である。図１０に示すように、ＮＩＲ成分除去部２２３は、除去演算部２２６の後段でのノイズ低減部２２５によるノイズ低減について、可視画像に限定するようにしてもよい。このようにしたのは、ＮＩＲ画像は、除去演算によってノイズが悪化するということはないため、利用シーンに対して十分な品質の場合はノイズ低減処理を実施しなくても良いためである。この構成とすることで、ノイズ低減処理の回路規模を削減することが可能となる。

（第３の実施の形態）
次に、第３の実施の形態について説明する。

第３の実施の形態は、可視ＮＩＲ混合画像に対してオフセット量を与えるオフセット処理を行うオフセット部２２７を備える点が、第１の実施の形態ないし第２の実施の形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態ないし第２の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第２の実施の形態と異なる箇所について説明する。

図１１は、第３の実施の形態にかかるＮＩＲ成分除去部２２３の構成について示すブロック図である。図１１に示すように、ＮＩＲ成分除去部２２３は、イメージセンサ９で取得した可視ＮＩＲ混合画像とＮＩＲ画像とを入力する。

図７で説明したように、読取データはノイズ成分を持っており、ノイズ低減をせずに可視ＮＩＲ混合画像に対してＮＩＲ除去演算を実施すると、ゼロ以下の値がクリップされ、色再現が悪化する可能性がある。

そこで、本実施形態では、ＮＩＲ成分除去部２２３は、ノイズ低減部２２５と除去演算部２２６とに加え、オフセット部２２７と、オフセット除去部２２８とを備える。

オフセット部２２７は、可視ＮＩＲ混合画像に対してオフセット量を与えるようにしている。

オフセット除去部２２８は、除去演算およびノイズ低減を実施後に、オフセット部２２７で与えたオフセット量を除去する。

次に、除去演算部２２６の前段においてオフセット量を与えた場合のノイズ低減の効果について説明する。

ここで、図１２は除去演算前にオフセット量を与えた場合のノイズ低減の効果を説明する図である。図１２は、ある画素値の画像を読み取った読取値の変化を示すものである。

図１２（ａ）は、除去演算のみを実施した場合の読取値および除去演算結果を示すものであって、図５（ａ）で示したものと同じである。可視ＮＩＲ混合画像もＮＩＲ画像もノイズを持ったデータであるので、平均的にはプラス値を持つ画素レベルだが、除去演算後にゼロ以下の値を持つ画素が存在する。ビット幅の拡張をしない限り、これらの画素はゼロにクリップされて扱われる。

図１２（ｂ）は、除去演算前にオフセット量を与えた場合の読取値および除去演算結果を示すものである。図１２（ｂ）に示すように、オフセット部２２７が可視ＮＩＲ混合画像にのみオフセット量を与えて除去演算元となるデータをオフセットすることで、除去演算後の値がゼロ以下となることを防ぐことができる。

図１２（ｃ）は、除去演算後のデータにノイズ低減を実施した後にオフセット量を除去した例を示すものである。図１２（ｃ）に示すように、オフセット部２２７によってオフセット量を与えてから除去演算し、さらにノイズ低減後にオフセット除去部２２８によってオフセット量を除去することで、ゼロ以下の値をとることを防ぐことができる。

このため、除去演算後のノイズ低減について非線形フィルタを使用したノイズ低減部２２５により実施する構成であっても、ゼロでクリップされる画素が減り、マイナス表現のビットを追加することなく、より高精度な色再現でＮＩＲ除去を行うことができる。

次に、オフセット部２２７におけるオフセット量の決め方について説明する。

図１３は、ノイズが大きい場合とノイズが小さい場合におけるノイズ低減の効果を説明する図である。図１３（ａ）は、ノイズが大きい場合を示し、図５（ａ）で示したものと同じである。また、図１３（ｂ）は、ノイズが小さい場合を示す。

図１３に示すように、ノイズが大きい場合とノイズが小さい場合とを比較すると、図１３（ａ）に示す方が、可視ＮＩＲ混合画像、ＮＩＲ画像共に読取値の凸凹が大きい。また、図１３（ａ）ではノイズが大きいため、除去演算後のゼロ以下を取る値やゼロ以下になる位置が多いことがわかる。

したがって、図１３（ａ）では図１３（b）に比べ、可視ＮＩＲ混合読取に与えるオフセット量を大きくとる必要がある。一方で、図１３（ｂ）に示すようなノイズが小さい場合には、オフセット部におけるオフセット量を小さくすることが望ましい。なお、ゼロ以下の値となる可能性がある読取値は、ゼロに近い色となる。

ところで、オフセット量が大きいほど、ゼロに近い読取値の画素におけるゼロクリップの可能性は減るが、逆に読取値の大きい側がオーバーフローしてしまう可能性がある。そこで、本実施形態においては、オフセット部２２７は、画像読取部１０１が持つノイズの大きさに合わせて、オフセット量を適切な値を設定することで、画像読取部１０１に最適な値を設定できる。

このように本実施形態によれば、オフセット処理を行うことで、除去演算部２２６で発生する除去演算時の計算誤差を抑えることができる。また、最適なオフセット量を用いることで、読取値が大きい側のオーバーフローを抑制することができる。

（第４の実施の形態）
次に、第４の実施の形態について説明する。

第４の実施の形態は、画像補正後（例えば、シェーディング補正後）にノイズ低減を実施する点が、第１の実施の形態ないし第３の実施の形態と異なる。以下、第４の実施の形態の説明では、第１の実施の形態ないし第３の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第３の実施の形態と異なる箇所について説明する。

図１４は、第４の実施の形態にかかる画像読取部１０１を構成する各部の電気的接続を示すブロック図である。図１４に示すように、画像読取部１０１は、読取部２１と、画像処理部２２と、を備えている。

画像処理部２２は、黒減算部２２１と、ライン間補正部２２２と、ＮＩＲ成分除去部２２３と、シェーディング補正部２２４と、を備える。なお、本実施形態では、、画像補正としてシェーディング補正を挙げるが、これに限るものではない。

本実施形態のＮＩＲ成分除去部２２３は、第１の実施の形態ないし第３の実施の形態で説明したＮＩＲ成分除去部２２３とは異なり、シェーディング補正部２２４の前段に除去演算部２２６を備え、シェーディング補正部２２４の後段にノイズ低減部２２５を備える。

第１の実施の形態でも述べたが、シェーディング補正は、主走査画素毎に白背景板の読取レベルを保持し、原稿読取データを白背景板の読取レベルで規格化することで、主走査方向の読取レベルの変動を除去する補正である。そのため、各主走査位置において、白背景板の読取レベルと原稿面の読取レベルの関係が崩れると正しい補正ができない。

一方、非線形フィルタを用いたノイズ低減部２２５によるノイズ低減を利用した場合、画像特徴によって処理が変わる（参照する画素が変わる）ので、白背景板と原稿面とで読取レベルの関係が変動する可能性がある。

そこで、その影響を防ぐために、本実施形態においては、除去演算部２２６で除去演算をしたデータに対して、シェーディング補正を実施し、シェーディング補正実施後にノイズ低減部２２５でノイズ低減を行う構成とすることで、シェーディング補正による主走査方向の読取レベルの変動を正しく補正し、読取濃度ムラのない高画質な画像を提供することができる。

このように本実施形態によれば、画像補正後（例えば、シェーディング補正後）にノイズ低減を行うことで、ノイズ低減による主走査方向の画像変化を防ぎ、画像補正（例えば、シェーディング補正）を正しく実施することができる。

（第５の実施の形態）
次に、第５の実施の形態について説明する。

第５の実施の形態は、ノイズ低減部２２５を除去演算部２２６の前後にそれぞれ設けた点が、第１の実施の形態ないし第４の実施の形態と異なる。以下、第５の実施の形態の説明では、第１の実施の形態ないし第４の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第４の実施の形態と異なる箇所について説明する。

図１５は、第５の実施の形態にかかるＮＩＲ成分除去部２２３の構成について示すブロック図である。図１５に示すように、ＮＩＲ成分除去部２２３は、イメージセンサ９で取得した可視ＮＩＲ混合画像とＮＩＲ画像とを入力する。

本実施形態のＮＩＲ成分除去部２２３は、第１ノイズ低減部２２５ａと、除去演算部２２６と、第２ノイズ低減部２２５ｂと、を備える。すなわち、ＮＩＲ成分除去部２２３は、２つのノイズ低減部を除去演算部２２６の前後にそれぞれ設けている。

第１ノイズ低減部２２５ａは、線形フィルタを用いるものであって、入力された可視ＮＩＲ混合画像とＮＩＲ画像に対し、ノイズ低減を実施する。

除去演算部２２６は、第１ノイズ低減部２２５ａからの出力データを用いて、可視ＮＩＲ混合画像からＮＩＲ成分を除く除去演算を行う。

第２ノイズ低減部２２５ｂは、非線形フィルタを用いるものであって、除去演算処理後のデータに対して、さらにノイズ低減処理を実施する。なお、第２ノイズ低減部２２５ｂは、ＮＩＲ画像に対してはノイズ低減処理を実施しても、しなくても良い。

本実施形態のＮＩＲ成分除去部２２３は、第１ノイズ低減部２２５ａで除去演算前に線形フィルタによってある程度ノイズを除去しておくことで、可視ＮＩＲ混合画像のオフセットをしなくても図７や図１２で説明した除去演算時のゼロクリップによる色再現の悪化を抑えることができる。

また、本実施形態のＮＩＲ成分除去部２２３は、除去演算後に第２ノイズ低減部２２５ｂで非線形フィルタを用いたノイズ低減を実施することで、解像度低下を防ぎながら更なるノイズ低減が可能となり、後段に出力する画質を向上することができる。

このように本実施形態によれば、オフセット処理をしなくても、第１ノイズ低減部２２５ａにおけるノイズ低減処理で除去演算時の誤差を抑え、また第２ノイズ低減部２２５ｂにおけるノイズ低減処理で解像力低下を防ぐフィルタを利用することで、ざらつき悪化を抑えることができる。

ここで、図１６は画像読取部１０１の構成の変形例を示すブロック図である。図１６に示すように、ＮＩＲ成分除去部２２３は、シェーディング補正部２２４の後段に第２ノイズ低減部２２５ｂを備えるようにしてもよい。

このようにシェーディング補正実施後に第２ノイズ低減部２２５ｂでノイズ低減を行う構成とすることで、シェーディング補正を適切に実施できる。より詳細には、シェーディング補正による主走査方向の読取レベルの変動を正しく補正し、読取濃度ムラのない高画質な画像を提供することができる。

（第６の実施の形態）
次に、第６の実施の形態について説明する。

第６の実施の形態は、モード設定により、ノイズ低減を切り替える点が、第１の実施の形態ないし第５の実施の形態と異なる。以下、第６の実施の形態の説明では、第１の実施の形態ないし第５の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第５の実施の形態と異なる箇所について説明する。

図１７は、第６の実施の形態にかかる画像読取部１０１を構成する各部の電気的接続を示すブロック図である。図１７に示すように、画像読取部１０１は、読取部２１と、画像処理部２２と、設定受付部２３１と、動作制御部２３２と、を備えている。設定受付部２３１と動作制御部２３２とは、制御部２３に含まれる。

画像処理部２２は、黒減算部２２１と、ライン間補正部２２２と、ＮＩＲ成分除去部２２３と、シェーディング補正部２２４と、を備える。

設定受付部２３１は、操作パネルなどを介してユーザが設定したモード情報を動作制御部２３２に出力する。

動作制御部２３２は、設定受付部２３１で設定したモード情報に従い、読取部２１や画像処理部２２の動作制御を実施する。より詳細には、動作制御部２３２は、設定受付部２３１で設定したモード情報に従い、光源２の点灯制御やＮＩＲ成分除去部２２３のノイズ低減部２２５、除去演算部２２６を制御し、動作を切り替える。

ここで、図１８はモード設定による動作制御例を示す図である。図１８に示すように、例えば単純な原稿（文字原稿や写真原稿）のスキャン動作がユーザにより設定された場合は、可視光源のみ動作させ、原稿（文字原稿や写真原稿）の画像を取得すれば良い。この場合、ＮＩＲ成分除去部２２３は動作させる必要がない。

一方、文字原稿と文字原稿に含まれる不可視潜像のスキャン動作がユーザにより設定された場合は、可視光源とＮＩＲ光源を同時に動作させ、両画像を取得する。この場合、ＮＩＲ成分の除去が必要となるため、除去演算をＯＮとし、さらに除去演算でのノイズ悪化が原因の画質劣化を抑えるためにノイズ低減もＯＮとする。

ここでノイズ低減強度を上げると解像度が低下する副作用もある。文字原稿の場合はノイズが原因のざらつきによる画質劣化よりも、解像力が求められるので、ノイズ低減は実施するが、強度を抑えた設定とするのが望ましい。

また、写真原稿と写真原稿に含まれる不可視潜像のスキャン動作がユーザにより設定された場合は、可視光源とＮＩＲ光源を同時に動作させ、両画像を取得する。この場合、ＮＩＲ成分の除去が必要となるため、除去演算をＯＮとし、さらに除去演算でのノイズ悪化が原因の画質劣化を抑えるためにノイズ低減もＯＮとする。

写真原稿では解像力よりもざらつきによる画質劣化を抑える必要があるので、ノイズ低減強度をある程度強くするのが望ましい。

さらに、蛍光体など特殊な対象物によっては、可視から励起された赤外成分や、可視光源に微量に含まれる赤外成分が画質に影響する可能性がある。この場合、赤外成分を除去したいので可視光源のみ点灯させるが、除去演算はＯＮ、ノイズ低減もＯＮとする。

このように本実施形態によれば、ユーザが設定した設定に応じて、制御を切り替えることで、その原稿に最適な処理を実施できるため、ユーザが求める画質で出力することができる。

なお、制御方法は図１８に示した組み合わせ以外の組み合わせも考えられる。例えば、従来技術のような可視光源とはいえ、ＮＩＲ成分が含まれる光源を利用する場合は、可視光源のみの点灯でも、ＮＩＲ成分除去をＯＮすることで画質向上することもできる。

なお、上記実施の形態では、本発明の画像形成装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。

２ 光源
９ イメージセンサ
１００ 画像処理装置
２２３ 不可視成分除去部
２２４ 画像補正部
２２５ ノイズ低減部
２２５ａ 第１ノイズ低減部
２２５ｂ 第２ノイズ低減部
２２６ 除去演算部
２２７ オフセット部
２２８ オフセット除去部
２３１ 設定受付部
２３２ 動作制御部

特開２００７－４３４２７号公報

Claims (17)

1. 原稿に対し、可視成分の光と不可視成分の光とを照射する光源と、
   前記原稿からの反射光を受光し、不可視成分および可視成分を含む可視不可視混合画像と、不可視成分を含む不可視画像と、を検出するイメージセンサと、
   検出された前記可視不可視混合画像と前記不可視画像とに基づいて、前記可視不可視混合画像から不可視成分を除去した可視画像を生成する不可視成分除去部といった、
   少なくともスキャナ機能を備え、
   前記不可視成分除去部は、
   前記可視不可視混合画像に対し、不可視成分の除去演算処理を行う除去演算部と、
   前記除去演算部に入力される画像、または出力される画像の少なくても何れか一方にノイズ低減処理を実施するノイズ低減部と、
   を備えることを特徴とする画像処理装置。
2. 前記ノイズ低減部は、線形フィルタを使ったフィルタ処理を実施する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ低減部は、非線形フィルタを使ったフィルタ処理を実施する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記ノイズ低減部は、前記除去演算部の前段に備えられる、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記ノイズ低減部は、前記除去演算部の前段に備えられ、前記可視不可視混合画像と前記不可視画像とに対し、同じ強度の線形フィルタを使用する、
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記ノイズ低減部は、前記除去演算部の後段に備えられる、
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記ノイズ低減部は、前記除去演算部の後段に備えられ、除去演算処理された可視画像のみにノイズ低減処理を実施する、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記不可視成分除去部は、
   前記可視不可視混合画像に対し、オフセット量を与えるオフセット処理を行うオフセット部と、
   前記不可視画像と前記オフセット部によりオフセット処理された前記可視不可視混合画像とを用いた除去演算処理およびノイズ低減処理を実施後に、ノイズ低減した前記可視画像に対して、前記オフセット部で与えたオフセット量を除去するオフセット除去部と、
   を備えることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記オフセット部は、読取部で取得した読取データのノイズの大きさに合わせて、オフセット量を決定する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 不可視成分を除去した可視画像と前記不可視画像に対し、それぞれ画像補正処理を実施する画像補正部を備え、
    前記ノイズ低減部は、前記除去演算部の後段、かつ、前記画像補正部の後段に備えられる、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記ノイズ低減部は、
    前記除去演算部の前段に設けられ、前記可視不可視混合画像と前記不可視画像に対し、ノイズ低減処理を実施する第１ノイズ低減部と、
    前記除去演算部の後段に設けられ、除去演算処理後のデータに対してノイズ低減処理を実施する第２ノイズ低減部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
12. 前記第１ノイズ低減部は、線形フィルタを使ったフィルタ処理を実施し、
    前記第２ノイズ低減部は、非線形フィルタを使ったフィルタ処理を実施する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 不可視成分を除去した可視画像と前記不可視画像に対し、それぞれ画像補正処理を実施する画像補正部を備え、
    前記第２ノイズ低減部は、前記画像補正部の後段に備えられる、
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記ノイズ低減部は、可視成分と不可視成分の混合比率に応じてノイズ低減強度を決定する、
    ことを特徴とする請求項１ないし１３の何れか一項に記載の画像処理装置。
15. モード情報の設定を受け付ける設定受付部と、
    前記設定受付部で設定したモード情報に従い処理動作を制御する動作制御部と、
    を備え、
    動作制御部は、前記モード情報に従い、前記光源あるいは前記不可視成分除去部を制御する、
    ことを特徴とする請求項１ないし１４の何れか一項に記載の画像処理装置。
16. 原稿に対し、可視成分の光と不可視成分の光とを照射する光源と、前記原稿からの反射光を受光し、不可視成分および可視成分を含む可視不可視混合画像と不可視成分を含む不可視画像とを検出するイメージセンサといった、少なくともスキャナ機能を備える画像処理装置における画像処理方法であって、
    検出された前記可視不可視混合画像と前記不可視画像とに基づいて、前記可視不可視混合画像から不可視成分を除去した可視画像を生成する不可視成分除去工程を含み、
    前記不可視成分除去工程は、
    前記可視不可視混合画像に対し、不可視成分の除去演算処理を行う除去演算工程と、
    前記除去演算工程において入力される画像、または前記除去演算工程において出力される画像の少なくても何れか一方にノイズ低減処理を実施するノイズ低減工程と、
    を含むことを特徴とする画像処理方法。
17. 原稿に対し、可視成分の光と不可視成分の光とを照射する光源と、前記原稿からの反射光を受光し、不可視成分および可視成分を含む可視不可視混合画像と不可視成分を含む不可視画像とを検出するイメージセンサといった、少なくともスキャナ機能を備える画像処理装置を制御するコンピュータを、
    検出された前記可視不可視混合画像と前記不可視画像とに基づいて、前記可視不可視混合画像から不可視成分を除去した可視画像を生成する不可視成分除去部として機能させるプログラムであって、当該プログラムは、
    前記不可視成分除去部を、
    前記可視不可視混合画像に対し、不可視成分の除去演算処理を行う除去演算部と、
    前記除去演算部に入力される画像、または出力される画像の少なくても何れか一方にノイズ低減処理を実施するノイズ低減部と、
    として機能させる、
    ことを特徴とするプログラム。

Images