JP3825932B2

JP3825932B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP3825932B2
Application number: JP04186099A
Authority: JP
Inventors: 輝夫稗田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-02-19
Filing date: 1999-02-19
Publication date: 2006-09-27
Anticipated expiration: 2019-02-19
Also published as: US6999116B1; JP2000244939A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置等から入力される画像信号を処理する画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
近年のディジタル信号処理技術の進歩は、映像分野に大きな発展をもたらしている。ディジタルカメラ等の撮像装置においても、信号処理回路がディジタル回路化されて、従来のアナログ回路で構成されていた装置と比較し、信号劣化や経年変化の無い装置の実現が可能になってきた。
【０００３】
また一方、信号処理をディジタル回路によるハードウェアではなく、ＣＰＵによるソフトウエアにより処理する方式も提案されている。この方式では、ＲＯＭに内蔵されたプログラムにより、信号処理の内容が決められるため、入力画像の状態に応じて処理内容を選択するという適応的な処理が可能になる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ディジタル回路で信号処理する方式では、適応的な処理を行うためには、全ての選択肢に対応するハードウェアを準備しなければならず、回路規模が非常に増大してしまうという問題があった。
また、上記ソフトウエアで処理する方式は、ハードウエアで処理する方式より処理速度が遅く、通常の動画信号（例えば水平７２０ｘ垂直２４０秒間６０フィールド）を実時間で処理することはできなかった。
また、上記二つの方式とも、特に、高輝度な被写体による撮像素子の飽和による画像劣化を軽減する場合に上記の問題が生じていた。
【０００５】
本発明は、上記の問題を解決するために成されたもので、簡単な回路構成で、高画質な画像処理を行えるようにすることを目的としている。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明による画像処理装置においては、入力される画像信号の所定値を越える高輝度部分を検出する検出手段と、上記検出手段の検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生手段と、上記画像信号から色信号を分離する分離手段と、画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生手段より発生させた上記２次元パターンの波形を有する制御信号により水平方向及び垂直方向に抑圧する抑圧手段とを有し、上記抑圧手段は、上記所定値を越える高輝度部分が複数存在する場合に、上記高輝度部分における抑圧度の大きい方を優先して抑圧するように構成されている。
【０００７】
また、本発明による画像処理方法においては、入力される画像信号の所定値を越える高輝度部分を検出する検出手順と、上記検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生手順と、上記画像信号から色信号を分離する分離手順と、画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生手順において発生された上記制御信号により水平方向及び垂直方向に抑圧する抑圧手順とを有し、上記抑圧手順において、複数の高輝度部分がある場合に、上記高輝度部分における抑圧度の大きい方を優先して抑圧する。
【０００８】
また、本発明による記憶媒体においては、入力される画像信号の所定値を越える高輝度部分を検出する検出処理と、上記検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生処理と、上記画像信号から色信号を分離する分離処理と、画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生処理において発生された上記制御信号により水平方向及び垂直方向に抑圧し、かつ複数の高輝度部分がある場合には上記高輝度部分における抑圧度の大きい方を優先して抑圧する抑圧処理とをコンピュータに実行させるためのプログラムを記憶している。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は本発明の実施の形態による画像処理装置を含む撮像装置を示すブロック図である。
図１において、１は撮像レンズ、２はカラー撮像素子であるＣＣＤ、３はＣＣＤ２の出力信号を連続化するサンプルホールド部、４はＡ／Ｄ変換器、５はディジタル画像信号から輝度信号Ｙ及び色信号Ｒ、Ｇ、Ｂを分離する色分離部、６は輝度信号Ｙに、ガンマ補正、黒レベルクリップ、白レベルクリップ、輪郭強調等のプロセス処理を行うＹプロセス部、７は入力輝度信号を１フィールド期間遅延させるフィールドメモリ、８は輝度信号Ｙの出力端子である。
【００１０】
９は色信号Ｒ、Ｇ、Ｂにホワイトバランス、ガンマ補正、黒レベルクリップ、白レベルクリップ等のプロセス処理を行うＲＧＢプロセス部、１０はＲＧＢ信号をマトリクス処理して色差信号を生成し、多重化する色差マトリクス部、１１は多重化された色差信号を１フィールド期間遅延させるフィールドメモリ、１２は後述の抑圧信号Ｓｓに応じて多重化された色差信号を抑圧する抑圧部、１３は多重化された色差信号Ｃの出力端子である。
【００１１】
１４はディジタル画像信号の飽和を検出する飽和検出部、１５は先入れ先出し方式のＦＩＦＯメモリ、１６は制御信号を発生する制御信号発生部、１７は制御信号を保持するメモリ、１８はメモリ１７から制御信号を読み出し、抑圧信号Ｓｓを生成して出力する抑圧信号生成部である。
【００１２】
次に、上記構成による動作を説明する。
不図示の被写体像は、撮像レンズ１によりＣＣＤ２の光電変換面に結像される。この像は光電変換されて撮像電荷となり、この電荷はＣＣＤ２内で、不図示の駆動パルス発生回路から発生される駆動パルスにより順次転送され、ＣＣＤ２の出力部で電荷電圧変換され撮像信号として出力される。この撮像信号はサンプルホールド部３により連続化され、Ａ／Ｄ変換器４でディジタル画像信号に変換される。
【００１３】
上記ディジタル画像信号は、まず、色分離部５により輝度信号Ｙ、色信号Ｒ、Ｇ、Ｂに変換される。このうち、輝度信号Ｙは、Ｙプロセス部６において、ガンマ補正、黒レベルクリップ、白レベルクリップ、輪郭強調等のプロセス処理を受けてから、フィールドメモリ７により１フィールド期間遅延され、Ｙ出力端子８より、後述するＣ信号と共にテレビモニタ、ＶＴＲ等に出力される。
【００１４】
また、色分離部５の出力のうち色信号Ｒ、Ｇ、Ｂは、ＲＧＢプロセス部９において、ホワイトバランス、ガンマ補正、黒レベルクリップ、白レベルクリップ等のプロセス処理を受けてから、色差マトリクス部１０において、色差信号Ｒ−Ｙ、Ｂ−Ｙに変換された後、点順次化による多重化がなされ、多重化された色差信号になる。この多重化された色差信号は、フィールドメモリ１１により１フィールド期間遅延され、抑圧部１２において後述する抑圧信号Ｓｓに応じて抑圧され、その出力はＣ出力端子１３より出力される。
【００１５】
Ａ／Ｄ変換器４の出力は、また、飽和検出部１４により所定の閾値を越えた部分を検出する等の方法により飽和部分が検出される。検出された飽和部分を示す信号は、ＦＩＦＯメモリ１５に一時保持される。ＦＩＦＯメモリ１５に保持された上記飽和部分を示す信号は、制御信号発生部１６において色信号を抑圧するための制御信号に変換され、メモリ１７に書き込まれる。メモリ１７に書き込まれた制御信号は、抑圧信号生成部１８により読み出され、抑圧信号Ｓｓとして抑圧部１２の制御信号として出力され、この制御信号により、上述のように色信号を抑圧する。
【００１６】
図２は本実施の形態を原理的に説明するための図である。
同図（ａ）は、高輝度被写体による画像劣化を示している。図中、高輝度部と示されている部分は、例えば、太陽光が鏡面反射で撮像レンズ１に入射しているような被写体である。この高輝度部は、ＣＣＤ２において飽和レベルを越える電荷を発生させるため、出力信号中の色キャリア信号が無くなり、高輝度偽色と呼ばれる画像劣化の現象が発生する原因となる。このため、色信号を抑圧する必要がある。
【００１７】
また、この高輝度部の周辺部の画像劣化領域と示されている部分においては、撮像レンズ１の収差のうち、軸上色収差と呼ばれる光の波長により焦点距離が変化してしまう収差や、フレア、ゴースト等の光学的な劣化や、ＣＣＤ２上で生じた電荷が周辺部にあふれてしまうブルーミングと呼ばれる現象等が発生し、このため不要な色付きが発生して、画像が劣化してしまう。
【００１８】
同図（ｂ）は、画像劣化部分に対する色信号の抑圧特性を示す。上述したように、高輝度部及び高輝度部の周辺に不要な色付きが生じるため、色信号を抑圧する必要があるが、
（１）不要な色は高輝度部を中心として、中心から離れるほど減少する。
（２）抑圧を行う部分と、その周囲との間で不連続な特性があると、疑似輪郭が発生し、著しく画質が劣化する。
という特性がある。
【００１９】
このため、高輝度部においては色ゲインを０として、周辺に離れるに従って、抑圧を少なくし、所定の距離以上離れた所では抑圧をしないような抑圧特性にする必要がある。同図（ｂ）は、この特性を示している。
【００２０】
図３は図１の要部である１４〜１８の各部の詳細な構成を示すブロック図である。
図３の飽和検出部１４において、１０１は所定の閾値を保持するレジスタ、１０２はコンパレータである。また、制御信号発生部１６において、１０３はパターン制御部、１０４はＦＩＦＯ１５から読み出したデータを保持する読み出しレジスタ、１０５はメモリ１７の書き込みアドレスを発生するアドレス発生部、１０６、１０７は加算器、１０８は所定のパターンを発生するパターン発生部である。また、抑圧信号生成部１８において、１０９はメモリ１７の読み出しアドレスを発生する読み出しアドレス発生部、１１０はレベル変換部である。
【００２１】
次に、上記構成による動作を説明する。
入力された、Ａ／Ｄ変換器４の出力であるディジタル画像信号ＳＡＤは、まずコンパレータ１０２において、レジスタ１０１からの所定の閾値と比較される。飽和した部分に対応する比較出力Ｓｗは、ＦＩＦＯメモリ１５に、不図示のタイミング発生器から発生される水平方向の走査位置ＰＨ、垂直方向の走査位置ＰＶとして記憶される。
【００２２】
上述のようにして、ＦＩＦＯメモリ１５に飽和した部分に対応する走査位置が記憶されると、まず、ＦＩＦＯメモリ１５に情報が記憶されているかどうかを表すＦＩＦＯ空き信号ＳＦＥが、パターン制御部１０３により読み出される。この信号ＳＦＥが空きの状態を表している時は何も動作しない。
【００２３】
信号ＳＦＥが空きでない状態を表すと、パターン制御部１０３は、まず読み出しレジスタ１０４を制御して、ＦＩＦＯメモリ１５に記憶されている飽和した部分に対応する走査位置を表すデータＳＲＤを読み出し、読み出しレジスタ１０４内に取り込む。
【００２４】
次に、パターン制御１０３部は、アドレス発生部１０５に対して、所定の順番の一連の水平及び垂直のアドレスＡＨＳ、ＡＶＳを発生するように制御を行う。ここで発生された水平及び垂直のアドレスＡＨＳ、ＡＶＳは、読み出しレジスタ１０４に保持されている水平、垂直位置と加算器１０６、１０７で加算されることにより、上記飽和した部分を中心としたアドレスに変換される。これらの変換出力は、メモリ１７に水平及び垂直アドレスＡＨ、ＡＶとして入力される。
【００２５】
さらに、パターン制御部１０３は、パターン発生部１０８に、上述のアドレス発生部１０５が発生するアドレスＡＨＳ、ＡＶＳに対応した、所定の２次元波形を発生するように制御する。この時、まずメモリ１７上の水平及び垂直アドレスにおける値ＤＲを読み出し、その読み出した値と上述のように発生した波形の値とを比較して、例えば、より大きい値をメモリ１７の書き込みデータＤＷとして、上記水平及び垂直アドレスＡＨＳ、ＡＶＳに指定された箇所に書き込む。
【００２６】
上記の動作により、複数の飽和部分がある場合に、抑圧度の大きい方を優先した抑圧信号を生成することができる。
パターン制御部１０３は、上述の一連のアドレス及び２次元波形を発生し終わると、再度ＦＩＦＯ空き信号ＳＦＥを読み出し、空きの状態になるまで上記の動作を繰り返す。
【００２７】
このようにしてメモリ１７に書き込まれた２次元波形は、次に、読み出しアドレス発生部１０９により、不図示の同期信号発生部から発生される同期信号ＨＤ及びＶＤに応じて、メモリ１７の読み出しアドレスが発生され、この読み出しアドレスによりテレビジョンの走査に従って読み出される。この読み出されたデータは、レベル変換部１１０により、抑圧信号に適したレベルに変換され、抑圧信号Ｓｓとして抑圧部１２に加えられ、前述のようにＣＣＤの飽和部分及びその周囲の色信号を抑圧する。
【００２８】
図４はパターン制御部１０３をマイクロコンピュータで構成した場合の処理を示すフローチャートである。
図４において、Ｓ２０１でスタートし、Ｓ２０２で、ＦＩＦＯメモリ１５に情報が記憶されているかどうかを示すＦＩＦＯ空き信号ＳＦＥを読み込む。Ｓ２０３で、この信号ＳＦＥがＦＩＦＯが空きの状態を示しているかどうかを判断し、空きの状態であれば、Ｓ２０２へ戻る。
【００２９】
ＦＩＦＯが空きでない状態の時は、Ｓ２０４へ進み、読み出しレジスタ１０４にＦＩＦＯメモリ１５に記憶されている走査位置を表すデータＳＲＤを読み出す。次に、Ｓ２０５において、アドレス発生部１０５に所定の順番の一連の水平及び垂直のアドレスを発生するように制御を行う。次に、Ｓ２０６において、パターン発生部１０８に、アドレス発生部１０５が発生するアドレスに対応した、所定の２次元波形を発生するように制御する。次に、Ｓ２０７において、アドレス発生部１０５におけるアドレス発生が終了したかどうかを判断し、終了していなければ再度Ｓ２０７に戻る。また、終了した場合は、Ｓ２０２に戻り、以上の制御を繰り返す。
【００３０】
次に、本発明による記憶媒体について説明する。
上記図１、図３に示す実施の形態は、ハードウェアで構成することもできるが、ＣＰＵとメモリを有するコンピュータシステムで構成することもできる。コンピュータシステムで構成する場合、上記メモリは本発明による記憶媒体を構成する。この記憶媒体媒体には、前述した図４のフローチャートによる処理及び実施の形態で説明した動作を実行するためのプログラムが記憶される。
【００３１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気記憶媒体等を用いてよく、これらをＣＤ−ＲＯＭ、ＦＤ、磁気カード、磁気テープ、不揮発性メモリカード等に構成して用いてよい。
【００３２】
従って、この記憶媒体を上記図１、図４によるシステム以外の他のシステムあるいは装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００３３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、画像信号における高輝度部分の色付きを画像信号上にて２次元的に抑圧するとともに、抑圧する高輝度部分とその周囲に生じる不連続な特性による色付きや疑似輪郭等の画像劣化を低減し、さらに、複数の高輝度部分がある場合に、その高輝度部分における抑圧度の大きい方を優先して抑圧するため、画面内にレベルが異なる複数の高輝度部分があっても抑圧が不十分になることがなく、適切な抑圧を行うことができる。
【００３５】
また、本発明の他の態様によれば、上記の効果を得るために、一度メモリに飽和部分の情報を記憶させるため、制御信号の発生は、必ずしも実時間で処理を行う必要が無くなり、処理能力の低い回路で実現できるため、低コストで最善の特性を得ることができる。
【００３６】
また、本発明のその他の態様によれば、撮像素子に入射した撮像素子の飽和以上の強度の光による部分の画像劣化を低減することができる。
【００３７】
また、本発明のその他の態様によれば、連続的な滑らかな抑圧を行うことができ、画像信号の不要な色付きや疑似輪郭等を無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置を含む撮像装置を示すブロック図である。
【図２】本発明を原理的に説明するための構成図である。
【図３】図１の要部の構成を示すブロック図である。
【図４】図１のパターン制御部の処理を示すフローチャートである。
【符号の説明】
２ＣＣＤ
３サンプルホールド部
４Ａ／Ｄ変換器
５色分離部
９ＲＧＢプロセス部
１０色差マトリクス部
１１フィールドメモリ
１２抑圧部
１４飽和検出部
１５ＦＩＦＯメモリ
１６制御信号発生部
１７メモリ
１８抑圧信号生成部
Ｓｓ抑圧信号

Claims

入力される画像信号の所定値を越える高輝度部分を検出する検出手段と、
上記検出手段の検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生手段と、
上記画像信号から色信号を分離する分離手段と、
画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生手段より発生させた上記２次元パターンの波形を有する制御信号により水平方向及び垂直方向に抑圧する抑圧手段とを有し、
上記抑圧手段は、上記所定値を越える高輝度部分が複数存在する場合に、上記高輝度部分における抑圧度の大きい方を優先して抑圧するように構成されていることを特徴とする画像処理装置。
上記検出手段の出力を記憶する第１の記憶手段を設け、上記発生手段は、上記第１の記憶手段の出力に応じて上記制御信号を発生すると共に、この制御信号を記憶する第２の記憶手段を設け、上記抑圧手段は、上記第２の記憶手段から読み出した制御信号を用いて上記色信号を抑圧することを特徴とする請求項１記載の画像処理装置。
上記画像信号は撮像手段で撮像した信号であり、上記検出手段は、上記撮像手段の飽和した部分を上記高輝度部分として検出することを特徴とする請求項１記載の画像処理装置。
上記制御信号は、画像上の上記高輝度部分において上記色信号のゲインを０とし、上記高輝度部分から周辺に離れるに従って抑圧を少なくし、所定の距離以上離れた所では抑圧しないような抑圧特性が得られる波形を有することを特徴とする請求項１記載の画像処理装置。
入力される画像信号の所定値を越える高輝度部分を検出する検出手順と、
上記検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生手順と、
上記画像信号から色信号を分離する分離手順と、
画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生手順において発生された上記制御信号により水平方向及び垂直方向に抑圧する抑圧手順とを有し、
上記抑圧手順において、複数の高輝度部分がある場合に、上記高輝度部分における抑圧度の大きい方を優先して抑圧することを特徴とする画像処理方法。
上記検出された上記高輝度部分を記憶する手順を設け、上記発生手順は、上記記憶された高輝度部分に応じて上記制御信号を発生すると共に、この制御信号を記憶する手順を設け、上記抑圧手順は、上記記憶された制御信号を読み出して上記色信号を抑圧することを特徴とする請求項５記載の画像処理方法。
上記画像信号は撮像手段で撮像した信号であり、上記検出手順は、上記撮像手段の飽和した部分を上記高輝度部分として検出することを特徴とする請求項５記載の画像処理方法。
上記制御信号は、画像上の上記高輝度部分において上記色信号のゲインを０とし、上記高輝度部分から周辺に離れるに従って抑圧を少なくし、所定の距離以上離れた所では抑圧しないような抑圧特性が得られる波形を有することを特徴とする請求項５記載の画像処理方法。
入力される画像信号の所定値を越える高輝度部分を検出する検出処理と、
上記検出に応じて上記画像信号の水平方向及び垂直方向に上記高輝度部分から周囲に離れるに従って抑圧が少なくなるような所定の２次元パターンの波形を有する制御信号を発生する発生処理と、
上記画像信号から色信号を分離する分離処理と、
画像上の上記高輝度部分を含む所定の２次元領域において、上記分離した色信号を上記発生処理において発生された上記制御信号により水平方向及び垂直方向に抑圧し、かつ複数の高輝度部分がある場合には上記高輝度部分における抑圧度の大きい方を優先して抑圧する抑圧処理とをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
上記検出された上記高輝度部分を記憶する処理をコンピュータに実行させるためのプログラムを記憶し、上記発生処理は、上記記憶された高輝度部分に応じて上記制御信号を発生すると共に、この制御信号を記憶する処理をコンピュータに実行させるためのプログラムを記憶し、上記抑圧処理は、上記記憶された制御信号を読み出して上記色信号を抑圧することを特徴とする請求項９記載のコンピュータ読み取り可能な記憶媒体。
上記画像信号は撮像手段で撮像した信号であり、上記検出処理は、上記撮像手段の飽和した部分を上記高輝度部分として検出することを特徴とする請求項９記載のコンピュータ読み取り可能な記憶媒体。
上記制御信号は、画像上の上記高輝度部分において上記色信号のゲインを０とし、上記高輝度部分から周辺に離れるに従って抑圧を少なくし、所定の距離以上離れた所では抑圧しないような抑圧特性が得られる波形を有することを特徴とする請求項９記載のコンピュータ読み取り可能な記憶媒体。