JP7311994B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7311994B2 JP7311994B2 JP2019061356A JP2019061356A JP7311994B2 JP 7311994 B2 JP7311994 B2 JP 7311994B2 JP 2019061356 A JP2019061356 A JP 2019061356A JP 2019061356 A JP2019061356 A JP 2019061356A JP 7311994 B2 JP7311994 B2 JP 7311994B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- color
- color difference
- captured image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
図1は、画像処理装置を含む撮像装置100の構成を示すブロック図である。図1において、レンズ10から入射した光は、CCDやCMOSセンサに代表される撮像素子20の受光面上に結像する。撮像素子20は、結像した光を光電変換により画像信号に変換して出力する。画像処理部30は、撮像素子20から出力された画像信号に対して、色変換、AE処理、ホワイトバランス補正(WB補正)、階調変換を行うγ処理などの、各種画像処理を行う。システム制御部40は、制御プログラムが格納されたROMとワークメモリとして使用されるRAMとを含み、制御プログラムを実行することにより撮像装置100全体を制御する。
ΔCrCb=√(Cr2+Cb2) ・・・(1)
ここで、Cr及びCbは、S14においてノイズ輝度・色差推定部35により算出された推定ノイズ色差値(ノイズの色差成分)である。ノイズの色差成分の大きさΔCrCbを求めることで、ノイズに起因する色づきの度合いを判定することができる。
第2の実施形態では、色抑圧処理を適用する色差範囲を決定し、撮像画像のうち決定された色差範囲内の色差を持つ画素に対して色抑圧処理を適用する構成について説明する。本実施形態において、撮像装置100の基本的な構成は第1の実施形態と同様である(図1参照)。以下、主に第1の実施形態と異なる点について説明する。
第1の実施形態では、全色共通のゲインと色毎に決定されるWBゲインとに基づいて、撮像画像に含まれるノイズの輝度成分及び色差成分を推定する構成について説明した。しかしながら、ノイズの輝度成分及び色差成分を推定する方法は、第1の実施形態で説明した方法に限定されない。第3の実施形態では、撮像画像の遮光領域に対応する領域の画素値、又はユーザ指示に従って選択された撮像画像の部分領域の画素値に基づいて、ノイズの輝度成分及び色差成分を推定する構成について説明する。
上記実施形態で用いられる撮像装置として、いわゆる一般的なデジタルスチルカメラやデジタルビデオカメラの他、監視カメラや産業・工場用カメラ、医療用カメラを用いることも可能である。これらのカメラはその用途によっては低照度下での撮像が必須となる場合があり、その場合に本発明は有用となる。さらに本発明は画像処理装置を含む撮像装置を例に説明したが、撮像装置を例えば有線または無線ネットワーク越しに制御する画像処理装置にも適用可能である。この場合、画像処理装置は各種ゲインの値を撮像装置から受信し、ノイズレベルの推定および色抑圧レベルの決定を行い、色抑圧レベルを撮像装置に送信してもよい。
Claims (10)
- ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、
前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、
前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、
を備え、
前記撮像画像は、撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
前記推定手段は、前記ゲイン及び前記ホワイトバランスゲインに基づいて、前記ノイズの色差成分を推定する
ことを特徴とする画像処理装置。 - 前記推定手段は、前記ノイズの輝度成分を推定し、
前記決定手段は、前記ノイズの輝度成分の大きさに基づいて、前記色抑圧処理を適用する輝度範囲を決定し、
前記処理手段は、前記撮像画像のうち前記輝度範囲内の輝度を持つ画素に対して前記色抑圧処理を適用する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記輝度範囲は、前記ノイズの輝度成分の大きさ以下の輝度の範囲、又は前記ノイズの輝度成分の大きさ未満の輝度の範囲である
ことを特徴とする請求項2に記載の画像処理装置。 - 前記決定手段は、前記ノイズの色差成分に基づいて、前記色抑圧処理を適用する色差範囲を決定し、
前記処理手段は、前記撮像画像のうち前記色差範囲内の色差を持つ画素に対して前記色抑圧処理を適用する
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記色差範囲は、前記ノイズの色差成分の近傍の色差の範囲である
ことを特徴とする請求項4に記載の画像処理装置。 - ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、
前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、
前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、
を備え、
前記撮像画像は、遮光領域及び非遮光領域を含む撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
前記推定手段は、前記撮像画像の前記遮光領域に対応する領域の画素値に基づいて、前記ノイズの色差成分を推定する
ことを特徴とする画像処理装置。 - ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定手段と、
前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定手段と、
前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理手段と、
ユーザ指示に従って前記撮像画像の部分領域を選択する選択手段と、
を備え、
前記撮像画像は、撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
前記推定手段は、前記撮像画像の前記部分領域の画素値に基づいて、前記ノイズの色差成分を推定する
ことを特徴とする画像処理装置。 - 請求項1乃至7のいずれか1項に記載の画像処理装置と、
前記撮像手段と、
を備えることを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
ホワイトバランス補正が行われた撮像画像に含まれるノイズの色差成分を推定する推定工程と、
前記ノイズの色差成分の大きさに基づいて色抑圧処理の強度を決定する決定工程と、
前記撮像画像に対して前記決定された強度で前記色抑圧処理を適用する処理工程と、
を備え、
前記撮像画像は、撮像手段による光電変換により生成される画像信号に対して全色共通のゲインと色毎に決定されるホワイトバランスゲインとを適用することにより得られ、
前記推定工程は、前記ゲイン及び前記ホワイトバランスゲインに基づいて、前記ノイズの色差成分を推定する
ことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061356A JP7311994B2 (ja) | 2019-03-27 | 2019-03-27 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
EP20162320.4A EP3716617A1 (en) | 2019-03-27 | 2020-03-11 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
CN202010169666.5A CN111770321B (zh) | 2019-03-27 | 2020-03-12 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
US16/830,677 US11445158B2 (en) | 2019-03-27 | 2020-03-26 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061356A JP7311994B2 (ja) | 2019-03-27 | 2019-03-27 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020162049A JP2020162049A (ja) | 2020-10-01 |
JP7311994B2 true JP7311994B2 (ja) | 2023-07-20 |
Family
ID=69804603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019061356A Active JP7311994B2 (ja) | 2019-03-27 | 2019-03-27 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11445158B2 (ja) |
EP (1) | EP3716617A1 (ja) |
JP (1) | JP7311994B2 (ja) |
CN (1) | CN111770321B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120538B2 (en) * | 2019-12-27 | 2021-09-14 | Zoox, Inc. | Sensor degradation detection and remediation |
CN113781356B (zh) * | 2021-09-18 | 2024-06-04 | 北京世纪好未来教育科技有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003235055A (ja) | 2002-02-12 | 2003-08-22 | Nikon Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
JP2005277503A (ja) | 2004-03-23 | 2005-10-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2009027619A (ja) | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
JP2009100302A (ja) | 2007-10-17 | 2009-05-07 | Sony Corp | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 |
JP2014165891A (ja) | 2013-02-28 | 2014-09-08 | Hitachi Ltd | 撮像装置及び画像信号処理装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3762725B2 (ja) | 2002-08-22 | 2006-04-05 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP2004363853A (ja) * | 2003-06-04 | 2004-12-24 | Casio Comput Co Ltd | 画像信号のノイズ低減方法及びノイズ低減装置 |
JP4547223B2 (ja) * | 2004-09-28 | 2010-09-22 | オリンパス株式会社 | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム |
JP5016255B2 (ja) * | 2006-02-22 | 2012-09-05 | 富士フイルム株式会社 | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ |
US8711249B2 (en) * | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
CN101489033B (zh) * | 2008-01-15 | 2010-09-22 | 华晶科技股份有限公司 | 基于最佳原色信号的抑制图像噪声方法 |
JP5103580B2 (ja) * | 2008-03-27 | 2012-12-19 | 株式会社メガチップス | 画像処理装置およびデジタルカメラ |
JP5366619B2 (ja) * | 2008-08-12 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
JP5529424B2 (ja) * | 2009-03-11 | 2014-06-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5677040B2 (ja) * | 2010-11-08 | 2015-02-25 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5425343B2 (ja) * | 2011-06-30 | 2014-02-26 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
JP2013162248A (ja) | 2012-02-02 | 2013-08-19 | Canon Inc | 撮像装置及びその制御方法 |
JP5977565B2 (ja) * | 2012-04-16 | 2016-08-24 | オリンパス株式会社 | 画像処理装置 |
KR101920816B1 (ko) * | 2013-07-08 | 2018-11-21 | 한화테크윈 주식회사 | 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치 |
JP6348762B2 (ja) * | 2014-04-17 | 2018-06-27 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
JP6679321B2 (ja) * | 2016-01-21 | 2020-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2019
- 2019-03-27 JP JP2019061356A patent/JP7311994B2/ja active Active
-
2020
- 2020-03-11 EP EP20162320.4A patent/EP3716617A1/en active Pending
- 2020-03-12 CN CN202010169666.5A patent/CN111770321B/zh active Active
- 2020-03-26 US US16/830,677 patent/US11445158B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003235055A (ja) | 2002-02-12 | 2003-08-22 | Nikon Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
JP2005277503A (ja) | 2004-03-23 | 2005-10-06 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2009027619A (ja) | 2007-07-23 | 2009-02-05 | Olympus Corp | 映像処理装置および映像処理プログラム |
JP2009100302A (ja) | 2007-10-17 | 2009-05-07 | Sony Corp | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 |
JP2014165891A (ja) | 2013-02-28 | 2014-09-08 | Hitachi Ltd | 撮像装置及び画像信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020162049A (ja) | 2020-10-01 |
CN111770321B (zh) | 2022-10-28 |
CN111770321A (zh) | 2020-10-13 |
EP3716617A1 (en) | 2020-09-30 |
US11445158B2 (en) | 2022-09-13 |
US20200314401A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
CN101661615B (zh) | 对对象图像实施灰度修正的图像处理装置 | |
US7969480B2 (en) | Method of controlling auto white balance | |
JP4999494B2 (ja) | 撮像装置 | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP5392560B2 (ja) | 画像処理装置および画像処理方法 | |
JP5901667B2 (ja) | 画像処理装置及び方法、画像処理プログラム、撮像装置 | |
US20170154456A1 (en) | System and method of fast adaptive blending for high dynamic range imaging | |
US20180061029A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus | |
JP5701640B2 (ja) | 画像処理装置 | |
WO2015156041A1 (ja) | 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 | |
JP2023106486A (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP4683994B2 (ja) | 画像処理装置、画像処理方法、電子カメラ、スキャナ | |
JP7311994B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2008124653A (ja) | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 | |
JP5591026B2 (ja) | 撮像装置及びその制御方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP2010068465A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP7263018B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2007267170A (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム | |
JP2009239396A (ja) | 画像処理装置 | |
JP2006332732A (ja) | 色むらノイズ抑制装置 | |
JP2013179400A (ja) | 画像処理装置および画像処理プログラム | |
JP2018147417A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006324789A (ja) | 映像信号処理方法および映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230707 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7311994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |