JP2018157371A - 撮像装置及び欠陥画素の補正方法 - Google Patents
撮像装置及び欠陥画素の補正方法 Download PDFInfo
- Publication number
- JP2018157371A JP2018157371A JP2017052547A JP2017052547A JP2018157371A JP 2018157371 A JP2018157371 A JP 2018157371A JP 2017052547 A JP2017052547 A JP 2017052547A JP 2017052547 A JP2017052547 A JP 2017052547A JP 2018157371 A JP2018157371 A JP 2018157371A
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- pixels
- unit
- defective
- pixel information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 169
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims description 24
- 230000007547 defect Effects 0.000 abstract description 49
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 23
- 239000000872 buffer Substances 0.000 description 3
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】簡易的な構成で欠陥情報を記憶するメモリのサイズ削減と回路規模の削減との両方を達成することを目的とする。【解決手段】ひとまとまりの複数の画素の単位で読み出し可能な撮像装置であって、複数の画素の単位で欠陥画素情報を記憶する記憶手段と、複数の画素の単位で記憶手段より欠陥画素情報を読み出す読み出し手段と、読み出し手段により読み出された欠陥画素情報に基づいて欠陥画素を補正する補正手段と、を有する。【選択図】図5
Description
本発明は、撮像装置及び欠陥画素の補正方法に関する。
近年、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いた撮像装置が広く用いられている。これらのイメージセンサにおいては半導体の不良等により正しい出力ができない画素、いわゆる欠陥画素が存在することが知られており、これに起因して画質劣化が生じている。欠陥画素は画質の観点から存在しないことが望ましいが、一般的にイメージセンサの欠陥画素そのものをすべて除去することは困難である。このような背景から、イメージセンサから出力される画像データに対して、撮像装置は、欠陥画素の検出及び補正を行う欠陥補正を行う。これは製造工程時等で予め欠陥画素を検出し、欠陥画素の位置情報をバッファやメモリ等の撮像装置の記憶装置に記憶しておく。そして実際に使用するときには、撮像装置が記憶されている欠陥画素の位置情報に基づいて欠陥画素を識別し、欠陥画素に隣接する複数の画素の平均値等で置換して補正することで行われる。
ところで、近年のイメージセンサの高解像度化によるピクセルクロックの高速化を防ぐため、複数の画素を同時に読み出せる撮像装置が登場している。このような撮像装置においては、一般的に高解像度化による欠陥画素数の増加及び複数画素同時読み出しによる処理の並列化を伴う。欠陥画素数の増加は、欠陥画素の位置情報を記憶するための使用メモリ量が増加するという問題がある。処理の並列化は、並列処理数分の回路が必要になるため回路規模が増加するという問題がある。これらの問題に鑑み、特許文献1では、欠陥画素の位置情報を欠陥画素座標と2bitの隣接欠陥画素フラグ情報とで構成することで、メモリサイズを削減する構成が開示されている。
ところで、近年のイメージセンサの高解像度化によるピクセルクロックの高速化を防ぐため、複数の画素を同時に読み出せる撮像装置が登場している。このような撮像装置においては、一般的に高解像度化による欠陥画素数の増加及び複数画素同時読み出しによる処理の並列化を伴う。欠陥画素数の増加は、欠陥画素の位置情報を記憶するための使用メモリ量が増加するという問題がある。処理の並列化は、並列処理数分の回路が必要になるため回路規模が増加するという問題がある。これらの問題に鑑み、特許文献1では、欠陥画素の位置情報を欠陥画素座標と2bitの隣接欠陥画素フラグ情報とで構成することで、メモリサイズを削減する構成が開示されている。
特許文献1に開示の技術では、欠陥画素の位置情報を記憶するメモリのサイズの削減を図っている。しかしながら、複数の画素の単位で欠陥画素情報をメモリに情報を記憶し、複数の画素の単位で欠陥画素情報をメモリから読み出す撮像装置への適用に関しては言及されていない。したがって、撮像装置において簡易的な構成でメモリサイズの削減と回路規模の削減との両方を満たすことは困難であった。
本発明の撮像装置は、ひとまとまりの複数の画素の単位で読み出し可能な撮像装置であって、前記複数の画素の単位で欠陥画素情報を記憶する記憶手段と、前記複数の画素の単位で前記記憶手段より前記欠陥画素情報を読み出す読み出し手段と、前記読み出し手段により読み出された前記欠陥画素情報に基づいて欠陥画素を補正する補正手段と、を有する。
本発明によれば、簡易的な構成で欠陥情報を記憶するメモリのサイズ削減と回路規模の削減との両方を達成することができる。
以下、本発明の実施形態について図面に基づいて説明する。
<<実施形態1>>
図1は、撮像装置の構成の一例を示す図である。図1において、撮像装置はレンズ101、撮像素子102、撮像データ受信部103、画像処理部104、記憶部105、制御部106から構成される。
レンズ101は、光源からの入射光や被写体からの反射光を集光して撮像素子102へ導く。撮像素子102は、画素が2次元のマトリクス状に配置されており、ベイヤーを構成する4画素(R/Gr/Gb/B)のデータを同時に読み出し可能な構成である。同時に読み出し可能な画素の単位は、ベイヤーを構成する4画素以外にも水平方向や垂直方向等一方向に隣接する2画素、ベイヤーの逓倍の画素群等、複数の画素であればよい。撮像素子102は、レンズ101を通過した光に対して電子シャッター等により露光制御を行った後、光電変換することで被写体の明暗の情報をアナログの電気信号に変換する。撮像素子102の表面にはカラーフィルタが配置されており、撮像素子102は、被写体の色情報も取得できる。その後、電気信号はA/D変換(Analog to Digital変換)されることで、ディジタルの電気信号(画像データ)となって出力される。撮像データ受信部103は、撮像素子102から画像データを受信する。その際に、撮像データ受信部103は、画像の同期信号のフォーマットの変換や撮像素子102から同時に出力される画素をバッファリングして、後段の処理部が処理しやすい画素数に変更して出力してもよい。画像処理部104は、撮像データ受信部103から出力された画像データに対して各種画像処理を行う。画像処理部104には後述する図2に示す欠陥検出部200、後述する図5に示す欠陥補正部500が含まれる。記憶部105は不揮発性メモリであり、画像処理部104で使用されるデータや制御部106をマイコンで構成する場合はマイコンが実行するプログラム等が格納されている。画像処理部104で使用されるデータには欠陥画素の位置情報が含まれており、撮像装置起動時に制御部106によって記憶部105から画像処理部104の中の欠陥検出部200の欠陥画素情報記憶部205に転送される。制御部106は、撮像データ受信部103と画像処理部104との制御や記憶部105に記憶されているデータの各処理部への展開を行う。
図1は、撮像装置の構成の一例を示す図である。図1において、撮像装置はレンズ101、撮像素子102、撮像データ受信部103、画像処理部104、記憶部105、制御部106から構成される。
レンズ101は、光源からの入射光や被写体からの反射光を集光して撮像素子102へ導く。撮像素子102は、画素が2次元のマトリクス状に配置されており、ベイヤーを構成する4画素(R/Gr/Gb/B)のデータを同時に読み出し可能な構成である。同時に読み出し可能な画素の単位は、ベイヤーを構成する4画素以外にも水平方向や垂直方向等一方向に隣接する2画素、ベイヤーの逓倍の画素群等、複数の画素であればよい。撮像素子102は、レンズ101を通過した光に対して電子シャッター等により露光制御を行った後、光電変換することで被写体の明暗の情報をアナログの電気信号に変換する。撮像素子102の表面にはカラーフィルタが配置されており、撮像素子102は、被写体の色情報も取得できる。その後、電気信号はA/D変換(Analog to Digital変換)されることで、ディジタルの電気信号(画像データ)となって出力される。撮像データ受信部103は、撮像素子102から画像データを受信する。その際に、撮像データ受信部103は、画像の同期信号のフォーマットの変換や撮像素子102から同時に出力される画素をバッファリングして、後段の処理部が処理しやすい画素数に変更して出力してもよい。画像処理部104は、撮像データ受信部103から出力された画像データに対して各種画像処理を行う。画像処理部104には後述する図2に示す欠陥検出部200、後述する図5に示す欠陥補正部500が含まれる。記憶部105は不揮発性メモリであり、画像処理部104で使用されるデータや制御部106をマイコンで構成する場合はマイコンが実行するプログラム等が格納されている。画像処理部104で使用されるデータには欠陥画素の位置情報が含まれており、撮像装置起動時に制御部106によって記憶部105から画像処理部104の中の欠陥検出部200の欠陥画素情報記憶部205に転送される。制御部106は、撮像データ受信部103と画像処理部104との制御や記憶部105に記憶されているデータの各処理部への展開を行う。
図2は、欠陥検出部200の構成の一例を示す図である。欠陥検出部200は、閾値比較部201、水平・垂直カウンタ部202、検出イネーブル生成部203、ライト制御部204、欠陥画素情報記憶部205から構成される。欠陥検出部200に入力される画像は図3(a)を例に説明する。図3(a)の画素は、W:3840×H:2160画素、灰色で塗りつぶされた画素が欠陥画素、欠陥画素は最大で8192画素まで存在、黒太枠で囲まれたベイヤーを構成する4画素が並列でラスタスキャン順に入力、という場合を例に説明する。
閾値比較部201は、入力画像データが予め欠陥画素として定義された閾値範囲内かどうかの判定を行い、欠陥画素であれば1、非欠陥画素であれば0として欠陥画素フラグを出力する。閾値比較部201は、入力画像データの同時入力画素数分だけ存在し、それぞれ並列で処理を実行する。水平・垂直カウンタ部202は、入力同期信号である垂直同期信号Vsyncと水平同期信号Hsyncとを用いて現在入力されているベイヤーがどの位置のベイヤーなのかを示すベイヤー座標X、Yを算出する。ここで、Vsyncは、Vertical Synchronizing signalの略である。Hsyncは、Horizontal Synchronizing signalの略である。検出イネーブル生成部203は、制御部106から任意のタイミングでアサートされる欠陥検出開始信号と入力同期信号とのVsyncを用いてある1フレームだけアサートされる検出イネーブル信号を生成する。ライト制御部204は、各閾値比較部から出力された各欠陥画素フラグの各bit同士のORと検出イネーブル信号のANDとをとり、欠陥画素情報記憶部205へのライトイネーブル信号を生成する。また、ライト制御部204は、フレームの先頭、つまりVsyncがアサートされたら欠陥画素情報記憶部205へ出力するライトアドレスを0に初期化する。ライトイネーブル信号が1になれば、ライト制御部204は、現在のライトアドレスに対して+1することで、入力画像データの入力順で欠陥画素情報記憶部205に欠陥画素情報を書き込むことができる。このように、ライト制御部204は、4画素並列入力にしたにもかかわらず簡易な回路構成でライト制御を実現できている。
閾値比較部201は、入力画像データが予め欠陥画素として定義された閾値範囲内かどうかの判定を行い、欠陥画素であれば1、非欠陥画素であれば0として欠陥画素フラグを出力する。閾値比較部201は、入力画像データの同時入力画素数分だけ存在し、それぞれ並列で処理を実行する。水平・垂直カウンタ部202は、入力同期信号である垂直同期信号Vsyncと水平同期信号Hsyncとを用いて現在入力されているベイヤーがどの位置のベイヤーなのかを示すベイヤー座標X、Yを算出する。ここで、Vsyncは、Vertical Synchronizing signalの略である。Hsyncは、Horizontal Synchronizing signalの略である。検出イネーブル生成部203は、制御部106から任意のタイミングでアサートされる欠陥検出開始信号と入力同期信号とのVsyncを用いてある1フレームだけアサートされる検出イネーブル信号を生成する。ライト制御部204は、各閾値比較部から出力された各欠陥画素フラグの各bit同士のORと検出イネーブル信号のANDとをとり、欠陥画素情報記憶部205へのライトイネーブル信号を生成する。また、ライト制御部204は、フレームの先頭、つまりVsyncがアサートされたら欠陥画素情報記憶部205へ出力するライトアドレスを0に初期化する。ライトイネーブル信号が1になれば、ライト制御部204は、現在のライトアドレスに対して+1することで、入力画像データの入力順で欠陥画素情報記憶部205に欠陥画素情報を書き込むことができる。このように、ライト制御部204は、4画素並列入力にしたにもかかわらず簡易な回路構成でライト制御を実現できている。
<欠陥画素情報記憶部>
欠陥画素情報記憶部205に記憶されている欠陥画素情報のデータ構造は、図3(b)のようにベイヤーY座標、ベイヤーX座標、欠陥画素フラグから構成されており、データは画像の入力順に並んでいる。ベイヤー座標はベイヤー単位での座標であるため、図3(a)、(b)のように4画素(R/Gr/Gb/B)で共通の座標であり、画素単位の座標に比べてX、Y座標共に1bitずつ削減することができる。欠陥画素フラグはそのベイヤー座標が示すベイヤーの内、どの画素が欠陥画素であるか特定するフラグである。図3(b)では欠陥画素フラグの4bitは、MSBから順番にそれぞれR、Gr、Gb、Bに対応しており、それぞれ1ならば欠陥画素、0ならば非欠陥画素を表している。例えば図3(a)の(ベイヤーY座標、ベイヤーX座標)=(2、3)のベイヤーでは欠陥画素が3画素あるが、図3(b)のアドレス2のデータのように欠陥画素フラグを持つことにより3画素別々に座標を保持する必要が無く、効率的に欠陥画素情報を保持することができる。画素単位のY、X座標というデータ構成の欠陥画素情報を色毎に別々の記憶部で持つ場合、画素単位のY座標が12bit、画素単位のX座標が12bitであるため1データ当たり24bit、アドレスが8192、4色分のため、24×8192×4=96KByteのメモリサイズが必要となる。一方、以上説明したデータ構成にすると、ベイヤー単位のY座標が11bit、ベイヤー単位のX座標が11bit、欠陥画素フラグが4bitであるため1データ当たり26bit、アドレスが8192のため、26×8192=26KByteのメモリサイズに削減することができる。加えて、ベイヤー単位で欠陥画素情報をまとめて管理しているので、ライト制御部204を色毎に用意する必要が無く1つでよいため、回路規模も削減することができる。
欠陥画素情報記憶部205に記憶されている欠陥画素情報のデータ構造は、図3(b)のようにベイヤーY座標、ベイヤーX座標、欠陥画素フラグから構成されており、データは画像の入力順に並んでいる。ベイヤー座標はベイヤー単位での座標であるため、図3(a)、(b)のように4画素(R/Gr/Gb/B)で共通の座標であり、画素単位の座標に比べてX、Y座標共に1bitずつ削減することができる。欠陥画素フラグはそのベイヤー座標が示すベイヤーの内、どの画素が欠陥画素であるか特定するフラグである。図3(b)では欠陥画素フラグの4bitは、MSBから順番にそれぞれR、Gr、Gb、Bに対応しており、それぞれ1ならば欠陥画素、0ならば非欠陥画素を表している。例えば図3(a)の(ベイヤーY座標、ベイヤーX座標)=(2、3)のベイヤーでは欠陥画素が3画素あるが、図3(b)のアドレス2のデータのように欠陥画素フラグを持つことにより3画素別々に座標を保持する必要が無く、効率的に欠陥画素情報を保持することができる。画素単位のY、X座標というデータ構成の欠陥画素情報を色毎に別々の記憶部で持つ場合、画素単位のY座標が12bit、画素単位のX座標が12bitであるため1データ当たり24bit、アドレスが8192、4色分のため、24×8192×4=96KByteのメモリサイズが必要となる。一方、以上説明したデータ構成にすると、ベイヤー単位のY座標が11bit、ベイヤー単位のX座標が11bit、欠陥画素フラグが4bitであるため1データ当たり26bit、アドレスが8192のため、26×8192=26KByteのメモリサイズに削減することができる。加えて、ベイヤー単位で欠陥画素情報をまとめて管理しているので、ライト制御部204を色毎に用意する必要が無く1つでよいため、回路規模も削減することができる。
図4は、欠陥検出処理の一例を示したフローチャートである。S401において、制御部106は、アクセスコマンドにより欠陥画素情報記憶部205の全データを0初期化する。この操作により、もし前回より今回の検出欠陥画素数が少ない場合に、前回の欠陥画素情報が欠陥画素情報記憶部205の末尾に残ることを防ぐことができる。S402において、制御部106は、任意のタイミングで欠陥検出開始信号をアサートする。検出イネーブル生成部203は、欠陥検出開始信号と入力同期信号とのVsyncを用いてある1フレームだけアサートされる検出イネーブル信号を生成する。検出イネーブル信号がアサートされている1フレームのみ欠陥検出結果が有効となる。S403において、制御部106は、ベイヤーを構成する4画素(R/Gr/Gb/B)と同期信号とを入力する。S404において、閾値比較部201は、4画素各々に対して欠陥画素がどうかを閾値により判定する。1つも欠陥画素でない場合(S404においてNo)、閾値比較部201は、処理をS406へ遷移させる。欠陥画素が1画素以上ある場合(S404においてYes)、閾値比較部201は、処理をS405へ遷移させる。S405において、ライト制御部204は、ライトイネーブルとライトアドレスとを生成する。そして、ライト制御部204は、水平・垂直カウンタ部202の出力であるベイヤー座標と閾値比較部201の出力である欠陥画素フラグとを欠陥画素情報記憶部205に書き込む。ライトアドレスはライト制御部204により書き込みが行われると+1インクリメントされる。S406において、制御部106は、1フレーム分の処理を終了したか否かを判定する。制御部106は、1フレーム分の処理を終了した場合(S406においてYes)、処理をS407へ遷移させ、1フレーム分の処理を終了していない場合(S406においてNo)、処理をS403へ遷移させる。S407において、制御部106は、欠陥画素情報記憶部205に書き込まれている欠陥画素情報を不揮発性メモリである記憶部105に書き込む。
以上説明したように、本実施形態によれば、欠陥画素情報記憶部205のメモリのサイズ削減及び欠陥検出部200の回路構成の複雑化を伴うことなく回路規模の削減も達成できる。
以上説明したように、本実施形態によれば、欠陥画素情報記憶部205のメモリのサイズ削減及び欠陥検出部200の回路構成の複雑化を伴うことなく回路規模の削減も達成できる。
<<実施形態2>>
実施形態1では、欠陥検出処理において欠陥画素情報記憶部205のメモリのサイズ削減と回路規模の削減方法とに関して説明した。実施形態2では、その欠陥画素情報記憶部205を使用して、欠陥補正処理の回路規模の削減方法に関して説明する。
図5は、欠陥補正部500の構成の一例を示す図である。欠陥補正部500は、水平・垂直カウンタ部202、欠陥画素判定部501、リード制御部502、欠陥画素情報記憶部205、ラインメモリ部503、欠陥補正値算出部504、出力同期信号生成部505から構成される。水平・垂直カウンタ部202と欠陥画素情報記憶部205とは欠陥検出部200と共通である。
実施形態1では、欠陥検出処理において欠陥画素情報記憶部205のメモリのサイズ削減と回路規模の削減方法とに関して説明した。実施形態2では、その欠陥画素情報記憶部205を使用して、欠陥補正処理の回路規模の削減方法に関して説明する。
図5は、欠陥補正部500の構成の一例を示す図である。欠陥補正部500は、水平・垂直カウンタ部202、欠陥画素判定部501、リード制御部502、欠陥画素情報記憶部205、ラインメモリ部503、欠陥補正値算出部504、出力同期信号生成部505から構成される。水平・垂直カウンタ部202と欠陥画素情報記憶部205とは欠陥検出部200と共通である。
欠陥画素判定部501は、水平・垂直カウンタ部202から出力されたベイヤー座標と欠陥画素情報記憶部205から出力された欠陥画素情報の内のベイヤー座標とを比較する。欠陥画素判定部501は、一致しなければ、現在入力されているベイヤーには欠陥画素が含まれていないため、色毎の欠陥画素イネーブル信号を0にしてラインメモリ部503に出力する。欠陥画素判定部501は、一致すれば、現在入力されているベイヤーには欠陥画素が含まれているため、欠陥画素イネーブル信号を欠陥画素情報の内の欠陥画素フラグの値にしてラインメモリ部503に出力する。欠陥画素イネーブル信号は色毎にあり、1であれば欠陥画素、0であれば非欠陥画素であることを示す。リード制御部502は、フレームの先頭、つまりVsyncがアサートされたら欠陥画素情報記憶部205へ出力するリードアドレスを0に初期化し、先頭の欠陥画素情報にアクセスする。また、リード制御部502は、欠陥画素判定部501で欠陥画素であると判定されたら現在のリードアドレスに対して+1することで、次の欠陥画素情報にアクセスする。欠陥画素情報記憶部205には、撮像装置起動時に制御部106がアクセスコマンドを発行することによって記憶部105の欠陥画素情報が書き込まれる。欠陥画素情報記憶部205は、リード制御部502から出力されるリードアドレスの欠陥画素情報を欠陥画素判定部501に出力する。ラインメモリ部503は、欠陥補正部500に入力される入力画像データと欠陥画素判定部501から出力される欠陥画素イネーブル信号とをラインバッファに記憶し、5×5画素のブロックでデータを同期させて欠陥補正値算出部504に出力する。説明のため5×5画素のブロックとしたが、その他のブロックサイズでもよい。欠陥補正値算出部504は、色毎にあり、ラインメモリ部503から出力される5×5画素分の入力画像データと欠陥画素イネーブル信号とを用いて欠陥補正値の算出を行う。ブロックの中心画素の欠陥画素イネーブル信号が0(非欠陥画素)である場合、欠陥補正値算出部504は、ラインメモリ部503から出力されたブロックの中心画素をそのまま出力する。ブロックの中心画素の欠陥画素イネーブル信号が1(欠陥画素)である場合、欠陥補正値算出部504は、図6の画素位置の画素を用いて欠陥補正値の算出を行う。欠陥補正値算出部504は、中心画素がRの場合は、図6(a)のR1〜R4の中で欠陥画素イネーブル信号が0の画素の平均値を算出して、R0の画素と置き換える中心画素がBの場合は、図6(b)のようにR画素と同様な処理を行う。欠陥補正値算出部504は、中心画素がGr又はGbの場合は、図6(c)G1〜G8の中で欠陥画素イネーブル信号が0の画素の平均値を算出して、G0の画素と置き換える。欠陥補正値の算出方法は上記に限らない。例えば、欠陥補正値算出部504は、平均値の算出に使用する画素は2のべき乗の画素数になるように選択したり、異なる色の画素を用いたりしてもよい。出力同期信号生成部505は、欠陥補正値算出部504から出力される画像データのタイミングに合わせて、同期信号を遅延させて出力する。
<欠陥画素情報記憶部のデータ構成に起因した回路規模削減>
欠陥画素判定部501は、まず水平・垂直カウンタ部202のベイヤー座標と欠陥画素情報記憶部205の欠陥画素情報の内のベイヤー座標とを比較することにより、座標判定を色毎に行う必要が無くベイヤー単位で共通化できるため、回路規模を削減できる。そして、座標が一致した場合、欠陥補正部500に現在入力されているベイヤーには欠陥画素が含まれているため、欠陥画素判定部501は、欠陥画素イネーブル信号を欠陥画素情報の内の欠陥画素フラグの値にして出力している。このように処理することで、ベイヤーの内どの画素が欠陥画素であるかの判定を簡易な回路構成により容易に行える。また、リード制御部502、欠陥画素情報記憶部205は、ベイヤー単位で欠陥画素情報をまとめて管理しているため、色毎に用意する必要が無く1つでよい。そのため、回路規模を削減することができる。
欠陥画素判定部501は、まず水平・垂直カウンタ部202のベイヤー座標と欠陥画素情報記憶部205の欠陥画素情報の内のベイヤー座標とを比較することにより、座標判定を色毎に行う必要が無くベイヤー単位で共通化できるため、回路規模を削減できる。そして、座標が一致した場合、欠陥補正部500に現在入力されているベイヤーには欠陥画素が含まれているため、欠陥画素判定部501は、欠陥画素イネーブル信号を欠陥画素情報の内の欠陥画素フラグの値にして出力している。このように処理することで、ベイヤーの内どの画素が欠陥画素であるかの判定を簡易な回路構成により容易に行える。また、リード制御部502、欠陥画素情報記憶部205は、ベイヤー単位で欠陥画素情報をまとめて管理しているため、色毎に用意する必要が無く1つでよい。そのため、回路規模を削減することができる。
図7は、欠陥補正処理の一例を示したフローチャートである。S701において、制御部106は、ベイヤーを構成する4画素(R/Gr/Gb/B)と同期信号とを欠陥補正部500へ入力する。S702において、水平・垂直カウンタ部202は、同期信号を用いて現在入力されているベイヤーのベイヤー座標X、Yを算出する。S703において、欠陥画素情報記憶部205は、リード制御部502から出力されるリードアドレスの欠陥画素情報を欠陥画素判定部501に出力する。リードアドレスはフレームの先頭で0に初期化され、欠陥画素判定部501で欠陥画素であると判定されたら現在のリードアドレスに対して+1される。S704において、欠陥画素判定部501は、水平・垂直カウンタ部202から出力されたベイヤー座標と欠陥画素情報記憶部205から出力された欠陥画素情報との内、ベイヤー座標を比較する。欠陥画素判定部501は、ベイヤー座標が一致していた場合(S704においてYes)、処理をS705へ遷移させ、ベイヤー座標が一致していない場合(S704においてNo)、処理をS706へ遷移させる。S705において、欠陥画素判定部501は、欠陥画素イネーブル信号を欠陥画素フラグの値にしてラインメモリ部503に出力する。S706において、欠陥画素判定部501は、現在入力されているベイヤーには欠陥画素が含まれていないため、色毎の欠陥画素イネーブル信号を0にしてラインメモリ部503に出力する。S707において、欠陥補正値算出部504は、ラインメモリ部503から出力された入力画像データと欠陥画素イネーブル信号とに基づき欠陥補正値を算出して、欠陥画素を置き換えて出力する。
以上説明したように、本実施形態によれば、メモリのサイズ削減を図った欠陥画素情報記憶部205を用いて欠陥補正部500の回路規模の削減も同時に達成できる。
以上説明したように、本実施形態によれば、メモリのサイズ削減を図った欠陥画素情報記憶部205を用いて欠陥補正部500の回路規模の削減も同時に達成できる。
<<実施形態3>>
本実施形態では、上述した実施形態の構成等を、HMD(Head Mounted Display)に適用した場合の一例を説明する。
上述した実施形態の構成等を、HMDに適用した場合、レンズ、撮像素子等は、左目用と右目用とが必要となる。また、欠陥画素情報記憶部も左目用と右目用とが必要となる。
しかし、本実施形態では、欠陥画素情報を図8に示すようなものとすることによって、1つの欠陥画素情報記憶部に記憶される欠陥画素情報において、左目用の撮像素子に係る欠陥画素情報と、右目用の撮像素子に係る欠陥画素情報と、を記憶、管理することができる。その結果、メモリのサイズ削減と回路規模の削減との両方を達成することができる。図8の欠陥画素情報の構成は、図3(b)の欠陥画素情報の構成に比べて、左右判別の項目が更に追加されている。例えば、左右判別の項目の11の値は、左右両方であることを識別しており、01の値は、右目だけであることを識別しており、10の値は、左目だけであることを識別している。
本実施形態では、上述した実施形態の構成等を、HMD(Head Mounted Display)に適用した場合の一例を説明する。
上述した実施形態の構成等を、HMDに適用した場合、レンズ、撮像素子等は、左目用と右目用とが必要となる。また、欠陥画素情報記憶部も左目用と右目用とが必要となる。
しかし、本実施形態では、欠陥画素情報を図8に示すようなものとすることによって、1つの欠陥画素情報記憶部に記憶される欠陥画素情報において、左目用の撮像素子に係る欠陥画素情報と、右目用の撮像素子に係る欠陥画素情報と、を記憶、管理することができる。その結果、メモリのサイズ削減と回路規模の削減との両方を達成することができる。図8の欠陥画素情報の構成は、図3(b)の欠陥画素情報の構成に比べて、左右判別の項目が更に追加されている。例えば、左右判別の項目の11の値は、左右両方であることを識別しており、01の値は、右目だけであることを識別しており、10の値は、左目だけであることを識別している。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
以上、上述した各実施形態の構成によれば、簡易的な構成で欠陥情報を記憶するメモリのサイズ削減と回路規模の削減との両方を達成することができる。
104 画像処理部
106 制御部
200 欠陥検出部
500 欠陥補正部
106 制御部
200 欠陥検出部
500 欠陥補正部
Claims (10)
- ひとまとまりの複数の画素の単位で読み出し可能な撮像装置であって、
前記複数の画素の単位で欠陥画素情報を記憶する記憶手段と、
前記複数の画素の単位で前記記憶手段より前記欠陥画素情報を読み出す読み出し手段と、
前記読み出し手段により読み出された前記欠陥画素情報に基づいて欠陥画素を補正する補正手段と、
を有する撮像装置。 - 前記読み出し手段により読み出された前記欠陥画素情報に基づいて前記複数の画素の単位で前記複数の画素の中に欠陥画素が含まれているか否かの判定を行う判定手段を更に有し、
前記補正手段は、前記判定手段により前記複数の画素の中に欠陥画素が含まれていると判定された場合、前記欠陥画素を補正する請求項1記載の撮像装置。 - 前記複数の画素の単位で前記欠陥画素情報を前記記憶手段に書き込む書き込み手段を更に有する請求項1又は2記載の撮像装置。
- 前記欠陥画素情報は、画像の水平方向及び垂直方向のうち少なくとも一方向に対して複数の画素をひとまとまりとした際の座標と、前記複数の画素のうち欠陥画素を特定する情報と、を含む請求項1乃至3何れか1項記載の撮像装置。
- 前記欠陥画素情報は、更に、左目用の撮像素子に係る画素か、右目用の撮像素子に係る画素かを識別する情報を含む請求項4記載の撮像装置。
- 前記欠陥画素を特定する情報は、欠陥画素フラグである請求項4又は5記載の撮像装置。
- 前記欠陥画素フラグは、前記複数の画素それぞれに対して欠陥画素か否かを示す信号である請求項6記載の撮像装置。
- 前記複数の画素は、ベイヤーの逓倍の画素群である請求項1乃至7何れか1項記載の撮像装置。
- 前記複数の画素は、ベイヤーである請求項1乃至7何れか1項記載の撮像装置。
- ひとまとまりの複数の画素の単位で読み出し可能な撮像装置が実行する欠陥画素の補正方法であって、
前記撮像装置は、前記複数の画素の単位で欠陥画素情報を記憶する記憶手段を有し、
前記複数の画素の単位で前記記憶手段より前記欠陥画素情報を読み出す読み出し工程と、
前記読み出し工程により読み出された前記欠陥画素情報に基づいて欠陥画素を補正する補正工程と、
を含む欠陥画素の補正方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052547A JP2018157371A (ja) | 2017-03-17 | 2017-03-17 | 撮像装置及び欠陥画素の補正方法 |
US15/917,412 US10742914B2 (en) | 2017-03-17 | 2018-03-09 | Head-wearable imaging apparatus with two imaging elements corresponding to a user left eye and right eye, method, and computer readable storage medium for correcting a defective pixel among plural pixels forming each image captured by the two imaging elements based on defective-pixel related position information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017052547A JP2018157371A (ja) | 2017-03-17 | 2017-03-17 | 撮像装置及び欠陥画素の補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018157371A true JP2018157371A (ja) | 2018-10-04 |
JP2018157371A5 JP2018157371A5 (ja) | 2020-04-23 |
Family
ID=63519735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017052547A Withdrawn JP2018157371A (ja) | 2017-03-17 | 2017-03-17 | 撮像装置及び欠陥画素の補正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10742914B2 (ja) |
JP (1) | JP2018157371A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250593B2 (en) * | 2020-06-01 | 2022-02-15 | Varian Medical Systems, Inc | System and method for detecting and correcting defective image output from radiation-damaged video cameras |
KR20230046532A (ko) * | 2021-09-30 | 2023-04-06 | 엘지디스플레이 주식회사 | 표시 장치, 보상 시스템, 및 보상 데이터 압축 방법 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6515285B1 (en) * | 1995-10-24 | 2003-02-04 | Lockheed-Martin Ir Imaging Systems, Inc. | Method and apparatus for compensating a radiation sensor for ambient temperature variations |
JP3825935B2 (ja) * | 1999-04-08 | 2006-09-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法及び記録媒体及び画像処理システム |
US6819358B1 (en) * | 1999-04-26 | 2004-11-16 | Microsoft Corporation | Error calibration for digital image sensors and apparatus using the same |
JP4289419B2 (ja) * | 2007-05-07 | 2009-07-01 | ソニー株式会社 | 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム |
US8089538B2 (en) * | 2007-05-31 | 2012-01-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for correcting image data associated with a defective pixel |
JP2010154536A (ja) | 2010-01-19 | 2010-07-08 | Toshiba Corp | 撮像装置および信号処理方法 |
US20140063055A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
JP5541718B2 (ja) * | 2010-08-19 | 2014-07-09 | キヤノン株式会社 | 撮像装置及びその欠陥画素検出方法 |
JP5913934B2 (ja) * | 2011-11-30 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置 |
JP2013183282A (ja) * | 2012-03-01 | 2013-09-12 | Sony Corp | 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム |
JP6027777B2 (ja) * | 2012-04-06 | 2016-11-16 | キヤノン株式会社 | 画素情報管理装置およびそれを用いた撮像装置 |
JP2014086863A (ja) * | 2012-10-23 | 2014-05-12 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
US9294662B2 (en) * | 2013-10-16 | 2016-03-22 | Broadcom Corporation | Depth map generation and post-capture focusing |
JP6180882B2 (ja) * | 2013-10-31 | 2017-08-16 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、信号処理装置、および電子機器 |
CN108141532B (zh) * | 2015-09-30 | 2020-09-08 | 株式会社尼康 | 摄像装置 |
US9832402B2 (en) * | 2015-10-29 | 2017-11-28 | Sony Semiconductor Solutions Corporation | Row and column noise correction with defective pixel processing |
US10003758B2 (en) * | 2016-05-02 | 2018-06-19 | Microsoft Technology Licensing, Llc | Defective pixel value correction for digital raw image frames |
-
2017
- 2017-03-17 JP JP2017052547A patent/JP2018157371A/ja not_active Withdrawn
-
2018
- 2018-03-09 US US15/917,412 patent/US10742914B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10742914B2 (en) | 2020-08-11 |
US20180270431A1 (en) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20030222995A1 (en) | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays | |
US8928782B2 (en) | Image processing device and image capture device | |
JP6013247B2 (ja) | 撮像装置 | |
US20240430568A1 (en) | Imaging element including processor configured to receive vibration information related to a vibration exerted on the imaging element, imaging apparatus, operation method of imaging element, and program | |
JP2018157371A (ja) | 撮像装置及び欠陥画素の補正方法 | |
JP5779512B2 (ja) | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 | |
JP6552351B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP5432657B2 (ja) | 撮像装置、記憶装置、及び制御方法 | |
JP6762775B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
US20120033870A1 (en) | Image data transfer apparatus and control method for the same | |
KR101646673B1 (ko) | 화상 처리 장치, 방법, 및 상기 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체 | |
JP2017055309A (ja) | 撮像装置及びその制御方法 | |
JP2007079708A (ja) | 画像処理装置及び画像処理方法 | |
JP2010020437A (ja) | 画像変換装置 | |
JP2007228269A (ja) | 画像信号処理装置及び方法 | |
JP6225137B2 (ja) | 車載カメラ画像処理装置 | |
JP3990059B2 (ja) | 撮像デバイスの欠陥画素補正装置および方法 | |
JP5968145B2 (ja) | 画像処理装置及びその制御方法 | |
JP6440465B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020088419A (ja) | 撮像装置、画像補正方法、プログラム | |
JP2012124795A (ja) | 画像処理装置 | |
US20250024171A1 (en) | Image signal processor and imaging system including the same | |
JP2018005389A (ja) | 画像変形回路、画像処理装置、及び画像変形方法 | |
JP2017050700A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6045247B2 (ja) | 画像処理装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200312 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200713 |