JP2010118839A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2010118839A JP2010118839A JP2008289866A JP2008289866A JP2010118839A JP 2010118839 A JP2010118839 A JP 2010118839A JP 2008289866 A JP2008289866 A JP 2008289866A JP 2008289866 A JP2008289866 A JP 2008289866A JP 2010118839 A JP2010118839 A JP 2010118839A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image sensor
- phase compensation
- color
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 238000005070 sampling Methods 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 abstract description 21
- 238000006731 degradation reaction Methods 0.000 abstract description 21
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 26
- 230000005484 gravity Effects 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、複数の画素の信号を混合して読み出す撮像素子を用いた撮像装置に関する。 The present invention relates to an image pickup apparatus using an image pickup element that mixes and reads signals from a plurality of pixels.
近年、民生用のデジタルカメラ、デジタルビデオカメラ等の撮像装置では、搭載される撮像素子の多画素化が進んでいる。画素数の多い撮像素子を用いると、所定の時間内に撮像素子上の全ての画素から信号を読み出す際、撮像素子を高速に駆動しなければならず、消費電力や発熱といった面から、撮像装置への負荷が大きくなる。 In recent years, in imaging devices such as consumer digital cameras and digital video cameras, the number of mounted imaging elements is increasing. When an image sensor with a large number of pixels is used, the image sensor must be driven at a high speed when signals are read from all the pixels on the image sensor within a predetermined time. The load on is increased.
それを避けるため、従来は、撮像素子の一部領域の信号を切り出して読み出す手法や、複数ラインおきに信号を間引いて読み出す手法により、撮像素子からの信号読み出しの負荷を低減させていた。 In order to avoid this, conventionally, the load of signal readout from the image sensor has been reduced by a method of cutting out and reading out a signal in a partial region of the image sensor, or a method of thinning out and reading out signals every plural lines.
しかし、このような手法では、撮像素子上の全ての画素を活用できないことや、間引き処理によって生じるエイリアシングによって、画質が劣化するという問題があった。 However, with such a method, there are problems that all the pixels on the image sensor cannot be used and image quality deteriorates due to aliasing caused by the thinning process.
そこで、切り出しや間引きを行う場合よりも画質劣化を抑えながら、従来と同程度の駆動速度で多画素の撮像素子を駆動するために、撮像素子上で画像信号を加算し、読み出す信号ラインを削減する手法が提案されている。 Therefore, in order to drive a multi-pixel image sensor at the same driving speed as before while suppressing image quality degradation compared to when cutting out or thinning out, the number of signal lines to be read by adding image signals on the image sensor is reduced. A technique has been proposed.
例えば、特許文献1には、原色ベイヤー配列の撮像素子において、同色の色フィルタが配置されている画素を、それぞれ複数本の垂直転送部に読み出し、読み出した信号電荷を斜め方向に加算する技術が提案されている。
しかし、上記従来技術では、加算される画素間の距離が長いため、解像感の劣化が生じるという問題があった。 However, the above conventional technique has a problem that the resolution is deteriorated because the distance between the pixels to be added is long.
本発明の目的は、解像感の劣化を低減することができる撮像装置を提供することにある。 An object of the present invention is to provide an imaging apparatus capable of reducing deterioration in resolution.
上記目的を達成するために、請求項1記載の撮像装置は、複数色の色フィルタが規則的に2次元配置された撮像素子と、前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする。
In order to achieve the above object, an image pickup apparatus according to
本発明の撮像装置では、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、色毎に異なる位相補償を行うことで、解像感の劣化を低減することができる。 In the image pickup apparatus of the present invention, when the signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor are added and read, the pixel having the shortest distance between the pixels is added for each color of the color filter. Thus, by performing readout and performing different phase compensation for each color, it is possible to reduce degradation in resolution.
以下、本発明を図面を参照しながら詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.
(第1の実施の形態)
図1は、本発明に係る撮像装置の第1の構成例を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram illustrating a first configuration example of an imaging apparatus according to the present invention.
図1には、撮像装置としてビデオカメラが示される。本ビデオカメラは、結像レンズ101、原色ベイヤー配列の色フィルタを備えるCMOSイメージセンサ102を備える。
FIG. 1 shows a video camera as an imaging device. This video camera includes an
また、本ビデオカメラは、CMOSイメージセンサ102から読み出されたアナログ映像信号をデジタルデータに変換するADコンバータ(以下、ADCと略記)103、同期信号生成回路(以下、SSGと略記)104を備える。
The video camera also includes an AD converter (hereinafter abbreviated as ADC) 103 that converts an analog video signal read from the
また、本ビデオカメラは、ビデオカメラ全体の動作を制御するCPU105、ADC103から出力される映像信号に対して位相補償を行う位相補償部106、カメラ信号処理部107、映像信号出力端子108を備える。
The video camera also includes a
ここで、CMOSイメージセンサ102は、複数色の色フィルタが規則的に2次元配置された撮像素子として機能する。
Here, the
また、SSG104及びCPU105は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段として機能する。また、位相補償部106は、撮像素子から読み出された信号の位相補償を行う位相補償手段として機能する。
The SSG 104 and the
そして、読み出し手段は、色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、位相補償手段は、色フィルタの色毎に異なる位相補償を行う。 Then, the reading unit adds and reads out the pixel having the shortest distance between the pixels for each color of the color filter, and the phase compensation unit performs different phase compensation for each color of the color filter.
また、読み出し手段は、撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す際に、少なくとも1種類の色フィルタについては、加算後の画素重心がオフセットサンプリングとなるよう、加算する画素を選択する。 Further, when the reading unit adds and reads the signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor, the pixel centroid after the addition is offset sampling for at least one type of color filter. The pixel to be added is selected.
これらの具体的内容については、以降説明する。 Details of these will be described later.
上述したように、本ビデオカメラは、原色ベイヤー配列の色フィルタを備えるCMOSイメージセンサ102を用いている。CMOSイメージセンサ102に代表されるXYアドレス方式の固体撮像素子では、読み出し回路の設計自由度を高くすることができる。
As described above, this video camera uses the
そこで、本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を2画素ずつ加算して読み出す動作を行う。
Therefore, in the present embodiment, on the
次に、本ビデオカメラの動作の概要を説明する。 Next, an outline of the operation of the video camera will be described.
結像レンズ101を通じ、CMOSイメージセンサ102の受光面上に光学像が結像されると、CMOSイメージセンサ102の各画素に配置されたフォトダイオードで、入射光量に応じた光電荷が発生する。
When an optical image is formed on the light receiving surface of the
SSG104では、CMOSイメージセンサ102を駆動するための同期信号が生成され、同期信号とCPU105からの制御信号に基づいて、CMOSイメージセンサ102の内部駆動回路が駆動される。そして、所定の順番でCMOSイメージセンサ102の出力端子から映像信号が出力される。
In the
映像信号は、ADC103においてデジタルデータに変換される。ADC103の出力信号(映像信号)は、位相補償部106において位相補償された後、カメラ信号処理回路107に入力される。
The video signal is converted into digital data by the ADC 103. The output signal (video signal) of the
そして、カメラ信号処理回路107において、映像信号に対して、輝度信号、色差信号の生成、輪郭補償等の信号処理が行われ、映像信号出力端子108から、映像信号が出力される。
In the camera
次に、図2の概念図を参照しながら、CMOSイメージセンサ102上で、同色の2画素を加算して読み出す処理について説明する。
Next, a process of adding and reading two pixels of the same color on the
CMOSイメージセンサ102に配置されている原色ベイヤー配列の色フィルタは、図21に示すように、Gは市松状に配置され、R、Bは正方格子状に配置されている。従って、Gの色フィルタが配置された画素について、最も画素間距離が短いのは斜め方向であり、R、Bの色フィルタが配置された画素では、垂直、水平方向の画素間距離が最も短い。
As shown in FIG. 21, the color filters of the primary color Bayer array arranged in the
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図る。従って、Gについては、斜め方向に隣接する同色の2画素を加算し、R、Bについては、垂直方向に2画素離れて位置する同色の2画素を加算する。 In the present invention, when pixels of the same color are added and read, the pixels to be added are selected so that the distance between the pixels to be added is the shortest, thereby reducing resolution degradation due to the addition. Therefore, for G, two pixels of the same color that are adjacent in the diagonal direction are added, and for R and B, two pixels of the same color that are located two pixels apart in the vertical direction are added.
具体的には、図2において、Gについては、L(2n)行目とL(2n+1)行目に存在し、斜め方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n)行目とL(2n+2)行目のRの画素が垂直方向に加算されて読み出される。Bにいては、L(2n+1)行目とL(2n+3)行目のBの画素が垂直方向に加算されて読み出される。 Specifically, in FIG. 2, G exists in the L (2n) and L (2n + 1) rows and is read by adding two pixels of G adjacent in the oblique direction. For R, the R pixels in the L (2n) row and the L (2n + 2) row are added and read in the vertical direction. In B, the B pixels in the L (2n + 1) row and the L (2n + 3) row are added in the vertical direction and read out.
また、Gについては、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。例えば、図2では、L(0)行目とL(1)行目のGの画素を、斜め45度方向に加算した後、L(2)行目とL(3)行目のGの画素を、斜め135度方向に加算している。 For G, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern. For example, in FIG. 2, the G pixels in the L (0) row and the L (1) row are added in a 45-degree direction, and then the G pixels in the L (2) row and the L (3) row are added. Pixels are added obliquely in the direction of 135 degrees.
上記のように、同色の画素同士を加算して読み出すと、R、G、Bについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Gについては市松状の配置となり、R、Bについては正方格子状の配置になる。しかし、加算読み出し後の画素の重心は、図3のようになり、R、G、Bの画素重心の配置は、原色ベイヤー配列でなくなってしまう。 As described above, when pixels of the same color are added and read, the distance between the added pixels is the shortest for each of R, G, and B, and the pixel arrangement after the addition is Ichimatsu for G. And R and B are arranged in a square lattice pattern. However, the center of gravity of the pixel after the addition reading is as shown in FIG. 3, and the arrangement of the R, G, and B pixel centroids is not a primary color Bayer array.
そこで、位相補償部106において、位相補償処理を行う。前述したように、Gについては、加算後の画素配置が市松状になっているため、Gの画素を基準として、R、Bの画素の重心が、それぞれ、図3の矢印で示された画素位置となるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図4のようになり、原色ベイヤー配列となる。
In the
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
As described above, in this embodiment, when adding and reading signals of two pixels in which color filters of the same color are arranged on the
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
(第2の実施の形態)
次に、本発明の第2の実の施形態について説明する。第2の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The configuration of the second embodiment is the same as that of the first embodiment shown in FIG.
本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を3画素ずつ加算して読み出す動作を行う。
In the present embodiment, on the
第2の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
The difference between the second embodiment and the first embodiment is the addition reading operation in the
図5の概念図を参照しながら、CMOSイメージセンサ102上で、同色の3画素を加算して読み出す処理について説明する。
A process of adding and reading three pixels of the same color on the
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の3画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の3画素を加算する。 In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Three pixels of the same color adjacent in the oblique direction are added. For R and B, three pixels of the same color that are located two pixels apart in the vertical direction are added.
具体的には、図5において、Gについては、L(2n)行目、L(2n+1)行目、L(2n+2)行目に存在し、斜め方向に隣接する3画素が、加算されて読み出される。Rについては、L(2n)行目、L(2n+2)行目、L(2n+4)行目のRの画素が垂直方向に加算されて読み出される。Bについては、L(2n−1)行目、L(2n+1)行目、L(2n+3)行目のBの画素が垂直方向に加算されて読み出される(n=0,1,2,・・・)。 Specifically, in FIG. 5, for G, three pixels that are present in the L (2n), L (2n + 1), and L (2n + 2) rows and that are adjacent in the oblique direction are Added and read. For R, the R pixels in the L (2n), L (2n + 2), and L (2n + 4) rows are added in the vertical direction and read out. For B, the B pixels in the L (2n-1), L (2n + 1), and L (2n + 3) rows are added in the vertical direction and read (n = 0, 1, 2, ...).
上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図6のようになる。
As described above, for each of R, G, and B, a pixel to be added is selected so that the distance between the pixels becomes the shortest, and when the pixel is added and read on the
図6において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。 In FIG. 6, the pixel centroids of G are checkered, but the pixel centroids of R and B are deviated from G and are not primary color Bayer arrays.
そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図3の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図7のようになり、原色ベイヤー配列となる。
In the
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された3画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
As described above, in this embodiment, when adding and reading out signals of three pixels in which color filters of the same color are arranged on the
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。第3の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. Since the configuration of the third embodiment is the same as that of the first embodiment shown in FIG.
本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を4画素ずつ加算して読み出す動作を行う。
In the present embodiment, on the
第3の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
The difference between the third embodiment and the first embodiment is the addition reading operation in the
図8の概念図を参照しながら、CMOSイメージセンサ102上で、同色の4画素を加算して読み出す処理について説明する。
A process of adding and reading four pixels of the same color on the
図8(a)、(b)、(c)は、図21に示す原色ベイヤー配列のCMOSイメージセンサ102から、それぞれ、G、R、Bの色フィルタが配置された画素のみを表示した概念図である。
FIGS. 8A, 8B, and 8C are conceptual diagrams that display only pixels in which G, R, and B color filters are arranged from the primary color Bayer array
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の4画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の4画素を加算する。 In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Four pixels of the same color adjacent in the oblique direction are added. For R and B, four pixels of the same color that are located two pixels apart in the vertical direction are added.
図8(a)で示すGの画素については、斜線の領域に含まれる、斜め方向に隣接する4画素が加算されて読み出される。図8(b)で示すRの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する4画素が加算されて読み出される。同様に、図8(c)で示すBの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する4画素が加算されて読み出される。 For the G pixel shown in FIG. 8A, four pixels adjacent in the diagonal direction included in the hatched area are added and read. With respect to the R pixel shown in FIG. 8B, four pixels included in the hatched area and located two pixels apart in the vertical and horizontal directions are added and read. Similarly, for the pixel B shown in FIG. 8C, four pixels located in the hatched area and positioned two pixels apart in the vertical and horizontal directions are added and read.
上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図9のようになる。
As described above, for each of R, G, and B, a pixel to be added is selected so that the distance between the pixels becomes the shortest, and when added and read on the
図9において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。 In FIG. 9, the center of gravity of the G pixel is checkered, but the center of gravity of the R and B pixels is deviated from G and is not a primary color Bayer array.
そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図3の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図10のようになり、原色ベイヤー配列となる。
In the
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された4画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
As described above, in the present embodiment, when signals of four pixels in which color filters of the same color are arranged are added and read on the
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
(第4の実施の形態)
次に、本発明の第4の実施の形態について説明する。第4の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. The configuration of the fourth embodiment is the same as that of the first embodiment shown in FIG.
本実施の形態では、CMOSイメージセンサ102上で、色毎に、最も画素間距離が短くなるよう、同色の色フィルタが配置された画素を6画素ずつ加算して読み出す動作を行う。
In the present embodiment, on the
第4の実施の形態と第1の実施の形態との差異は、CMOSイメージセンサ102での加算読み出しの動作と、位相補償部106での位相補償処理の動作であるので、以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。
The difference between the fourth embodiment and the first embodiment is the addition reading operation in the
図11の概念図を参照しながら、CMOSイメージセンサ102上で、同色の6画素を加算して読み出す処理について説明する。
A process of adding and reading six pixels of the same color on the
図11(a)、(b)、(c)は、図21に示す原色ベイヤー配列のCMOSイメージセンサ102から、それぞれ、G、R、Bの色フィルタが配置された画素のみを表示した概念図である。
FIGS. 11A, 11B, and 11C are conceptual diagrams that display only pixels in which G, R, and B color filters are arranged, respectively, from the primary color Bayer array
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、斜め方向に隣接する同色の6画素を加算する。また、R、Bについては、垂直方向に2画素ずつ離れて位置する同色の6画素を加算する。 In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Six pixels of the same color adjacent in the oblique direction are added. For R and B, 6 pixels of the same color located 2 pixels apart in the vertical direction are added.
図11(a)で示すGの画素については、斜線の領域に含まれる、斜め方向に隣接する6画素が加算されて読み出される。図11(b)で示すRの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する6画素が加算されて読み出される。同様に、図11(c)で示すBの画素については、斜線の領域に含まれる、垂直、水平方向に2画素ずつ離れて位置する6画素が加算されて読み出される。 With respect to the G pixel shown in FIG. 11A, 6 pixels adjacent to each other in the oblique direction included in the shaded area are added and read. With respect to the R pixel shown in FIG. 11B, six pixels located two pixels apart in the vertical and horizontal directions included in the hatched area are added and read. Similarly, with respect to the pixel B shown in FIG. 11C, 6 pixels included in the hatched area and located two pixels apart in the vertical and horizontal directions are added and read.
上記のようにR、G、Bそれぞれについて、最も画素間距離が短くなるよう加算する画素を選択し、CMOSイメージセンサ102上で加算して読み出すと、読み出し後の画素の重心は図12のようになる。
As described above, for each of R, G, and B, the pixel to be added is selected so that the distance between the pixels is the shortest, and when added and read on the
図12において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。 In FIG. 12, the pixel centroids of G are in a checkered pattern, but the R and B pixel centroids are shifted from G, and the primary color Bayer array is not formed.
そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図12の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図13のようになり、原色ベイヤー配列となる。
In the
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された6画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
As described above, in the present embodiment, when signals of 6 pixels in which color filters of the same color are arranged are added and read on the
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
(第5の実施の形態)
次に、本発明の第5の実施形態について説明する。
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described.
図14は、本発明に係る撮像装置の第2の構成例を示すブロック図である。 FIG. 14 is a block diagram illustrating a second configuration example of the imaging apparatus according to the present invention.
第5の実施の形態の構成は、図14のようになっており、図1に示す第1の実施の形態に対して、フレームメモリ109と、IP変換部110が追加されている。
The configuration of the fifth embodiment is as shown in FIG. 14, and a
第5の実施の形態では、第1の実施の形態と異なり、フィールド毎に、加算後の画素重心がずれるようにCMOSイメージセンサ102での加算読み出しを行う。また、第5の実施の形態では、第1の実施の形態と異なり、フレームメモリ109を介して、画素重心が異なる2フィールド分の画像を、IP変換部110でフレーム化して出力する。
In the fifth embodiment, unlike the first embodiment, addition reading is performed by the
以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。 In the following, only the above differences will be described, and description of other parts will be omitted.
本実施の形態では、1フィールド毎に、CMOSイメージセンサ102からの加算読み出しの位相を変える。奇数フィールドのときは、第1の実施の形態と同様の加算読み出しを行うので説明を省略する。
In the present embodiment, the phase of addition reading from the
偶数フィールドのときは、読み出し後の位相が、奇数フィールドのときよりも1ライン上にシフトするよう、R、G、Bそれぞれの加算画素を切り替える。 In the even field, the R, G, and B addition pixels are switched so that the phase after readout is shifted up by one line compared to that in the odd field.
具体的には、偶数フィールドのとき、図15に示すように、Gは、L(2n−1)行目とL(2n)行目に存在し、斜め方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n−2)行目とL(2n)行目のRの画素が垂直方向に加算されて読み出される。Bについては、L(2n−1)行目とL(2n+1)行目のBの画素が垂直方向に加算されて読み出され、加算読み出し後の画素の重心は、図16のようになる。 Specifically, in the case of an even field, as shown in FIG. 15, G is present in the L (2n-1) and L (2n) rows, and two adjacent G pixels in the diagonal direction are added. And read. For R, the R pixels in the L (2n−2) th row and the L (2n) th row are added in the vertical direction and read out. With respect to B, the B pixels in the L (2n-1) and L (2n + 1) rows are added and read in the vertical direction, and the center of gravity of the pixel after the addition reading is as shown in FIG. Become.
図16において、Gの画素重心は市松状になっているが、R、Bの画素重心がGに対してずれており、原色ベイヤー配列となっていない。 In FIG. 16, the pixel centroids of G are checkered, but the R and B pixel centroids are shifted from G, and the primary color Bayer array is not formed.
そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図16の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図17のようになり、原色ベイヤー配列となる。
In the
また、図17に示す偶数フィールドの垂直方向の画素の重心は、L2(2n)に位置している。一方、奇数フィールドの位相補償処理後の画素の重心は、図4に示すように、L2(2n+1)に位置しており、偶数フィールドと奇数フィールドの垂直方向の画素の重心はインターレースの関係となる。 Further, the center of gravity of the pixels in the vertical direction of the even field shown in FIG. 17 is located at L2 (2n). On the other hand, the center of gravity of the pixel after the phase compensation processing in the odd field is located at L2 (2n + 1) as shown in FIG. 4, and the center of gravity of the pixel in the vertical direction of the even field and the odd field is interlaced. It becomes.
フレームメモリ109では、カメラ信号処理部107から出力される映像信号を1フィールド分遅延させる。IP変換部110では、カメラ信号処理部107から出力される現在のフィールドの映像信号と、フレームメモリ109で遅延された1フィールド前の映像信号を用いた補間処理により、フレーム画像を生成する。
In the
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算し、かつ、フィールド毎に加算する画素の組み合わせを変えて、読み出し後の画像がインターレース駆動となるようにする。
As described above, in the present embodiment, signals of two pixels in which color filters of the same color are arranged on the
このとき、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択することにより、加算による解像度劣化を低減することができる。 At this time, by selecting the addition pixel so that the distance between the pixels to be added is the shortest for each color, it is possible to reduce resolution degradation due to the addition.
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
(第6の実施の形態)
次に、本発明の第6の実施の形態について説明する。第6の実施の形態の構成は、図1に示す第1の実施の形態と同じであるので説明を省略する。
(Sixth embodiment)
Next, a sixth embodiment of the present invention will be described. The configuration of the sixth embodiment is the same as that of the first embodiment shown in FIG.
第6の実施の形態では、第1の実施の形態と異なり、CMOSイメージセンサ102が、図22に示すような、原色ハニカム配置となっている。
In the sixth embodiment, unlike the first embodiment, the
以下では、上記の差異についてのみ説明し、それ以外については説明を省略する。 In the following, only the above differences will be described, and description of other parts will be omitted.
図18を参照しながら、原色ハニカム配列のCMOSイメージセンサ102上で、同色の2画素を加算して読み出す処理について説明する。
A process of adding and reading two pixels of the same color on the primary color honeycomb array
図18において、(a)は、原色ハニカム配列のCMOSイメージセンサ102について、Gの画素のみ表示しており、(b)は、原色ハニカム配列のCMOSイメージセンサ102について、RとBの画素のみ表示している。
18A shows only G pixels for the primary color honeycomb array
CMOSイメージセンサ102に配置されている原色ハニカム配列の色フィルタは、図22に示すように、Gが正方格子状に配置され、R、Bは、Gの画素は位置に対して、斜め方向に0.5画素ずらした位置に、市松状に配置されている。
As shown in FIG. 22, the color filters of the primary color honeycomb array arranged in the
従って、Gの色フィルタが配置された画素について、最も画素間距離が短いのは垂直、水平方向であり、R、Bの色フィルタが配置された画素では、斜め方向の画素間距離が最も短い。 Therefore, for the pixels in which the G color filter is arranged, the distance between the pixels is the shortest in the vertical and horizontal directions, and in the pixels in which the R and B color filters are arranged, the distance between the pixels in the oblique direction is the shortest. .
本発明では、同色の画素を加算して読み出す際に、加算する画素間の距離が最も短くなるよう、加算する画素を選択することで、加算による解像度劣化の低減を図るので、Gについては、垂直方向に隣接するGの2画素を加算する。また、R、Bについては、斜め方向に隣接する同色の2画素を加算する。 In the present invention, when pixels of the same color are added and read out, by selecting the pixels to be added so that the distance between the pixels to be added is the shortest, resolution degradation due to the addition can be reduced. Two G pixels adjacent in the vertical direction are added. For R and B, two pixels of the same color adjacent in the diagonal direction are added.
具体的には、図18において、Gについては、L(2n)行目とL(2n+2)行目に存在し、垂直方向に隣接するGの2画素が加算されて読み出される。Rについては、L(2n+1)行目とL(2n+3)行目に存在し、斜め方向に隣接するRの画素が加算されて読み出される。Bについては、L(2n+1)行目とL(2n+3)行目に存在し、斜め方向に隣接するBの画素が加算されて読み出される。また、RとBについては、それぞれ、加算後の画素配置が市松状になるよう、加算する画素の組み合わせを行毎に変える。 Specifically, in FIG. 18, G exists in the L (2n) and L (2n + 2) rows, and two pixels of G adjacent in the vertical direction are added and read. R exists in the L (2n + 1) and L (2n + 3) rows, and R pixels adjacent in the diagonal direction are added and read. B exists in the L (2n + 1) and L (2n + 3) rows, and B pixels adjacent in the oblique direction are added and read. For R and B, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern.
例えば、図18(b)に示すように、RとBをそれぞれ斜め方向に加算する場合、L(1)行目とL(3)行目の同色の画素を、斜め45度方向に加算した後、L(5)行目とL(7)行目の同色の画素は、斜め135度方向に加算する。 For example, as shown in FIG. 18B, when adding R and B in the diagonal direction, pixels of the same color in the L (1) row and the L (3) row are added in the 45 ° diagonal direction. Thereafter, the pixels of the same color in the L (5) line and the L (7) line are added in a diagonal direction of 135 degrees.
上記のように同色の画素加算を行うと、R、G、Bについて、それぞれ、加算される画素間の距離が最も短くなり、かつ、加算後の画素配置が、Gについては、正方格子となり、R、Bについては、市松状になる。 When pixel addition of the same color is performed as described above, the distance between the pixels to be added is the shortest for each of R, G, and B, and the pixel arrangement after the addition is a square lattice for G. About R and B, it becomes a checkered pattern.
しかし、読み出し後の画素の重心は図19に示すように、R、G、Bの画素重心の位置関係が、原色ハニカムではなくなってしまっている。 However, as shown in FIG. 19, the center of gravity of the pixel after readout is such that the positional relationship of the R, G, and B pixel centroids is not the primary color honeycomb.
そこで、位相補償部106において、R、Bの画素重心が、それぞれ、図19の矢印で示された画素位置にくるよう、位相補償が行われる。位相補償の具体的な処理としては、例えば、同色の画素を用いた内挿補間を行う。
Therefore, the
位相補償部106において、R、Bの画素に対して位相補償処理を行った後のR、G、Bの画素の重心は、図20のようになり、原色ハニカム配列となる。
In the
また、前述したように、R、Bの画素は、センサ読み出し後の画素配置が市松状になるよう制御されているため、R、Bに対する位相補償の補償量は、図19に示したように、画素位置、及び、色フィルタの色によらず均一となる。これにより、画素単位の位相補償むらによる画質劣化を防ぐことができる。 Further, as described above, since the R and B pixels are controlled so that the pixel arrangement after sensor reading is in a checkered pattern, the compensation amount of phase compensation for R and B is as shown in FIG. The pixel position is uniform regardless of the color of the color filter. As a result, it is possible to prevent image quality degradation due to uneven pixel phase compensation.
以上のように、本実施の形態では、CMOSイメージセンサ102上で同色の色フィルタが配置された2画素の信号を加算して読み出す際に、色毎に、加算される画素間の距離が最も短くなるよう加算画素を選択する。これにより、加算による解像度劣化を低減することができる。
As described above, in this embodiment, when adding and reading signals of two pixels in which color filters of the same color are arranged on the
また、R、Bの画素について、斜め方向に同色の画素を加算して読み出す際、加算後の画素配置が市松状になるよう、行毎に加算する画素の組み合わせを変えている。そのため、後段の位相補償処理において、R、Bに対する位相補償のレベルが均一になり、画素毎の補償むらによる画質劣化を避けられる。 In addition, regarding the R and B pixels, when adding and reading out pixels of the same color in an oblique direction, the combination of pixels to be added is changed for each row so that the pixel arrangement after the addition becomes a checkered pattern. Therefore, in the subsequent phase compensation processing, the level of phase compensation for R and B becomes uniform, and image quality deterioration due to compensation unevenness for each pixel can be avoided.
また、CMOSイメージセンサ102から加算読み出しした画像のR、B信号に対してのみ、位相補償処理を行い、解像感に最も寄与するG信号には位相補償処理を行わないようにするため、位相補償処理による解像度劣化を低減することができる。
In addition, the phase compensation process is performed only on the R and B signals of the image read out from the
これにより、多画素イメージセンサを用いた撮像装置において、画質劣化を抑えながら、処理負荷の低減を図ることができる。 Thereby, in an imaging apparatus using a multi-pixel image sensor, it is possible to reduce the processing load while suppressing image quality deterioration.
101 結像レンズ
102 CMOSイメージセンサ
103 ADC
104 SSG
105 CPU
106 位相補償部
107 カメラ信号処理部
108 映像信号出力端子
109 フレームメモリ
110 IP変換部
101
104 SSG
105 CPU
106
Claims (2)
前記撮像素子上で同色の色フィルタが配置された複数の画素の信号を加算して読み出す読み出し手段と、
前記撮像素子から読み出された信号の位相補償を行う位相補償手段とを備え、
前記読み出し手段は、前記色フィルタの色毎に、画素間の距離が最短となる画素を加算して読み出し、
前記位相補償手段は、前記色フィルタの色毎に異なる前記位相補償を行うことを特徴とする撮像装置。 An image sensor in which a plurality of color filters are regularly arranged two-dimensionally;
Reading means for adding and reading signals of a plurality of pixels in which color filters of the same color are arranged on the image sensor;
Phase compensation means for performing phase compensation of the signal read from the image sensor,
The readout means adds and reads out the pixel having the shortest distance between the pixels for each color of the color filter,
The imaging apparatus according to claim 1, wherein the phase compensation unit performs the phase compensation different for each color of the color filter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008289866A JP5404006B2 (en) | 2008-11-12 | 2008-11-12 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008289866A JP5404006B2 (en) | 2008-11-12 | 2008-11-12 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010118839A true JP2010118839A (en) | 2010-05-27 |
JP5404006B2 JP5404006B2 (en) | 2014-01-29 |
Family
ID=42306214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008289866A Active JP5404006B2 (en) | 2008-11-12 | 2008-11-12 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5404006B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000069491A (en) * | 1998-08-19 | 2000-03-03 | Nikon Corp | Image pickup element and image pickup device using the same |
JP2001036920A (en) * | 1999-07-21 | 2001-02-09 | Canon Inc | Image pickup unit and image pickup system using the same |
JP2004147092A (en) * | 2002-10-24 | 2004-05-20 | Canon Inc | Signal processing device, imaging device, and control method |
JP2006020037A (en) * | 2004-07-01 | 2006-01-19 | Sony Corp | Physical information acquisition method, physical information acquisition device, and semiconductor device for detecting physical quantity distribution |
JP2008199177A (en) * | 2007-02-09 | 2008-08-28 | Olympus Imaging Corp | Image processor and its method, and electronic camera |
-
2008
- 2008-11-12 JP JP2008289866A patent/JP5404006B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000069491A (en) * | 1998-08-19 | 2000-03-03 | Nikon Corp | Image pickup element and image pickup device using the same |
JP2001036920A (en) * | 1999-07-21 | 2001-02-09 | Canon Inc | Image pickup unit and image pickup system using the same |
JP2004147092A (en) * | 2002-10-24 | 2004-05-20 | Canon Inc | Signal processing device, imaging device, and control method |
JP2006020037A (en) * | 2004-07-01 | 2006-01-19 | Sony Corp | Physical information acquisition method, physical information acquisition device, and semiconductor device for detecting physical quantity distribution |
JP2008199177A (en) * | 2007-02-09 | 2008-08-28 | Olympus Imaging Corp | Image processor and its method, and electronic camera |
Also Published As
Publication number | Publication date |
---|---|
JP5404006B2 (en) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5359465B2 (en) | Solid-state imaging device, signal processing method for solid-state imaging device, and imaging device | |
JP5453173B2 (en) | Imaging device, solid-state imaging device having phase difference detection pixel, and driving control method of imaging device | |
JP4626706B2 (en) | Solid-state imaging device, signal processing method for solid-state imaging device, and imaging device | |
CN103517045B (en) | Solid photographic device and its control method and electronic installation | |
KR20100066396A (en) | Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus | |
JP5423125B2 (en) | Solid-state imaging device, driving method thereof, and camera system | |
WO2011058814A1 (en) | Imaging element, drive device for an imaging element, drive method for an imaging element, image processing device, program, and imaging device | |
JP5597777B2 (en) | Color imaging device and imaging apparatus | |
JP2011205307A (en) | Solid-state imaging device and image recording apparatus | |
JP2009117979A (en) | Method of driving solid-state imaging device | |
CN114679551A (en) | Solid-state imaging device, signal processing method for solid-state imaging device, and electronic apparatus | |
JP5607265B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP2014161022A (en) | Solid-state imaging apparatus, signal processing method of the same and imaging apparatus | |
JP6137539B2 (en) | Solid-state imaging device, driving method thereof, and electronic apparatus | |
JP2007129581A (en) | Image pickup device and image pickup system | |
JP5404006B2 (en) | Imaging device | |
CN104025576B (en) | The control method of camera head and camera head | |
JP2012085334A (en) | Solid state imaging device, signal processing method of solid state imaging device and imaging device | |
JP2016025626A (en) | Imaging device, imaging method and imaging apparatus | |
JP2011091849A (en) | Solid-state imaging apparatus, signal processing method therein, and imaging apparatus | |
JP5124549B2 (en) | Moving image signal readout method and imaging apparatus for solid-state imaging device | |
JP2007235888A (en) | Single-ccd color solid-state imaging element and imaging apparatus | |
JP2009089205A (en) | Solid-state imaging device | |
JP2009141578A (en) | Driving method and signal processing method of solid-state imaging element, and imaging device | |
JP2009130574A (en) | Imaging apparatus and driving method of solid-state imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5404006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |