[go: up one dir, main page]

CN104584542B - 图像处理装置、图像处理方法及摄像装置 - Google Patents

图像处理装置、图像处理方法及摄像装置 Download PDF

Info

Publication number
CN104584542B
CN104584542B CN201380045235.6A CN201380045235A CN104584542B CN 104584542 B CN104584542 B CN 104584542B CN 201380045235 A CN201380045235 A CN 201380045235A CN 104584542 B CN104584542 B CN 104584542B
Authority
CN
China
Prior art keywords
pixel
look
weight coefficient
pixels
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380045235.6A
Other languages
English (en)
Other versions
CN104584542A (zh
Inventor
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104584542A publication Critical patent/CN104584542A/zh
Application granted granted Critical
Publication of CN104584542B publication Critical patent/CN104584542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

在计算局部区域的GR及GB的色比时，在内核内的水平方向及垂直方向的像素行中，分别使用具有对G、R像素的加权系数的总和之比为1：1的加权系数的加权平均滤光片及具有对G、B像素的加权系数的总和之比为1：1的加权系数的加权平均滤光片。而且，基于去马赛克处理的处理对象的像素位置的G的像素值和色比对对象像素的像素值进行插值而算出R、B的像素值。

Description

图像处理装置、图像处理方法及摄像装置
技术领域
本发明涉及图像处理装置、方法、程序、记录介质及摄像装置，尤其是涉及减少产生彩色莫尔条纹的技术。
背景技术
在具有单板式彩色摄像元件的彩色摄像装置中，来自彩色摄像元件的输出图像是RAW图像(马赛克图像)，因此通过根据周围的像素对所缺失颜色的像素进行插值的去马赛克算法处理(或称作“去马赛克处理”，以下相同)而得到多通道图像。
专利文献1中有下述记载：去马赛克处理时进行假定了局部区域中的红色(R)、绿色(G)、蓝色(B)的色比大致保持为一定的插值处理。例如，对于以去马赛克处理的处理对象的像素为中心像素的7×7像素的输入像素单位，求出R、G、B信号的低频成分mR’、mG、mB’，基于G像素的像素值g和局部区域的色比(mR’/mG、mB’/mG)，而将处理对象的像素是G像素的情况下的G像素上的R、B像素的像素值推定为R＝(mR'/mG)g，B＝(mB'/mG)g。
另外，通过对7×7像素的输入像素单位内的RGB信号和在中央部分配了较大的加权系数后的加权系数的卷积运算，算出加权平均值，从而进行与7×7像素的输入像素单位对应的R、G、B信号的低频成分mR’、mG、mB’的计算(专利文献1的图24、图26)。
专利文献1：日本特开2011－182354号公报
发明内容
发明所要解决的课题
专利文献1记载的发明涉及从除了RGB像素外还具有白色(W)像素的摄像元件取得的RGBW排列的马赛克图像的去马赛克处理。专利文献1记载的发明不能减少因为各颜色的超过重现频带的高频信号的折回和各颜色的相位的偏离而产生的低频的色附着(彩色莫尔条纹)。
在纵条纹图案或横条纹图案(高频图像)入射到摄像元件的情况下，若通过专利文献1所记载的加权系数算出局部区域的RGB的色比(R/G、B/G)，则局部区域的RGB的色比保持为一定的假定不成立。并且，若基于该色比进行去马赛克处理，则存在产生彩色莫尔条纹的问题。
本发明鉴于这种情况而做，其目的在于提供一种能够以简单的图像处理减少产生彩色莫尔条纹的图像处理装置、方法、程序、记录介质及摄像装置。
用于解决课题的手段
为了达成上述目的，本发明的一个方式具备：图像获取单元，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与滤色器排列对应的马赛克图像，上述多个像素由排列于第一方向及与第一方向垂直的第二方向上的光电转换元件构成，上述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片；运算单元，具有与第二色的每色对应且与预定的内核尺寸内的第一色对应地设定的第一加权系数和与第二色的各色分别对应地设定的第二加权系数，上述第一加权系数及第二加权系数设定为内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1：1，并且该运算单元基于第一加权系数及第二加权系数、从马赛克图像提取的与内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的每色的像素的像素值而算出第一色的积和运算值及第二色的每色的积和运算值；及图像处理单元，基于局部区域内的处理对象的像素的像素位置的第一色的像素值、由运算单元算出的第一色及第二色的每色的积和运算值而算出像素位置的第二色的每色的像素值。
根据本发明的一个方式，运算单元为了取得马赛克图像内的局部区域的颜色信息，而基于与预定的内核尺寸内的第一色对应地设定的第一加权系数、与第二色的各色分别对应地设定的第二加权系数、从马赛克图像提取的与内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的像素的像素值，算出第一色的积和运算值及第二色的积和运算值。在此，第一加权系数和第二加权系数被设定为，内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1：1。即，通过使第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1：1，即使对第一方向或第二方向输入任何频率，乘以第一加权系数及第二加权系数后的结果的颜色的关系都不会偏移。因此，能够算出该局部区域的准确的颜色信息(第一及第二积和运算值)。图像处理单元基于局部区域内的处理对象的像素的像素位置的第一色的像素值和第一色及第二色的每色的积和运算值而算出像素位置的第二色的每色的像素值，可算出局部区域的准确的颜色信息。由此，能够高精度地进行去马赛克处理，并能够减少产生彩色莫尔条纹(伪色)。
本发明的其他方式的图像处理装置中，马赛克图像在与内核尺寸对应的局部区域内对于第二色的每色具有一组以上的两对像素的组，上述两对像素的组为在具有与第一方向及第二方向平行的边的任意四边形的至少一个四边形中一方的对角位置具有第一色而另一方的对角位置具有同色的第二色。通过这种第一、第二像素的配置，能够使内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1：1。
本发明的又一其他方式的图像处理装置中，马赛克图像包含在第一方向及第二方向上与M×N像素(M≥3、N≥3)对应的基本排列图案，并且基本排列图案沿第一方向及第二方向重复配置。在包含三种颜色以上的颜色的马赛克图像的情况下，为了使第一加权系数的总和与第二加权系数的总和之比为1：1，需要使基本排列图案的像素尺寸为3×3像素以上。
本发明的又一其他方式的图像处理装置中，马赛克图像包含在第一方向及第二方向的像素行上第二色的全部颜色的像素不齐全的像素行。即使包含在第一方向及第二方向的像素行上第二色的全部颜色的像素不齐全的像素行，也能够使内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1：1。本发明对于这种马赛克图像也是有效的。
本发明的又一其他方式的图像处理装置中，具备：控制单元，对马赛克图像一边使局部区域每次移动与处理对象的对象像素单位相应的量一边使运算单元及图像处理单元反复动作。
本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一色的绿(G)色对应的G像素、与属于第二色的红(R)色及蓝(B)色对应的R像素及B像素，当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、Gf、Bf时，在处理对象的对象像素是G像素的情况下，图像处理单元分别算出G像素的积和运算值与R像素的积和运算值之比即色比(Rf/Gf)及G像素的积和运算值与B像素的积和运算值之比即色比(Bf/Gf)，并基于算出的色比(Rf/Gf)、色比(Bf/Gf)和处理对象的G像素的像素值而分别算出处理对象的像素位置的R像素、B像素的像素值。
局部区域的R像素与G像素的积和运算值(Rf、Gf)之比及B像素与G像素的积和运算值(Bf、Gf)之比表示该局部区域的本来的颜色的GR的色比及GB的色比。而且，通过这些色比对处理对象的G像素的像素位置的R、B的像素值进行插值，能够高精度地进行推定。
本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一色的绿(G)色对应的G像素、与属于第二色的红(R)色及蓝(B)色对应的R像素及B像素，当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、Gf、Bf时，在处理对象的对象像素是R像素的情况下，图像处理单元算出G像素的积和运算值与B像素的积和运算值之比即色比(Bf/Gf)，并基于算出的色比(Bf/Gf)和对于处理对象的像素位置算出的G像素的像素值而算出处理对象的像素位置的B像素的像素值，在处理对象的对象像素是B像素的情况下，图像处理单元算出G像素的积和运算值与R像素的积和运算值之比即色比(Rf/Gf)，并基于算出的色比(Rf/Gf)和对于处理对象的像素位置算出的G像素的像素值而算出处理对象的像素位置的R像素的像素值。
使用预先算出的R像素上的G的像素值及B像素上的G的像素值，利用色比对这些像素值进行插值而算出R像素上的B的像素值及B像素上的R的像素值。
本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一色的绿(G)色对应的G像素、与属于第二色的红(R)色及蓝(B)色对应的R像素及B像素，当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数的总和而得到的加权平均值分别设为Rf’、Gf’、Bf’时，在处理对象的对象像素是G像素的情况下，图像处理单元分别算出G像素的加权平均值与R像素的加权平均值之差即色差(Rf’－Gf’)及G像素的加权平均值与B像素的加权平均值之差即色差(Bf’－Gf’)，并基于算出的色差(Rf’－Gf’)、色差(Bf’－Gf’)和处理对象的G像素的像素值，而分别算出处理对象的像素位置的R像素、B像素的像素值。
局部区域中的每色的加权平均值(Rf’、Gf’、Bf’)之差表示该局部区域的本来颜色的RGB之差(色差)，基于该色差和处理对象的G像素的像素值，能够高精度地推定R、B的像素值。
本发明的又一其他方式的图像处理装置中，优选为，马赛克图像具有：与属于第一色的绿(G)色对应的G像素、与属于第二色的红(R)色及蓝(B)色对应的R像素及B像素，当将由运算单元算出的R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数的总和而得到的加权平均值分别设为Rf’、Gf’、Bf’时，在处理对象的对象像素是R像素的情况下，图像处理单元算出G像素的加权平均值与B像素的加权平均值之差即色差(Bf’－Gf’)，并基于算出的色差(Bf’－Gf’)和对于处理对象的像素位置算出的G像素的像素值，而算出处理对象的像素位置的B像素的像素值，在处理对象的对象像素是B像素的情况下，图像处理单元算出G像素的加权平均值与R像素的加权平均值之差的色差(Rf’－Gf’)，并基于算出的色差(Rf’－Gf’)和对于处理对象的像素位置算出的G像素的像素值而算出处理对象的像素位置的R像素的像素值。
使用预先算出的R像素上的G的像素值及B像素上的G的像素值，利用色差对这些像素值进行插值而算出R像素上的B的像素值及B像素上的R的像素值。
本发明的又一其他方式的图像处理装置中，优选为，具备：方向判别单元，基于马赛克图像内的处理对象的像素附近的第一色的像素的像素值来判别亮度的相关方向是第一方向、第二方向、相对于第一方向及第二方向倾斜的第三方向及第四方向中的哪个方向，在处理对象的像素位置的像素是R像素或B像素的情况下，图像处理单元使用存在于由方向判别单元判别出的相关方向上的G像素的像素值而算出对该像素位置的G像素的像素值。
关于R像素上的G的像素值及B像素上的G的像素值，通过如上述那样地使用存在于进行了方向判别的相关方向上的G像素的像素值，能够高精度地推定出G的像素值，并能够减少产生高频部的伪色。
本发明的又一其他方式的图像处理装置中，优选为，马赛克图像中的第一色的像素在第一方向、第二方向、第三方向和第四方向的各方向的像素行内配置一个以上。由此，即使亮度的相关方向存在于第一方向、第二方向、第三方向和第四方向中的任一个方向，在亮度的相关方向上必定存在第一色的像素，因此能够使用存在于相关方向上的G像素的像素值，高精度地算出R像素上的G的像素值及B像素上的G的像素值。
本发明的又一其他方式的图像处理装置中，优选为，方向判别单元取得马赛克图像内的处理对象的像素附近的第一色的像素即在第一方向、第二方向、第三方向和第四方向上分别相邻的同色的像素的像素值，并基于分别相邻的同色的像素的像素值的差分值来判别亮度的相关方向。
由于基于在第一方向、第二方向、第三方向和第四方向的各方向上相邻的同色的第一色的像素的像素值的差分值来判别亮度的相关方向，因此能够以最小像素间隔判别相关方向是四个方向中的哪一个方向。
本发明的又一其他方式的图像处理装置中，优选为，方向判别单元按第一方向、第二方向、第三方向和第四方向的各方向算出多个相相邻的同色的像素的像素值的差分绝对值，并将各方向的多个差分绝对值的总和或平均值中为最小的方向判别为相关方向。由于按各方向分别算出多个差分绝对值的平均值，因此能够高精度地判别相关方向。
本发明的又一其他方式的摄像装置具备上述的图像处理装置。
本发明的又一其他方式的图像处理方法包括：图像获取工序，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与上述滤色器排列对应的马赛克图像，上述多个像素由排列于第一方向及与第一方向垂直的第二方向上的光电转换元件构成，上述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片；运算工序，使用与第二色的每色对应且与预定的内核尺寸内的第一色对应地设定的第一加权系数和与第二色的各色分别对应地设定的第二加权系数进行运算，第一加权系数及第二加权系数设定为内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1:1，在该运算工序中基于第一加权系数及第二加权系数、从马赛克图像提取的与内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的像素的像素值而算出第一色的积和运算值及第二色的积和运算值；及图像处理工序，基于局部区域内的处理对象的像素的像素位置的第一色的像素值、由运算工序算出的第一色及第二色的每色的积和运算值，而算出像素位置的第二色的每色的像素值，对马赛克图像一边使局部区域每次移动与处理对象的对象像素单位相应的量一边反复执行运算工序及图像处理工序的处理。
本发明的又一其他方式的图像处理程序，使计算机执行如下功能：图像获取功能，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与上述滤色器排列对应的马赛克图像，上述多个像素由排列于第一方向及与第一方向垂直的第二方向上的光电转换元件构成，上述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片；运算功能，使用与第二色的每色对应且与预定的内核尺寸内的第一色对应地设定的第一加权系数和与第二色的各色分别对应地设定的第二加权系数进行运算，第一加权系数及第二加权系数设定为内核尺寸内的第一方向及第二方向的像素行内的第一加权系数的总和与第二加权系数的总和之比为1:1，该运算功能基于第一加权系数及第二加权系数、从马赛克图像提取的与内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的像素的像素值而算出第一色的积和运算值及第二色的积和运算值；及图像处理功能，基于局部区域内的处理对象的像素的像素位置的第一色的像素值、由运算工序算出的第一色及第二色的每色的积和运算值，而算出像素位置的第二色的每色的像素值。
发明效果
根据本发明，能够不受高频部的影响地高精度地算出马赛克图像内的局部区域内的颜色信息(第一色的像素的积和运算值和第二色的像素的积和运算值)，由此能够高精度地进行去马赛克处理，并能够减少产生彩色莫尔条纹(伪色)。
附图说明
图1是表示本发明的摄像装置的实施方式的立体图。
图2是图1所示的摄像装置的后视图。
图3是表示图1所示的摄像装置的内部结构的实施方式的框图。
图4是表示设置于第一实施方式的摄像元件的滤色器的滤色器排列的图。
图5A是表示适用于第一实施方式的摄像元件的加权平均滤光片的第一实施方式的图。
图5B是表示适用于第一实施方式的摄像元件的加权平均滤光片的第一实施方式的图。
图6是为了对亮度的相关方向的判别方向进行说明而使用的图。
图7A是表示适用于第一实施方式的摄像元件的其他加权平均滤光片的实施方式的图。
图7B是表示适用于第一实施方式的摄像元件的其他加权平均滤光片的实施方式的图。
图8是表示适用于第一实施方式的摄像元件的加权平均滤光片的第二实施方式的图。
图9A是为了对图5A及图5B所示的第一实施方式的加权平均滤光片的加权系数的决定方法进行说明而使用的图。
图9B是为了对图5A及图5B所示的第一实施方式的加权平均滤光片的加权系数的决定方法进行说明而使用的图。
图10是为了对图8所示的第二实施方式的加权平均滤光片的加权系数的决定方法进行说明而使用的图。
图11A是表示摄像元件的第二实施方式和适用于此的第三实施方式的加权平均滤光片的图。
图11B是表示摄像元件的第二实施方式和适用于此的第三实施方式的加权平均滤光片的图。
图12A是表示摄像元件的第三实施方式和适用于此的第四实施方式的加权平均滤光片的图。
图12B是表示摄像元件的第三实施方式和适用于此的第四实施方式的加权平均滤光片的图。
图13是表示摄像元件的第四实施方式的图。
图14是表示将图13所示的基本排列图案四分割为3×3像素的A排列和B排列的状态的图。
图15A是表示从图13所示的第四实施方式的摄像元件得到的马赛克图像的去马赛克处理中所使用的加权平均滤光片的实施方式的图。
图15B是表示从图13所示的第四实施方式的摄像元件得到的马赛克图像的去马赛克处理中所使用的加权平均滤光片的实施方式的图。
图16是表示摄像元件的第五实施方式的图。
图17A是表示从图16所示的第五实施方式的摄像元件得到的马赛克图像的去马赛克处理中所加权平均滤光片的实施方式的图。
图17B是表示从图16所示的第五实施方式的摄像元件得到的马赛克图像的去马赛克处理中所使用的加权平均滤光片的实施方式的图。
图18是表示配置有R滤光片、G滤光片、B滤光片及W滤光片的各光电二极管的分光灵敏度特性的坐标图。
图19是表示摄像元件的第六实施方式的图。
图20是作为摄像装置的其他实施方式的智能手机的外观图。
图21是表示智能手机的主要部分结构的框图。
具体实施方式
以下，根据附图对本发明的图像处理装置、方法、程序、记录介质及摄像装置的实施方式详细地进行说明。
[摄像装置]
图1及图2分别是表示本发明的摄像装置的实施方式的立体图和后视图。该摄像装置10是由摄像元件接收通过了镜头的光，转换为数字信号并记录于记录介质的数码相机。
如图1所示，摄像装置10在其正面配置有摄影镜头(摄影光学系统)12、闪光灯发光部1等，在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面，如图2所示，在相机背面配置有3D显示用的液晶显示器30、变焦按钮5、十字按钮6、菜单/确定按钮7、重放按钮8、返回按钮9等。
摄影镜头12由缩筒式的变焦镜头构成。摄影镜头12通过由电源/模式开关3将相机的模式设定为摄影模式而从相机主体伸出。闪光灯发光部1向主要被摄体照射闪光灯光。
快门按钮2由所谓的“半按压”和“全按压”组成的两段行程式开关构成。摄像装置10以摄影模式驱动时，通过“半按压”该快门按钮2而使自动曝光调整(AE)/自动对焦(AF)工作，通过进行“全按压”而执行摄影。另外，摄像装置10以摄影模式驱动时，通过“全按压”该快门按钮2而执行摄影。
另外，释放开关不限于由半按压和全按压构成的两段行程式开关的形态。可以通过一次操作而输出S1接通的信号、S2接通的信号，也可以分别设置各个开关而输出S1接通的信号、S2接通的信号。
另外，在利用触摸式面板等进行操作指示的形态中，作为这些操作单元，也可以设计为，通过对与在触摸式面板的画面上显示的操作指示对应的区域进行触摸而输出操作指示。本发明中，只要是指示摄影准备处理、摄影处理的器件即可，操作单元的形态不限于此。另外，也可以是通过一个对操作单元的操作指示，连续执行摄影准备处理和摄影处理。
电源/模式开关3兼具作为将摄像装置10的电源接通/断开的电源开关的功能和作为对摄像装置10的模式进行设定的模式开关的功能。电源/模式开关3配置成在“断开位置”、“重放位置”、“摄影位置”之间滑动自如。通过使电源/模式开关3滑动而与“重放位置”或“摄影位置”对合，使摄像装置10的电源接通。通过与“断开位置”对合，使摄像装置10的电源断开。而且，通过使电源/模式开关3滑动而与“重放位置”对合而设定为“重放模式”，通过与“摄影位置”对合而设定为“摄影模式”。
模式拨盘4作为对摄像装置10的摄影模式进行设定的摄影模式设定单元而发挥作用。根据该模式拨盘的设定位置而将摄像装置10的摄影模式设定于各种各样的模式。例如，所谓摄影模式是指进行静态图像摄影的“静态图像摄影模式”、进行动态图像摄影的“动态图像摄影模式”等。
液晶显示器30显示摄影模式时的即时预览图像(实时取景图像)、重放模式时的静态图像或动态图像。液晶显示器30通过显示菜单画面等而作为图形用户界面(GUI)的一部分发挥作用。
变焦按钮5作为指示变焦的变焦指示单元而发挥功能，由指示向长焦侧变焦的长焦按钮5T和指示向广角侧变焦的广角按钮5W构成。摄像装置10在摄影模式时通过对该长焦按钮5T和广角按钮5W进行操作，而使摄影镜头12的焦距变化。另外，在重放模式时，通过对该长焦按钮5T和广角按钮5W进行操作，而对重放中的图像进行放大、缩小。
十字按钮6是输入上下左右的四个方向的指示的操作部。十字按钮6作为从菜单画面选择项目、从各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥作用。左/右键作为重放模式时的画面输送(正向/反向输送)按钮而发挥作用。
菜单/确定按钮7是兼具如下功能的操作键：作为用于作出在液晶显示器30的画面上显示菜单的指令的菜单按钮的功能和作为对选择内容的确定和执行等作出指令的确定按钮的功能。
重放按钮8是用于切换为使所摄影记录的静态图像或动态图像显示在液晶显示器30上的重放模式的按钮。
返回按钮9作为指示输入操作的取消、返回前一个的操作状态的按钮而发挥作用。
[摄像装置的内部结构]
图3是表示上述摄像装置10的内部结构的实施方式的框图。
通过摄影镜头12而对被摄体进行摄像，表示被摄体像的光像在摄像元件14(第一实施方式的摄像元件)的受光面上成像。
该摄像元件14是由多个像素(未图示)和配置在各像素的受光面上的预定的滤色器排列的滤色器构成的单板式彩色摄像元件，上述多个像素由二维排列在水平方向(第一方向)及垂直方向(第二方向)上的光电转换元件构成。另外，后面将描述摄像元件14的滤色器排列的详细情况。
成像于摄像元件14的被摄体像由光电转换元件转换为与入射光量对应的信号电荷。蓄积于各光电转换元件的信号电荷按照控制部22的指令，基于从驱动部20赋予的驱动脉冲而作为与信号电荷对应的电压信号(图像信号)从摄像元件14依次被读出。从摄像元件14读出的图像信号是表示与摄像元件14的滤色器排列对应的R、G、B的马赛克图像的R、G、B信号。另外，摄像元件14不限定于CCD(Charge Coupled Device：电荷耦合装置)型的图像传感器，也可以是CMOS(Complementary Metal Oxide Semiconductor：互补性金属氧化物半导体)型、XY地址型等其他种类的图像传感器。
从摄像元件14读出的图像信号输入到摄像处理部16。摄像处理部16包括：用于除去图像信号中所包含的复位噪声的相关双采样电路(CDS)、用于对图像信号进行放大并控制成一定电平的大小的AGC(Automatic Gain Control：自动增益控制)电路及A/D转换器。摄像处理部16对所输入的图像信号进行相关双采样处理并且进行放大后，将转换为数字图像信号而成的RAW数据输出到图像处理部18。
图像处理部18包括：白平衡校正电路、伽玛校正电路、去马赛克算法处理电路(去马赛克处理电路)(根据伴随单板式摄像元件14的滤色器排列的RGB的马赛克图像对每个像素位置算出RGB的全部的颜色信息的处理电路)、亮度、色差信号生成电路、轮廓校正电路及颜色校正电路等。图像处理部18根据来自控制部22的指令，对从摄像处理部16输入的马赛克图像的RAW数据实施所需要的信号处理，对应每个像素生成具有RGB全部的颜色信息的RGB像素信号，并基于此生成由亮度数据(Y数据)和色差数据(Cr，Cb数据)构成的图像数据(YUV数据)。
由图像处理部18生成的图像数据通过压缩/扩展处理电路对静态图像实施符合JPEG(Joint Photographic Experts Group)标准的压缩处理，对动态图像实施符合MPEG2(Moving Picture Experts Group)标准的压缩处理。实施了压缩处理的图像数据被记录于记录介质(存储卡)，另外，输出到液晶显示器30(图2)而显示。
＜摄像元件的第一实施方式＞
图4是表示上述摄像元件14的第一实施方式的图，尤其是表示配置于摄像元件14的受光面上的滤色器排列。
该摄像元件14的滤色器排列包含与M×N(3×3)像素对应的基本排列图案P(由粗框表示的图案)。在滤色器排列中，该基本排列图案P重复配置于水平方向(H)及垂直方向(V)。即，该滤色器排列中，第一色(绿色(G))、两种颜色以上的第二色(红色(R)、蓝色(B))的各色的滤光片(R滤光片、G滤光片、B滤光片)具有预定的周期性地排列。如此，由于R滤光片、G滤光片、B滤光片具有预定的周期性地排列，所以在进行从摄像元件14读出的RGB的RAW数据(马赛克图像)的图像处理等时，能够按照重复图案地进行处理。
如图4所示，3×3像素的基本排列图案P中的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为2像素、5像素、2像素。G像素的像素数与R像素、B像素的各自的像素数相比分配得较多。即，与R像素、B像素相比，用于获得亮度信号的贡献率较高的G像素的像素数的比率比R像素、B像素的像素数的比率大。
另外，图4所示的第一实施方式的滤色器排列(马赛克图像)在水平方向及垂直方向的像素行中，RGB像素全部齐全的像素行和RGB像素不齐全的像素行(仅有G、R像素的像素行，仅有G、B像素的像素行)混合存在。
＜加权平均滤光片的第一实施方式＞
接下来，对图像处理部18的去马赛克处理电路(运算单元、图像处理单元)中使用的加权平均滤光片进行说明。
图5A及图5B是分别表示第一实施方式的加权平均滤光片的图，表示对去马赛克处理的处理对象的像素(图4所示的像素G3)所设计的加权平均滤光片的加权系数。
图5A及图5B所示的加权平均滤光片具有与基本排列图案P相同尺寸的内核尺寸。图5A表示用于算出与局部区域对应的内核内的G与R的色比的加权平均滤光片。图5B表示用于算出与局部区域对应的内核内的G与B的色比的加权平均滤光片。另外，第一实施方式的加权平均滤光片的加权系数是“1”和“0”。
对于图5A所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的与G像素对应的加权系数(总和)和与R像素对应的加权系数(总和)之比为1：1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数(总和)和与R像素对应的加权系数(总和)之比为1：1。
同样，对于图5B所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的与G像素对应的加权系数(总和)和与B像素的加权系数(总和)之比为1：1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数(总和)和与B像素对应的加权系数(总和)之比为1：1。
[去马赛克处理]
接下来，说明由图像处理部18的去马赛克处理电路对RGB的马赛克图像进行去马赛克处理的方法。
去马赛克处理电路如图4所示从由摄像元件14得到的马赛克图像(图4表示滤色器排列并且也表示从摄像元件读出而得到的马赛克图像)提取3×3像素的局部区域(在本例中，相当于基本排列图案P的尺寸)。去马赛克处理电路基于该局部区域内的各像素的像素值和图5A所示的加权平均滤光片的加权系数，算出G、R的每色的积和运算值。即，将局部区域内的各像素的像素值与各像素位置的加权平均滤光片的加权系数相乘，并对G、R的每色的相乘结果相加而求出每色的积和运算值。同样，基于局部区域内的各像素的像素值和图5B所示的加权平均滤光片的加权系数，算出G、B的每色的积和运算值。
接下来，根据上述的那样算出的G、R的各加权平均值算出G、R的积和运算值之比(色比)，另外，根据G、B的各积和运算值算出GB的积和运算值之比(色比)。
而且，将3×3像素的局部区域内的中央部的像素(图4所示的粗框的中央部的像素G3)设为去马赛克处理的处理对象的像素，基于所述算出的色比和像素G3的像素值，算出处置对象的像素G3的像素位置的R、B的像素值。
具体来说，将算出的所述RGB的每色的积和运算值分别设为Rf、Gf、Bf，在去马赛克处理的处理对象的像素G3的像素值是G的情况下，处理对象的像素位置的R、B的像素值R、B由下式算出：
R＝G×(Rf/Gf)…(1)
B＝G×(Bf/Gf)…(2)。
对于图5A及图5B所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的与G像素对应的加权系数(总和)和与R像素对应的加权系数(总和)和之比为1：1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数(总和)和与R像素对应的加权系数(总和)和之比为1：1。因此，即使去马赛克处理电路相对于水平方向或垂直方向存在高频的输入，乘以了这些加权系数的结果的色比((Rf/Gf)、(Bf/Gf))的关系也不偏离，能够算出局部区域的准确的色比。其结果为，能够基于所算出的色比，高精度地进行去马赛克处理。
接下来，说明使从马赛克图像提取的局部区域沿水平方向移动了1个像素的情况下的去马赛克处理。
图6表示使图4所示的局部区域(由粗框所示的区域)沿水平方向(右方)移动了1个像素的情况。在该情况下，去马赛克处理的处理对象的像素(局部区域内的中央部的像素)是图6所示的粗框的中央部的像素R2，去马赛克处理电路算出该像素R2的像素位置的G、B的像素值。
＜G的像素值的算出方法＞
在如图6所示地取出由粗框表示的局部区域的中央部的像素R2的附近的2×2像素的G像素，并将各G像素的像素值设为G2、G3、G4、G5的情况下，去马赛克处理电路所包含的方向判别单元算出各方向分别的差分绝对值。
即，水平方向的差分绝对值为(|G2－G3|+|G4－G5|)/2，垂直方向的差分绝对值为(|G2－G4|+|G3－G5|)/2，右上方向的差分绝对值为|G3－G4|，右下方向的差分绝对值为|G2－G5|。
方向判别单元判定为在这四个差分绝对值中差分绝对值最小的方向上存在G的像素值的相关性(相关方向)。
由于如上述那样根据彼此相邻的2×2像素的G像素对相关方向进行判别，所以能够以最小像素间隔对相关方向进行判别。即，能够不受高频的影响地高精度地对相关方向进行判别。
当判别出去马赛克处理的处理对象的像素中的相关方向，去马赛克处理电路在算出去马赛克处理的处理对象的像素位置的其他颜色(本例的情况下，为G)的像素值时，使用存在于上述所判别出的相关方向上的G像素的像素值。
如图6所示，G像素存在于水平方向(第一方向)、垂直方向(第二方向)、斜右上方向(第三方向)及斜右下方向(第四方向)的全部的像素行上。因此，去马赛克处理电路将存在于处理对象的像素的附近的相关方向上的一个G像素的像素值或多个G像素的像素值的插值后的值作为处理对象的像素位置的G的像素值。
另一方面，基于上述那样算出的像素R2的像素位置的G的像素值和该局部区域的色比(Bf/Gf)，而算出像素R2的像素位置的B的像素值。
如图7A所示，使用图7B所示的加权平均滤光片算出3×3像素的局部区域的色比(Bf/Gf)。该加权平均滤光片与图5A及图5B所示的加权平均滤光片同样，将加权系数设定成，内核内的水平方向的像素行内的与G像素对应的加权系数(总和)和与B像素对应的加权系数(总和)之比为1:1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数(总和)和与B像素对应的加权系数(总和)之比为1:1。
在此，将局部区域中的G、B像素的像素值的每色的积和运算值分别设为Gf、Bf，若将对于像素R2的像素位置算出的G的像素值设为G’，则像素R2的像素位置的B的像素值B由下式算出：
B＝G’×(Bf/Gf)…(3)。
另外，在处理对象的像素是B像素而算出该像素位置的G、R的像素值的情况下，与上述相同地进行。即，基于由方向判别单元所判别出的相关方向的G的像素值而算出G的像素值，并基于所算出的G的像素值和该局部区域的色比(Rf/Gf)而算出R的像素值。色比(Rf/Gf)通过以以下方式设定了加权系数的加权平均滤光片来算出：内核内的水平方向的像素行内的与G像素对应的加权系数(总和)和与R像素对应的加权系数(总和)和之比为1:1，并且内核内的垂直方向的像素行内的与G像素对应的加权系数(总和)与R像素对应的加权系数(总和)之比为1:1。
在此，将局部区域中的G、R像素的像素值的每色的积和运算值分别设为Gf、Rf，若将对于像素B(B1或B2)的像素位置算出的G的像素值设为G’，则像素B的像素位置的R的像素值R由下式算出：
R＝G’×(Rf/Gf)…(4)。
如此，对马赛克图像一边使局部区域逐个像素地移动一边依次进行去马赛克处理。
如图4所示，该实施方式的马赛克图像的基本排列图案P分别具有与周围的颜色的位置关系不同的五个G像素(G1～G5)、两个R像素(R1、R2)及两个B像素(B1、B2)这9个像素。因此，对于五个G像素的各像素，准备用于算出色比((Rf/Gf)(Bf/Gf))的不同的加权平均滤光片。另外，对于两个的R像素的各像素，准备用于算出色比(Bf/Gf))的不同的加权平均滤光片，对于两个的B像素的各像素，准备用于算出色比(Rf/Gf))的不同的加权平均滤光片。
去马赛克处理电路根据基本排列图案内的9个像素中的哪个像素是处理对象的像素，而选择计算色比所使用的加权平均滤光片，并使用所选择的加权平均滤光片通过上述的式(1)～(4)而算出处理对象的像素位置的R、B的像素值。
＜加权平均滤光片的第二实施方式＞
图8的(a)部及(b)部是分别表示第二实施方式的加权平均滤光片的图，表示对去马赛克处理的处理对象的像素(图4所示的像素G3)而设计的加权平均滤光片的加权系数。
图8的(a)部及(b)部所示的加权平均滤光片具有比3×3像素的基本排列图案P尺寸大的5×5像素的内核尺寸。图8的(a)部表示用于算出与5×5像素的局部区域对应的内核内的G与R的色比的加权平均滤光片。图8的(b)部表示用于算出与5×5像素的局部区域对应的内核内的G与B的色比的加权平均滤光片。
对于图8的(a)部所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的对G像素的加权系数的总和与对R像素的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的对G像素的加权系数的总和与对R像素的加权系数的总和之比为1:1。
同样，对于图8的(b)部所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的对G像素的加权系数的总和与对B像素的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的对G像素的加权系数的总和与对B像素的加权系数的总和之比为1:1。
图8的(a)部所示的加权平均滤光片的与G像素及R像素对应的加权系数的总和分别是10。现在，在对图8的(c)部所示的高频的纵条纹图像进行摄像的情况下，有助于积和运算的白色部分的对G像素和R像素的加权系数的总和分别为3。另外，在对图8的(d)部所示的高频的横条纹图像进行摄像的情况下，有助于积和运算的白部分的对G像素和R像素的加权系数的总和分别为7。
即，即使对于水平方向或垂直方向存在高频的输入，乘以这些加权系数后的结果的色比((Rf/Gf)、(Bf/Gf))的关系也能够不产生偏离地算出局部区域的准确的色比。
＜加权系数的决定方法＞
在图5A及图5B所示的与3×3像素的内核尺寸对应的局部区域内，在设定了具有与水平方向及垂直方向平行的边的任意的四边形的情况下，寻找具有如下的两对的像素组的四边形，该四边形的一方的对角具有G像素、另一方的对角具有同色的R像素或同色的B像素。
图9A表示在四边形的一方的对角位置具有像素G1、G2，在另一方的对角位置具有像素R1、R2的四边形。另外，图9B表示在四边形的一方的对角位置具有像素G1、G5，在另一方的对角位置具有像素B1、B2的四边形。
而且，作为这些四边形的两对对角的位置的加权系数，赋予相同值的加权系数。图5A及图5B所示的加权系数，分别作为四边形的两对对角的位置的加权系数而被分配了“1”，内核内的其他的位置被分配了“0”。
另外，在内核中，一方的对角分别具有G像素而另一方的对角分别具有R像素的四边形和一方的对角分别具有G像素而另一方的对角分别具有B像素的四边形需要分别至少存在一个以上。由此，能够设定具有如下加权系数的加权平均滤光片：被分配了加权系数(“0”以外)的水平方向及垂直方向的各像素行的G像素、R像素所对应的加权系数的总和之比为1:1。另外，能够设定具有如下加权系数的加权平均滤光片：水平方向及垂直方向的各像素行的G像素、B像素所对应的加权系数的总和之比为1:1。
另外，在内核中，一方的对角分别具有G像素而另一方的对角分别具有R像素的四边形和一方的对角分别具有G像素而另一方的对角分别具有B像素的四边形，分别至少需要存在一个以上。因此，需要使马赛克图像的基本排列图案的像素尺寸为3×3像素以上。
另外，图8的(a)部所示的加权平均滤光片的加权系数能够使用上述的四边形如下述的那样地求出。
如图10所示，在5×5的内核内中寻找一个以上的一方的对角分别具有G像素而另一方的对角分别具有R像素的四边形。在图10所示的例子中采用了五个四边形。在五个四边形的对角的位置分别作为加权系数而分配“1”，在其以外的位置分配加权系数“0”。另外，在四边形的对角重复的位置，分配该重复的数目(1×重复数)。
通过如此决定加权平均滤光片的加权系数，能够使被分配了加权系数(“0”以外)的水平方向及垂直方向的各像素行的G像素和R像素所对应的加权系数的总和之比为1:1。此外，能够使水平方向及垂直方向的各像素行的G像素、B像素所对应的加权系数的总和之比为1:1。
＜摄像元件的第二实施方式及第三实施方式的加权平均滤光片＞
图11A及图11B是表示上述摄像元件14的第二实施方式和适用于此的第三实施方式的加权平均滤光片的图。
第二实施方式的摄像元件的滤色器排列包含与M×N(4×4)像素对应的基本排列图案，将该基本排列图案P在水平方向(H)及垂直方向(V)上重复配置。
如图11A及图11B所示，4×4像素的基本排列图案中的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为3像素、10像素、3像素。G像素的像素数与R像素、B像素的各自的像素数相比分配得较多。即，与R像素、B像素相比，用于获得亮度信号的贡献率的较高的G像素的像素数的比率比R像素、B像素的像素数的比率大。
另外，第二实施方式的滤色器排列(马赛克图像)在水平方向及垂直方向的像素行中，RGB像素全部齐全的像素行和RGB像素不齐全的像素行(仅有G、R像素的像素行，仅有G、B像素的像素行)混合存在。
图11A及图11B所示的第三实施方式的加权平均滤光片具有与4×4像素的基本排列图案相同尺寸的内核尺寸。图11A表示用于算出与局部区域对应的内核内的G与R的色比的加权平均滤光片。图11B表示用于算出与局部区域对应的内核内的G与B的色比的加权平均滤光片。
另外，对于图11A所示的加权平均滤光片的加权系数将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1。
同样，对于图11B所示的加权平均滤光片将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1。
通过使用上述加权平均滤光片，能够不受高频的影响地算出局部区域的色比((Rf/Gf)、(Bf/Gf))。
另一方面，如图11A及图11B所示，G像素存在于水平方向、垂直方向、斜右上方向及斜右下方向的全部的像素行上。因此，去马赛克处理电路能够将存在于处理对象的像素的附近的相关方向上的一个G像素的像素值或多个G像素的像素值的插值后的值，作为处理对象的像素位置的G的像素值。另外，在图11A及图11B所示的马赛克图像的情况下，虽然不存在图6所示那样的2×2像素的G像素，但是基本排列图案内存在在水平方向、垂直方向、斜右上方向及斜右下方向上分别相邻的G像素。因此，方向判别单元能够基于这些G像素以最小像素间隔判别相关方向。
＜摄像元件的第三实施方式及加权平均滤光片＞
图12A及图12B是表示上述摄像元件14的第三实施方式和适用于此的第四实施方式的加权平均滤光片的图。
第三实施方式的摄像元件的滤色器排列包含与M×N(5×5)像素对应的基本排列图案。在上述滤色器排列中，该基本排列图案P在水平方向(H)及垂直方向(V)上重复配置。
如图12A及图12B所示，5×5像素的基本排列图案中的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为4像素、17像素、4像素。G像素的像素数与R像素、B像素的各自的像素数相比分配得较多。即，与R像素、B像素相比，用于获得亮度信号的贡献率较高的G像素的像素数的比率比R像素、B像素的像素数的比率大。
另外，第三实施方式的滤色器排列(马赛克图像)在水平方向及垂直方向的像素行中，RGB像素全部齐全的像素行和RGB像素不齐全的像素行(仅有G、R像素的像素行，仅有G、B像素的像素行)混合存在。
图12A及图12B所示的第四实施方式的加权平均滤光片具有与5×5像素的基本排列图案相同尺寸的内核尺寸。图12A表示用于算出与局部区域对应的内核内的G与R的色比的加权平均滤光片。图12B表示用于算出与局部区域对应的内核内的G与B的色比的加权平均滤光片。
另外，对于图12A所示的加权平均滤光片的加权系数，将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1。
同样，对于图12B所示的加权平均滤光片，将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1。
通过使用上述加权平均滤光片能够不受高频的影响地高精度地算出局部区域的色比((Rf/Gf)、(Bf/Gf))。
另一方面，如图12A及图12B所示，G像素存在于水平方向、垂直方向、斜右上方向及斜右下方向的全部的像素行上。因此，去马赛克处理电路能够将存在于处理对象的像素的附近的相关方向上的一个G像素的像素值或多个G像素的像素值的插值后的值，作为处理对象的像素位置的G的像素值。另外，在图12A及图12B所示的马赛克图像的情况下，存在图6所示那样的2×2像素的G像素。另外，除此之外，在水平方向、垂直方向、斜右上方向及斜右下方向上也存在分别相邻的G像素。因此，方向判别单元能够基于这些G像素以最小像素间隔对相关方向进行判别。
＜摄像元件的第四实施方式＞
图13是表示上述摄像元件14的第四实施方式的图，特别是表示配置于摄像元件14的受光面上的滤色器排列。
该摄像元件14的滤色器排列包含与M×N(6×6)像素对应的基本排列图案P(由粗框表示的图案)。在上述滤色器排列中，该基本排列图案P在水平方向(H)和垂直方向(V)上重复配置。
对于图13所示的滤色器排列(马赛克图像)，R、G、B的全部颜色的像素配置于水平方向及垂直方向的各行内。
图14表示将图13所示的基本排列图案P四分割为3×3像素的状态。
如图14所示，基本排列图案P也能够理解为由实线的框围成的3×3像素的A排列和由虚线的框围成的3×3像素的B沿水平、垂直方向交替地排列的排列。
A排列及B排列的作为亮度类像素的G像素分别配置于四角和中央，配置于两对角线上。另外，A排列中，夹着中央的G像素，将R像素沿水平方向排列，将B像素沿垂直方向排列。另一方面，B排列中，夹着中央的G像素，将B像素沿水平方向排列，将R像素沿垂直方向排列。即，A排列和B排列相比，R像素和B像素的位置关系反转，但是其他的配置相同。
另外，基本排列图案内的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即，RGB像素的各像素数的比率为2:5:2，G像素的像素数的比率比R像素、B像素的像素数的比率大。
图15A及图15B是表示在从图13所示的第四实施方式的摄像元件得到的马赛克图像的去马赛克处理中使用的加权平均滤光片的实施方式的图，特别是表示加权平均滤光片的滤波系数。
如图15A及图15B所示，该加权平均滤光片具有9×9的内核尺寸，并设定了该图所示的滤波系数。
即，对于图15A所示的加权平均滤光片的加权系数，以如下方式设定加权系数：在以马赛克图像的A排列出现于9×9的内核的中央的方式配置的情况下，与该内核(局部区域)内的各像素的颜色对应地对G、R的每色提取加权系数并求出每色的加权系数的总和的情况下，水平方向及垂直方向的各像素行内的G、R的每色的加权系数的总和之比为1:1。
同样，对于图15B所示的加权平均滤光片的加权系数，将加权系数设定成，水平方向及垂直方向的各像素行内的G、B的每色的加权系数的总和之比为1：1。
例如，在图15A中可知：最上一行的加权系数为0、0、1、1、4、1、1、0、0，当对G、R分别求出总和时，R＝4、G＝0+1+1+1+1+0＝4而构成4:4＝1:1的关系。而且，全部的行及列(水平及垂直方向的各像素行)成为适合于该关系的加权系数。
另外，对于该加权平均滤光片如下设置加权系数：若对分割为3×3的尺寸的每个区域的加权系数进行比较，则中央部的3×3的加权系数较大，夹着中央部的上下左右的3×3的加权系数第二大，四角的3×3的滤波系数最小。
通过使用图15A所示的加权平均滤光片，能够不受高频的影响地高精度地算出9×9像素的局部区域中的色比(Rf/Gf)。同样，通过使用图15B所示的加权平均滤光片，能够不受高频的影响地高精度地算出局部区域中的色比(Bf/Gf)。而且，将9×9像素的局部区域内的中央部的3×3像素(图15A及图15B所示的粗框内的像素)设为去马赛克处理的处理对象的像素，并基于各像素的像素位置的G的像素值和上述算出的色比而算出各像素位置的R、B的像素值。另外，在处理对象的像素是R像素或B像素的情况下，基于通过方向判别单元判别出的相关方向的G的像素值而算出G的像素值。
若对9×9像素的局部区域内的中央部的3×3像素的全部像素求出RGB的像素值的去马赛克处理完毕，则一边使从马赛克图像提取的局部区域以每3×3像素地移动一边进行与上述相同的处理。
当使9×9像素的局部区域从图15A及图15B所示的状态沿水平方向或垂直方向移动3像素时，则3×3像素的B排列位于移动后的9×9像素的局部区域的中央部(参照图14)。在该情况下，通过使用图15B所示的加权平均滤光片，能够算出G与R的色比(Rf/Gf)。此外，通过使用图15A所示的加权平均滤光片，能够算出G与B的色比(Bf/Gf)。
另外，该实施方式中，设计为将3×3像素设为去马赛克处理的处理对象的像素，使局部区域每3×3像素地移动，但是本发明不限于此。例如，也可以设计为将1个像素设为去马赛克处理的处理对象的像素，使局部区域逐个像素地移动。在该情况下，需要准备与处理对象的像素的种类对应的许多加权平均滤光片。
＜摄像元件的第五实施方式＞
图16是表示上述摄像元件14的第五实施方式的图，特别是表示配置在摄像元件14的受光面上的滤色器排列。
图16所示的滤色器排列(马赛克图像)是图13所示的第四实施方式的变形例。图16所示的滤色器排列的不同之处在于，替代图14所示的A排列的左上的G像素及B排列的左下的G像素，而配置具有透明(W)滤光片的W像素。
如图16所示，6×6像素的基本排列图案P中的与R、G、B、W滤光片对应的R像素、G像素、B像素、W像素的像素数分别为8像素、16像素、8像素、4像素。亮度类像素(G像素、W像素)的像素数与R像素、B像素的各自的像素数相比分配得较多。即，与R像素、B像素相比用于获得亮度信号的贡献率较高的G像、W像素的像素数的比率比R像素、B像素的像素数的比率大。
图17A及图17B是表示在从图16所示的第五实施方式的摄像元件得到的马赛克图像的去马赛克处理中所使用的加权平均滤光片的实施方式的图，特别是表示加权平均滤光片的滤波系数。
如图17A及图17B所示，该加权平均滤光片具有与6×6像素的基本排列图案P相同尺寸的内核尺寸。图17A表示用于算出与局部区域对应的内核内的G与R的色比的加权平均滤光片。图17B表示用于算出与局部区域对应的内核内的G与B的色比的加权平均滤光片。
另外，对于图17A所示的加权平均滤光片的加权系数，将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与R像素所对应的加权系数的总和之比为1:1。
同样，对于图17B所示的加权平均滤光片，将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1。
通过使用上述加权平均滤光片，能够不受高频的影响地高精度地算出局部区域的色比((Rf/Gf)、(Bf/Gf))。另外，在基本排列图案P内，在水平方向、垂直方向、斜右上方向及斜右下方向上分别存在相邻的G像素。因此，方向判别单元能够基于这些G像素，以最小像素间隔对去马赛克处理的处理对象的像素的附近的亮度的相关方向进行判别。
＜R、G、B、W像素的分光灵敏度特性＞
图18是表示具有R滤光片、G滤光片、B滤光片及W滤光片的各光电二极管(R、G、B、W像素)的分光灵敏度特性的一例的坐标图。
如图18所示，具有W滤光片的W像素的分光灵敏度特性是将R、G、B像素的分光灵敏度特性相加后的分光灵敏度特性，其灵敏度的波段包含R、G、B像素的灵敏度的波长区域。
另外，W滤光片的透过率的峰值(W像素的灵敏度的峰值)处于波长为480nm以上且570nm以下的范围内，W滤光片的透过率在波长为500nm以上且560nm以下的范围内高于RB滤光片的透过率。
然而，G像素的图像信号与R像素及B像素的图像信号相比生成亮度信号时的贡献率高。具体而言，上述的图像处理部18对应每个像素根据具有全部RGB的颜色信息的RGB像素信号按照下述的式(5)生成Y信号。
Y＝0.3R+0.59G+0.11B…(5)
在该式(5)中，由于G色的贡献率为59％，所以G色的贡献率比R色(贡献率30％)、B色(贡献率11％)的贡献率高。因此，G色是三原色中对亮度信号贡献最大的颜色。
另外，W像素的图像信号是能够直接构成亮度信号的信号，但是在G像素与W像素混合存在的上述实施方式的摄像元件的情况下，通过以一定的比例混合通过上述式(5)算出的亮度信号与W像素的图像信号(亮度信号)而生成亮度信号。W像素的图像信号比G像素的图像信号接近亮度信号，当然也比R像素及B像素的图像信号接近亮度信号。例如，如下述的式(6)的那样算出上述混合后的亮度信号。
Y＝0.5W+0.5(0.3R+0.59G+0.11B)…(6)
即，本发明的与一种颜色以上的第一色对应的亮度类像素(G像素、W像素)用于获得亮度信号的贡献率至少在50％以上，与第一色以外的两种颜色以上的第二色对应的各像素(R像素，B像素)用于获得亮度信号的贡献率小于50％。在此，50％是为了通过用于获得亮度信号的贡献率来对第一色和第二色进行区别而设定的值，以“第一色”包含用于获得亮度信号的贡献率与R色、B色等相比相对高的颜色的方式设定的值。
＜摄像元件的第六实施方式＞
图19是表示上述摄像元件14的第六实施方式的图，特别是表示配置于摄像元件14的受光面上的滤色器排列。
图19所示的滤色器排列(马赛克图像)对应于使图4所示的第一实施方式的滤色器排列旋转45°的滤色器排列。
在多个像素排列成倾斜格子状的摄像元件的情况下，与排列成正方格子状的摄像元件相比，水平及垂直方向上的能够重现的频带为倍。这种结构与人的视觉的频率特性在水平及垂直方向上比在倾斜方向上高的特性一致，可以说是在视觉上有利的结构。
在如第六实施方式那样多个像素排列成倾斜格子状的摄像元件的情况下，斜右上方向相当于本发明的第一方向及第二方向中的一方向，斜右下方向相当于本发明的第三方向及第四方向中的另一方向。
也能够对图19所示的滤色器排列(马赛克图像)适当地进行本发明的去马赛克处理。
[去马赛克处理的其他实施方式]
在上述实施方式中，基于局部区域的G与R、G与B的色比((Rf/Gf)、(Bf/Gf))及处理对象的像素位置的G的像素值，而算出各像素位置的R、B的像素值，但是本发明不限定于此。例如，也可以基于G与R、G与B的色差及处理对象的像素位置的G的像素值，而算出各像素位置的R、B的像素值。
具体来说，通过加权平均滤光片算出将局部区域的G与R、G与B的积和运算值(Rf、Gf、Bf)分别除以加权系数的总和而得到的加权平均值。将这些加权平均值分别设为Rf’、Gf’、Bf’，在去马赛克处理的处理对象的像素是G像素，并且该像素值是G的情况下，通过下式算出处理对象的像素位置的R、B的像素值R、B：
R＝G+(Rf’－Gf’)…(7)
B＝G+(Bf’－Gf’)…(8)。
另外，在去马赛克处理的处理对象的像素是R像素或B像素的情况下，将处理对象的像素的附近的相关方向上存在的一个G像素的像素值或多个G像素的像素值的插值后的值，作为处理对象的像素位置的G的像素值而算出。而且，若将该算出的G的像素值设为G’，则通过下式算出R像素或B像素的像素位置的B、R的像素值B、R：
B＝G’+(Bf’－Gf’)…(9)
R＝G’+(Rf’－Gf’)…(10)。
对于本发明的加权平均滤光片，将加权系数设定成，内核内的水平方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1，并且内核内的垂直方向的像素行内的G像素所对应的加权系数的总和与B像素所对应的加权系数的总和之比为1:1。因此，即使对于水平方向或垂直方向存在高频的输入，使用了这些加权系数的G、B的加权平均值的差分值(Bf’－Gf’)的关系能够不产生偏移地算出局部区域的准确的色差。同样，也能够准确地算出局部区域的G、B的色差(Rf’－Gf’)。并且，能够基于这些色差对处理对象的像素位置中的R、B的像素值进行插值从而高精度地算出。
另外，作为摄像装置10的其他实施方式，例如，能够列举具有相机功能的手机、智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机。以下，以智能手机举例，并参照附图详细地进行说明。
＜智能手机的结构＞
图20是表示作为摄像装置10的其他实施方式的智能手机500的外观的图。图20所示的智能手机500具有平板状的壳体502，并在壳体502的一个面上具备由作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备扬声器531、话筒532、操作部540及相机部541。另外，壳体502的结构不限定于此。例如，也可以采用显示部与输入部独立的结构，或者采用具有折叠构造、滑动结构的结构。
图21是表示图20所示的智能手机500的结构的框图。如图21所示，智能手机500具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、移动传感器部580、电源部590及主控制部501。另外，智能手机500具备进行经由基站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对收纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制，而对图像(静态图像及动态图像)、文字信息等进行显示从而在视觉上向用户传递信息，并且对用户与所显示的信息对应的操作进行检测的所谓的触摸面板。显示输入部520具备显示面板521和操作面板522。在对所生成的3D图像进行鉴赏的情况下，显示面板521优选是3D显示面板。
显示面板521是将LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectro-Luminescence Display：有机电致发光显示器)等用作为显示设备的器件。操作面板522是以能够目视确认显示于显示面板521的显示面上的方式进行载置，并对由用户的手指、尖笔所操作的一个或多个坐标进行检测的设备。当通过用户的手指、尖笔对该装置进行操作时，将因操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号对显示面板521上的操作位置(坐标)进行检测。
如图20所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，并成为操作面板522完全覆盖显示面板521的配置。在采用该配置的情况下，操作面板522也可以具备对于显示面板521以外的区域也对用户操作进行检测功能。换言之，操作面板522也可以具备：与显示面板521重叠的重叠部分的检测区域(以下，称作显示区域)以及此以外的与显示面板521不重叠的外边缘部分的检测区域(以下，称作非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但是不需要使两者必须一致。另外，操作面板522也可以具备外边缘部分及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体502的大小等而适当设计。另外，作为由操作面板522中采用的位置检测方式，可以列举：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式以及静电电容方式等，也能够采用任一种方式。
通话部530具备：扬声器531和话筒532。通话部530将通过话筒532输入的用户的声音转换为能够由主控制部501处理的声音数据并输出到主控制部501，并对由无线通信部510或外部入输出部560接收的声音数据进行解码而从扬声器531输出。另外，如图20所示，例如，能够将扬声器531搭载于与设置有显示输入部520的面相同的面上，并将话筒532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图20所示，操作部540搭载于智能手机500的壳体502的显示部的下部、下侧面，是当通过手指等按下时接通且当手指离开时通过弹簧等的恢复力而成为断开状态的按压按钮式开关。
存储部550存储：主控制部501的控制程序、控制数据，与通信对象的名称、电话号码等建立了对应的地址数据、发送接收的电子邮件的数据，通过Web浏览而下载的Web数据及所下载的内容数据，并且暂时存储流数据等。另外，存储部550具备：智能手机内置的内部存储部551及具有装拆自如的外部存储器插槽的外部存储部552。另外，构成存储部550的各内部存储部551与外部存储部552可以使用闪存型(flash memory type)、硬盘型(harddisk type)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机访问存储器)、ROM(Read OnlyMemory：只读存储器)等的存储介质而实现。
外部输入输出部560起到与连接于智能手机500的全部外部设备的接口的作用，能够通过通信等或网络直接或间接地与其他的外部设备连接，用于与其他的外部设备通过通信等(例如，通用串行总线(USB)，IEEE1394(The Institute of Electrical andElectronics Engineers,Inc.)等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(InfraredData Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接。
作为与智能手机500连接的外部设备，例如：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(SubscriberIdentity Module Card：客户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备传送来的的数据传递到智能手机500的内部的各结构要素，并能够将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送来的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息对位置进行检测。
移动传感器部580具备例如三轴加速度传感器等，并按照主控制部501的指示对智能手机500的物理移动进行检测。通过对智能手机500的物理移动进行检测，能够检测出智能手机500的移动方向、加速度。该检测结果被输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部供给存储于蓄电池(未图示的)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过根据存储部550存储的应用软件使主控制部501动作而实现。作为应用处理功能，例如具有：控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、发送接收电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部501具备图像处理功能，基于接收数据、下载的流数据等图像数据(静态图像像、动态图像的数据)而将映像显示在显示输入部520上等。图像处理功能是指，主控制部501进行包含本发明的去马赛克处理的RAW数据的显影处理，并将处理结果的图像存储于存储部550或显示于显示输入部520上的功能。
此外，主控制部501执行对显示面板521的显示控制及检测通过操作部540、操作面板522进行的用户操作的操作检测控制。
通过执行显示控制，主控制部501对用于启动应用软件的图标、滚动条等的软件键进行显示，或显示用于创建电子邮件的窗口。另外，滚动条是指，对于无法收纳到显示面板521的显示区域中的较大的图像等，用于接受使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部501检测出通过操作部540进行的用户操作，并接收通过操作面板522进行的对上述图标的操作、针对上述窗口的输入栏的文字列的输入，或接收通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部501判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外边缘部分(非显示区域)，并具备对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501能够检测出对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹对多个位置同时进行指定、或对它们进行组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部541是使用CMOS(Complementary Metal Oxide Semiconductor：互补性金属氧化物半导体)或CCD(Charge-Coupled Device：电荷耦合设备)等摄像元件进行电子摄影的数码相机，具备与图3的框图所示的功能等同的功能。另外，相机部541能够通过主控制部501的控制将通过摄像而得到的图像数据转换为例如JPEG(Joint Photographic codingExperts Group)等的压缩的图像数据，并存储于存储部550，或经由外部输入输出部560、无线通信部510而输出。在图20所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但是相机部541的搭载位置不限于此，也可以搭载于显示输入部520的背面，或者，也可以安装多个相机部541。另外，在安装有多个相机部541的情况下，能够对用于摄像的相机部541进行切换而单独进行摄影，或者也能够同时使用多个相机部541进行摄影。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521上显示由相机部541取得的图像、作为操作面板522的操作输入的一个能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够参照来自相机部541的图像而对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用地判断智能手机500的相机部541的光轴方向、判断当前的使用环境。不用说，也能够在应用软件内利用来自相机部541的图像。
[其他]
在该实施方式中，对摄像装置进行了说明，但是本发明也能够适用于从能够存储RAW数据(马赛克图像)的摄像装置取得马赛克图像并对该马赛克图像进行包含本发明的去马赛克处理智能的各种图像处理(所谓的“RAW显影”)的个人计算机等图像处理装置。另外，本发明包括通过安装于通用的个人计算机而使该个人计算机作为上述图像处理装置而发挥功能的RAW显影软件(图像处理程序)和记录有该RAW显影软件的(非临时性(non-transitory))存储介质。
另外，本发明不限定于本实施方式的马赛克图像，能够适用于各种图像，只要是能够设定本发明的加权系数的马赛克图像，可以是任何图像。
另外，由于本发明设为高精度地推定局部区域的颜色(色比、色差)而进行去马赛克处理，所以能够减少产生彩色莫尔条纹、伪色。由此，在摄像装置中，能够省略用于减少产生彩色莫尔条纹等的光学低通滤波器，或者即使在适用光学低通滤波器的情况下，也能够采用为防止产生彩色莫尔条纹等的对高频成分截止作用弱的器件，能够不损害分辨率。
在上述实施方式中，说明了对RGB或RGBW的马赛克图像进行的去马赛克处理，但是本发明不限定于此，也能够适用于RGB的三原色+其他颜色(例如翡翠色(E))的四种颜色的马赛克图像。
另外，本发明也能够适用于原色RGB的补色即C(蓝绿色)、M(品红)、Y(黄色)加上G的四种颜色的补色系的马赛克图像。
此外，本发明不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种变形是不言而喻的。
附图标号说明
10…摄像装置，12…摄影光学系统(摄影镜头)，14…摄像元件，16…摄像处理部，18…图像处理部，20…驱动部，22…控制部。

Claims (15)

1.一种图像处理装置，具备：
图像获取单元，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第一方向垂直的第二方向的光电转换元件构成，所述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应的第二滤光片；
运算单元，具有与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数，所述第一加权系数及第二加权系数设定为所述内核尺寸内的第一方向及第二方向的像素行内的所述第一加权系数的总和与第二加权系数的总和之比为1∶1，所述运算单元基于所述第一加权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的每色的像素的像素值，而算出所述第一色的积和运算值及第二色的每色的积和运算值；及
图像处理单元，基于所述局部区域内的处理对象的像素的像素位置的第一色的像素值、由所述运算单元算出的所述第一色及第二色的每色的积和运算值，而算出所述像素位置的第二色的每色的像素值。
2.根据权利要求1所述的图像处理装置，其中，
所述马赛克图像在与所述内核尺寸对应的局部区域内对于所述第二色的每色具有一组以上的两对像素的组，所述两对像素的组为在具有与所述第一方向及第二方向平行的边的任意四边形的至少一个四边形中一方的对角位置具有所述第一色而另一方的对角位置具有同色的所述第二色。
3.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像包含在所述第一方向及所述第二方向上与M×N像素对应的基本排列图案，并且该基本排列图案沿所述第一方向及所述第二方向重复配置，其中M≥3，N≥3。
4.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像包含在所述第一方向及第二方向的像素行上所述第二色的全部颜色的像素不齐全的像素行。
5.根据权利要求1或2所述的图像处理装置，其中，具备：
控制单元，对所述马赛克图像一边使所述局部区域每次移动与所述处理对象的对象像素单位相应的量一边使所述运算单元及所述图像处理单元反复动作。
6.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像具有：与属于所述第一色的绿色对应的G像素、与属于所述第二色的红色和蓝色对应的R像素和B像素，
当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、Gf、Bf时，
在所述处理对象的对象像素是G像素的情况下，所述图像处理单元分别算出所述G像素的积和运算值与所述R像素的积和运算值之比即色比Rf/Gf，及所述G像素的积和运算值与所述B像素的积和运算值之比即色比Bf/Gf，并基于算出的所述色比Rf/Gf、色比Bf/Gf和所述处理对象的G像素的像素值而分别算出所述处理对象的像素位置的R像素、B像素的像素值。
7.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像具有：与属于所述第一色的绿色对应的G像素、与属于所述第二色的红色和蓝色对应的R像素和B像素，
当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值分别设为Rf、Gf、Bf时，
在所述处理对象的对象像素是R像素的情况下，所述图像处理单元算出所述G像素的积和运算值与所述B像素的积和运算值之比即色比Bf/Gf，并基于算出的所述色比Bf/Gf和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置的B像素的像素值，
在所述处理对象的对象像素是B像素的情况下，所述图像处理单元算出所述G像素的积和运算值与所述R像素的积和运算值之比即色比Rf/Gf，并基于算出的所述色比Rf/Gf和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置的R像素的像素值。
8.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像具有：与属于所述第一色的绿色对应的G像素、与属于所述第二色的红色和蓝色对应的R像素和B像素，
当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数的总和而得到的加权平均值分别设为Rf’、Gf’、Bf’时，
在所述处理对象的对象像素是G像素的情况下，所述图像处理单元分别算出所述G像素的加权平均值与所述R像素的加权平均值之差即色差Rf’－Gf’，及所述G像素的加权平均值与所述B像素的加权平均值之差即色差Bf’－Gf’，并基于算出的所述色差Rf’－Gf’、色差Bf’－Gf’和所述处理对象的G像素的像素值，而分别算出所述处理对象的像素位置的R像素、B像素的像素值。
9.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像具有：与属于所述第一色的绿色对应的G像素、与属于所述第二色的红色和蓝色对应的R像素和B像素，
当将由所述运算单元算出的所述R像素、G像素、B像素的像素值的每色的积和运算值除以加权系数的总和而得到的加权平均值分别设为Rf’、Gf’、Bf’时，
在所述处理对象的对象像素是R像素的情况下，所述图像处理单元算出所述G像素的加权平均值与所述B像素的加权平均值之差即色差Bf’－Gf’，并基于算出的所述色差Bf’－Gf’和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置的B像素的像素值，
在所述处理对象的对象像素是B像素的情况下，所述图像处理单元算出所述G像素的加权平均值与所述R像素的加权平均值之差即色差Rf’－Gf’，并基于算出的所述色差Rf’－Gf’和对所述处理对象的像素位置算出的G像素的像素值而算出所述处理对象的像素位置的R像素的像素值。
10.根据权利要求7所述的图像处理装置，其中，
具备：方向判别单元，基于所述马赛克图像内的处理对象的像素附近的所述第一色的像素的像素值来判别亮度的相关方向是所述第一方向、第二方向、相对于所述第一方向及第二方向倾斜的第三方向及相对于所述第一方向及第二方向倾斜的第四方向中的哪个方向，
在所述处理对象的像素位置的像素是R像素或B像素的情况下，所述图像处理单元使用存在于由所述方向判别单元判别出的相关方向上的G像素的像素值而算出对该像素位置的G像素的像素值。
11.根据权利要求10所述的图像处理装置，其中，
所述马赛克图像中的所述第一色的像素在所述第一方向、第二方向、第三方向和第四方向的各方向的像素行内配置一个以上。
12.根据权利要求10所述的图像处理装置，其中，
所述方向判别单元取得所述马赛克图像内的处理对象的像素附近的所述第一色的像素即在所述第一方向、第二方向、第三方向和第四方向上分别相邻的同色的像素的像素值，并基于分别相邻的同色的像素的像素值的差分值来判别亮度的相关方向。
13.根据权利要求12所述的图像处理装置，其中，
所述方向判别单元按所述第一方向、第二方向、第三方向和第四方向的各方向算出多个相邻的同色的像素的像素值的差分绝对值，并将各方向的多个差分绝对值的总和或平均值中为最小的方向判别为相关方向。
14.一种摄像装置，具备权利要求1～13中任一项所述的图像处理装置。
15.一种图像处理方法，包括：
图像获取工序，获取从在多个像素上配置预定的滤色器排列的滤色器而成的摄像元件取得的与所述滤色器排列对应的马赛克图像，所述多个像素由排列于第一方向及与所述第一方向垂直的第二方向的光电转换元件构成，所述滤色器具有与一种颜色以上的第一色对应的第一滤光片和与用于获得亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应的第二滤光片；
运算工序，使用与所述第二色的每色对应且与预定的内核尺寸内的所述第一色对应地设定的第一加权系数和与所述第二色的各色分别对应地设定的第二加权系数进行运算，所述第一加权系数及第二加权系数设定为所述内核尺寸内的第一方向及第二方向的像素行内的所述第一加权系数的总和与第二加权系数的总和之比为1∶1，在该运算工序中基于所述第一加权系数及第二加权系数、从所述马赛克图像提取的与所述内核尺寸对应的局部区域内的第一色的像素的像素值及第二色的像素的像素值而算出所述第一色的积和运算值及第二色的积和运算值；及
图像处理工序，基于所述局部区域内的处理对象的像素的像素位置的所述第一色的像素值、由所述运算工序算出的所述第一色及第二色的每色的积和运算值而算出所述像素位置的第二色的每色的像素值，
对所述马赛克图像一边使所述局部区域每次移动与所述处理对象的对象像素单位相应的量一边反复执行所述运算工序及所述图像处理工序的处理。
CN201380045235.6A 2012-08-27 2013-08-21 图像处理装置、图像处理方法及摄像装置 Active CN104584542B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-186645 2012-08-27
JP2012186645 2012-08-27
PCT/JP2013/072278 WO2014034486A1 (ja) 2012-08-27 2013-08-21 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置

Publications (2)

Publication Number Publication Date
CN104584542A CN104584542A (zh) 2015-04-29
CN104584542B true CN104584542B (zh) 2016-08-17

Family

ID=50183301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045235.6A Active CN104584542B (zh) 2012-08-27 2013-08-21 图像处理装置、图像处理方法及摄像装置

Country Status (5)

Country Link
US (1) US9363493B2 (zh)
JP (1) JP5755814B2 (zh)
CN (1) CN104584542B (zh)
DE (1) DE112013004198T5 (zh)
WO (1) WO2014034486A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6129119B2 (ja) * 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
CN105093655B (zh) * 2015-08-26 2017-12-19 中山大学 一种多色显示器滤色方法和装置
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
EP3402187A4 (en) * 2016-01-08 2019-06-12 Olympus Corporation IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10110869B2 (en) * 2017-03-08 2018-10-23 Ricoh Company, Ltd. Real-time color preview generation for plenoptic imaging systems
CN110290370B (zh) * 2019-07-05 2020-09-18 上海富瀚微电子股份有限公司 图像处理方法及装置
TWI763391B (zh) * 2021-03-23 2022-05-01 宏碁股份有限公司 頭戴式顯示器、光學穿透式顯示系統及頭戴式顯示器的操作方法
US12177373B2 (en) 2021-12-31 2024-12-24 Samsung Electronics Co., Ltd. Electronic device including under display camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189043A (zh) * 1996-07-03 1998-07-29 索尼株式会社 固态成像装置
US6882365B1 (en) * 1998-07-01 2005-04-19 Ricoh Company, Ltd. Direction-sensitive correction method and system for data including abrupt intensity gradients
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法
WO2011108290A2 (ja) * 2010-03-04 2011-09-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP4350706B2 (ja) * 2003-03-28 2009-10-21 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4977395B2 (ja) * 2006-04-14 2012-07-18 富士フイルム株式会社 画像処理装置及び方法
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
EP2683166B1 (en) * 2011-02-28 2017-12-13 Fujifilm Corporation Color imaging device
WO2013046827A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189043A (zh) * 1996-07-03 1998-07-29 索尼株式会社 固态成像装置
US6882365B1 (en) * 1998-07-01 2005-04-19 Ricoh Company, Ltd. Direction-sensitive correction method and system for data including abrupt intensity gradients
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法
WO2011108290A2 (ja) * 2010-03-04 2011-09-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2014034486A1 (ja) 2016-08-08
US20150172615A1 (en) 2015-06-18
JP5755814B2 (ja) 2015-07-29
WO2014034486A1 (ja) 2014-03-06
CN104584542A (zh) 2015-04-29
DE112013004198T5 (de) 2015-05-07
US9363493B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
CN104584542B (zh) 图像处理装置、图像处理方法及摄像装置
JP6151632B2 (ja) 撮像モジュール及び撮像装置
US9160990B2 (en) Solid-state imaging device, imaging apparatus, and driving method of a solid-state imaging device
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
CN104380168B (zh) 摄像装置及自动调焦方法
JP6989630B2 (ja) 撮像装置
US20150117832A1 (en) Imaging device, and image processing method
CN104813648A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104641626A (zh) 摄像装置及对焦确认显示方法
US11290635B2 (en) Imaging apparatus and image processing method
US10306196B2 (en) Pixel mixing device and method for controlling operation of same
US20150172532A1 (en) Imaging device and focusing-verification display method
US9350962B2 (en) Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium
JP5877931B2 (ja) 画素補間装置およびその動作制御方法
US20150146049A1 (en) Image processing device, image pickup device, computer, image processing method and non transitory computer readable medium
CN104380726B (zh) 图像处理装置及方法以及摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant