[go: up one dir, main page]

CN103416067B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN103416067B
CN103416067B CN201180069092.3A CN201180069092A CN103416067B CN 103416067 B CN103416067 B CN 103416067B CN 201180069092 A CN201180069092 A CN 201180069092A CN 103416067 B CN103416067 B CN 103416067B
Authority
CN
China
Prior art keywords
pixel
pixel data
row
color
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180069092.3A
Other languages
English (en)
Other versions
CN103416067A (zh
Inventor
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103416067A publication Critical patent/CN103416067A/zh
Application granted granted Critical
Publication of CN103416067B publication Critical patent/CN103416067B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供一种即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下、也无需变更拜耳排列对应的图像处理部就能够使用的摄像装置及摄像程序。摄像装置（10）具有：滤色器（30），重复配置有6×6像素的基本排列图案（C）；驱动部（22），驱动摄像元件（14），以便仅间拔并读出垂直方向上预定位置的行上的像素的像素数据；及像素转换部（18），将从摄像元件（14）间拔并读出的各行的像素数据转换为拜耳排列图案的拜耳排列像素数据。

Description

摄像装置
技术领域
本发明涉及一种摄像装置及摄像程序，特别涉及一种使用了单板式彩色摄像元件的摄像装置及摄像程序。
背景技术
单板彩色摄像元件的输出图像是RAW图像(马赛克图像)，因此通过根据周围像素对丢失颜色的像素进行插值处理(去马赛克算法处理)来获得多通道图像。在这种情况下，有时高频图像信号的重现特性成为问题。彩色摄像元件与黑白摄像元件相比，拍摄出的图像中易产生混淆现象，因此抑制莫尔条纹(伪色)的产生并扩大重现频带以实现高分辨率化变得重要。
专利文献1中公开了进行莫尔条纹等产生较少的间拔输出的摄像装置。
并且，专利文献2中公开了下述摄像装置：即使在由于像素混合而增大了感度时，也可抑制莫尔条纹的产生及颜色的S/N比的下降，提高分辨率。
但是，作为在单板彩色摄影元件中应用最广泛的颜色排列的原色系拜耳排列(例如参照专利文献3至5)中，将对人眼敏感、且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状，将红(R)、蓝(B)按照线型顺序配置，因此生成G信号处于倾斜方向、R、B信号处于水平、垂直方向的高频信号时的重现精度存在问题。
因此，为避免产生这种问题，考虑使用排列各色滤光片而得到的排列方式为拜耳排列以外的滤色器(例如参照专利文献6)。
专利文献1：日本特开2008-78794号公报
专利文献2：日本特开2009-246465号公报
专利文献3：日本特开2002-135793号公报
专利文献4：日本专利第3960965号公报
专利文献5：日本特开2004-266369号公报
专利文献6：日本特开平11-285012号公报
发明内容
发明要解决的问题
在这种情况下存在以下问题：例如去马赛克算法处理等图像处理需要进行与新的滤色器的排列对应的图像处理，但变更与新的滤色器的排列对应的图像处理非常复杂，设计工时变得庞大。
本发明为了解决上述问题而作出，其目的在于提供一种即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下、也无需变更拜耳排列对应的图像处理部就能够使用的摄像装置及摄像程序。
用于解决问题的方法
为了解决上述问题，技术方案1所述的发明的摄像装置的特征在于，具有：摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案，其中，上述第一排列图案中，与最有助于获得亮度信号的第一颜色对应的第一滤光片配置在3×3像素的正方排列的四角及中央的像素上，与不同于上述第一颜色的第二颜色对应的第二滤光片配置在上述正方排列的上述水平方向上的中央的行上，与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片配置在上述正方排列的上述垂直方向上的中央的行上，上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一滤光片中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换；驱动单元，驱动上述摄像元件以仅读出上述垂直方向上的预定位置的行上的像素的像素数据；像素转换单元，将从上述摄像元件间拔并读出的各行的像素数据转换为拜耳排列像素数据，该拜耳排列像素数据为如下配置而得到的拜耳排列图案：2×2像素的正方排列的一条对角线上的两个像素是上述第一颜色的像素，另一条对角线上的两个像素是上述第二颜色的像素及上述第三颜色的像素；及生成单元，基于上述拜耳排列像素数据，对于各像素通过根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值来生成各像素的各色的像素数据。
根据本发明，构成为，具有重复配置有6×6像素的基本排列图案的非拜耳排列图案的滤色器，并具有像素转换单元，将从摄像元件间拔并读出的各行像素数据转换为拜耳排列图案的拜耳排列像素数据，因此，无需变更拜耳排列对应的像素处理部就能够使用。
此外，如技术方案2所述，也可以是：上述像素转换单元对于从上述摄像元件间拔并读出的各行像素数据通过对上述水平方向上相邻的同色像素的像素数据进行像素混合而将从上述摄像元件间拔并读出的各行像素数据转换为拜耳排列像素数据。
并且，如技术方案3所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行及第(6n+3)(n＝0、1、2、……)个第三行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第三行上的相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述第一行上的上述第三颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素，将上述第三行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素。
并且，如技术方案4所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+2)(n＝0、1、2、……)个第二行及第(6n+5)(n＝0、1、2、……)个第五行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及第五行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述第二行上的相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述第五行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
并且，如技术方案5所述，也可以是：上述驱动单元驱动上述摄像元件以仅间并拔读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行及第(6n+4)(n＝0、1、2、……)个第四行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第四行上的相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述第四行上的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
并且，如技术方案6所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(12n+1)(n＝0、1、2、……)个第一行及第(12n+7)(n＝0、1、2、……)个第七行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第七行上的相邻的上述第一颜色的像素数据分别进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述垂直方向上的上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将上述垂直方向上的上述第七行上的上述第三颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
并且，如技术方案7所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(12n+2)(n＝0、1、2、……)个第二行及第(12n+8)(n＝0、1、2、……)个第八行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及上述第八行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述垂直方向上的上述第二行上的相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述垂直方向上的上述第八行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
并且，如技术方案8所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(18n+2)(n＝0、1、2、……)个第二行及第(18n+11)(n＝0、1、2、……)个第十一行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及第十一行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述垂直方向上的上述第二行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素，将上述垂直方向上的上述第十一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素。
并且，如技术方案9所述，也可以是：上述像素转换单元对于从上述摄像元件间拔并读出的各行的像素数据通过对上述水平方向上相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案10所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行及第(6n+3)(n＝0、1、2、……)个第三行上的像素的像素数据，上述像素转换单元通过对上述第一行及上述第三行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案11所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+2)(n＝0、1、2、……)个第二行及第(6n+5)(n＝0、1、2、……)个第五行上的像素的像素数据，上述像素转换单元通过对上述第二行及上述第五行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案12所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行及第(6n+4)(n＝0、1、2、……)个第四行上的像素的像素数据，上述像素转换单元通过对上述第一行及上述第四行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案13所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行上的像素的像素数据，上述像素转换单元通过对上述第一行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案14所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+2)(n＝0、1、2、……)个第二行上的像素的像素数据，上述像素转换单元通过对上述第二行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案15所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(9n+2)(n＝0、1、2、……)个第二行上的像素的像素数据，上述像素转换单元通过对上述第二行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
并且，如技术方案16所述，也可以是：上述像素转换单元根据从上述摄像元件间拔并读出的各行像素数据，分别生成与上述拜耳排列图案对应的两行像素数据，并将该生成的两行像素数据转换为上述拜耳排列像素数据。
并且，如技术方案17所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行及第(6n+3)(n＝0、1、2、……)个第三行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第(2n+1)(n＝0、1、2、……)个第一拜耳排列行及第(2n+2)(n＝0、1、2、……)个第二拜耳排列行的对应位置的上述第一颜色的像素，将对上述第三行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第(2n+3)(n＝0、1、2、……)个第三拜耳排列行及第(2n+4)(n＝0、1、2、……)个第四拜耳排列行的对应位置的上述第一颜色的像素，将上述第一行及上述第三行上的上述第二颜色的像素数据分别应用于上述拜耳排列图案的上述第一拜耳排列行及上述第三拜耳排列行的对应位置的上述第二颜色的像素，将上述第一行及上述第三行上的上述第三颜色的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行及上述第四拜耳排列行的对应位置的上述第三颜色的像素。
并且，如技术方案18所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(6n+1)(n＝0、1、2、……)个第一行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第(2n+1)(n＝0、1、2、……)个第一拜耳排列行及第(2n+2)(n＝0、1、2、……)个第二拜耳排列行的对应位置的上述第一颜色的像素，将上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的上述第一拜耳排列行的对应位置的上述第二颜色的像素，将上述第一行上的上述第三颜色的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行的对应位置的上述第三颜色的像素。
并且，如技术方案19所述，也可以是：上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第(12n+2)(n＝0、1、2、……)个第二行及第(12n+8)(n＝0、1、2、……)个第八行上的像素的像素数据，上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行上的两组上述第一颜色的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第(2n+1)(n＝0、1、2、……)个第一拜耳排列行及第(2n+2)(n＝0、1、2、……)个第二拜耳排列行的对应位置的上述第一颜色的像素，将上述第八行上的两组上述第一颜色的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第(2n+3)(n＝0、1、2、……)个第三拜耳排列行及第(2n+4)(n＝0、1、2、……)个第四拜耳排列行的对应位置的上述第一颜色的像素，将对上述第二行上相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第一拜耳排列行的对应位置的上述第二颜色的像素，将对上述第八行上相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第四拜耳排列行的对应位置的上述第二颜色的像素，将对上述第二行上相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行的对应位置的上述第三颜色的像素，将对上述第八行上相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第三拜耳排列行的对应位置的上述第三颜色的像素。
并且，如技术方案20所述，也可以是：上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色中的一种颜色，上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
技术方案21所述的发明的摄像程序是使计算机作为构成技术方案1至技术方案20中任一项所述的摄像装置的像素转换单元而发挥功能的摄像程序。
发明效果
根据本发明，具有以下效果：即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下，也无需变更拜耳排列对应的图像处理部就能够使用。
附图说明
图1是摄像装置的概略框图。
图2是本发明所涉及的滤色器的结构图。
图3是拜耳排列图案的滤色器的结构图。
图4是用于说明使用了拜耳排列图案的滤色器时的处理的流程的图。
图5是用于说明使用了拜耳排列图案的滤色器时的处理的流程的图。
图6是由像素转换处理部执行的处理的流程图。
图7是用于说明第一实施方式所涉及的像素转换处理的流程的图。
图8是用于说明第二实施方式所涉及的像素转换处理的流程的图。
图9是用于说明第三实施方式所涉及的像素转换处理的流程的图。
图10是用于说明第四实施方式所涉及的像素转换处理的流程的图。
图11是用于说明第五实施方式所涉及的像素转换处理的流程的图。
图12是用于说明第六实施方式所涉及的像素转换处理的流程的图。
图13是用于说明第七实施方式所涉及的像素转换处理的流程的图。
图14是用于说明第八实施方式所涉及的像素转换处理的流程的图。
图15是用于说明第九实施方式所涉及的像素转换处理的流程的图。
图16是用于说明第十实施方式所涉及的像素转换处理的流程的图。
图17是用于说明第十一实施方式所涉及的像素转换处理的流程的图。
图18是用于说明第十二实施方式所涉及的像素转换处理的流程的图。
图19是用于说明第十三实施方式所涉及的像素转换处理的流程的图。
图20是用于说明第十四实施方式所涉及的像素转换处理的流程的图。
图21是用于说明第十五实施方式所涉及的像素转换处理的流程的图。
图22是用于说明根据滤色器中含有的2×2像素的G像素的像素值来判断相关方向的方法的图。
图23是用于说明滤色器中含有的基本排列图案的概念的图。
图24是表示滤色器的变形例的图。
具体实施方式
以下，参照附图说明本发明的实施方式。
(第一实施方式)
图1表示本实施方式所涉及的摄像装置10的概略框图。摄像装置10构成为，包括：光学系统12、摄像元件14、摄像处理部16、像素转换处理部18、图像处理部20、驱动部22及控制部24。
光学系统12构成为，例如包括由多个光学镜头组成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件在内的摄像元件、例如CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件上配置有滤色器的结构的所谓单板式摄像元件。
图2表示本实施方式所涉及的滤色器30的一部分。此外，像素数作为一例是(4896×3264)像素，纵横比是3：2，但像素数及纵横比不限于此。如该图所示，滤色器30是重复配置有将第一排列图案A和第二排列图案B点对称地配置而得到的6×6像素的基本排列图案C的滤色器，上述第一排列图案A中，与最有助于获得亮度信号的G(绿)对应的第一滤光片G(以下称为G滤光片)配置在3×3像素的正方排列的四角及中央的像素上，与R(红)对应的第二滤光片R(以下称为R滤光片)配置在正方排列的垂直方向上的中央的行上，与B(蓝)对应的第三滤光片B(以下称为B滤光片)配置在正方排列的水平方向上的中央的行上，上述第二排列图案B中的G滤光片的配置与第一排列图案A相同且将第一排列图案A中的R滤光片的配置与B滤光片的配置进行了对换。
即，滤色器30具有下述特征(1)、(2)、(3)、(4)及(5)。
[特征(1)]
图2所示的滤色器30包括由与6×6像素对应的正方排列图案构成的基本排列图案C，该基本排列图案C在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。
由于R滤光片、G滤光片、B滤光片如此以规定的周期性排列，因此在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理等时，能够按照重复图案进行处理。
并且，在以基本排列图案C为单位进行间拔处理以缩小图像的情况下，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用通用的处理电路。
[特征(2)]
图2所示的滤色器30中，与最有助于获得亮度信号的颜色(在本实施方式中是G色)对应的G滤光片配置在滤色器排列的水平、垂直及倾斜方向的各行内。
与亮度系像素对应的G滤光片在滤色器排列的水平、垂直、及倾斜方向上的各行内配置，因此无需依靠变为高频的方向就能够提高高频区域中的去马赛克算法处理的重现精度。
[特征(3)]
图2所示的滤色器30中，与上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)对应的R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内。
由于R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内，因此能够抑制莫尔条纹(伪色)的产生。由此，能够避免将用于抑制伪色产生的光学低通滤波器配置在从光学系统的入射面到摄像面的光路上。并且，即使在适用光学低通滤波器的情况下，也能够适用切断用于防止伪色产生的高频成分的作用较弱的装置，能够避免有损分辨率。
如图2所示还可知，基本排列图案C是由虚线框围成的3×3像素的第一排列图案A和由单点划线框围成的3×3像素的第二排列图案B在水平、垂直方向上交替排列而得到的排列。
第一排列图案A及第二排列图案B中，作为亮度系像素的G滤光片分别配置在四角和中央，配置在两条对角线上。并且，第一排列图案A中，B滤光片隔着中央的G滤光片而在水平方向上排列，R滤光片在垂直方向上排列，另一方面，第二排列图案B中，R滤光片隔着中央的G滤光片而在水平方向上排列，B滤光片在垂直方向上排列。即，第一排列图案A和第二排列图案B中，R滤光片和B滤光片的位置关系相反，而其他配置相同。
并且，第一排列图案A和第二排列图案B的四角的G滤光片如图22所示，通过第一排列图案A和第二排列图案B在水平、垂直方向上交替配置，形成与2×2像素对应的正方排列的G滤光片。
[特征(4)]
图2所示的滤色器30包括与由G滤光片构成的2×2像素对应的正方排列。
如图22所示，取出由G滤光片构成的2×2像素，求出水平方向上的G像素的像素值之差的绝对值、垂直方向上的G像素的像素值之差的绝对值、倾斜方向(右上倾斜、左上倾斜)上的G像素的像素值之差的绝对值，从而能够判断出水平方向、垂直方向及倾斜方向上差的绝对值小的方向存在相关性。
即，根据该滤色器排列，使用最小像素间隔的G像素的信息，能够判断出水平方向、垂直方向及倾斜方向中的相关性高的方向。该方向判断结果能够用于根据周围像素进行插值的处理(去马赛克算法处理)。
[特征(5)]
图2所示的滤色器30的基本排列图案C相对于该基本排列图案C的中心(四个G滤光片的中心)形成点对称。并且，如图2所示，基本排列图案C内的第一排列图案A及第二排列图案B也分别相对于中心的G滤光片形成点对称。
通过这样的对称性，能够减小或简化后段的处理电路的电路规模。
如图23所示，在基本排列图案C中，水平方向的第一至第六行中的第一及第三行的滤色器排列是GRGGBG，第二行的滤色器排列是BGBRGR，第四及第六行的滤色器排列是GBGGRG，第五行的滤色器排列是RGRBGB。
现在，在图23中，若将基本排列图案C在水平方向及垂直方向上分别移位一个像素的基本排列图案设为C’，分别移位两个像素的基本排列图案设为C”，则即使在水平方向及垂直方向上重复配置这些基本排列图案C’、C”，也会形成相同的滤色器排列。
即，通过在水平方向及垂直方向上重复配置基本排列图案，使能够构成图23所示的滤色器排列的基本排列图案存在多个。在本实施方式中，为便于说明，将基本排列图案形成点对称的基本排列图案C称为基本排列图案。
图24是表示本实施方式所涉及的滤色器的变形例的图。该图所示的滤色器30A包括由与4×4像素对应的正方排列图案构成的基本排列图案C，该基本排列图案C在水平方向及垂直方向上重复配置。
该滤色器30A与图2所示的滤色器30一样，G滤光片配置在滤色器排列的水平、垂直及倾斜方向上的各行内，且R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内。
并且，基本排列图案C相对于该基本排列图案C的中心形成点对称。
另一方面，该滤色器30A不包括与由G滤光片构成的2×2像素对应的正方排列，但具有在水平方向上相邻的G滤光片，并且具有在倾斜方向(右上倾斜、左上倾斜)上相邻的G滤光片。
在垂直方向上，G滤光片隔着R滤光片或B滤光片存在，因此能够在判断垂直方向的相关性的情况下使用与该G滤光片对应的G像素的像素值。
如上所述，滤色器30A具有与图2所示的滤色器30的特征(1)、(2)、(3)及(5)相同的特征。
与之相对，图3表示拜耳排列的滤色器40的一部分。此外，该图所示的滤色器的像素数作为一例也是(4896×3264)像素，纵横比为3：2。如该图所示，拜耳排列的滤色器40构成为，在2×2像素的正方排列的一条对角线上的两个像素上配置有G滤光片，在另一条对角线上的两个像素上配置有R滤光片及B滤光片。
摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双采样处理、A/D转换处理等预先规定的处理，并作为像素数据输出到像素转换处理部18。该像素数据是与图2所示的滤色器30的排列对应的像素数据。
像素转换处理部18的详细情况后述，其将从摄像处理部16输出的与图2所示的滤色器30的排列对应的像素数据转换为与图3所示的拜耳排列对应的像素数据。
图像处理部20对从像素转换处理部18输出的与拜耳排列对应的像素数据实施所谓去马赛克算法处理。即，对于总像素，根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成总像素的R、G、B像素数据。并且，对所生成的R、G、B像素数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行缩放处理，将这些信号缩放成与摄影模式对应的大小。
驱动部22根据来自控制部24的指示，进行来自摄像元件14的摄像信号的读出驱动等。
控制部24根据摄影模式等，集中控制驱动部22、像素转换处理部18及图像处理部20等。详细情况后述，控制部24对驱动部22发出指示以通过与摄影模式对应的读出方法读出摄像信号，或者对像素转换处理部18发出指示以进行与摄影模式对应的像素转换处理，或者对图像处理部20发出指示以进行与摄影模式对应的图像处理。
需要根据摄影模式而间拔并读出来自摄像元件14的摄像信号，因此控制部24指示驱动部22以通过与所指示的摄影模式对应的间拔方法进行间拔并读出摄像信号。
在本实施方式中，作为摄影模式的一例，以设定了以下模式时的处理为例进行说明：HD动画模式，对拍摄到的图像进行间拔，生成较高分辨率的HD(高精细)动画数据，并记录到未图示的存储卡等记录介质；实时取景动画模式，对拍摄到的图像进行间拔，并将较低分辨率的实时取景动画输出到未图示的显示部。
首先说明在使用了利用拜耳排列的滤色器的现有结构的摄像元件14的情况下以HD动画模式及实时动画模式进行摄影时的处理。
图4概略地表示在使用了利用拜耳排列的滤色器40的现有结构的摄像元件14的情况下以HD动画模式进行摄影时的处理的流程。
在这种情况下，如图4左上所示，在垂直方向上每三行间拔并读出像素数据。即，读出垂直方向上第(3n+1)(n＝0、1、2、……)行(图中箭头所指示的行，以下同样用箭头指示间拔读出的行)的像素数据。并且，通过对水平方向上相邻的同色像素的像素数据进行像素混合，如该图右上所示，在水平方向及垂直方向上均生成摄像元件14的像素数的1/3的像素数(1632×1088)的像素数据。
具体而言，对于R像素，对图4左上所示的第一行的框Ra(包括五个像素)内的三个R像素进行像素混合(例如取三个R像素的像素值的平均值，下同)，作为该图右上所示的缩小图像的第一行的R像素R1，对于G像素，对图4左上所示的第一行的框Ga(包括五个像素)内的三个G像素进行像素混合，作为该图右上所示的缩小图像的第一行的G像素G1，并且对图4左上所示的第四行的框Gb(包括五个像素)内的三个G像素进行像素混合，作为该图右上所示的缩小图像的第二行的G像素G2。对于B像素，对图4左上所示的第四行的框Ba(包括五个像素)内的三个B像素进行像素混合，作为该图右上所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右上所示的缩小了的拜耳排列的像素数据。
并且，对该图右上的像素数据实施上述去马赛克算法处理及YC转换处理(拜耳处理)，如该图左下所示，生成亮度数据Y、色差数据Cr、Cb。并且，如该图右下所示，进行将亮度数据Y、色差数据Cr、Cb缩放为与摄影模式对应的大小的缩放处理。在该图右下，作为一例，缩放为像素数是(1920×1080)，纵横比是16：9。
图5概略地表示在使用了利用拜耳排列的滤色器40的现有结构的摄像元件14的情况下以实时取景动画模式(实时取景显示模式)进行摄影时的处理的流程。
在这种情况下，与HD动画模式相比分辨率可以较低，因此如图5左上所示，在垂直方向上每五行间拔并读出像素数据。即，读出垂直方向上第(5n+1)(n＝0、1、2、……)行的像素数据。之后仅图像大小不同，其他与图4中一样。
其中，图4左下、图5左下所示的拜耳处理是与拜耳排列对应的去马赛克算法处理及YC转换处理，因此在使用了与图2所示的拜耳排列不同的排列的滤色器30的情况下，需要变更拜耳处理。
但是，在本实施方式中，设置像素转换处理部18，在该像素转换处理部18中，将与从摄像处理部16输出的滤色器30的排列对应的像素数据转换为与拜耳排列对应的像素数据并输出到图像处理部20，因此无需变更图像处理部20。
接着，作为本实施方式的作用，参照图6所示的流程图，对由像素转换处理部18执行的处理进行说明。
此外，图6所示的处理在从控制部24发出指示以执行与摄影模式对应的像素转换处理的情况下执行。
当指示在指定的摄影模式下执行摄影时，控制部24对驱动部22发出指示以通过与摄影模式对应的间拔方法进行间拔并读出摄像信号。并且，控制部24指示像素转换处理部18以执行与摄影模式对应的像素转换处理，并且指示图像处理部20以执行与摄影模式对应的拜耳处理(去马赛克算法处理及YC转换处理)及缩放处理。
首先，在步骤100中，从摄像处理部16输入像素数据。在步骤102中，执行将所输入的像素数据转换为与拜耳排列对应的像素数据的像素转换处理。在步骤104中，向图像处理部20输出转换后的像素数据。
此外，像素转换处理部18能够由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM，由CPU将它们读入并执行。
以下说明像素转换处理的具体示例。在本实施方式中说明以下情况：在HD动画模式中，对于从摄像元件14间拔并读出的各行像素数据，通过对水平方向上相邻的同色像素的像素数据进行像素混合而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列的像素数据。
图7概略地表示以HD动画模式进行拍摄时的处理的流程。在本实施方式中，如图7左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)及第(6n+3)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)及第(6n+3)行的像素数据。即，按照各基本排列图案反复进行以下动作：在基本排列图案C的垂直方向上的六行中间拔第二、第四至第六行，读出第一行及第三行这两行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右上所示，在水平方向及垂直方向上均生成摄像元件14的像素数的1/3像素数(1632×1088)的像素数据。
具体而言，对于G像素，对图7左上所示的第一行的框Ga内的两个G像素进行像素混合(例如取两个G像素的像素值的平均值。下同)，作为该图右上所示的缩小图像的第一行的G像素G1，并且对第三行的框Gb内的两个G像素进行像素混合，作为该图右上所示的缩小图像的第二行的G像素G2。对于B像素，将图7左上所示的第一行的框Ba内的一个B像素作为该图右上所示的缩小图像的第一行的B像素B1，对于R像素，将图7左上所示的第三行的框Ra内的一个R像素作为该图右上所示的第二行的R像素R1。以下通过进行同样的处理，生成该图右上所示的缩小了的拜耳排列的像素数据。即，将对垂直方向上第(6n+1)行及第(6n+3)行上的相邻的G像素的像素数据分别进行像素混合而得到的像素数据分别应用于拜耳排列图案的对应位置的G像素，将第(6n+1)行上的B像素的像素数据应用于拜耳排列图案的对应位置的B像素，将垂直方向上第(6n+3)行上的R像素的像素数据应用于拜耳排列图案的对应位置的R像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
在该间拔方法的情况下，如图7左上所示，间拔并读出的像素数据中对人眼敏感的G像素包含得较多，因此可获得灵敏度良好的图像。
像素转换处理后，与图4一样，在图像处理部20中执行拜耳处理(去马赛克算法处理及YC转换处理)及缩放处理，输出缩放后的图像。
(第二实施方式)
接着说明本发明的第二实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第一实施方式不同的是摄像信号的间拔方法，其他与第一实施方式相同。
图8概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图8左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+2)(n＝0、1、2、……)及第(6n+5)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+2)及第(6n+5)行的像素数据。即，按照各基本排列图案反复进行以下动作：在基本排列图案C的垂直方向上的六行中间拔第一、第三至第四、第六行，读出第二行及第五行这两行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右上所示，在水平方向及垂直方向上均生成摄像元件14的像素数的1/3像素数(1632×1088)的像素数据。
具体而言，对于G像素，将图8左上所示的第二行的框Ga内的一个像素作为该图右上所示的缩小图像的第一行的G像素G1，并且将第五行的框Gb内的一个像素作为该图右上所示的缩小图像的第二行的G像素G2。对于R像素，将对图8左上所示的第二行的框Ra内的两个R像素进行像素混合而得到的像素数据作为该图右上所示的缩小图像的第一行的R像素R1，对于B像素，将对图8左上所示的第五行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右上所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右上所示的缩小了的拜耳排列的像素数据。即，将垂直方向上第(6n+2)行及第(6n+5)行上的G像素的像素数据分别应用于拜耳排列图案的对应位置的G像素，将对第(6n+2)行上的相邻的R像素的像素数据进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的R像素，将对第(6n+5)行上的相邻的B像素的像素数据进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
在该间拔方法的情况下，如图8左上所示，间拔并读出的像素数据中R像素及B像素包含得较多，因此可获得难以出现伪色的图像。此外，像素转换处理后的处理与上述实施方式相同，因此省略说明。
(第三实施方式)
接着说明本发明的第三实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第一实施方式不同的是摄像信号的间拔方法，其他与第一实施方式相同。
图9概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图9左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)及第(6n+4)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)及第(6n+4)行的像素数据。即，按照各基本排列图案反复进行以下动作：在基本排列图案C的垂直方向上的六行中间拔第二、第三、第五、第六行，读出第一行及第四行这两行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右上所示，在水平方向及垂直方向上均生成摄像元件14的像素数的1/3像素数(1632×1088)的像素数据。
具体而言，对于G像素，将对图9左上所示的第一行的框Ga内的两个G像素进行像素混合而得到的像素数据作为该图右上所示的缩小图像的第一行的G像素G1，并且将对第四行的框Gb内的两个G像素进行像素混合而得到的像素数据作为该图右上所示的缩小图像的第二行的G像素G2。对于R像素，将图9左上所示的第一行的框Ra内的一个R像素作为该图右上所示的缩小图像的第一行的R像素R1，对于B像素，将对图9左上所示的第四行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右上所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右上所示的缩小了的拜耳排列的像素数据。即，将对垂直方向上第(6n+1)行及第(6n+4)行上的相邻的G像素的像素数据分别进行像素混合而得到的像素数据分别应用于拜耳排列图案的对应位置的G像素，将第(6n+1)行上的R像素的像素数据应用于拜耳排列图案的对应位置的R像素，将对第(6n+4)行上的相邻的B像素的像素数据进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
在该间拔方法的情况下，如图9左上所示，间拔并读出的像素数据中G像素包含得较多，并且R像素及B像素形成棋盘式方格模样，因此可获得灵敏度在一定程度上良好且伪色在一定程度上难以出现的图像。
(第四实施方式)
接着说明本发明的第四实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第一实施方式不同的是摄影模式为实时取景动画模式(实时取景显示模式)且摄像信号的间拔方法不同，其他与第一实施方式相同。
图10概略地表示以实时取景动画模式进行摄影时的处理的流程。此外，在图10中，对拜耳处理及缩放处理省略了图示(以下实施方式也同样)。
在本实施方式中，如图10左所示，控制部24指示驱动部22以读出垂直方向上第(12n+1)(n＝0、1、2、……)行及第(12n+7)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(12n+1)及第(12n+7)行的像素数据。即，反复进行以下动作：在垂直方向上的十二行中间拔第二至第六、第八至第十二行，读出第一行及第七行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右所示，生成水平方向为1/3、垂直方向为1/6的像素数(1632×544)的像素数据。
具体而言，对于G像素，将对图10左所示的第一行的框Ga内的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的G像素G1，并且将对第七行的框Gb内的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第二行的G像素G2。对于R像素，将图10左所示的第一行的框Ra内的一个R像素的像素数据作为该图右所示的缩小图像的第一行的R像素R1，对于B像素，将图10左所示的第七行的框Ba内的一个B像素的像素数据作为该图右所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右所示的缩小了的拜耳排列的像素数据。即，将对垂直方向上第(12n+1)行及第(12n+7)行上的相邻的G像素的像素数据分别进行像素混合而得到的像素数据分别应用于拜耳排列图案的对应位置的G像素，将垂直方向上的第(12n+1)行上的R像素的像素数据应用于拜耳排列图案的对应位置的R像素，将垂直方向上的第(12n+7)行上的B像素的像素数据应用于拜耳排列图案的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
(第五实施方式)
接着说明本发明的第五实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第四实施方式不同的是摄像信号的间拔方法，其他与第四实施方式相同。
图11概略地表示以实时取景动画模式进行摄影时的处理的流程。在本实施方式中，如图11左所示，控制部24指示驱动部22以读出垂直方向上第(12n+2)(n＝0、1、2、……)行及第(12n+8)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(12n+2)及第(12n+8)行的像素数据。即，反复进行以下动作：在垂直方向上的十二行中间拔第一、第三至第七、第九至第十二行，读出第二行及第八行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右所示，生成水平方向为1/3、垂直方向为1/6的像素数(1632×544)的像素数据。
具体而言，对于G像素，将图11左所示的第二行的框Ga内的一个G像素的像素数据作为该图右所示的缩小图像的第一行的G像素G1，并且将第八行的框Gb内的一个G像素的像素数据作为该图右所示的缩小图像的第二行的G像素G2。对于R像素，将对图11左所示的第二行的框Ra内的两个R像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的R像素R1，对于B像素，将对图11左所示的第八行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右所示的缩小了的拜耳排列的像素数据。即，将垂直方向上第(12n+2)行及第(12n+8)行上的G像素的像素数据分别应用于拜耳排列图案的对应位置的G像素，将对垂直方向上的第(12n+2)行上的相邻的R像素进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的R像素，将对垂直方向上的第(12n+8)行上的相邻的B像素进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
(第六实施方式)
接着说明本发明的第六实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第四实施方式不同的是摄像信号的间拔方法，其他与第四实施方式相同。
图12概略地表示以实时动画模式进行摄影时的处理的流程。在本实施方式中，如图12左所示，控制部24指示驱动部22以读出垂直方向上第(18n+2)(n＝0、1、2、……)行及第(18n+11)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(18n+2)及第(18n+11)行的像素数据。即，反复进行以下动作：在垂直方向上的十八行中间拔第一、第三至第十、第十二至第十八行，读出第二行及第十一行的像素数据。
在像素转换处理部18中，对于间拔并读出的像素数据，对水平方向上相邻的同色像素的像素数据进行像素混合，从而如该图右所示，生成水平方向为1/3、垂直方向为1/9的像素数(1632×362)的像素数据。
具体而言，对于G像素，将图12左所示的第二行的框Ga内的一个G像素的像素数据作为该图右所示的缩小图像的第一行的G像素G1，并且将第十一行的框Gb内的一个G像素的像素数据作为该图右所示的缩小图像的第二行的G像素G2。对于B像素，将对图12左所示的第二行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的B像素B1，对于R像素，将对图12左所示的第十一行的框Ra内的两个R像素进行像素混合而得到的像素数据作为该图右所示的第二行的R像素R1。以下通过进行同样的处理，生成该图右所示的缩小了的拜耳排列的像素数据。即，将垂直方向上第(18n+2)行及第(18n+11)行上的G像素的像素数据分别应用于拜耳排列图案的对应位置的G像素，将对垂直方向上的第(18n+2)行上的相邻的B像素进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的B像素，将对垂直方向上的第(18n+11)行上的相邻的R像素进行像素混合而得到的像素数据应用于拜耳排列图案的对应位置的R像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
(第七实施方式)
接着说明本发明的第七实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第一实施方式不同的是像素转换处理，其他与第一实施方式相同。在本实施方式中，像素转换处理部18中，对于从摄像元件14间拔并读出的各行像素数据，对水平方向上相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的R、G、B像素数据，并根据该生成的各色像素数据来生成拜耳排列像素数据。
图13概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图13左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)行及第(6n+3)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)及第(6n+3)行的像素数据。
在像素转换处理部18中，首先，对于从摄像元件14间拔并读出的各行像素数据，对水平方向上相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的R、G、B像素数据。
具体而言，例如，对于G像素，基于图13左上所示的第一行的框Ga(包括三个像素)内的两个G像素的像素数据，根据该框内的各像素的像素位置赋以权重并进行加算来生成框内的各像素位置的G像素数据。对于框Ga内的中央像素，原来只有B像素，但通过上述赋以权重并加算，而被插值了G像素数据。对于第(6n+1)行及第(6n+3)行在水平方向上错开框Ga并进行上述那样的处理，从而对于第(6n+1)行及第(6n+3)行的所有像素位置生成G像素的像素数据。对于R像素、B像素也同样，在水平方向上错开该图左上所示的框Ra、Ba(均包括七个像素)并进行上述的赋以权重并加算，从而对于第(6n+1)行及第(6n+3)行的所有像素位置生成R像素、B像素的像素数据。由此，如该图右上所示，生成第(6n+1)行及第(6n+3)行的R、G、B像素数据。
接着，像素转换处理部18从如上生成的R、G、B各像素数据中，如该图左下所示地提取出与拜耳排列图案对应的位置的像素数据，从而生成该图左下所示的拜耳排列图案的像素数据。并且，对于该图左下所示的拜耳排列图案的像素数据，通过对水平方向上相邻的同色像素进行像素混合，生成使该图左下的像素数据的像素数在水平方向上为1/2的拜耳排列图案的像素数据。
具体而言，对于G像素，将对图13左下所示的第一行的框Ga内的两个G像素进行像素混合而得到的像素数据作为该图右下所示的缩小图像的第一行的G像素G1，并且将对图13左下所示的第二行的框Gb内的两个G像素进行像素混合而得到的像素数据作为该图右下所示的缩小图像的第二行的G像素G2。对于R像素，将对图13左下所示的第一行的框Ra内的两个R像素进行像素混合而得到的像素数据作为该图右下所示的缩小图像的第一行的R像素R1，对于B像素，将对图13左下所示的第二行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右下所示的第二行的B像素B1。以下通过进行同样的处理，生成该图右下所示的缩小了的拜耳排列的像素数据。
(第八实施方式)
接着说明本发明的第八实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第七实施方式不同的是摄像信号的间拔方法，其他与第七实施方式相同。
图14概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图14左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+2)(n＝0、1、2、……)行及第(6n+5)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+2)及第(6n+5)行的像素数据。之后的处理与第七实施方式相同。
(第九实施方式)
接着说明本发明的第九实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第七实施方式不同的是摄像信号的间拔方法，其他与第七实施方式相同。
图15概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图15左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)行及第(6n+4)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)及第(6n+4)行的像素数据。之后的处理与第七实施方式相同。
(第十实施方式)
接着说明本发明的第十实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第七实施方式不同的是摄影模式及摄像信号的间拔方法，其他与第七实施方式相同。
图16概略地表示以实时动画模式进行摄影时的处理的流程。在本实施方式中，如图16左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)行的像素数据。之后的处理与第七实施方式相同。
(第十一实施方式)
接着说明本发明的第十一实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第七实施方式不同的是摄影模式及摄像信号的间拔方法，其他与第七实施方式相同。
图17概略地表示以实时取景动画模式进行摄影时的处理的流程。在本实施方式中，如图17左上所示，控制部24指示驱动部22以读出垂直方向上第(6n+2)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+2)行的像素数据。之后的处理与第七实施方式相同。
(第十二实施方式)
接着说明本发明的第十二实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第七实施方式不同的是摄影模式及摄像信号的间拔方法，其他与第七实施方式相同。
图18概略地表示以实时取景动画模式进行摄影时的处理的流程。在本实施方式中，如图18左上所示，控制部24指示驱动部22以读出垂直方向上第(9n+2)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(9n+2)行的像素数据。之后的处理与第七实施方式相同。
(第十三实施方式)
接着说明本发明的第十三实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第一实施方式不同的是像素转换处理，其他与第一实施方式相同。在本实施方式中，像素转换处理部18根据从摄像元件14间拔并读出的各行像素数据，分别生成与拜耳排列图案对应的两行像素数据，将该生成的两行像素数据转换为拜耳排列像素数据。
图19概略地表示以HD动画模式进行摄影时的处理的流程。在本实施方式中，如图19左所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)行及第(6n+3)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)及第(6n+3)行的像素数据。
在像素转换处理部18中，例如对于图19左所示的第一行的G像素，将对框Ga(包括三个像素)内的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的G像素G1，并且将对与框Ga的左侧相邻的框Gb(包括三个像素)内的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第二行的G像素G2。并且，对于R像素，将图19左所示的第一行的框Ra内的一个R像素作为该图右所示的缩小图像的第一行的R像素R1，对于B像素，将图19左所示的第一行的框Ba内的一个B像素作为该图右所示的第二行的B像素B1。以下对第(6n+1)及第(6n+3)行的像素数据进行同样的处理，从而生成该图右所示的缩小了的拜耳排列的像素数据。即，将对垂直方向上第(6n+1)行上的两组相邻的G像素的像素数据进行像素混合而得到的像素数据分别应用于拜耳排列图案的垂直方向上的第(2n+1)行及第(2n+2)行的对应位置的G像素，将对垂直方向上第(6n+3)行上的两组相邻的G像素的像素数据进行像素混合而得到的像素数据分别应用于拜耳排列图案的垂直方向上的第(2n+3)行及第(2n+4)行的对应位置的G像素，将第(6n+1)行及第(6n+3)行上的R像素的像素数据分别应用于拜耳排列图案的第(2n+1)及第(2n+3)行的对应位置的R像素，将第(6n+1)行及第(6n+3)行上的B像素的像素数据应用于拜耳排列图案的第(2n+2)及第(2n+4)行的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
(第十四实施方式)
接着说明本发明的第十四实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第十三实施方式不同的是摄影模式及间拔处理，其他与第十三实施方式相同。
图20概略地表示以实时取景动画模式进行摄影时的处理的流程。在本实施方式中，如图20左所示，控制部24指示驱动部22以读出垂直方向上第(6n+1)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(6n+1)行的像素数据。
在像素转换处理部18中，例如对于图20左所示的第一行的G像素，将对框Ga内的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的G像素G1，并且将对框Gb的两个G像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第二行的G像素G2。并且，对于R像素，将图20左所示的第一行的框Ra内的一个R像素作为该图右所示的缩小图像的第一行的R像素R1，对于B像素，将图20左所示的第一行的框Ba内的一个B像素B1作为该图右所示的第二行的B像素。以下对第(6n+1)行的像素数据进行同样的处理，从而生成该图右所示的缩小了的拜耳排列的像素数据。即，将对第(6n+1)行上的两组相邻的G像素进行像素混合而得到的像素数据分别应用于拜耳排列图案的垂直方向上的第(2n+1)行及第(2n+2)行的对应位置的G像素，将第(6n+1)行上的R像素的像素数据应用于拜耳排列图案的第(2n+1)行的对应位置的R像素，将第(6n+1)行上的B像素的像素数据应用于拜耳排列图案的第(2n+2)行的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
(第十五实施方式)
接着说明本发明的第十五实施方式。此外，对与上述实施方式相同的部分标以相同的附图标记，并省略其详细说明。
本实施方式与第十三实施方式不同的是摄影模式及间拔处理，其他与第十三实施方式相同。
图21概略地表示以实时取景动画模式进行摄影时的处理的流程。在本实施方式中，如图21左所示，控制部24指示驱动部22以读出垂直方向上第(12n+2)(n＝0、1、2、……)及第(12n+8)(n＝0、1、2、……)行的像素数据。由此，从摄像元件14仅输出第(12n+2)及第(12n+8)行的像素数据。
在像素转换处理部18中，例如对于图21左所示的第二行的G像素，将框Ga内的一个像素的像素数据作为该图右所示的缩小图像的第一行的G像素G1，将框Gb内的一个像素的像素数据作为该图右所示的缩小图像的第二行的G像素G2。并且，对于R像素，将对图21左所示的第二行的框Ra内的两个R像素进行像素混合而得到的像素数据作为该图右所示的缩小图像的第一行的R像素R1，对于B像素，将对图21左所示的第二行的框Ba内的两个B像素进行像素混合而得到的像素数据作为该图右所示的第二行的B像素B1。以下对第(12n+2)及第(12n+8)行的像素数据进行同样的处理。此外，由第(12n+8)行生成的拜耳排列的图像如该图右所示，R像素和B像素的位置被对换。通过进行该处理，生成该图右所示的缩小了的拜耳排列的像素数据。即，将第(12n+2)行上的两组G像素分别应用于拜耳排列图案的垂直方向上的第(2n+1)行及第(2n+2)行的对应位置的G像素，将对第(12n+2)行上的相邻的R像素进行像素混合而得到的像素数据应用于拜耳排列图案的第(2n+1)行的对应位置的R像素，将对第(12n+8)行上的相邻的R像素进行像素混合而得到的像素数据应用于拜耳排列图案的第(2n+4)行的对应位置的R像素，将对第(12n+2)行上的相邻的B像素进行像素混合而得到的像素数据应用于拜耳排列图案的第(2n+2)行的对应位置的B像素，将对第(12n+8)行上的相邻的B像素进行像素混合而得到的像素数据应用于拜耳排列图案的第(2n+3)行的对应位置的B像素，从而将从摄像元件14间拔并读出的各行像素数据转换为拜耳排列像素数据。
此外，在上述各实施方式中，说明了RGB三原色的滤色器的滤色器排列，但滤色器的种类不限于此。
附图标记说明
10 摄像装置
12 光学系统
14 摄像元件
16 摄像处理部
18 像素转换处理部
20 图像处理部
22 驱动部
24 控制部
30 滤色器

Claims (20)

1.一种摄像装置，具有：
摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；
滤色器，设于由上述多个光电转换元件构成的多个像素上，并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案，其中，上述第一排列图案中，与最有助于获得亮度信号的第一颜色对应的第一滤光片配置在3×3像素的正方排列的四角及中央的像素上，与不同于上述第一颜色的第二颜色对应的第二滤光片配置在上述正方排列的上述水平方向上的中央的行上，与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片配置在上述正方排列的上述垂直方向上的中央的行上，上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换；
驱动单元，驱动上述摄像元件以仅读出上述垂直方向上的预定位置的行上的像素的像素数据；
像素转换单元，将从上述摄像元件间拔并读出的各行的像素数据转换为拜耳排列像素数据，该拜耳排列像素数据为如下配置而得到的拜耳排列图案：2×2像素的正方排列的一条对角线上的两个像素是上述第一颜色的像素，另一条对角线上的两个像素是上述第二颜色的像素及上述第三颜色的像素；及
生成单元，基于上述拜耳排列像素数据，对于各像素通过根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值来生成各像素的各色的像素数据。
2.根据权利要求1所述的摄像装置，其中，
上述像素转换单元对于从上述摄像元件间拔并读出的各行像素数据通过对上述水平方向上相邻的同色像素的像素数据进行像素混合而将从上述摄像元件间拔并读出的各行像素数据转换为拜耳排列像素数据。
3.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行及第6n+3个第三行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第三行上的相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述第一行上的上述第三颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素，将上述第三行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素。
4.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+2个第二行及第6n+5个第五行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及第五行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述第二行上的相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述第五行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
5.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行及第6n+4个第四行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第四行上的相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述第四行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
6.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第12n+1个第一行及第12n+7个第七行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行及上述第七行上的相邻的上述第一颜色的像素数据分别进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将上述垂直方向上的上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将上述垂直方向上的上述第七行上的上述第三颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
7.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第12n+2个第二行及第12n+8个第八行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及上述第八行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述垂直方向上的上述第二行上的相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素，将对上述垂直方向上的上述第八行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素。
8.根据权利要求2所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第18n+2个第二行及第18n+11个第十一行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行及第十一行上的上述第一颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第一颜色像素，将对上述垂直方向上的上述第二行上的相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的对应位置的上述第三颜色像素，将上述垂直方向上的上述第十一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的对应位置的上述第二颜色像素。
9.根据权利要求1所述的摄像装置，其中，
上述像素转换单元对于从上述摄像元件间拔并读出的各行的像素数据通过对上述水平方向上相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
10.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行及第6n+3个第三行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第一行及上述第三行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
11.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+2个第二行及第6n+5个第五行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第二行及上述第五行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
12.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行及第6n+4个第四行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第一行及上述第四行上的相邻的同色像素的像素数据根据像素位置分别赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
13.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第一行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
14.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+2个第二行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第二行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
15.根据权利要求9所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第9n+2个第二行上的像素的像素数据，其中，n为大于等于0的整数，
上述像素转换单元通过对上述第二行上的相邻的同色像素的像素数据根据像素位置赋以权重并进行加算来生成各像素位置的上述第一颜色、上述第二颜色及上述第三颜色的像素数据，并基于该生成的各色像素数据来生成上述拜耳排列像素数据。
16.根据权利要求1所述的摄像装置，其中，
上述像素转换单元根据从上述摄像元件间拔并读出的各行像素数据，分别生成与上述拜耳排列图案对应的两行像素数据，并将该生成的两行像素数据转换为上述拜耳排列像素数据。
17.根据权利要求16所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行及第6n+3个第三行上的像素的像素数据，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第2n+1个第一拜耳排列行及第2n+2个第二拜耳排列行的对应位置的上述第一颜色的像素，将对上述第三行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第2n+3个第三拜耳排列行及第2n+4个第四拜耳排列行的对应位置的上述第一颜色的像素，将上述第一行及上述第三行上的上述第二颜色的像素数据分别应用于上述拜耳排列图案的上述第一拜耳排列行及上述第三拜耳排列行的对应位置的上述第二颜色的像素，将上述第一行及上述第三行上的上述第三颜色的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行及上述第四拜耳排列行的对应位置的上述第三颜色的像素，
其中，n为大于等于0的整数。
18.根据权利要求16所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第6n+1个第一行上的像素的像素数据，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将对上述第一行上的两组相邻的上述第一颜色的像素数据进行像素混合而得到的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第2n+1个第一拜耳排列行及第2n+2个第二拜耳排列行的对应位置的上述第一颜色的像素，将上述第一行上的上述第二颜色的像素数据应用于上述拜耳排列图案的上述第一拜耳排列行的对应位置的上述第二颜色的像素，将上述第一行上的上述第三颜色的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行的对应位置的上述第三颜色的像素，
其中，n为大于等于0的整数。
19.根据权利要求16所述的摄像装置，其中，
上述驱动单元驱动上述摄像元件以仅间拔并读出上述垂直方向上的第12n+2个第二行及第12n+8个第八行上的像素的像素数据，
上述像素转换单元通过以下方式将从上述摄像元件间拔并读出的各行像素数据转换为上述拜耳排列像素数据：将上述第二行上的两组上述第一颜色的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第2n+1个第一拜耳排列行及第2n+2个第二拜耳排列行的对应位置的上述第一颜色的像素，将上述第八行上的两组上述第一颜色的像素数据分别应用于上述拜耳排列图案的上述垂直方向上的第2n+3个第三拜耳排列行及第2n+4个第四拜耳排列行的对应位置的上述第一颜色的像素，将对上述第二行上相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第一拜耳排列行的对应位置的上述第二颜色的像素，将对上述第八行上相邻的上述第二颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第四拜耳排列行的对应位置的上述第二颜色的像素，将对上述第二行上相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第二拜耳排列行的对应位置的上述第三颜色的像素，将对上述第八行上相邻的上述第三颜色的像素数据进行像素混合而得到的像素数据应用于上述拜耳排列图案的上述第三拜耳排列行的对应位置的上述第三颜色的像素，
其中，n为大于等于0的整数。
20.根据权利要求1～19中任一项所述的摄像装置，其中，
上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色中的一种颜色，上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
CN201180069092.3A 2011-03-11 2011-07-29 摄像装置 Expired - Fee Related CN103416067B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-054631 2011-03-11
JP2011054631 2011-03-11
JP2011163306 2011-07-26
JP2011-163306 2011-07-26
PCT/JP2011/067544 WO2012124181A1 (ja) 2011-03-11 2011-07-29 撮像装置及び撮像プログラム

Publications (2)

Publication Number Publication Date
CN103416067A CN103416067A (zh) 2013-11-27
CN103416067B true CN103416067B (zh) 2014-10-29

Family

ID=46830283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180069092.3A Expired - Fee Related CN103416067B (zh) 2011-03-11 2011-07-29 摄像装置

Country Status (5)

Country Link
US (1) US8928785B2 (zh)
EP (1) EP2685725B1 (zh)
JP (1) JP5474258B2 (zh)
CN (1) CN103416067B (zh)
WO (1) WO2012124181A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430552B (zh) * 2011-03-11 2015-04-08 富士胶片株式会社 摄像装置
EP2800379A4 (en) * 2011-12-27 2015-12-23 Fujifilm Corp COLOR PICTURE ELEMENT
JP6016423B2 (ja) * 2012-04-10 2016-10-26 キヤノン株式会社 信号処理装置、撮像装置及び信号処理方法
IN2015DE03212A (zh) * 2015-10-06 2015-10-23 Hcl Technologies Ltd
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106488203B (zh) * 2016-11-29 2018-03-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN109246373B (zh) * 2018-10-31 2021-03-02 上海集成电路研发中心有限公司 一种调整图像传感器输出的图像的像素排列的方法及装置
CN112218062B (zh) * 2020-10-12 2022-04-22 Oppo广东移动通信有限公司 图像缩放装置、电子设备、图像缩放方法及图像处理芯片
KR20220144087A (ko) * 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645619A (zh) * 2004-01-21 2005-07-27 松下电器产业株式会社 固体摄像装置及其驱动方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
DE69924308T2 (de) 1998-01-20 2006-03-09 Hewlett-Packard Development Co., L.P., Houston Farbbildaufnahmegerät
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
EP2381688B1 (en) 2001-01-09 2014-06-25 Sony Corporation Image pick up device
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP4524609B2 (ja) * 2004-10-29 2010-08-18 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP4701975B2 (ja) * 2005-10-05 2011-06-15 パナソニック株式会社 固体撮像装置および撮像装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP2008078794A (ja) * 2006-09-19 2008-04-03 Pentax Corp 撮像素子駆動装置
US20080125507A1 (en) 2006-11-28 2008-05-29 Bayer Materialscience Llc Reduction of VOC emissions from low density cavity filling NVH polyurethane foams
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP2009246465A (ja) 2008-03-28 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、及び撮像システム
EP3876510B1 (en) 2008-05-20 2024-08-28 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5149143B2 (ja) * 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
CN103430552B (zh) * 2011-03-11 2015-04-08 富士胶片株式会社 摄像装置
JP5425343B2 (ja) * 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
BE1020345A5 (nl) 2012-05-25 2013-08-06 Atla Con Bvba Afvul- en lasinrichting en werkwijze voor het afvullen en dichtlassen van een zak.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645619A (zh) * 2004-01-21 2005-07-27 松下电器产业株式会社 固体摄像装置及其驱动方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2008-78794A 2008.04.03

Also Published As

Publication number Publication date
US20140009655A1 (en) 2014-01-09
EP2685725B1 (en) 2016-12-07
WO2012124181A1 (ja) 2012-09-20
CN103416067A (zh) 2013-11-27
EP2685725A4 (en) 2014-09-03
JP5474258B2 (ja) 2014-04-16
JPWO2012124181A1 (ja) 2014-07-17
US8928785B2 (en) 2015-01-06
EP2685725A1 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
CN103416067B (zh) 摄像装置
JP5054856B1 (ja) カラー撮像素子
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5702896B2 (ja) カラー撮像素子及び撮像装置
US8730360B2 (en) Color imaging apparatus having color imaging element, method of controlling operation of same and image sensing system
CN101335900A (zh) 图像处理装置、图像处理方法、程序和摄像装置
US7663679B2 (en) Imaging apparatus using interpolation and color signal(s) to synthesize luminance
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN104429060B (zh) 彩色摄像元件及摄像装置
CN101742335A (zh) 图像数据处理方法、图像传感器、以及集成电路
CN103430552B (zh) 摄像装置
CN104025582B (zh) 彩色摄像元件
CN103621070B (zh) 摄像装置及摄像装置的控制方法
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN104041019A (zh) 摄像装置、摄像装置的控制方法及控制程序
JP5411390B2 (ja) カラー撮像素子
US20150332433A1 (en) Imaging device
CN104025575B (zh) 摄像装置及摄像装置的控制方法
US8804014B2 (en) Imaging device for reducing color moire
CN104011575B (zh) 摄像装置及摄像装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141029

Termination date: 20190729