[go: up one dir, main page]

JP4403396B2 - 撮像装置及び撮像素子の集積回路 - Google Patents

撮像装置及び撮像素子の集積回路 Download PDF

Info

Publication number
JP4403396B2
JP4403396B2 JP2004205381A JP2004205381A JP4403396B2 JP 4403396 B2 JP4403396 B2 JP 4403396B2 JP 2004205381 A JP2004205381 A JP 2004205381A JP 2004205381 A JP2004205381 A JP 2004205381A JP 4403396 B2 JP4403396 B2 JP 4403396B2
Authority
JP
Japan
Prior art keywords
imaging
unit
data
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004205381A
Other languages
English (en)
Other versions
JP2006033104A5 (ja
JP2006033104A (ja
Inventor
隆浩 福原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004205381A priority Critical patent/JP4403396B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CA 2572904 priority patent/CA2572904A1/en
Priority to BRPI0513266-5A priority patent/BRPI0513266A/pt
Priority to AU2005261106A priority patent/AU2005261106A1/en
Priority to EP05755867A priority patent/EP1770991A4/en
Priority to KR20077000090A priority patent/KR101055058B1/ko
Priority to MX2007000063A priority patent/MX2007000063A/es
Priority to US11/632,317 priority patent/US7936376B2/en
Priority to PCT/JP2005/011889 priority patent/WO2006006398A1/ja
Priority to CNB2005800236494A priority patent/CN100474900C/zh
Priority to RU2007101299A priority patent/RU2367108C2/ru
Priority to CN2008101873813A priority patent/CN101459777B/zh
Priority to TW94122219A priority patent/TWI267299B/zh
Publication of JP2006033104A publication Critical patent/JP2006033104A/ja
Publication of JP2006033104A5 publication Critical patent/JP2006033104A5/ja
Application granted granted Critical
Publication of JP4403396B2 publication Critical patent/JP4403396B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/199—Back-illuminated image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置及び撮像素子の集積回路に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、撮像手段の撮像面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、撮像結果をブロック単位によりデータ圧縮して発生する符号量により、少なくとも続くブロックのデータ圧縮に供するデータ圧縮率を可変すると共に、このブロック単位の処理に対応するように撮像手段から各光電変換部による撮像結果を出力することにより、ＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができるようにする。
従来、ビデオカメラにおいては、ＣＣＤ（Charge Coupled Device ）固体撮像素子より出力される撮像結果をフレームメモリにバッファリングしてＭＰＥＧ（Moving Picture Experts Group）の手法によりブロック単位でデータ圧縮するようになされており、このＭＰＥＧ２においては、例えばＴＭ５（Test Mode 5 ）等の手法によりレート制御するようになされている。また電子スチルカメラにおいては、同様に、ＣＣＤ固体撮像素子より出力される撮像結果をフレームメモリにバッファリングし、ＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法によりブロック単位でデータ圧縮するようになされており、ＭＰＥＧ２と同様にしてレート制御するようになされている。
これに対して近年、ＣＭＯＳ固体撮像素子が実用に供されるようになされている。ここでＣＣＤ固体撮像素子との対比により図１３に示すように、ＣＭＯＳ固体撮像素子は、種々の特徴を有し、例えばＣＣＤ固体撮像素子においては、電荷の蓄積開始、終了時間が全画素で同一であるのに対し、ＣＭＯＳ固体撮像素子は、電荷の蓄積開始、終了時間がコラム又は画素単位で別時刻であるとの特徴がある。
特に、図１４に示すように、ＣＣＤ固体撮像素子がシリアル伝送により各画素の撮像結果を読み出すのに対し、ＣＭＯＳ固体撮像素子は、図１５に示すように、Ｘ−Ｙアドレス制御により各画素の撮像結果を読み出すことができ、これによりＣＣＤ固体撮像素子に比して、撮像結果の読み出しに関して高い自由度を有する特徴がある。しかして図１４は、ＣＣＤ固体撮像素子からの撮像結果の出力を示す模式図であり、各画素に保持された蓄積電荷を垂直転送レジスタに転送し、ＣＣＤ固体撮像素子では、この垂直転送レジスタに転送した蓄積電荷を水平転送レジスタに順次転送しながら水平転送レジスタにより順次転送して出力する。これに対して図１５は、ＣＭＯＳ固体撮像素子からの撮像結果の出力を示す模式図であり、コラム線単位で順次各画素による撮像結果を出力する場合であり、この場合、コラム線の数の分だけ同時並列的に撮像結果を出力することができる。
このようなＣＭＯＳ固体撮像素子については、例えば特開２００４−３１７８５号公報等に、周辺回路と一体化する構成が提案されるようになされている。
これに対してこのような画像データの処理に係る符号化方式として、近年、ウエーブレット変換処理を用いた符号化方法が種々に提案されるようになされている。ここでウエーブレット変換処理においては、水平方向及び垂直方向について、それぞれ周波数の高い成分と周波数の低い成分とに画像データを帯域分割してそれぞれダウンサンプリングすることにより、画像データを４つのサブバンドに分割して処理する方法であり、例えば図１６（Ａ）に示すように、このような分割処理を１回だけ実行して４つのサブバンドＨＨ、ＨＬ、ＬＨ、ＬＬにより画像データを処理する場合、さらには図１６（Ｂ）に示すように、これらの帯域分割の処理を繰り返して画像データを処理する場合等がある。なおこの図１６（Ｂ）は、帯域分割の処理を３回繰り返した場合であり、サブバンドＨＨ、ＨＬ、ＬＨ、ＬＬのうち水平方向及び垂直方向に周波数の低いサブバンドＬＬについて、さらに帯域分割の処理を実行して４つのサブバンドＬＬＨＨ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＬＬを生成し、この４つのサブバンドＬＬＨＨ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＬＬのうち水平方向及び垂直方向に周波数の低いサブバンドＬＬＬＬについて、さらに帯域分割の処理を実行して４つのサブバンドＬＬＬＬＨＨ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＬＬとした例である。
このようなウエーブレット変換処理による符号化処理においては、画像データをライン単位で処理するいわゆるラインベース型ウエーブレット変換と、１画面を分割して設定された矩形ブロックであるタイル単位で画像データを処理するいわゆるタイルベース型ウエーブレット変換とが提案されるようになされている。
ところでＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用することができれば、撮像装置の全体構成を一段と簡略化して確実にレート制御することができると考えられる。
特開２００４−３１７８５号公報
本発明は以上の点を考慮してなされたもので、ＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる撮像装置及び撮像素子の集積回路を提案しようとするものである。
かかる課題を解決するため請求項１の発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段による撮像結果を周辺回路により処理して出力する撮像装置に適用して、周辺回路は、少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で撮像手段から撮像結果を入力して順次データ圧縮し、１つのフレーム内において、１つのブロックを画像圧縮手段によりデータ圧縮して発生する符号量により、少なくとも続くブロックを画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、撮像手段は、ブロックを単位にして、画像圧縮手段によるデータ圧縮に対応する順序により、光電変換部による撮像結果を出力する。
また請求項９の発明においては、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段による撮像結果を周辺回路により処理して出力する撮像素子の集積回路に適用して、周辺回路は、少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で撮像手段から撮像結果を入力して順次データ圧縮し、１つのフレーム内において、１つのブロックを画像圧縮手段によりデータ圧縮して発生する符号量により、少なくとも続くブロックを画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、撮像手段は、ブロックを単位にして、画像圧縮手段によるデータ圧縮に対応する順序により、光電変換部による撮像結果を出力する。
請求項１の構成に係る、複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、撮像手段の受光面とは逆側の面に形成された配線層により光電変換部と接続されて、撮像手段と一体に保持された周辺回路とを有し、撮像手段により撮像結果を周辺回路により処理して出力する撮像装置においては、受光面とは逆側の面に形成された配線層により撮像手段の光電変換部と周辺回路とが接続されていることにより、配線層を受光面側に設ける場合の種々の不都合を有効に回避して、高い自由度により光電変換部と周辺回路とを接続することができ、これにより撮像結果の読み出しに係る撮像手段の高い自由度を損なうことなく、種々の形態により撮像手段の撮像結果を周辺回路に供給することができる。この構成を前提に、請求項１の構成により、周辺回路は、少なくとも撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で撮像手段から撮像結果を入力して順次データ圧縮し、１つのフレーム内において、１つのブロックを画像圧縮手段によりデータ圧縮して発生する符号量により、少なくとも続くブロックを画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、撮像手段は、ブロックを単位にして、画像圧縮手段によるデータ圧縮に対応する順序により、光電変換部による撮像結果を出力すれば、撮像手段による撮像結果を直接画像圧縮手段に入力してデータ圧縮するようにして確実にレート制御することができ、これにより撮像結果の読み出しに係る撮像手段の高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
これにより請求項９の構成によれば、ＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる撮像素子の集積回路を提供することができる。
本発明によれば、ＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１は、所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、また所望の伝送対象に送出する。
ここでこの撮像装置１において、レンズ２は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子３の撮像面に入射光を集光する。光学ローパスフィルタ４は、このレンズ２の出射光より空間周波数の高い成分を抑圧し、続く色補正フィルタ５は、光学ローパスフィルタ４から出射される出射光の色温度を補正して出射する。
撮像素子３は、例えばＣＭＯＳ固体撮像素子により形成され、図示しない駆動部から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像信号Ｓ１を出力する。この一連の処理において、撮像素子３は、各画素を構成する光電変換部が、後段の画像圧縮部６の処理単位に対応する領域に区分され、各区分に順次撮像結果を出力する期間を割り当てるようになされている。また各区分に属する光電変換部にあっては、撮像結果を出力する期間以外の期間においては、それぞれ入射光を光電変換処理すると共に光電変換結果を蓄積するようになされている。
ここでこの実施例においては、図２に示すように、後段の画像圧縮部６において、この撮像素子３による撮像結果を水平方向及び垂直方向に所定数により分割して形成されるブロックＢ１、Ｂ２、Ｂ３、……を単位にして、ラスタ走査の順序によりこれらブロックＢ１、Ｂ２、Ｂ３、……に係る画像データをデータ圧縮処理する。これにより撮像素子３は、この各ブロックＢ１、Ｂ２、Ｂ３、……に対応するように光電変換部が区分されて、ラスタ走査の順序により各区分に撮像結果を出力する期間を割り当て、この期間によりそれぞれ各区分に属する光電変換部による撮像結果を出力するようになされている。またこれにより各区分に属する光電変換部にあっては、ラスタ走査の順序により各区分を単位にして光電変換処理する期間が割り当てられるようになされている。しかして撮像素子３は、これら光電変換部による撮像結果を撮像信号Ｓ１により出力する。なお撮像素子３は、各区分内においては、ラスタ走査順による１系統の出力により、又はコラム線を単位にした順次走査の出力により、若しくはライン又はコラム線を単位にした複数系統による同時並列的な出力により、さらには全画素の同時並列的な出力により、撮像結果を出力するようになされている。
アナログディジタル変換回路（ＡＤ）７は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。この撮像装置１は、図示しない信号処理回路によりこの画像データＤ１を画素補間処理、色空間変換処理、エッジ強調処理、ノイズ除去処理等した後、画像圧縮部６に入力する。
画像圧縮部６は、この画像データＤ１をブロックＢ１、Ｂ２、Ｂ３……単位でデータ圧縮して符号化処理し、その処理結果による符号化データＤ２を出力する。
符号量計算部８は、ブロックＢ１、Ｂ２、Ｂ３……単位で、画像圧縮部６より出力される符号化データのデータ量を計測することにより、画像圧縮部６のデータ圧縮処理による発生符号量をブロックＢ１、Ｂ２、……毎に検出する。
圧縮率決定部９は、符号量計算部８で検出される発生符号量に基づいて、画像圧縮部６における続くブロックのデータ圧縮処理に係るデータ圧縮率を制御し、これにより１フレーム当たりの発生符号量が目標符号量となるようにレート制御の処理を実行する。すなわち圧縮率決定部９は、１フレームに割り当てる符号量を１フレーム当たりのブロック数により割り算して得られる目標符号量ＴＳを基準にして、実際に符号量計算部８で検出される発生符号量ＴＥとの差分値ＴEXを計算し、この差分値ＴＥＸにより続くブロックに係る目標符号量を補正する。
ここでこのブロックに係る目標符号量を補正にあっては、続くブロックに係る目標符号量ＴＳにこの差分値ＴEXを加減算して、直接、続くブロックに係る目標符号量ＴＳを補正する場合、さらにはこの１フレームで未だ符号化処理を完了していないブロック数により差分値ＴＥＸを割り算し、この割り算値を続くブロックに係る目標符号量ＴＳに加減算して、この差分値ＴＥＸを１フレームで未だ符号化処理を完了していないブロックに振り分ける場合等、種々の処理方法を広く適用することができる。
圧縮率決定部９は、このようにして計算される目標符号量により画像圧縮部６におけるデータ圧縮率を可変制御する。
符号化ストリーム記憶部１０は、画像圧縮部６から出力される符号化データＤ２を蓄積して出力し、副レート制御部１１は、この符号化ストリーム記憶部１０から出力される符号化データＤ２をレート制御する。なおここでこのレート制御においては、各フレームの符号量が目標符号量となるように、ダミーデータを介挿して、又は所定のブロックに係る符号化データＤ２の送出を中止して実行される。この撮像装置１では、この副レート制御部１１から出力されるこの符号化データＤ２が記録媒体に記録され、さらには外部機器に伝送されるようになされている。これらにより符号化ストリーム記憶部１０と副レート制御部１１とは、画像圧縮手段である画像圧縮部６の出力データＤ２を１フレーム分蓄積してデータサイズを補正するデータ量補正手段を構成するようになされ、この実施例においては、このデータ量補正手段により一段と高い精度でレート制御するようになされている。
図３は、この撮像装置１に適用される集積回路の一部を示す断面図である。ここでこの集積回路５１は、撮像素子３と周辺回路とを一体化して形成され、この実施例においては、この一体化に係る周辺回路に、図示しない撮像素子３の駆動回路、アナログディジタル変換回路７、画像圧縮部６、符号量計算部８、圧縮率決定部９、符号化ストリーム記憶部１０、副レート制御部１１等が適用される。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
集積回路５１は、画素部をマトリックス状に配置して撮像素子部が形成され、この撮像素子部により撮像素子３が形成される。またこの撮像素子部の周囲に周辺回路部が形成される。これにより図３は、この撮像素子部と周辺回路部との一部を示す断面図である。
集積回路５１は、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成され、画素部においては、この素子層５２に、画素単位の光電変換処理に係るフォトダイオード５３が形成され、周辺回路部においては、この素子層５２の下層側に、周辺回路を構成するＭＯＳＦＥＴ等の各回路素子が形成される。
集積回路５１は、この素子層５２の上層に、順次、シリコン酸化（ＳｉＯ 2 ）膜５４、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８が積層される。またこの素子層５２の下層に、フォトダイオード５３、周辺回路の回路素子を配線する配線層５９が形成され、この配線層５９の下層側に、全体を保持する基板支持材６０が設けられる。これにより集積回路５１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段に向上するようになされている。なおこのように配線層を受光面側に設ける不具合にあっては、配線層を形成する配線による各画素への入射光量の減少、隣接画素へのクロストーク等がある。
なお集積回路５１は、このように受光面とは逆側に配線層５９が形成されることにより、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオード５３、周辺回路の回路素子を形成した後、この半導体基板に配線層５９、基板支持材６０を順次形成し、その後、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８を順次形成して作成されるようになされている。
これらによりこの撮像装置１は、撮像素子３と周辺回路とを一体に集積回路化することを前提に、このように受光面とは逆側に配線層５９を形成して、配線の自由度を格段的に向上するようにし、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を損なわないようにして全体構成を簡略化するようになされている。
すなわちこの集積回路５１においては、図４（Ａ）に示すように、各画素出力を同時並列的に周辺回路に出力してアナログディジタル変換処理するように、撮像素子部と周辺回路との接続を構成することもできる。またこれに代えて、図４（Ｂ）に示すように、コラム線を単位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、また図４（Ｃ）に示すように、ラインを単位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、さらには図４（Ｄ）に示すように、所定ブロックを単位にして同時並列的に撮像結果を出力して周辺回路で処理することもでき、これらにより格段的に撮像素子出力の自由度を向上することができるようになされている。
しかしてこの実施例に係る撮像装置１においては、図２について撮像素子３について上述したように、ブロックＢ１、Ｂ２、Ｂ３、……に対応する区分に順次撮像結果を出力する期間を割り当てて、各ブロック内における光電変換部から出力形態に応じて、これら図４（Ａ）〜（Ｄ）の接続のうちの対応する接続により撮像結果を周辺回路に出力するようになされている。
（２）実施例の動作
以上の構成において、この撮像装置１では（図１）、レンズ２により撮像素子３の撮像面（受光面）に被写体の画像が形成され、この画像の撮像結果が撮像素子３より出力されてアナログディジタル変換回路７により画像データＤ１に変換される。この画像データＤ１は、エッジ強調等の処理が実行された後、画像圧縮部６によりデータ圧縮されて符号化データＤ２に変換され、この符号化データＤ２が符号化ストリーム記憶部１０、副レート制御部１１を介して記録媒体に記録され、さらには外部機器に伝送される。これにより撮像装置１では、撮像結果をデータ圧縮して記録し、また伝送するようになされている。
これら一連の処理において、画像データＤ１は、撮像結果を水平方向及び垂直方向にそれぞれ所定数に分割して形成されるブロックＢ１、Ｂ２、Ｂ３……（図２）を単位にして、１つのブロックの画像データＤ１がデータ圧縮処理されると、その発生符号量に基づいて、続くブロックのデータ圧縮処理に係るデータ圧縮率が可変制御され、この処理の繰り返しにより１フレームを単位にしてデータ圧縮処理される。これにより撮像装置１においては、確実にレート制御して所望の伝送レートにより撮像結果を記録媒体に記録し、また出力することができるようになされている。
さらにこの実施例においては、符号化ストリーム記憶部１０に符号化データＤ２を一時記録して保持し、副レート制御部１１によりダミーデータを介挿して、又は所定のブロックに係る符号化データＤ２の出力を中止して、符号化データＤ２が出力される。これによりこの撮像装置１では、一段と確実にレート制御の処理を実行して所望の伝送レートにより撮像結果を記録媒体に記録し、また出力することができるようになされている。
しかしてこのようにしてブロック単位で順次処理されてなる撮像結果においては、撮像素子３に設けられた各画素に対応する光電変換部が画像圧縮部６における処理単位であるブロックＢ１、Ｂ２、Ｂ３……に対応して区分され、画像圧縮部６における処理に対応してこれら各区分に順次撮像結果を出力する期間が割り当てられ、この期間により対応する区分の撮像結果が撮像信号Ｓ１により出力される。またこの期間以外にあっては、各区分の光電変換部は、光電変換処理に供される。
これによりこの撮像装置１においては、撮像素子３から出力される撮像結果をアナログディジタル変換回路７を介して画像圧縮部６に順次入力するだけの構成により、順次、ブロック単位で画像圧縮処理してレート制御することができ、これにより全体構成を簡略化することができる。
しかしてＣＭＯＳ固体撮像素子による撮像素子３においては、ＸＹアドレス制御により撮像結果を出力することにより、撮像結果の読み出しに高い自由度を有し、これによりラインを単位にしたライン順次による撮像結果の出力のみならず、例えばコラム線を単位にした撮像結果の出力、所定ブロックを単位にした撮像結果の出力等、種々の形態により撮像手段の撮像結果を出力することができる。これによりこの実施例では、画像圧縮部６における処理単位であるブロックに対応する区分に順次、撮像結果を出力する期間を割り当て、この期間により対応する区分の撮像結果を出力するようにし、これによりＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を一段と簡略化するようになされている。
撮像装置１では、このようにして撮像結果を出力する撮像素子３と、この撮像素子３による撮像結果を処理する周辺回路であるアナログディジタル変換回路７、画像圧縮部６等とが集積回路により一体化して構成され、これにより全体構成を小型化し、さらには構成を簡略化するようになされている。
しかしながら単にＣＭＯＳプロセスにより撮像素子と周辺回路とを一体化したのでは、撮像素子、周辺回路に係る配線パターンにより、種々の不具合が発生し、これにより撮像結果の読み出しに係る高い自由度を十分に発揮できなくなる。このためこの実施例においては、撮像手段の受光面とは逆側の面に配線層が形成されて、この配線層により撮像手段を構成する光電変換部と周辺回路とが接続されて一体に保持され、これにより撮像結果の読み出しに係る高い自由度を十分に発揮できるように集積回路を構成して、確実に、撮像結果の読み出しに係る高い自由度を有効に利用して全体構成を簡略化することができるようになされている。
（３）実施例の効果
以上の構成によれば、撮像手段の受光面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、所定のブロック単位でデータ圧縮して各ブロックで発生する符号量により続くブロックのデータ圧縮率を制御すると共に、このブロックに対応する光電変換部の区分に順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
この実施例に係る撮像装置においては、図１について上述した画像圧縮部６のデータ圧縮処理にウエーブレット変換処理が適用される。この実施例に係る撮像装置においては、この画像圧縮部６に係るウエーブレット変換処理に関連する構成が異なる点を除いて、実施例１について上述した撮像装置１と同一に構成されることにより、この実施例においては、図１に示す構成を流用して説明する。
ここで画像圧縮部６においては、ブロック単位で、ウエーブレット変換部により画像データＤ１をウエーブレット変換処理した後、量子化部、エントロピー符号化部により順次量子化処理、エントロピー符号化処理し、これにより符号化データＤ２を出力する。またウエーブレット変換部においては、ラインベースウエーブレット変換処理により、ブロック単位でウエーブレット変換処理を実行する。
ここで１段階の帯域分割処理を図５に示すように、ウエーブレット変換部は、垂直方向に所定タップ数を有するローパスフィルタ６１Ａ及びハイパスフィルタ６１Ｂにより画像データＤ１を２つの帯域成分VＬ、VＨに帯域制限した後、各帯域成分VＬ、VＨを水平方向に所定タップ数を有するローパスフィルタ６２Ａ及びハイパスフィルタ６２Ｂ、ローパスフィルタ６３Ａ及びハイパスフィルタ６３Ｂにより帯域制限してサブバンドＬＬ〜ＨＨを生成する。これによりウエーブレット変換部は、各帯域分割処理に係る入力段のローパスフィルタ６１Ａ及びハイパスフィルタ６１Ｂのタップ数の分だけ、ラインバッファ６４により帯域分割処理に供する入力画像データＤ１を一時保持して出力するようになされている。
ウエーブレット変換部は、図６に示すように、このような帯域分割の処理を３段階により実行するようになされ、これにより各帯域分割処理によるウエーブレット変換係数ＨＨ〜ＬＬＬＬＬＬを続く後段の処理回路により処理するようにして、これら各帯域分割処理の入力段にそれぞれ対応するラインバッファ６４Ａ〜６４Ｃが設けられ、先頭段のラインバッファ６４Ａにアナログディジタル変換回路７から出力される画像データが直接入力されるようになされている。
またこれらの処理により、これらラインバッファ６４Ａ〜６４Ｃには、図７に示すようにウエーブレット変換係数のデータが蓄積されることになり、画像データＤ１に係る１枚のフレームの処理を開始した後、これらラインバッファ６４Ａ〜６４Ｃにデータが蓄積されると、それぞれ対応する係数データを出力するようになされている。
これらにより画像圧縮部６に係るウエーブレット変換部においては、ブロックＢ１、Ｂ２、Ｂ３、……の水平方向のサンプリング数によるラインバッファ６４Ａ、このラインバッファ６４Ａの１／２及び１／４のサンプリング数によるラインバッファ６４Ｂ、６４Ｃが設けられ、各ラインバッファ６４Ａ〜６４Ｃから同時並列的に出力されるタップ出力をそれぞれ垂直方向のローパスフィルタ及びハイパスフィルタ６１ＡＡ及び６１ＢＡ、６１ＡＢ及び６１ＢＢ、６１ＡＣ及び６１ＢＣにより帯域制限、ダウンサンプリングし、また続いて水平方向のローパスフィルタ及びハイパスフィルタにより帯域制限、ダウンサンプリングして各サブバンドＨＨ〜ＬＬＬＬＬＬに係るウエーブレット変換係数データを生成するようになされている。
これらによりこの実施例において、ウエーブレット変換部は、ラインベース型ウエーブレット変換処理を適用してブロック単位により画像データを処理することにより、各分割処理の入力側に設けるメモリ回路であるラインバッファの容量を小型化して全体構成を簡略化するようになされている。
またこのウエーブレット変換部の構成に対応して、画像圧縮部６は、このウエーブレット変換部の垂直フィルタのタップ数以上のライン数により、また水平フィルタのタップ数以上の水平方向のサンプリング数により、各ブロックを形成するようになされている。
このウエーブレット変換部の処理に対応して、撮像素子３は、各区分内においては、このウエーブレット変換部の処理順序に対応するライン走査の順序により、各光電変換部の撮像結果を出力する。これによってもこの実施例においては、画像データＤ１をウエーブレット変換部に直接入力して処理できるようになされ、その分、全体構成を簡略化できるようになされている。
これに対して圧縮率決定部９は、量子化部における量子化スケールの切り換え制御により、画像圧縮部６におけるデータ圧縮率を可変制御し、これにより簡易かつ確実にデータ圧縮率を可変できるようになされている。
実施例２の構成によれば、撮像手段の受光面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、所定のブロック単位でデータ圧縮して各ブロックで発生する符号量により続くブロックのデータ圧縮率を制御すると共に、このブロックに対応する光電変換部の区分に順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するようにし、このブロックに係るデータ圧縮処理をウエーブレット変換処理により実行することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
またこのウエーブレット変換処理による係数データを量子化するようにして、この量子化に係る量子化スケールの制御によりデータ圧縮率を制御することにより、簡易かつ確実にレート制御することができる。
この実施例においては、実施例２について上述した撮像装置において、ラインベース型ウエーブレット変換処理に代えて、タイルベース型ウエーブレット変換処理によりデータ圧縮する。この実施例に係る撮像装置においては、ウエーブレット変換処理に係る構成が異なる点を除いて、実施例２に係る撮像装置と同一に構成される。これにより以下の説明においては、実施例２の場合と同様に図１を流用して実施例を説明し、またこの説明において、実施例１に係る撮像装置１と同一の構成については、重複した説明を省略する。
すなわちこの撮像装置において、画像圧縮部６は、ウエーブレット変換部により画像データＤ１をウエーブレット変換処理した後、その結果得られる係数データを量子化回路、エントロピー符号化部により量子化、エントロピー符号化して符号化データＤ２を出力する。この画像圧縮部６に係るウエーブレット変換部は、図８に示すように、撮像結果による画像を水平方向及び垂直方向にそれぞれ所定の分割数により分割したブロックであるタイルＴ０、Ｔ１、Ｔ２、……を処理単位に設定して、順次、ラスタ走査の順序によりタイルＴ０、Ｔ１、Ｔ２、……単位で画像データＤ１を入力してウエーブレット変換処理する。ウエーブレット変換部は、２次元のフィルタ回路によりこれらウエーブレット変換処理を実行する。
撮像素子３においては、このウエーブレット変換部に係る処理に対応するように、各タイル単位により撮像結果を出力する。また各タイル内においては、ウエーブレット変換部の処理に係る２次元のフィルタ回路の処理に対応する順序により出力する。
この実施例３の構成によれば、撮像手段の受光面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、所定のブロック単位でデータ圧縮して各ブロックで発生する符号量により続くブロックのデータ圧縮率を制御すると共に、このブロックに対応する光電変換部の区分に順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するようにし、このブロックに係る処理をタイルベース型ウエーブレット変換処理により実行することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
この実施例においては、実施例２について上述した撮像装置において、ウエーブレット変換処理に代えてディスクリートコサイン変換処理を適用して画像データをデータ圧縮する。この実施例に係る撮像装置においては、このデータ圧縮処理に係る構成が異なる点を除いて、実施例２に係る撮像装置と同一に構成される。これにより以下の説明においては、実施例２の場合と同様に図１を流用して実施例を説明し、またこの説明において、実施例１に係る撮像装置１と同一の構成については、重複した説明を省略する。
すなわちこの撮像装置において、画像圧縮部６は、ディスクリートコサイン変換処理単位であるマクロブロック単位により画像データＤ１を入力し、ディスクリートコサイン変換処理部によりディスクリートコサイン変換処理し、その結果得られる係数データを量子化処理、可変長符号化処理して出力する。この実施例においては、このマクロブロックが８×８画素によるブロックに設定されるようになされている。なお画像圧縮部６は、適宜、ディスクリートコサイン変換処理に供する画像データＤ１を動き予測により処理した差分データの形式により入力する。
撮像素子３においては、このディスクリートコサイン変換処理に対応するように、ラスタ走査の順序によりマクロブロック単位で撮像結果を出力する。また各マクロブロックにおいては、マクロブロックを構成する８×８画素による撮像結果を同時並列的に出力する。
この実施例４の構成によれば、撮像手段の受光面とは逆側の面に形成された配線層により撮像手段と画像圧縮手段とを接続して一体化するようにして、所定のブロック単位でデータ圧縮して各ブロックで発生する符号量により続くブロックのデータ圧縮率を制御すると共に、このブロックに対応する光電変換部の区分に順次撮像結果を出力する期間を設定して撮像素子から撮像結果を出力するようにし、このブロックに係る処理をディスクリートコサイン変換処理により実行することにより、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
図１０は、本発明の実施例５に係る撮像装置に適用される集積回路の一部を示す斜視図である。この実施例においては、この集積回路により上述の実施例１〜４に係る撮像装置を構成する。なおこの集積回路７１において、実施例１について上述した集積回路５１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
ここでこの集積回路７１は、撮像素子３と周辺回路とを一体化して形成され、この周辺回路が上述の各実施例に係る画像圧縮部等と同一に形成され、これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。
この集積回路７１は、周辺回路部に撮像素子部を積層して形成され、周辺回路部は、所定の半導体プロセスにより、半導体基板７２上に周辺回路を構成する半導体素子を形成した後、これら半導体素子の上層に配線層７３を形成してこれら半導体素子を接続することにより形成されるようになされている。周辺回路部は、この配線層７３の表層に撮像素子部との接続用の電極等が形成される。
撮像素子部は、実施例１について上述したと同様に、画素部をマトリックス状に配置して形成され、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成される。撮像素子部は、この素子層５２に、画素単位の光電変換処理に係るフォトダイオードが形成される。
撮像素子部は、この素子層５２の上層に、順次、シリコン酸化膜、遮光膜、シリコン窒化膜、色フィルタ５７、マイクロレンズ５８が積層されて撮像面が形成されるのに対し、素子層５２の下層に、配線層５９が形成される。撮像素子部は、この配線層５９の下層側に周辺回路部が設けられ、周辺回路部の配線層７３と配線層５９とが接続されて撮像素子と周辺回路とが一体に集積回路化されるようになされている。
これにより集積回路７１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層５９を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段的に向上するようになされている。またこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化できるようになされ、その分、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、全体として各種の性能を向上できるようになされている。
具体的に、周辺回路を形成してなる周辺回路部においては、各半導体素子、配線パターン幅を小さくして高密度に形成することにより、チップサイズを小型化して消費電力を削減することができる。しかしながら撮像素子部においては、画素サイズを小さくすると、その分、感度が低下し、また画素数に応じてチップ面積も大きくなる。これによりこの実施例のように撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化する場合にあっては、撮像素子部、周辺回路部の各々に適したウエハプロセスにより作成することができ、その分、全体としての性能を向上することができる。
なおこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、この集積回路７１は、実施例１について上述したと同様にして、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオードを形成した後、この半導体基板に配線層５９を形成し、別工程により作成された周辺回路部が積層される。その後、集積回路７１は、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜、色フィルタ５７、マイクロレンズ５８等を順次形成して作成されるようになされている。
このような異なるウエハプロセスによる半導体基板の積層による集積回路７１においては、図４（Ａ）〜図４（Ｄ）について上述した各種の形態による撮像結果の出力を一段と簡易に構成し得、これらにより格段的に撮像素子出力の自由度を向上することができるようになされている。
さらにこの実施例において、集積回路７１は、このような接続により撮像結果を同時並列的に複数系統により周辺回路に出力し、周辺回路においては、データ圧縮処理に係る画像圧縮部６が３系統の処理回路Ｃ１〜Ｃ３により形成されて、これら３系統の処理回路Ｃ１〜Ｃ３により複数系統による画像データを同時並列的に処理するようになされている。
この実施例においては、撮像素子部の配線層の下層に周辺回路を形成することにより、一段と高い自由度により撮像素子と周辺回路とを一体に集積回路化し、これにより一段と高い自由度により撮像結果を出力するようにして、ＣＭＯＳ固体撮像素子の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御することができる。
またさらにこの周辺回路を、撮像手段とは異なるウエハ生成プロセスにより形成することにより、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、各種の性能を向上することができる。
図１１（Ａ）及び（Ｂ）は、図２との対比により、本発明の実施例６に係る撮像装置において、データ圧縮処理に供するブロックの処理順序を示す平面図である。この実施例に係る撮像装置においては、このブロックの処理に関する構成が異なる点を除いて、上述した実施例１〜５と同一に構成され、これにより以下においては、図１の構成を流用して説明する。なお図１１において、各ブロックの数字は、各ブロックの処理順序を示すものである。
この実施例においては、図示しないシステムコントローラにより撮影モードの設定を受け付け、この撮影モードに応じて、画像圧縮部６におけるブロックの処理順序を切り換える。このためシステムコントローラは、ユーザーによる撮影モードの選択操作に応動して撮像素子３を駆動する駆動回路の動作を切り換え、撮像素子３においては、この駆動回路の動作の切り換えによりブロック単位に係る撮像結果の出力順序を切り換える。
具体的にシステムコントローラは、ユーザーにより選択される撮影モードにおいて、最も重要とされる箇所より順次データ圧縮するように、撮像素子３から出力するブロックの順序を切り換える
すなわち例えばユーザーにより選択された撮影モードが人物撮影モードの場合、人物に係る撮像結果が重要であり、この場合、有効撮像領域の中央に人物が位置する場合が多いことにより、また人物の背景、近景にあっては、人物ほど重要でないことにより、図１１（Ａ）に示すように、有効撮像領域の中央のブロックより撮像結果の出力を開始し、撮像結果を出力するブロックを順次この中央のブロックより外側のブロックに切り換える。この実施例では、らせんの軌跡を描くように、この中央のブロックより外側のブロックに撮像結果を出力するブロックを切り換える。
これに対して例えばユーザーにより選択された撮影モードが風景モードの場合、有効撮像領域のほぼ全部が重要であることにより、図１１（Ｂ）に示すように、離散的に、優先してデータ圧縮するブロックを設定し、これらのブロックを始めにデータ圧縮するようにし、続いて他のブロックを所定順序によりデータ圧縮するように撮像素子３の動作を制御する。なおこの実施例では、この離散的なブロックの設定が、有効画像領域の中央及び周辺の複数箇所に設定されるようになされている。
さらにシステムコントローラは、重要とされる箇所程、多くの符号量を割り当てるように、この優先的にデータ圧縮して検出されるこれらブロックの発生符号量に基づいて、各ブロックのデータ圧縮に係るデータ圧縮率を設定するように、圧縮率決定部９の動作を制御する。具体的に撮影モードに応じて、優先的に処理するブロックと、他のブロックに割り当てる符号量とを切り換えるように、圧縮率決定部９の動作を制御する。
これらによりこの実施例においては、ユーザーが重要と考える領域に係るブロックを優先するように、ブロックの処理順序、符号量の割り当てを可変して、実施例１〜５と同様の構成によりレート制御の処理を実行するようになされ、その分、高画質により、ＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、全体構成を簡略化して確実にレート制御するようになされている。
なお図１１（Ｂ）に示すように、離散的に、優先してデータ圧縮するブロックを設定する場合にあっては、これらのブロックの優先的なデータ圧縮処理による発生符号量により、画面全体における発生符号量の分布、さらには画面全体のデータ圧縮による発生符号量を概ね検出することができる。これにより優先的なデータ圧縮処理による発生符号量に基づいて、発生符号量の分布、画面全体の発生符号量を推定し、この推定結果に基づいて各ブロックのデータ圧縮率、さらには画面全体に係るデータ圧縮率を設定するようにしてもよく、このようにしてもＣＭＯＳ固体撮像素子等の特徴である撮像結果の読み出しに係る高い自由度を有効に利用して、一段と適切かつ確実に符号量を配分してレート制御することができる。
図１２は、図１との対比により本発明の実施例７に係る撮像装置を示すブロック図である。この撮像装置８１においては、符号量計算部８で検出される発生符号量によりレート制御部８２で各部の動作を制御する。なおこのレート制御部８２による各部の制御が異なる点を除いて、この実施例に係る撮像装置８１は、実施例１〜６について上述した撮像装置と同一に構成されることにより、以下においては、レート制御部８２に係る構成についてのみ説明し、重複した説明は省略する。
この実施例において、レート制御部８２は、１フレームの処理を開始して符号量計算部８で検出される発生符号量が一定の範囲以内の場合、上述の実施例１〜６について上述したと同様に、圧縮率決定部９によるデータ圧縮率の制御により、レート制御の処理を実行する。これに対して発生符号量が一定の範囲を越える場合、圧縮率決定部９によるデータ圧縮率の制御と共に、撮像素子３を駆動する駆動回路８３の制御により、撮像素子３から出力される撮像信号Ｓ１のフレームレートを可変し、これによりレート制御の処理を実行する。
すなわちレート制御部８２は、発生符号量がこの範囲より大きい場合、この発生符号量に応じて撮像信号Ｓ１のフレームレートを低減するのに対し、発生符号量がこの範囲より小さい場合、この発生符号量に応じて撮像信号Ｓ１のフレームレートを増大させ、これにより併せてデータ圧縮率を制御することにより、符号化データＤ２のデータ転送速度を一定値に保持する。
この実施例のように併せて撮像結果のフレームレートを可変すれば、一段と確実にレート制御することができる。なおこのような撮像素子３に係るフレームレートの可変にあっては、ユーザーの直接の指示により、又はユーザーによる撮影モード、動作モードの指示により、実行するようにしてもよく、さらにはこれらによりこのフレームレートの制御に係る一定範囲を可変するようにしてもよい。
なお上述の実施例においては、副レート制御部１１によっても符号化データＤ２をレート制御する場合について述べたが、本発明はこれに限らず、実用上十分にレート制御できる場合には、この副レート制御部１１に係る構成を省略するようにしてもよい。
また上述の実施例においては、撮像手段にＣＭＯＳ固体撮像素子を適用してする場合について述べたが、本発明はこれに限らず、ＸＹアドレス制御による種々の撮像素子を広く適用することができる。
本発明は、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。
本発明の実施例１に係る撮像装置を示すブロック図である。 図１の撮像装置におけるデータ圧縮処理の説明に供する平面図である。 図１の撮像装置に適用される集積回路を示す断面図である。 図３の集積回路による撮像結果の出力の説明に供する略線図である。 本発明の実施例２に係る撮像装置におけるウエーブレット変換部の説明に供する略線図である。 図５に係る撮像装置におけるウエーブレット変換部における帯域分割の説明に供する略線図である。 図５に係る撮像装置におけるウエーブレット変換部における処理によるラインバッファ用の係数の説明に供する略線図である。 本発明の実施例３に係る撮像装置における画像圧縮部の説明に供する略線図である。 本発明の実施例４に係る撮像装置における画像圧縮部の説明に供する略線図である。 本発明の実施例５に係る撮像装置に適用される集積回路の一部を示す斜視図である。 本発明の実施例６に係る撮像装置における撮像結果の出力の説明に供する平面図である。 本発明の実施例７に係る撮像装置を示すブロック図である。 撮像素子の比較を示す図表である。 ＣＣＤ固体撮像素子による出力を示す模式図である。 ＣＭＯＳ固体撮像素子による出力を示す模式図である。 ウエーブレット変換処理の説明に供する略線図である。
符号の説明
１、８１……撮像装置、３……撮像素子、７……アナログディジタル変換回路、６……画像阿祝部６……符号量計算部、９……圧縮率決定部、１０、７９……レート制御部、７６……特定領域画像圧縮部、７７……符号割り当て制御部、５１、７１……集積回路

Claims (9)

  1. 複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、
    前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、
    前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像装置であって、
    前記周辺回路は、
    少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、
    前記画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、
    有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で前記撮像手段から前記撮像結果を入力して順次データ圧縮し、
    １つのフレーム内において、１つのブロックを前記画像圧縮手段によりデータ圧縮して発生する符号量により、少なくとも続くブロックを前記画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、
    前記撮像手段は、
    前記ブロックを単位にして、前記画像圧縮手段によるデータ圧縮に対応する順序により、前記光電変換部による撮像結果を出力する
    ことを特徴とする撮像装置。
  2. 前記画像圧縮手段の出力データを１フレーム分蓄積してデータサイズを補正するデータ量補正手段を有する
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記画像圧縮手段によるデータ圧縮処理が、ラインベース型ウエーブレット変換処理を用いたデータ圧縮処理である
    ことを特徴とする請求項１に記載の撮像装置。
  4. 前記画像圧縮手段によるデータ圧縮処理が、タイルベース型ウエーブレット変換処理を用いたデータ圧縮処理である
    ことを特徴とする請求項１に記載の撮像装置。
  5. 前記画像圧縮手段によるデータ圧縮処理が、ディスクリートコサイン変換処理を用いたデータ圧縮処理である
    ことを特徴とする請求項１に記載の撮像装置。
  6. 前記画像圧縮手段は、
    前記画像データを係数データに変換した後、量子化処理、符号化処理して出力し、
    前記制御手段によるデータ圧縮率の可変が、
    前記量子化処理の量子化スケールの可変である
    ことを特徴とする請求項１に記載の撮像装置。
  7. 前記周辺回路が、
    前記配線層の下層に配置された
    ことを特徴とする請求項１に記載の撮像装置。
  8. 前記周辺回路が、前記撮像手段とは異なるウエハ生成プロセスにより形成された
    ことを特徴とする請求項７に記載の撮像装置。
  9. 複数の光電変換部がマトリックス状に配置され、ＸＹアドレス制御により撮像結果を出力する撮像手段と、
    前記撮像手段の受光面とは逆側の面に形成された配線層により前記光電変換部と接続されて、前記撮像手段と一体に保持された周辺回路とを有し、
    前記撮像手段による撮像結果を前記周辺回路により処理して出力する撮像素子の集積回路であって、
    前記周辺回路は、
    少なくとも前記撮像結果を所定の処理単位毎にデータ圧縮して出力する画像圧縮手段と、
    前記画像圧縮手段によるデータ圧縮率を制御する制御手段とを有し、
    有効画像領域を水平方向及び垂直方向に分割して形成されたブロック単位で前記撮像手段から前記撮像結果を入力して順次データ圧縮し、
    １つのフレーム内において、１つのブロックを前記画像圧縮手段によりデータ圧縮して発生する符号量により、少なくとも続くブロックを前記画像圧縮手段によりデータ圧縮する際のデータ圧縮率を可変し、
    前記撮像手段は、
    前記ブロックを単位にして、前記画像圧縮手段によるデータ圧縮に対応する順序により、前記光電変換部による撮像結果を出力する
    ことを特徴とする撮像素子の集積回路。
JP2004205381A 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路 Expired - Fee Related JP4403396B2 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2004205381A JP4403396B2 (ja) 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路
RU2007101299A RU2367108C2 (ru) 2004-07-13 2005-06-22 Устройство для съемки изображения, интегральная схема элемента съемки изображения и способ обработки результата съемки изображения
AU2005261106A AU2005261106A1 (en) 2004-07-13 2005-06-22 Imaging device, imaging element integrated circuit, and imaging result processing method
EP05755867A EP1770991A4 (en) 2004-07-13 2005-06-22 PICTURE ARRANGEMENT, PICTURE INTEGRATED PICTURE ELEMENT IN A CIRCUIT, AND PICTURE-RELATED PROCESSING PROCESS
KR20077000090A KR101055058B1 (ko) 2004-07-13 2005-06-22 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법
MX2007000063A MX2007000063A (es) 2004-07-13 2005-06-22 Dispositivo de recepcion de imagen, circuito integrado de elemento de recepcion de imagen, y metodo de procesamiento de resultado de recepcion de imagen.
US11/632,317 US7936376B2 (en) 2004-07-13 2005-06-22 Image pickup device, integrated circuit of image pickup element, and image pickup result processing method
PCT/JP2005/011889 WO2006006398A1 (ja) 2004-07-13 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法
CA 2572904 CA2572904A1 (en) 2004-07-13 2005-06-22 Imaging pickup device, integrated circuit of image pickup element, and image pickup result processing method
BRPI0513266-5A BRPI0513266A (pt) 2004-07-13 2005-06-22 dispositivo de captura de imagem, circuito integrado de um elemento de captura de imagem, e, método de processamento de resultados de captura de imagem
CN2008101873813A CN101459777B (zh) 2004-07-13 2005-06-22 图像处理装置和方法
CNB2005800236494A CN100474900C (zh) 2004-07-13 2005-06-22 摄像装置、摄像元件的集成电路以及摄像结果的处理方法
TW94122219A TWI267299B (en) 2004-07-13 2005-06-30 Imaging apparatus and integrated circuit for imaging element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004205381A JP4403396B2 (ja) 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路

Publications (3)

Publication Number Publication Date
JP2006033104A JP2006033104A (ja) 2006-02-02
JP2006033104A5 JP2006033104A5 (ja) 2007-06-07
JP4403396B2 true JP4403396B2 (ja) 2010-01-27

Family

ID=35783742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004205381A Expired - Fee Related JP4403396B2 (ja) 2004-07-13 2004-07-13 撮像装置及び撮像素子の集積回路

Country Status (12)

Country Link
US (1) US7936376B2 (ja)
EP (1) EP1770991A4 (ja)
JP (1) JP4403396B2 (ja)
KR (1) KR101055058B1 (ja)
CN (2) CN101459777B (ja)
AU (1) AU2005261106A1 (ja)
BR (1) BRPI0513266A (ja)
CA (1) CA2572904A1 (ja)
MX (1) MX2007000063A (ja)
RU (1) RU2367108C2 (ja)
TW (1) TWI267299B (ja)
WO (1) WO2006006398A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
KR101499498B1 (ko) 2008-10-08 2015-03-06 삼성전자주식회사 초고해상도 비디오 처리 장치 및 방법
CN101742294B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种提高监控视频压缩率的方法和设备
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP5366304B2 (ja) * 2009-05-19 2013-12-11 ルネサスエレクトロニクス株式会社 表示駆動装置およびその動作方法
CN102783132B (zh) * 2010-03-03 2016-08-03 皇家飞利浦电子股份有限公司 用于定义颜色状态的装置和方法
JP5560785B2 (ja) * 2010-03-12 2014-07-30 株式会社リコー 情報処理装置、画像形成装置及び情報処理方法
JP2012124653A (ja) 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
EP2683166B1 (en) * 2011-02-28 2017-12-13 Fujifilm Corporation Color imaging device
WO2013074855A1 (en) * 2011-11-15 2013-05-23 Nicira, Inc. Control plane interface for logical middlebox services
WO2014155919A1 (ja) * 2013-03-27 2014-10-02 日本電気株式会社 画像符号化装置、画像符号化方法および画像符号化プログラム
US9875723B2 (en) 2013-08-13 2018-01-23 Mediatek Inc. Data processing apparatus for transmitting/receiving randomly accessible compressed pixel data groups over display interface and related data processing method
JP6248468B2 (ja) * 2013-08-23 2017-12-20 株式会社ニコン 撮像装置および電子機器
CN105659594A (zh) * 2013-10-17 2016-06-08 联发科技股份有限公司 发送/接收图片的压缩的像素数据组和像素数据分组设定的指示信息的数据处理装置以及相关数据处理方法
DE202015009982U1 (de) 2014-02-07 2022-08-02 Sony Group Corporation Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
US10178181B2 (en) * 2014-04-02 2019-01-08 Cisco Technology, Inc. Interposer with security assistant key escrow
JP6549366B2 (ja) 2014-09-19 2019-07-24 株式会社リコー 光電変換素子、画像読取装置及び画像形成装置
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
US9978798B2 (en) * 2015-08-03 2018-05-22 Sony Corporation Sensors with variable sensitivity to maximize data use
RU2640298C1 (ru) 2015-10-12 2017-12-27 Общество С Ограниченной Ответственностью "Яндекс" Способ обработки и хранения изображений
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10477133B2 (en) * 2017-10-02 2019-11-12 Sony Semiconductor Solutions Corporation Solid-state imaging sensor and solid-state imaging device
JP2018029404A (ja) * 2017-11-24 2018-02-22 株式会社ニコン 撮像素子および撮像装置
US11275556B2 (en) * 2018-02-27 2022-03-15 Zetane Systems Inc. Method, computer-readable medium, and processing unit for programming using transforms on heterogeneous data
CN110858191B (zh) * 2018-08-24 2025-01-03 北京三星通信技术研究有限公司 文件处理方法、装置、电子设备及可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5892260A (ja) * 1981-11-27 1983-06-01 Mitsubishi Electric Corp 半導体装置
JPS63174356A (ja) 1987-01-14 1988-07-18 Agency Of Ind Science & Technol 画像処理用半導体装置
JP3117138B2 (ja) * 1989-09-13 2000-12-11 オリンパス光学工業株式会社 電子スチルカメラとその撮像記録素子
JPH05268535A (ja) 1992-03-24 1993-10-15 Toshiba Corp 視覚センサー
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
JP3859815B2 (ja) * 1996-08-02 2006-12-20 シャープ株式会社 圧縮情報記憶装置
JP4150112B2 (ja) * 1998-08-24 2008-09-17 ソニー株式会社 画像データ処理方法および画像データ処理装置
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
JP2001094888A (ja) 1999-09-22 2001-04-06 Canon Inc 撮像装置
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6809769B1 (en) * 2000-06-22 2004-10-26 Pixim, Inc. Designs of digital pixel sensors
US20020171743A1 (en) * 2001-05-16 2002-11-21 Konica Corporation Electronic device and digital still camera
JP3759435B2 (ja) * 2001-07-11 2006-03-22 ソニー株式会社 Ｘ−ｙアドレス型固体撮像素子
JP3617498B2 (ja) * 2001-10-31 2005-02-02 三菱電機株式会社 液晶駆動用画像処理回路、およびこれを用いた液晶ディスプレイ装置、ならびに画像処理方法
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004031785A (ja) 2002-06-27 2004-01-29 Fujitsu Ltd 半導体装置及び半導体装置の設計方法
JP2004085936A (ja) * 2002-08-27 2004-03-18 Olympus Corp カメラ
JP4599917B2 (ja) * 2004-07-09 2010-12-15 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
TW200614806A (en) 2006-05-01
AU2005261106A1 (en) 2006-01-19
MX2007000063A (es) 2007-03-28
KR101055058B1 (ko) 2011-08-05
TWI267299B (en) 2006-11-21
CA2572904A1 (en) 2006-01-19
CN100474900C (zh) 2009-04-01
US7936376B2 (en) 2011-05-03
CN1985510A (zh) 2007-06-20
KR20070042138A (ko) 2007-04-20
EP1770991A1 (en) 2007-04-04
BRPI0513266A (pt) 2008-05-06
JP2006033104A (ja) 2006-02-02
CN101459777A (zh) 2009-06-17
EP1770991A4 (en) 2012-07-11
RU2007101299A (ru) 2008-07-27
WO2006006398A1 (ja) 2006-01-19
CN101459777B (zh) 2012-04-25
US20090002507A1 (en) 2009-01-01
RU2367108C2 (ru) 2009-09-10

Similar Documents

Publication Publication Date Title
JP4403396B2 (ja) 撮像装置及び撮像素子の集積回路
JP4816457B2 (ja) 撮像装置及び撮像結果の出力方法
JP4599917B2 (ja) 撮像装置
JP4978719B2 (ja) 撮像装置
US7719578B2 (en) Image pickup apparatus, image pickup element, and method for controlling image pickup apparatus
JP7152890B2 (ja) 固体撮像素子、撮像装置及び撮像方法
JPH03288831A (ja) ディジタル電子スチルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070416

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees