[go: up one dir, main page]

JPH0564083A - 固体電子撮像装置 - Google Patents

固体電子撮像装置

Info

Publication number
JPH0564083A
JPH0564083A JP3244091A JP24409191A JPH0564083A JP H0564083 A JPH0564083 A JP H0564083A JP 3244091 A JP3244091 A JP 3244091A JP 24409191 A JP24409191 A JP 24409191A JP H0564083 A JPH0564083 A JP H0564083A
Authority
JP
Japan
Prior art keywords
photoelectric conversion
signal
image
filter
conversion element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3244091A
Other languages
English (en)
Other versions
JP3071891B2 (ja
Inventor
Masahiro Konishi
正弘 小西
Masashi Kantani
正史 乾谷
Kazuyuki Masukane
和行 益金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Fujifilm Microdevices Co Ltd
Original Assignee
Fujifilm Microdevices Co Ltd
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Microdevices Co Ltd, Fuji Photo Film Co Ltd filed Critical Fujifilm Microdevices Co Ltd
Priority to JP3244091A priority Critical patent/JP3071891B2/ja
Priority to US07/936,845 priority patent/US5420635A/en
Publication of JPH0564083A publication Critical patent/JPH0564083A/ja
Application granted granted Critical
Publication of JP3071891B2 publication Critical patent/JP3071891B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/15Charge-coupled device [CCD] image sensors
    • H10F39/153Two-dimensional or three-dimensional array CCD image sensors
    • H10F39/1536Frame transfer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10Integrated devices
    • H10F39/12Image sensors
    • H10F39/15Charge-coupled device [CCD] image sensors
    • H10F39/156CCD or CID colour image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【目的】 2度露光をしなくとも単板の固体電子撮像装
置から異なる露光量の画像信号を得る。 【構成】 フォトダイオード60Aおよび60Bが垂直方向
および水平方向に多数配列され,垂直方向の1列おきの
フォトダイオード60A上にフィルタが設けられている。
フィルタが設けられているフォトダイオード60Aに蓄積
された第1の信号電荷は垂直転送路12を経て第1の水平
転送路63に入力し第1の水平転送路63から得られ,フィ
ルタが設けられていないフォトダイオード60Bに蓄積さ
れた第2の信号電荷は垂直転送路12を経て第2の水平転
送路65に入力し第2の水平転送路65から得られる。2度
露光しなくとも単板のCCDの第1の信号電荷および第
2の信号電荷より露光量の異なる画像信号が得られ,は
め込み合成画像処理が可能となる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は,CCDなどの固体電
子撮像装置に関する。
【0002】
【従来の技術】ムービィ・ビデオ・カメラ,電子スチル
・カメラなどの撮像光学系にCCDなどの固体電子撮像
装置が利用されている。固体電子撮像装置は軽量,小型
といった特徴を有しているので,固体電子撮像装置を利
用したカメラを軽量,小型化にすることができる。
【0003】
【発明が解決しようとする課題】しかしながら,固体電
子撮像装置のダイナミック・レンジは比較的狭いので,
視野内に含まれる明るい部分と暗い部分との輝度差が大
きいときには両者を適正に露光して撮影することは困難
である。
【0004】たとえば,背景が非常に明るく中央の主要
被写体が暗い場合,逆光の場合,窓のある室内での撮影
において窓を通して外の風景が映る場合等である。この
ようなシーンの撮影において,主要被写体(人物である
場合が多い)が適正に露光されるように露光調整をする
と,明るい背景部分に関しては入射光量が固体電子撮像
装置のダイナミック・レンジを超え素子が飽和してしま
うので,明るい背景は撮影されずその部分の画像は単に
白くなる(白とび)。
【0005】そこで一般にはストロボ発光して主要被写
体の輝度を高める工夫がなされる(日中シンクロストロ
ボ撮影)。しかしながら,日中シンクロストロボ撮影の
ためにはストロボ装置が必要であり,カメラが大型化す
るし、その操作も煩わしい。また,暗い部分が遠方にあ
る場合,および近距離の場所から遠方まで広がっている
ような場合には日中シンクロストロボ撮影は必ずしも効
果的とはいえない。
【0006】そこで発明者は,必ずしもストロボ発光し
なくても,明るい領域と暗い領域との輝度差の大きい被
写体について適切な画像信号が得られるようにする技術
を開発し,本願と同日に特許出願した(発明の名称「ビ
デオ・カメラ,それを用いた撮影方法およびその動作方
法,ならびに画像処理装置および方法」;整理番号91
167;出願人 富士写真フイルム株式会社および富士
フイルムマイクロデバイス株式会社)(以下「はめ込み
合成特許出願」という)。
【0007】このはめ込み合成特許出願の発明の基本思
想は,2つの異なる露光量で被写体を撮像することによ
り,露光量の異なる2つの画像をそれぞれ表わす画像信
号を得,露光量の多い画像を表わす画像信号において,
その画像における輝度が相対的に高い領域を表わす画像
信号を,露光量の少ない画像における対応する領域を表
わす画像信号で置換することにより合成された画像信号
を作成するものである。
【0008】この発明は,必ずしもストロボ発光しなく
ても,明るい領域と暗い領域との輝度差の大きい被写体
について適切な映像信号が得られる固体電子撮像装置を
提供することを目的とし,上述のはめ込み合成特許出願
の発明において利用される露光量の異なる2つの画像を
表わす画像信号を得ることを目的とする。
【0009】とくに単板でかつ2度露光する必要もなく
露光量の異なる2つの画像信号を得ることができるよう
にすることを目的とする。
【0010】
【課題を解決するための手段】第1の発明による固体電
子撮像装置は,垂直方向および水平方向に配列され,入
射光量に応じた量の信号電荷を蓄積する多数の光電変換
素子,垂直方向の所定の間隔ごとに水平方向の上記光電
変換素子に設けられ,上記光電変換素子に入射する光量
を制限するフィルタ,上記光電変換素子の垂直方向の各
列に隣接して設けられ,転送信号に応じて上記フィルタ
が設けられた光電変換素子に蓄積された第1の信号電荷
と上記フィルタが設けられていない光電変換素子に蓄積
された第2の信号電荷とを区別してそれぞれ転送する垂
直転送部,上記垂直転送部から入力する上記第1の信号
電荷を水平方向に転送する第1の水平転送部,ならびに
上記垂直転送部から入力する上記第2の信号電荷を水平
方向に転送する第2の水平転送部を備えていることを特
徴とする。
【0011】上記光電変換素子のすべてまたは上記フィ
ルタを垂直方向に上記光電変換素子一列分だけ移動させ
る移動手段をさらに備えることが好ましい。
【0012】第2の発明による固体電子撮像装置は,垂
直方向および水平方向に配列され,入射光量に応じた量
の信号電荷を蓄積する多数の光電変換素子,垂直方向の
所定の間隔ごとに水平方向の上記光電変換素子に設けら
れ,第1の透過率によって上記光電変換素子に入射する
光量を制限する第1のフィルタ,上記第1のフィルタが
設けられていない上記光電変換素子上に設けられ,第2
の透過率によって上記光電変換素子に入射する光量を制
限する第2のフィルタ,上記光電変換素子の垂直方向の
各列に隣接して設けられ,転送信号に応じて上記第1の
フィルタが設けられた光電変換素子に蓄積された第1の
信号電荷と上記第2のフィルタが設けられた光電変換素
子に蓄積された第2の信号電荷とを区別してそれぞれ転
送する垂直転送部,上記垂直転送部から入力する上記第
1の信号電荷を水平方向に転送する第1の水平転送部,
ならびに上記垂直転送部から入力する上記第2の信号電
荷を水平方向に転送する第2の水平転送部を備えている
ことを特徴とする。
【0013】上記光電変換素子のすべてまたは上記第1
のフィルタおよび上記第2のフィルタを垂直方向に上記
光電変換素子一列分だけ移動させる移動手段をさらに備
えることが好ましい。
【0014】
【作用】第1の発明によると,フィルタが設けられてい
る光電変換素子とフィルタが設けられていない光電変換
素子とが存在する。
【0015】第1の発明によるとフィルタが設けられて
いる光電変換素子に蓄積された第1の信号電荷とフィル
タが設けられていない光電変換素子に蓄積された第2の
信号電荷は区別されて垂直転送部を転送される。
【0016】第1の発明によると第1の水平転送部から
第1の信号電荷が得られ,第2の水平転送部から第2の
信号電荷が得られる。
【0017】第2の発明によると,第1の透過率のフィ
ルタが設けられている光電変換素子と第2の透過率のフ
ィルタが設けられている光電変換素子とが存在する。
【0018】第2の発明によるとそれぞれの光電変換素
子に蓄積された第1の信号電荷および第2の信号電荷は
垂直転送部によって転送される。
【0019】第2の発明によっても,第1の水平転送部
から第1の信号電荷が得られ,第2の水平転送部から第
2の信号電荷が得られる。
【0020】
【発明の効果】第1および第2の発明のいずれの発明に
おいても,第1の水平転送路から第1の信号電荷が得ら
れ,第2の水平転送路から第1の信号電荷によって表わ
される露光量と異なる露光量を表わす第2の信号電荷が
得られる。2度露光しなくとも1つの固体電子撮像装置
から露光量の異なる2つの画像信号が得られることとな
り,これらの画像信号を合成することにより輝度差が大
きい部分のある撮像にも対処できるようになる。
【0021】
【実施例】この発明による固体電子撮像装置について説
明する前に,この発明による固体電子撮像装置から得ら
れる2種類の画像信号を利用する画像はめ込み処理につ
いて述べる。
【0022】図1から図4を参照して,画像はめ込み処
理の基本的な考え方について説明する。
【0023】図1は窓のある部屋内で撮影を行うときの
カメラの視野内に収まるシーンの一例を示している。
【0024】室内RMの像SL(符号SLはこの像の部
分または領域を表わす場合にも用いる)は比較的暗い。
窓WNを通して外の風景が見え,この風景の像SH(こ
の符号SHはこの像の部分または領域を表わす場合にも
用いる)は比較的明るい。一般的に言うと,窓WNを通
して見える像SHの平均輝度は,室内RMの像SLの平
均輝度の約5〜10倍である。撮像管やCCD等のイメー
ジ・センサのダイナミック・レンジは,相対的に明るい
部分の平均輝度が相対的に暗い部分の平均輝度の2〜3
倍程度のシーンにしか対応できない。すなわち,輝度差
が2〜3倍以上あると,暗い部分を適正露光したときに
は明るい部分についてはセンサが飽和し(再生したとき
に白とびが生じる),明るい部分を適正露光したときに
は暗い部分についての像は殆ど映らずかつ映像信号にお
けるノイズ成分の比率がきわめて高くなる。
【0025】図2はイメージ・センサの光電変換特性と
輝度についてのヒストグラムを示している。
【0026】実線SL1は相対的に暗い像SLが適正に
露光されたときのイメージ・センサの光電変換特性を示
し,実線SL2は光電変換特性SL1の下で撮像された
相対的に暗い像SLの輝度の度数分布を示している。
【0027】これに対して破線SH1は相対的に明るい
像SHが適正に露光されたときのイメージ・センサの光
電変換特性を示し,破線SH2は光電変換特性SH1の
下で撮像された相対的に明るい像SHの輝度の度数分布
を示している。
【0028】この図から明らかなように,相対的に明る
い像SHは光電変換特性SL1の飽和領域に完全に含ま
れてしまい,また光電変換特性SH1の下では相対的に
暗い像SLを表わす出力信号のレベルは非常に低いとこ
ろに集中する。
【0029】図3(A) は室内RMの明るさに対して適正
な露光量(露光量は相対的に多い)で撮影された画像を
示している。室内RMの像SLaは適正に露光されてい
るので良好な画像となっている。これに対して窓WNを
通して現われる風景の像SHaは白くとんでいる。
【0030】図3(B) は窓WNの像SHbに対して適正
な露光量(露光量は相対的に少ない)で撮影された画像
を示している。窓WNを通して見える風景の像SHbは
良好であるが,室内RMの像SLbはかなり暗くなって
いる。
【0031】この処理によると,露光量が相対的に多い
画像において飽和している領域の像(必ずしも飽和して
いる必要はなく,他の部分よりも相対的に明るい領域で
あればよい)が,露光量が相対的に少ない画像における
対応する領域の像で置換されることにより画像のはめ込
みが行われる。すなわち,図3(A) において窓WNの像
SHaが,図3(B) に示す窓WNの像SHbで置きかえ
られる。これにより,図1に示すように,室内RM,窓
WNがともに良好な画像となり,人間が目で見たシーン
に近い画像が得られる。このようにしてはめ込み合成さ
れた画像のヒストグラムが図4に示されている。2つの
輝度分布SL2とSH2はかなり近づいている。
【0032】露光量が相対的に少ない画像において相対
的に暗い領域の像を,露光量が相対的に多い画像におけ
る対応する領域の像で置換するようにしてもよい。たと
えば,図3(B) において室内RMの像SLbを,図3
(A) に示す室内RMの像SLaで置きかえる。
【0033】図5はこの処理を用いるスチル・ビデオ・
カメラ(電子スチル・カメラ)の構成を示している。
【0034】撮像光学系には撮像レンズ11,絞り12,シ
ャッタ13および固体電子撮像素子(イメージ・センサ)
としてのCCD14が含まれている。露光制御回路10には
CPUが含まれており,この回路10は絞り12,シャッタ
13,およびCCD14における電荷のクリア,信号の読出
し等を制御する。
【0035】この実施例では予備撮影(予備露光)と2
回の本撮影(本露光)とが行われる。
【0036】予備撮影は2回の本撮影における適正な露
光量をそれぞれ決定するためのものである。露光制御回
路10は測光センサ27の出力信号のレベルに基づいて予備
撮影のための露光量(絞り値およびシャッタ速度)を決
定する。図1に示すように撮影被写体には暗い部分と明
るい部分とがある。測光センサ27の出力信号はこのよう
な被写体の平均的な輝度を表わしている。被写体の平均
的な輝度に基づいて決定された予備撮影のための絞り値
とシャッタ速度で絞り12およびシャッタ13の動作がそれ
ぞれ制御される。この予備撮影によりCCD14から出力
される映像信号は前置増幅器15で増幅され,さらにA/
D変換器19によってディジタル画像データに変換されて
露光制御回路10に与えられる。
【0037】予備撮影により得られた被写体像を表わす
ディジタル画像データに基づいて露光制御回路10は2回
の本撮影のための露光量を決定する。被写体は上述のよ
うに暗い部分と明るい部分とをもっている。一方の本撮
影は暗い部分に対して適切な露光量で,他方の本撮影は
明るい部分に対して適切な露光量でそれぞれ行われる。
【0038】図6において鎖線PHで示す領域は測光セ
ンサ27の測光範囲を示している。
【0039】露光制御回路10は測光センサ27の出力信号
にもとづいて被写体像の相対的に暗い領域SLが適正に
露光されるように絞り12を調整する。この調整はたとえ
ば図6に示すように測光センサ27の測光範囲PH内に仮
想的に多数のサンプル点PSを設定し,その各点のデー
タにもとづいて行なうことができる。。この場合の絞り
12の調整の仕方は上述のはめ込み合成特許出願の明細書
に詳細に述べられている。
【0040】測光センサの測光領域を複数の小領域に分
割し,各小領域ごとにその小領域の平均輝度を求める分
割測光を行えば上述した予備撮影は必ずしも必要ではな
い。すなわち,各小領域についての測光平均輝度を適当
なスレシホールド値と比較し,その比較結果に応じて被
写体像の相対的に暗い部分に関する測光平均輝度と明る
い部分に関する測光平均輝度とに分類する。相対的に暗
い部分に関する測光平均輝度の平均値に基づいて相対的
に暗い部分の露光量が,相対的に明るい部分に関する測
光平均輝度の平均値に基づいて相対的に明るい部分の露
光量がそれぞれ決定される。一般的には,被写体像の相
対的に暗い部分および相対的に明るい部分が測光センサ
の測光小領域に丁度対応するとは限らないが,暗い部分
と明るい部分との間には顕著な輝度差があるから,適当
なスレシホールド値を用いることにより,相対的に暗い
部分にほぼ対応する測光小領域の測光輝度データと,相
対的に明るい部分にほぼ対応する測光小領域の測光輝度
データとを区分けすることが可能である。
【0041】絞り値およびシャッタ速度の決定のための
方法として絞り優先とかシャッタ速度優先とかの種々の
手法があるが,どのようにして絞り値とシャッタ速度を
決定してもよい。少なくとも,絞り12の能力と精度,シ
ャッタ13の能力と精度等が考慮されればよい。また,C
CD14による電子シャッタ機能を利用する場合には許容
される露光時間(たとえば1V=1/60以内;Vは垂直
走査期間)等も考慮されよう。
【0042】いずれにしても,被写体像の相対的に暗い
部分SLに対して適正な露光量(第1の露光量)と相対
的に明るい部分SHに対して適正な露光量(第2の露光
量;第1の露光量よりも小さい値となる)とが決定され
ると,まず第1の露光量を用いて絞り12とシャッタ13と
が制御され第1回目の本撮影が行われる。第1回目の本
撮影によってCCD14から出力される映像信号は増幅器
15で増幅されたのち前処理回路16においてγ補正等の前
処理が行われ,さらにA/D変換器17でディジタル画像
データに変換され,切換スイッチ18を経て第1のフレー
ム・メモリ21に一旦記憶される。続いて第2の露光量を
用いて絞り12とシャッタ13とが制御され,第2回目の本
撮影が行われる。第2回目の本撮影によりCCD14から
出力される映像信号も同じようにして,増幅,前処理,
A/D変換され,ディジタル画像データとなって切換ス
イッチ18を経て第2のフレーム・メモリ22に記憶され
る。切換スイッチ18は露光制御回路10によって切換制御
される。第2の露光量に基づく本撮影を第1の露光量に
基づく本撮影よりも先に行ってもよいのはいうまでもな
い。
【0043】本撮影におけるシャッタ速度の制御はCC
D14を用いた電子シャッタ機能によって実現してもよ
い。電子シャッタは,よく知られているように,CCD
14の不要電荷の吐出し(クリア)により露光が開始し,
CCD14に蓄積された信号電荷の読出しにより露光が終
了するものである。この場合に,露光時間(不要電荷の
吐出しから信号電荷の読出しまでの時間)の最大値が1
/60=1V以内となるように絞り値を定めれば,2/60
=2Vの時間で2回の本撮影が終了する。電子シャッタ
機能を利用すると,メカニカルなシャッタ13を用いて露
光時間を制御する場合に比べて短い時間で露光量の異な
る2駒の画像データが得られる。
【0044】このようにして得られた2駒の画像データ
を用いて上述したはめ込み合成処理を行うために,2つ
のフレーム・メモリ21,22に加えて,キー(Key )信号
を記憶するためのメモリ23,CPU20,およびマルチプ
レクサ24が設けられている。
【0045】CPU20は,第1のフレーム・メモリ21に
記憶されている画素ごとの画像データを所定のスレシホ
ールド値TH(上述した予備撮影による画像データをレ
ベル弁別するためのスレシホールド値と同じ値でも異な
る値でもよい,いずれにしても相対的に明るいまたは飽
和している領域を他の領域から区別できる値であればよ
い)と比較し,スレシホールド値以上の値をもつ画像デ
ータを相対的に明るい領域SHに属するものとして,そ
の画像データが表わす画素の位置とメモリ23上の同じ位
置にキー信号としてデータ1(1ビット)を書込む。ス
レシホールド値未満の画像データについてはメモリ23の
その画素の位置に0を書込む。メモリ23は1フレーム
(または1フィールド)分のキー信号(キー信号は1画
素当り1ビット)を記憶できる容量をもっている。
【0046】このようにして,キー信号メモリ23には,
フレーム・メモリ21,22に記憶されている画像データが
被写体像の相対的に暗い領域SLに属する画素に関する
ものか(キー信号データ=0),相対的に明るい領域S
Hに属する画素に関するものか(キー信号データ=1)
を表わすキー信号データが書込まれることになる。
【0047】キー信号メモリ23に設定されたキー信号デ
ータによってマルチプレクサ24が制御される。キー信号
データが0のときにはマルチプレクサ24はフレーム・メ
モリ21から読出された画像データを,1のときにはフレ
ーム・メモリ22から読出された画像データをそれぞれ選
択して出力する。
【0048】キー信号メモリ23へのキー信号データの設
定が終了すると,フレーム・メモリ21および22の画像デ
ータならびにキー信号メモリ23のキー信号データが同期
して(すなわち同一画素に関係するデータが同時に)読
出され,マルチプレクサ24に与えられる。上述のように
マルチプレクサ24はキー信号データに応じてフレーム・
メモリ21または22から読出された画像データのいずれか
一方を選択的に出力する。マルチプレクサ24から出力さ
れる画像データは,露光量の多い画像において飽和して
いる(相対的に明るい)領域の画像データが露光量の少
ない画像における対応する領域の画像データによって置
きかえられたはめ込み合成画像を表わしている。
【0049】マルチプレクサ24から出力される画像デー
タは,D/A変換器25によってアナログ映像信号に変換
されて出力される。このアナログ映像信号がCRT等の
表示装置に与えられればはめ込み合成された画像が表示
される。映像信号はFM変調されてフロッピィ・ディス
クまたは磁気テープ等の磁気記録媒体に記録することも
できる。または,マルチプレクサ24の出力画像データ
を,画像データ処理回路26により輝度データと色データ
とに分離(Y/C分離し)し,データ圧縮し,符号化し
た上でメモリ・カード(半導体メモリを内蔵している,
メモリ・カートリッジ等とも呼ばれる)に記録するよう
にしてもよい。もっとも,上述した画像データのはめ込
み合成処理をスチル・ビデオ・カメラで行なわなくても
よい。この場合には,フレーム・メモリ21および22の画
像データがそれぞれ別個に画像処理されたのち,メモリ
・カード内の別個のエリアに記憶される。画像データの
はめ込み合成は,別途に設けられた画像処理装置で行な
われることになるであろう。
【0050】フレーム・メモリ22に記憶されている露光
量の少ない画像データを用いてキー信号を作成してもよ
い。この場合にはスレシホールド値として相対的に暗い
部分を排除できる程度に小さい値が採用される。画像デ
ータがこのスレシホールド値以上であればキー信号デー
タとして1が,他の場合には0がそれぞれメモリ23に設
定される。このようにすることにより,露光量の少ない
画像において相対的に暗い領域の画像データが露光量の
多い画像における対応する領域の画像データによって置
換されることにより合成された画像を表わす画像データ
がマルチプレクサ24から出力される。
【0051】図5に示すスチル・ビデオ・カメラはスト
ロボ装置28を備えている。ストロボ装置28におけるスト
ロボ発光を利用することにより,撮影対象物が必ずしも
明るい部分と暗い部分とに峻別されないものであっても
はめ込み合成に適した画像データを得ることができる。
【0052】たとえば同程度または輝度差の少ない2つ
の対象物が相対的に近い位置と遠い位置にある場合を想
定する。近い位置にある対象物が適正に露光されるよう
にストロボ発光量を調整すると遠い位置にある対象物は
露光不足となる。逆に遠い位置にある対象物が適正に露
光されるようにストロボ発光量を調整すると近い位置に
ある対象物に関しては得られる映像信号が飽和してしま
う。
【0053】このスチル・ビデオ・カメラによると,相
対的に遠い位置にある対象物の撮影に適した露光が得ら
れるストロボ発光量で第1回目の撮影が行われ,相対的
に近い位置にある対象物が適正に露光されるようなスト
ロボ発光量で第2回目の撮影が行われる。このようにし
て2駒分の画像データが得られ,上述したやり方と全く
同じようにして画像データのはめ込み合成が行われる。
【0054】遠い位置と近い位置とにある対象物の輝度
差が大きい場合にはこの輝度差も考慮してストロボ発光
量が調整されるのはいうまでもない。いずれにしても,
得られる2駒分の画像データの平均輝度差が比較的小さ
く(2〜3倍以内)なるようにストロボ発光量を制御す
ればよい。
【0055】被写体像における相対的に明るい領域SH
と相対的に暗い領域SLとを識別する方法には,上述し
た画像データを単にスレシホールド値THと比較する処
理以外に種々の方法がある。以下に他の識別方法につい
て述べておく。露光量の多い画像において相対的に明る
い領域を抽出する方法についてのみ述べる。露光量の少
ない画像において相対的に暗い領域を抽出することも全
く同じ方法により可能であるからである。
【0056】簡単のために,図3(A) におけるVII −VI
I線によって表わされる水平走査線に沿う映像信号を考
える。
【0057】図7(A) は上記水平走査線に沿う映像信号
の一例を示している。相対的に明るい領域SHの映像信
号は飽和している。相対的に暗い領域SLにおいて小さ
な輝点(たとえばガラス片,金属の一部等が光の反射に
よって光っている)があり,この輝点のために映像信号
中に急峻なパルス状の波形BRが現われているものとす
る。
【0058】このような映像信号がロウ・パス・フィル
タ(以下LPFと略す)を通ると,図7(B) に符号br
で示すように,急峻なパルス状の波形はなだらかになり
かつその高さが低くなる。波形brのピーク値よりも高
いレベルに設定されたスレシホールド値THを用いてこ
の映像信号をレベル弁別すれば,明るい領域SHのみが
抽出される。このようにして,暗い領域SLに部分的に
存在する小さな輝点は無視され,このような小さな領域
についてはめ込み合成が実行されることが未然に防止さ
れる。
【0059】上述したように相対的に明るい領域は必ず
しも飽和している必要はない。スレシホールド・レベル
THを適切に設定することによって飽和していない明る
い領域も抽出可能であることは,図7(B) からも容易に
理解できよう(明るい部分SHのピーク値が飽和レベル
よりも低いと考えればよい)。
【0060】ディジタル・データのフィルタリング技術
はよく知られている。上述した議論は,図5に示すスチ
ル・ビデオ・カメラにおいて,フレーム・メモリ21(ま
たは22)に記憶されているディジタル画像データを処理
して領域SHとSLを判別するCPU20における処理に
もあてはまる。CPU20はディジタル画像データをロウ
・パス・フィルタリングし,そのフィルタリングされた
画像データとスレシホールド値を表わすデータとを比較
する。
【0061】図8は他の判別方法を示している。図8
(A) には図7(A) に示すものと同じ映像信号が示されて
いる。この映像信号において急峻な立上りを示す前エッ
ジ(リーディング・エッジ)と急峻な立下りを示す後エ
ッジ(トレイリング・エッジ)とが検出される。前エッ
ジから後エッジまでの幅(または時間)t1,t2等が
測定される。この幅t1,t2等が適当な基準幅Wと比
較される(図8(B) 参照)。基準幅Wよりも大きい幅を
もつ部分のみが相対的に明るい領域であると判定される
(図8(C) 参照)。この方法によっても,相対的に暗い
領域に存在する小さな輝点をはめ込み合成の対象領域か
ら排除することができる。
【0062】この方法もアナログ的にも,ディジタル的
にも実行することができるのはいうまでもない。アナロ
グ的に実行する場合には,基準幅Wに相当する安定時間
をもつ単安定マルチバイブレータを用いることができ
る。この単安定マルチバイブレータは映像信号の前エッ
ジによってトリガ(セット)され,後エッジによってリ
セットされる。セットされたのち,リセットされる前に
単安定マルチバイブレータから出力が発生すれば(セッ
トされたのちに幅Wに相当する時間が経過すれば),そ
の部分は明るい領域と判定される。ディジタル的には,
前エッジから後エッジまでの長さが幅Wよりも大きいか
どうかを判定すればよい。
【0063】フィルタリングにおいて不可避的に生じる
位相遅れのために,図7に示す方法は,明るい領域の境
界が少しずれる可能性がある。これに対して図8に示す
方法は明るい領域と暗い領域との境界がずれることなく
正確に判定できるという特長をもつ。
【0064】水平走査線にそう映像信号に現われる領域
の境界(画像の垂直走査方向にのびる境界)の検出につ
いて説明したが,画像の水平方向にのびる境界の検出に
ついても上記と同様の手法を採用することができる。と
くにディジタル画像データをディジタル的に処理する場
合には,垂直方向におけるフィルタリング,幅の検出は
容易である。また,図8に示す方法を2次元的に実行す
ることにより,一定面積以下の輝点をはめ込み合成の対
象から除外し,一定面積を超える明るい領域についての
みはめ込み合成を行うことが可能となる。
【0065】図9ははめ込み合成処理の他の例を示し,
特にはめ合わされる2つの領域の境界近傍を円滑に連続
させる手法を実現する回路構成を示している。図9に示
す回路は図5においてマルチプレクサ24と置換される。
【0066】フレーム・メモリ21から読出された画像デ
ータ(たとえば8ビット)は乗算器30a,31a,32a,
33aおよび34aによってそれぞれ0,1,2,3および
4倍されてマルチプレクサ(切換スイッチ)37aに与え
られる。フレーム・メモリ22から読出された画像データ
は乗算器30b,31b,32b,33bおよび34bによってそ
れぞれ4,3,2,1および0倍されてマルチプレクサ
37bに与えられる。マルチプレクサ37aと37bはキー信
号メモリ23から与えられるキー信号データ(この実施例
では3ビット・データ)によって制御される。マルチプ
レクサ37aが乗算器30a,31a,32a,33aまたは34a
を選択したときにはマルチプレクサ37bは乗算器30b,
31b,32b,33bまたは34bを選択する。
【0067】マルチプレクサ37aおよび37bの出力は加
算器35で相互に加算され,さらに割算器36によって4で
割られ,合成された画像データ(再び,たとえば8ビッ
トとなる)として出力される。
【0068】相対的に暗い領域SLと明るい領域SHと
の間の検出された境界線上の1画素においてはマルチプ
レクサ37aおよび37bはそれぞれ乗算器32aおよび32b
を選択する。これにより,境界線上ではフレーム・メモ
リ21の画像データとフレーム・メモリ22の画像データと
の相加平均が合成画像データとなる。
【0069】上記境界線よりも暗い領域SL側の境界線
に隣接する1画素においては,マルチプレクサ37aおよ
び37bはそれぞれ乗算器33aおよび33bを選択する。こ
れにより,この画素においてはフレーム・メモリ21の画
像データに3倍した値とフレーム・メモリ22の画像デー
タに1倍した値との平均(加重平均)が合成画像データ
となる。
【0070】境界線に隣接する上記画素よりもさらに暗
い領域SLの内側にあるすべての画素についてはマルチ
プレクサ37aおよび37bはそれぞれ乗算器34aおよび34
bを選択する。これにより,フレーム・メモリ21の画像
データが合成画像データとして出力される。
【0071】境界線よりも明るい領域SH側の境界線に
隣接する1画素においては,マルチプレクサ37aおよび
37bはそれぞれ乗算器31aおよび31bを選択する。これ
により,この画素においてはフレーム・メモリ21の画像
データに1倍した値とフレーム・メモリ22の画像データ
に3倍した値との平均(加重平均)が合成画像データと
なる。
【0072】境界線に隣接する上記画素よりもさらに明
るい領域SHの内側にあるすべての画素についてはマル
チプレクサ37aおよび37bはそれぞれ乗算器30aおよび
30bを選択する。これにより,フレーム・メモリ22の画
像データが合成画像データとして出力される。
【0073】キー信号メモリ23に記憶されるキー信号デ
ータは,上記のようにマルチプレクサ37aおよび37bを
制御するように,画素の位置が境界線上か,その隣り
か,または境界線の隣りよりも離れているか,どちらの
領域に属するかに応じてCPU20によって3ビット・デ
ータとして作成される。
【0074】上述のように,領域SLとSHとの境界近
傍では2種類のはめ合わされるべき画像データの加重平
均(位置に応じて重みづけされる)により合成画像デー
タが作成されているので,境界付近で画像データが滑ら
かに連続することになる。これにより,合成画像を再生
したときに2つの領域の境界が自然な感じとなり,擬似
輪郭の発生が未然に防止される。
【0075】上記の説明では加重平均のための重みづけ
を1画素ずつ変えているが複数画素ごとに変えるように
してもよいのはいうまでもない。
【0076】図10はリアル・タイムでアナログ映像信号
上で画像のはめ込み合成処理を行う実施例を示してい
る。この実施例の回路はスチル・ビデオ・カメラのみな
らず,ムービ・ビデオ・カメラにも適用することができ
る。
【0077】撮像光学系は,撮像レンズ41,絞り42,ビ
ーム・スプリッタ43および2つのCCD44,45を含んで
いる。被写体を表わす光像はレンズ41および絞り42を経
て,ビーム・スプリッタ43で分割され,2つのCCD44
および45上に結像する。上述したように,窓のある室内
での撮影等においては,相対的に暗い領域SLの平均輝
度と相対的に明るい領域SHの平均輝度との比は1対5
〜10程度である。このスチル・ビデオ・カメラではビー
ム・スプリッタ43の光の分割比は5対1に設定されてい
る。入射光の光量の5/6の光量の光がビーム・スプリ
ッタ43を通ってCCD44に入射する。入射光の光量の1
/6の光量の光がビーム・スプリッタ43で反射してCC
D45に入射する。
【0078】CCD44から出力される映像信号は前置増
幅器46で増幅されたのち遅延回路54に与えられるととも
に,露光制御回路49に入力する。CCD45から出力され
る映像信号は前置増幅器47で増幅されたのち自動ゲイン
制御増幅回路(以下AGCという)48に与えられるとと
もに露光制御回路49に入力する。露光制御回路49はドラ
イバ50を介して絞り42を制御するとともにAGC48のゲ
インを調整する。
【0079】露光量の制御には露光量が多いCCD44の
出力映像信号が使用される。露光制御回路49は増幅器46
から与えられる映像信号のレベルに基づいて,被写体像
の相対的に暗い領域SLが適正に露光されるように絞り
42を調整する。シャッタ速度(露光時間)は固定であ
り,たとえば1/60秒(または1/30秒)に保持され
る。すなわち,メカニカルなシャッタは設けられてい
ず,CCD44,45の不要電荷のクリアと信号電荷の読出
しにより露光時間が規定される。
【0080】このスチル・ビデオ・カメラでは被写体像
の連続的な撮影が行われており,たとえば1/60秒(ま
たは1/30秒)ごとにCCD44および45から1フィール
ド(または1フレーム)分の映像信号が出力されてい
る。
【0081】CCD44に結像する被写体像の相対的に暗
い領域SLが適正に露光されるように露光量が調整され
ており,かつビーム・スプリッタ43の分割比が5対1に
設定されているから,CCD45に結像する相対的に明る
い領域SHについてもほぼ適正な露光量となっているこ
とが期待できる。相対的に暗い領域SLの画像と明るい
領域SHの画像とを合成したときにこれらの画像が適切
にマッチングするように(たとえば,相対的に明るい領
域SHの画像が,合成後の画像において,相対的に暗い
領域SLの画像よりも暗くなってしまうような事態の発
生を防止するために),AGC48が設けられている。露
光制御回路49は増幅器47から与えられる前フィールド
(または前フレーム)の映像信号のピーク・レベルを検
出し,このピーク・レベルが次のフィールド(またはフ
レーム)の映像信号においても一定に保持されるように
AGC48のゲインを調整する。このようにして,1フィ
ールド(または1フレーム)ごとに(1/60秒ごとに,
または1/30秒ごとに)AGC48のゲイン調整が行わ
れ,相対的に明るい領域SHの画像の最も明るい部分の
明るさが常にほぼ一定に保持される。
【0082】露光量の多い映像信号である増幅器46の出
力はまたLPF51を通して,その低周波成分のみが比較
器52に与えられる。比較器52にはスレシホールド電圧V
THが設定されている。比較器52は入力映像信号のレベル
がスレシホールド電圧VTHを超えている場合に出力を発
生する。比較器52の出力はパルス幅検出回路53に入力す
る。このパルス幅検出回路53は,上述したように単安定
マルチバイブレータ等を含み,比較器52の出力信号のパ
ルス幅が基準幅Wを超えている場合にその出力信号を基
準幅Wに相当する時間遅延させた上で出力する。パルス
幅検出回路53の出力信号はマルチプレクサ56にその制御
信号として与えられる。
【0083】遅延回路54および55には上記の基準幅Wに
相当する時間(またはこの時間にLPF51の動作に起因
する遅延時間を加えた時間)に等しい遅延時間が設定さ
れている。増幅器46の出力映像信号およびAGC48の出
力映像信号はこれらの遅延回路54および55でその遅延時
間だけ遅らされてマルチプレクサ56に入力する。
【0084】マルチプレクサ56は通常は遅延回路54の出
力映像信号を選択して出力し,パルス幅検出回路53から
出力信号が与えられているときには遅延回路55の出力映
像信号を選択して出力する。これにより,上述した原理
に基づく画像のはめ込み合成が行われる。マルチプレク
サ56の出力映像信号は映像信号処理回路57においてγ補
正などが加えられる。
【0085】その他,はめ込み合成処理に関する種々の
変形例があるが,それは上述のはめ込み合成特許出願の
明細書に詳細に述べられている。
【0086】図11はこの発明の固体電子撮像装置の実施
例を示すものでCCDの模式図である。2度露光しなく
とも,図11に示すCCDから露光量の異なる2種類の画
像信号が得られ上述したはめ込み合成処理に利用され
る。
【0087】フォトダイオード60Aおよび60Bが垂直方
向および水平方向に多数配列されている。フォトダイオ
ード60A上には入射光量を制限するフィルタが設けられ
ており,このフィルタはハッチングを用いて示されてい
る。フィルタは垂直方向の一行おきのフォトダイオード
60Aに設けられている。フィルタの透過率はフィルタが
設けられていないフォトダイオード60Bへの入射光に対
して5対1となるものが好ましい。
【0088】フォトダイオード60Aおよび60Bの水平方
向においてPウェル61を介して垂直転送路62が配置され
ている。
【0089】垂直転送路12は周期的に配置されている電
極V1〜V6の直下に形成される。上から第1行めのフ
ォトダイオード60Aに隣接して電極V1が形成され,こ
の電極V1の垂直方向に電極V2が形成されている。第
2行めのフォトダイオード60Bに隣接して電極V3が形
成されており,電極V2と垂直方向において接続されて
いる。さらに電極V3は垂直方向において電極V4と接
続されている。
【0090】第3行めのフォトダイオード60Aに隣接し
て電極V5が形成され,電極V4と垂直方向において接
続されている。さらに電極V5は垂直方向において電極
V2と接続されている。
【0091】また第4行めのフォトダイオード60Bに隣
接して電極V6が形成され,電極V2と接続されてい
る。さらに電極V6は垂直方向において電極V4と接続
されている。この電極V4は垂直方向において,第5行
めのフォトダイオード10Aに隣接した電極V1と接続さ
れている。
【0092】垂直方向において電極V1,V2,V3,
V4,V5,V2およびV6と周期的に繰返されて形成
されている。これらの電極V1〜V6にはそれぞれ垂直
転送パルスφV1〜φV6が与えられる。
【0093】垂直転送路12の最下段の電極V4には第1
の水平転送路63が接続されている。第1の水平転送路63
の出力には増幅器64が接続されており,与えられる水平
転送パルスφH1〜φH4に応じて増幅器64を経て第1
の信号電荷が出力される。
【0094】図11に示すCCDにおいてはシフト・ゲー
ト・パルスによってゲートが開くシフト・ゲート67を介
して第1の水平転送路63と第2の水平転送路65とが接続
されている。第2の水平転送路65の出力にも増幅器66が
接続されており,水平転送パルスφH1〜φH4に応じ
て増幅器64を経て第2の信号電荷が出力される。
【0095】図12および図13は第1フィールドのフォト
ダイオード60Aおよび60Bに蓄積された信号電荷の転送
の様子を表わすタイムチャートであり,図13は図12の符
号cで示す部分を詳細に示している。図14は第2フィー
ルドのフォトダイオード60Aおよび60Bに蓄積された信
号電荷の転送の様子を表わすタイムチャートである。図
15は垂直転送路12において信号電荷が転送される様子を
示す模式図であり,信号電荷がハッチングで示されてい
る。
【0096】図12,13および図15を参照してフォトダイ
オード60Aおよび60Bに蓄積された第1の信号電荷の出
力について説明する。フォトダイオード60Aおよび60B
への電荷の蓄積はそれぞれのフォトダイオード60Aおよ
び60Bに蓄積された不要電荷の掃出しから開始される。
【0097】垂直転送パルスφV1〜φV6が電極V1
〜V6に与えられる。
【0098】時刻t1 において電極V1,V3,V4,
V5およびV6にV[V]の電圧が与えられる。次に時
刻t2 において電極V4およびV6にV[V]の電圧が
与えられ,電極V3に2V[V]の電圧が与えられる。
これにより第1フィールドのフォトダイオード60Bに蓄
積された第2の信号電荷がフォトダイオード60Bから電
極V3およびV4下に生じる電位井戸に移る。
【0099】時刻t3 において電極V5にもV[V]の
電圧が与えられることにより信号電荷が垂直転送路12を
転送する。
【0100】時刻t4 においては電極V1に2V[V]
の電圧が与えられる。これにより第1フィールドのフォ
トダイオード60Aに蓄積されている第1の信号電荷がフ
ォトダイオード60Aから電極V4およびV1下に生じる
電位井戸に移る。
【0101】以下,時刻t5 において電極V1,V3,
V4,V5およびV6にV[V]の電圧が与えられ,時
刻t6 において電極V1,V4およびV5にV[V]の
電圧が与えられ,時刻t7 において電極V1,V2,V
4およびV5にV[V]の電圧が与えられる。
【0102】また時刻t8 において電極V1,V2およ
びV5にV[V]の電圧が与えられ,時刻t7 において
は電極V1,V2,V3,V5およびV6にV[V]の
電圧が与えられる。さらに時刻t10においては電極V
2,V3およびV6にV[V]の電圧が与えられ,時刻
11において電極V2,V3,V4およびV6にV
[V]の電圧が与えられる。このように電圧が与えられ
る電極の組合わせが変わることにより電極下に生じる電
位井戸も変わり移動するので,電位井戸内に蓄積されて
いる信号電荷も電圧井戸の移動に伴なって転送する。
【0103】信号電荷が垂直転送路62を転送していく
と,水平転送路63に与えられる。フォトダイオード60A
に蓄積されている第1の信号電荷が第1の水平転送路63
に与えられると,第1の水平転送路63に与えられる水平
転送パルスφH1〜φH4に応じて転送され増幅器64に
与えられる。増幅器64においてフォトダイオード60Aに
蓄積された第1の信号電荷が増幅されて出力される。
【0104】垂直転送路62から第1の水平転送路63にフ
ォトダイオード60Bに蓄積された第2の信号電荷が与え
られるとシフト・ゲート67にシフト・ゲート・パルスが
与えられる。シフト・ゲート67にシフト・ゲート・パル
スが与えられることにより,第1の水平転送路63に入力
した第2の信号電荷はさらに第2の水平転送路65に転送
される。第2の水平転送路65に入力した第2の信号電荷
は水平転送パルスφH1〜φH4に応じて水平転送され
る。第2の水平転送路65から出力される第2の信号電荷
は増幅器66に与えられ増幅されて出力される。
【0105】第1フィールドのフォトダイオード60Aお
よび60Bに蓄積された信号電荷の読出しが終ると,第2
フィールドのフォトダイオード60Aおよび60Bに蓄積さ
れた信号電荷の読出しが行なわれる。第2フィールドの
フォトダイオード60Aおよび60Bに蓄積された信号電荷
の読出しも図14に示すタイムチャートに従って,垂直転
送路62に垂直転送パルスφV1〜φV6が与えられ,水
平転送路13および15に水平転送パルスが与えられること
により行なわれる。第2フィールドにおける信号電荷の
読出しも第1フィールドにおける信号電荷の読出しとほ
ぼ同様なので,説明は省略する。
【0106】2度露光しなくとも単板のCCDに含まれ
る第1の水平転送路63からフィルタによって入射光量が
制限された光によって生じる第1の信号電荷が出力さ
れ,第2の水平転送路15から入射光量が制限されない光
によって生じる第2の信号電荷が出力される。
【0107】図16は上述のように2種類の水平転送路か
ら得られる信号電荷によって表わされるアナログ映像信
号の信号処理回路を示している。図17(A) および(B) は
CCDに配置されるRGBのカラー・フィルタの配列を
示しており,(A) は列ごとにR,GおよびBの配置が異
なるストライプ・フィルタを,(B) はモザイク・フィル
タをそれぞれ示している。図18(A) 〜(C) は各出力信号
を示すグラフである。
【0108】CCD80上には図17(A) または(B) に示す
ような配列で周期的に濃度が異なるRGBのカラー・フ
ィルタが配置されている。これによりCCD80から露光
量の異なるカラー画像信号が出力される。
【0109】第1の水平転送路63から出力されるカラー
画像信号を表わす第1の信号電荷は増幅器64において増
幅される。増幅器64の出力を出力信号aとする。また第
2の水平転送路65から出力されるカラー画像信号を表わ
す第2の信号電荷は増幅器66において増幅される。増幅
器66の出力を出力信号bとする。
【0110】出力信号aはコンパレータ71の一方の入力
端子および切換スイッチのa1 端子に与えられる。出力
信号bは増幅器72に与えられる。増幅器72は図17(A) に
示すように出力信号aが飽和する入射光量を1,出力信
号bが飽和する入射光量をnとしたときに出力信号bを
n倍に増幅するものである。これにより増幅器72から出
力される出力信号をcとすると出力信号aと出力信号c
の表わすグラフは同じ傾きとなりはめ込み合成による一
画像を表わすこととなる。増幅器72の出力信号cは切換
スイッチ74のc1 端子に与えられる。
【0111】コンパレータ91の他方の端子は所定電圧E
が加えられた可変抵抗73と接続されており,スレシホー
ルド値が規定されている。コンパレータ71の一方の端子
に入力する信号がスレシホールド値を超えなければ切換
スイッチ74はa1 端子が導通状態となるように,スレシ
ホールド値を超えると切換スイッチ74はc1 端子が導通
状態となるようにコンパレータ71からの出力信号によっ
て制御される。これにより切換スイッチ74の出力は図17
(C) に示すようにスレシホールド値以下では出力信号a
1 となり,スレシホールド値以上では出力信号c1 とな
る。これにより2つの画像信号の合成が行なわれ,はめ
込み合成処理が行なわれたこととなる。切換スイッチ74
の出力信号は色分離回路75に与えられる。
【0112】色分離回路75は入力するカラー画像信号か
ら輝度信号Yならびに色信号R,GおよびBを生成し分
離して出力するもので,輝度信号Yはknee回路76に
色信号R,GおよびBはガンマ補正回路にそれぞれ与え
られる。
【0113】knee回路76において輝度信号Yのkn
ee処理が行なわれてガンマ補正回路77に与えられる。
ガンマ補正回路77において入力する輝度信号にガンマ補
正が施されて出力される。
【0114】ガンマ補正回路78に入力した色信号R,G
およびBもガンマ補正が行なわれ,マトリクス回路79に
与えられる。マトリクス回路79は入力する色信号R,G
およびBから色差信号R−YおよびB−Yを生成する回
路であり,生成された色差信号R−YおよびB−Yが出
力される。
【0115】ガンマ補正回路77から出力される輝度信号
Yならびにマトリクス回路79から出力される色差信号R
−YおよびB−Yからはめ込み合成画像が得られる。
【0116】図19はCCDの露光位置を垂直方向に移動
するための回路例を示すもので,図20(A) は第1フィー
ルドのCCDの露光位置,図20(B) は第2フィールドで
のCCDの露光位置をそれぞれ示している。
【0117】図19を参照して,支持部材83に圧電素子84
が固定されている。圧電素子84にはスイッチング素子81
のオン,オフ動作に応じて直流電圧源82からの直流電圧
が与えられる。圧電素子84にはCCDパッケージ85によ
って保護されたCCD86が固定されている。これにより
圧電素子84への電圧の印加の有無に応じてCCD86の位
置が移動する。
【0118】図20(A) および(B) に示すように,奇数列
のフォトダイオード60上にフィルタ87が設けられてい
る。図20(A) を参照して第1フィールドにおいては圧電
素子84には電圧が印加されず,所定の露光位置での露光
が行なわれる。第1フィールドでの露光が終了し,フォ
トダイオード60に蓄積された信号電荷の読出しが終了す
ると第2フィールドでの露光が行なわれる。第2フィー
ルドでの露光時には圧電素子84に直流電圧が印加され
る。圧電素子84に直流電圧が印加されると圧電素子84に
応力が生じる。これにより図20(B) に示すようにCCD
86の位置が移動し,第2フィールドでの露光が行なわれ
る。第2フィールドでの露光が終了するとフォトダイオ
ード60に蓄積された信号電荷が読出される。
【0119】図11に示すCCDを上述したように圧電素
子を用いて垂直方向に移動させることにより垂直方向の
画素数が2倍になったとみなされるので,CCD86から
得られるアナログ映像信号の垂直解像度が高くなる。
【図面の簡単な説明】
【図1】カメラの視野内のシーンを示す。
【図2】イメージ・センサの光電変換特性と輝度につい
てのヒストグラムを示すグラフである。
【図3】(A) は相対的に多い露光量で撮影された画像を
示し,(B)は少ない露光量で撮影された画像を示す。
【図4】合成された画像の輝度ヒストグラムを示すグラ
フである。
【図5】スチル・ビデオ・カメラに適用した実施例を示
すブロック図である。
【図6】画像データのサンプル点を示す。
【図7】(A) は映像信号の一例を示す波形図,(B) はL
PFを通したのちの映像信号を示す波形図である。
【図8】(A) から(C) は一定幅以上の明るい領域を検出
する処理を示す波形図である。
【図9】明るい領域と暗い領域の境界において画像デー
タの加重平均をとる回路例を示すブロック図である。
【図10】リアル・タイムで映像信号のはめ込み合成を
行う実施例を示すブロック図である。
【図11】この発明の実施例を示すもので,CCDの模
式図である。
【図12】信号電荷の転送のタイムチャートである。
【図13】図12に示すタイムチャートの一部拡大図であ
る。
【図14】信号電荷の転送のタイムチャートである。
【図15】信号電荷の転送の様子を示している。
【図16】図11に示すCCDにより得られる画像信号の
信号処理回路である。
【図17】(A) はストライプ・フィルタの配列の例を,
(B) はモザイク・フィルタの配列の例をそれぞれ示して
いる。
【図18】(A) 〜(C) は図16に示す回路の信号の変化を
示している。
【図19】CCDの移動回路を示している。
【図20】(A) および(B) はCCDの位置移動を示して
いる。
【符号の説明】
60,60A,60B フォトダイオード 62 垂直転送路 63,67 水平転送路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 益金 和行 宮城県黒川郡大和町松坂平1丁目6番地 富士フイルムマイクロデバイス株式会社内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 垂直方向および水平方向に配列され,入
    射光量に応じた量の信号電荷を蓄積する多数の光電変換
    素子, 垂直方向の所定の間隔ごとに水平方向の上記光電変換素
    子に設けられ,上記光電変換素子に入射する光量を制限
    するフィルタ, 上記光電変換素子の垂直方向の各列に隣接して設けら
    れ,転送信号に応じて上記フィルタが設けられた光電変
    換素子に蓄積された第1の信号電荷と上記フィルタが設
    けられていない光電変換素子に蓄積された第2の信号電
    荷とを区別してそれぞれ転送する垂直転送部, 上記垂直転送部から入力する上記第1の信号電荷を水平
    方向に転送する第1の水平転送部,ならびに上記垂直転
    送部から入力する上記第2の信号電荷を水平方向に転送
    する第2の水平転送部, を備えた固体電子撮像装置。
  2. 【請求項2】 上記すべての光電変換素子または上記フ
    ィルタを垂直方向に上記光電変換素子一列分だけ移動さ
    せる移動手段, をさらに備えた請求項1に記載の固体電子撮像装置。
  3. 【請求項3】 垂直方向および水平方向に配列され,入
    射光量に応じた量の信号電荷を蓄積する多数の光電変換
    素子, 垂直方向の所定の間隔ごとに水平方向の上記光電変換素
    子に設けられ,第1の透過率によって上記光電変換素子
    に入射する光量を制限する第1のフィルタ, 上記第1のフィルタが設けられていない上記光電変換素
    子に設けられ,第2の透過率によって上記光電変換素子
    に入射する光量を制限する第2のフィルタ, 上記光電変換素子の垂直方向の各列に隣接して設けら
    れ,転送信号に応じて上記第1のフィルタが設けられた
    光電変換素子に蓄積された第1の信号電荷と上記第2の
    フィルタが設けられた光電変換素子に蓄積された第2の
    信号電荷とを区別してそれぞれ転送する垂直転送部, 上記垂直転送部から入力する上記第1の信号電荷を水平
    方向に転送する第1の水平転送部,ならびに上記垂直転
    送部から入力する上記第2の信号電荷を水平方向に転送
    する第2の水平転送部, を備えた固体電子撮像装置。
  4. 【請求項4】 上記すべての光電変換素子または上記第
    1のフィルタおよび上記第2のフィルタを垂直方向に上
    記光電変換素子一列分だけ移動させる移動手段, をさらに備えた請求項3に記載の固体電子撮像装置。
JP3244091A 1991-08-30 1991-08-30 固体電子撮像装置 Expired - Fee Related JP3071891B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3244091A JP3071891B2 (ja) 1991-08-30 1991-08-30 固体電子撮像装置
US07/936,845 US5420635A (en) 1991-08-30 1992-08-28 Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3244091A JP3071891B2 (ja) 1991-08-30 1991-08-30 固体電子撮像装置

Publications (2)

Publication Number Publication Date
JPH0564083A true JPH0564083A (ja) 1993-03-12
JP3071891B2 JP3071891B2 (ja) 2000-07-31

Family

ID=17113613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3244091A Expired - Fee Related JP3071891B2 (ja) 1991-08-30 1991-08-30 固体電子撮像装置

Country Status (1)

Country Link
JP (1) JP3071891B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002056603A1 (fr) * 2001-01-09 2002-07-18 Sony Corporation Dispositif d'imagerie
WO2002056604A1 (en) * 2001-01-09 2002-07-18 Sony Corporation Image processing device
JP2002204399A (ja) * 2000-11-21 2002-07-19 Eastman Kodak Co 画像圧縮方法
US6974975B2 (en) 2003-05-08 2005-12-13 Fuji Photo Film Co., Ltd. Solid-state imaging device, method for driving solid-state imaging device, and method for processing image signal
JP2006238410A (ja) * 2005-01-31 2006-09-07 Fuji Photo Film Co Ltd 撮像装置
JP2006292863A (ja) * 2005-04-07 2006-10-26 Sharp Corp 液晶表示装置及び表示方法
US7336301B2 (en) 2002-08-19 2008-02-26 Fujifilm Corporation Solid-state image sensor and a method of adjusting output of photosensitive cells adaptively to the sensitivity
WO2008078493A1 (ja) * 2006-12-27 2008-07-03 Sony Corporation 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2009010998A (ja) * 2008-09-11 2009-01-15 Fujifilm Corp 撮像装置
US7598986B2 (en) 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法
US10498984B2 (en) 2016-03-31 2019-12-03 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
JP2020099046A (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 光電変換装置、撮像システム及び移動体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291867B2 (en) 2015-07-08 2019-05-14 Sony Semiconductor Solutions Corporation Solid-state imaging element and driving method and electronic equipment
JP6754157B2 (ja) 2015-10-26 2020-09-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置
TWI717450B (zh) 2016-02-18 2021-02-01 日商新力股份有限公司 固體攝像裝置、固體攝像裝置之驅動方法、及電子機器
JP2017183563A (ja) 2016-03-31 2017-10-05 ソニー株式会社 撮像装置、駆動方法、および、電子機器
WO2021153370A1 (ja) 2020-01-29 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法及び電子機器

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204399A (ja) * 2000-11-21 2002-07-19 Eastman Kodak Co 画像圧縮方法
US7479998B2 (en) 2001-01-09 2009-01-20 Sony Corporation Image pickup and conversion apparatus
WO2002056604A1 (en) * 2001-01-09 2002-07-18 Sony Corporation Image processing device
USRE47062E1 (en) 2001-01-09 2018-09-25 Sony Semiconductor Solutions Corporation Image processing apparatus and method for generating a restoration image
USRE46557E1 (en) 2001-01-09 2017-09-19 Sony Semiconductor Solutions Corporation Image processing apparatus and method for generating a restoration image
US7986360B2 (en) 2001-01-09 2011-07-26 Sony Corporation Image processing apparatus and method for generating a restoration image
JP2008125117A (ja) * 2001-01-09 2008-05-29 Sony Corp 画像処理装置および方法
JP2011087317A (ja) * 2001-01-09 2011-04-28 Sony Corp 画像処理装置および方法
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
WO2002056603A1 (fr) * 2001-01-09 2002-07-18 Sony Corporation Dispositif d'imagerie
US7336301B2 (en) 2002-08-19 2008-02-26 Fujifilm Corporation Solid-state image sensor and a method of adjusting output of photosensitive cells adaptively to the sensitivity
US7598986B2 (en) 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
US6974975B2 (en) 2003-05-08 2005-12-13 Fuji Photo Film Co., Ltd. Solid-state imaging device, method for driving solid-state imaging device, and method for processing image signal
JP2006238410A (ja) * 2005-01-31 2006-09-07 Fuji Photo Film Co Ltd 撮像装置
JP2006292863A (ja) * 2005-04-07 2006-10-26 Sharp Corp 液晶表示装置及び表示方法
WO2008078493A1 (ja) * 2006-12-27 2008-07-03 Sony Corporation 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US8089530B2 (en) 2006-12-27 2012-01-03 Sony Corporation Solid-state image pickup apparatus, drive method for the solid-state image pickup apparatus, and image pickup apparatus
TWI382756B (zh) * 2006-12-27 2013-01-11 Sony Corp A solid-state imaging device, a driving method of a solid-state imaging device, and an imaging device
KR101424033B1 (ko) * 2006-12-27 2014-07-28 소니 주식회사 고체 촬상 장치, 고체 촬상 장치의 구동 방법 및 촬상 장치
JP4609428B2 (ja) * 2006-12-27 2011-01-12 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2008167004A (ja) * 2006-12-27 2008-07-17 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2009010998A (ja) * 2008-09-11 2009-01-15 Fujifilm Corp 撮像装置
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法
US10498984B2 (en) 2016-03-31 2019-12-03 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
JP2020099046A (ja) * 2018-12-18 2020-06-25 キヤノン株式会社 光電変換装置、撮像システム及び移動体

Also Published As

Publication number Publication date
JP3071891B2 (ja) 2000-07-31

Similar Documents

Publication Publication Date Title
JP3082971B2 (ja) ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法
JP3071891B2 (ja) 固体電子撮像装置
JP3801126B2 (ja) 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム
US5420635A (en) Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP3467047B2 (ja) 画像処理装置および方法ならびにビデオ・カメラ
KR101419947B1 (ko) 촬상 장치, 측광 방법, 휘도 산출 방법, 및 저장 매체
US20070139548A1 (en) Image capturing apparatus, image capturing method, and computer-readable medium storing program
US20090086056A1 (en) Imaging apparatus, imaging method, and program
KR20080084685A (ko) 촬상 장치, 촬상 방법, 노광 제어 방법, 프로그램
US8279304B2 (en) Photography apparatus that selects optimal photography methods and obtains dynamic range expanded images based on images obtained by photography
JP4136464B2 (ja) 撮像装置及び撮像方法
JPH0614236A (ja) 電子スチルカメラ
US5376964A (en) Video camera, method of photometry therein, and method of focusing same
JP3384818B2 (ja) カメラおよびその予備測光方法ならびに予備測光装置および方法
JP3564050B2 (ja) カメラ、焦点調節装置、焦点調節方法、焦点調節プログラムを供給する媒体
JPH0564070A (ja) 撮像装置および方法ならびに画像処理装置および方法
JP4047000B2 (ja) 撮像装置及び撮像方法
JP2003324748A (ja) テレビジョンカメラ
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP3453153B2 (ja) ビデオ・カメラおよびその合焦方法
JP2981369B2 (ja) スチル/ムービ・ビデオ・カメラおよびその制御方法
JPH06153067A (ja) ビデオ・カメラおよびその測光方法
JP3086753B2 (ja) ビデオ・カメラおよびその合焦方法
JP3058994B2 (ja) ビデオ・カメラおよびその測光方法
JP3213445B2 (ja) スチル/ムービ・ビデオ・カメラおよびその制御方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080526

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090526

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090526

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees