JPH06133320A

JPH06133320A - 撮像信号処理装置

Info

Publication number: JPH06133320A
Application number: JP4278930A
Authority: JP
Inventors: Tadao Sasaki; 唯夫佐々木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-10-16
Filing date: 1992-10-16
Publication date: 1994-05-13

Abstract

(57)【要約】【目的】空間画素ずらしを行っても、フレームメモリ
のメモリ容量が増加しない撮像信号処理装置を提供す
る。【構成】フレームメモリ１６に、補間前の原色信号Ｒ
２，Ｇ２，Ｂ２が記憶される。圧縮処理回路６１でそれ
らの圧縮処理が行われる。伸張処理回路６３で、原色信
号Ｒ２，Ｇ２，Ｂ２に対応する低域原色信号Ｒ２Ｌ，Ｇ
２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈと
が形成される。補間回路６４で、高域原色信号Ｒ２Ｈ，
Ｇ２Ｈ，Ｂ２Ｈが輝度信号の高域信号Ｙ２Ｈとみなされ
て、輝度信号の高域信号Ｙ２Ｈの画素数が増加されると
ともに、低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの画素数
が増加される。これら画素数の増加された低域原色信号
Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと画素数が増加された輝度信号
の高域信号Ｙ２Ｈとが対応する画素毎に加算されて補間
後原色信号Ｒ３，Ｇ３，Ｂ３が形成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、高解像度の電
子スチルカメラに適用して好適な撮像処理装置に関す
る。

【０００２】

【従来の技術】従来から、比較的に少ない撮像素子によ
り画像の高解像度化を図るために、空間画素ずらし法が
採用されている。

【０００３】この空間画素ずらし法について、縦横に画
素が配置されたＣＣＤなどの撮像素子を２つ有する、い
わゆる２板の構成のモノクロームの電子スチルカメラを
例に説明する。

【０００４】この例では、２つの撮像素子を構成する画
素どうしが、空間的に、１／２画素分ずらされて配置さ
れている。

【０００５】図７Ａは、１／２画素分ずらされて配置さ
れた２つの撮像素子のうち、一方の撮像素子を構成する
画素の出力信号のデジタル信号を輝度信号ＹＡ、他方の
撮像素子を構成する画素の出力信号のデジタル信号を輝
度信号ＹＢとしたとき、仮想画面１上における輝度信号
ＹＡ，ＹＢの配置を示している。

【０００６】そして、この図７Ａに示す配置図のうち、
輝度信号ＹＡと輝度信号ＹＢとに囲まれた空白部分２の
画素の輝度信号を補間処理によって作成する。空白部分
２の画素の輝度信号を輝度信号Ｙとしたときに、その輝
度信号Ｙは、例えば、上下左右の画素の輝度信号ＹＡ，
ＹＢから、例えば、数１に示すように作成される。

【０００７】

【数１】Ｙ＝｛ＹＡ（上）＋ＹＡ（下）＋ＹＢ（左）＋
ＹＢ（右）｝／４

【０００８】図７Ｂは、そのようにして他の空白部分の
画素の輝度信号Ｙをも作成することにより形成された仮
想画面１全体の輝度信号の配置を示している。

【０００９】このようにして、空間画素ずらし法によ
り、２板のＣＣＤカメラなどの高解像度化が図られてい
る。すなわち、この図７Ａ，Ｂに示した例では、１板分
の撮像素子の画素数が４倍に増加されることになる。

【００１０】そして、従来の電子スチルカメラにおいて
は、補間処理回路で上述のような補間処理が行われて、
データ数が増加された画素データが内蔵のフレームメモ
リに記憶されるようになっている。

【００１１】そしてこのフレームメモリに記憶された画
素データを保存しておくために、外部記憶装置として
の、いわゆるＲＡＭカードなどにデータを転送する際に
は、離散的コサイン変換（以下、必要に応じてＤＣＴ変
換という）後に量子化を行い、その後にハフマン符号化
などを行ってデータを圧縮する処理を行う。そして、Ｒ
ＡＭカードに、データ圧縮された画像データが記憶され
るようにしている。

【００１２】

【発明が解決しようとする課題】しかしながら、上記し
た従来の電子スチルカメラなどの撮像処理装置では、画
素データを記憶するフレームメモリのメモリ容量が、空
間画素ずらしを行わない場合に比較して４倍に増えてし
まうという問題があった。また、補間処理をしてから画
像データの圧縮処理をしているので、画像データの圧縮
処理に要する時間が、補間処理をしない場合に比較して
４倍の時間を必要とする問題もあった。

【００１３】本発明はこのような課題に鑑みてなされた
ものであり、空間画素ずらしを行っても、フレームメモ
リのメモリ容量が増加せず、圧縮に要する時間も増加し
ない撮像信号処理装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】第１の本発明は、例え
ば、図１に示すように、画素が縦横に並べられた緑色
（Ｇ）用撮像素子１２と、このＧ用撮像素子１２を構成
する画素に対して垂直方向および水平方向に１／２画素
分空間的にずらされて配された画素を有する赤色（Ｒ）
用および青色（Ｂ）用撮像素子１１，１３と、これら
Ｒ，Ｇ，Ｂ用各撮像素子１１〜１３の出力信号Ｒ１，Ｇ
１，Ｂ１をそれぞれデジタル化して原色信号Ｒ２，Ｇ
２，Ｂ２に変換する信号処理回路１５と、原色信号Ｒ
２，Ｇ２，Ｂ２を記憶するフレームメモリ１６と、フレ
ームメモリ１６から原色信号Ｒ２，Ｇ２，Ｂ２を読みだ
して画素補間処理を行い補間後原色信号Ｒ３，Ｇ３，Ｂ
３を形成する補間回路１８とを備え、補間回路１８は、
供給される原色信号Ｒ２，Ｇ２，Ｂ２を低域原色信号Ｒ
２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，
Ｂ２Ｈとに分け、そのうち、高域原色信号Ｒ２Ｈ，Ｇ２
Ｈ，Ｂ２Ｈを輝度信号の高域信号とみなして、その高域
信号の画素補間処理を行って輝度信号の高域信号Ｙ２Ｈ
の画素数を増加するとともに、低域原色信号Ｒ２Ｌ，Ｇ
２Ｌ，Ｂ２Ｌ間で画素補間処理を行って低域原色信号の
画素数を増加した後、これら画素数の増加された低域原
色信号と上記画素数の増加された輝度信号の高域信号と
を対応する画素毎に所定演算して補間後原色信号Ｒ３，
Ｇ３，Ｂ３を形成するようにしたものである。

【００１５】第２の本発明は、例えば、図５に示すよう
に、画素が縦横に並べられた緑色（Ｇ）用撮像素子１２
と、このＧ用撮像素子１２を構成する画素に対して垂直
方向および水平方向に１／２画素分空間的にずらされて
配された画素を有する赤色（Ｒ）用および青色（Ｂ）用
撮像素子１１，１３と、これらＲ，Ｇ，Ｂ用各撮像素子
１１〜１３の出力信号をそれぞれデジタル化して原色信
号に変換する信号処理回路１５と、原色信号Ｒ２，Ｇ
２，Ｂ２を記憶するフレームメモリ１６と、フレームメ
モリ１６に記憶された原色信号Ｒ２，Ｇ２，Ｂ２を少な
くとも離散的コサイン変換処理を含む圧縮処理をして圧
縮後原色信号Ｄａに変換する圧縮処理回路６１と、この
圧縮後原色信号Ｄａを記憶する記憶媒体６２と、記憶媒
体６２から圧縮後原色信号Ｄａを読みだして少なくとも
逆離散的コサイン変換処理を含む伸張処理をして原色信
号Ｒ２，Ｇ２，Ｂ２に対応する低域原色信号Ｒ２Ｌ，Ｇ
２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈと
に変換する伸張処理回路６３と、低域原色信号Ｒ２Ｌ，
Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈ
とが供給されて、補間後原色信号Ｒ３，Ｇ３，Ｂ３を形
成する補間回路６４とを備え、補間回路６４は、低域原
色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，
Ｇ２Ｈ，Ｂ２Ｈのうち、高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，
Ｂ２Ｈを輝度信号の高域信号とみなして、その高域信号
の画素補間処理を行って輝度信号の高域信号Ｙ２Ｈの画
素数を増加するとともに、低域原色信号Ｒ２Ｌ，Ｇ２
Ｌ，Ｂ２Ｌ間で画素補間処理を行って低域原色信号Ｒ２
Ｌ，Ｇ２Ｌ，Ｂ２Ｌの画素数を増加した後、これら画素
数の増加された低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと
画素数の増加された輝度信号の高域信号Ｙ２Ｈとを対応
する画素毎に所定演算して補間後原色信号Ｒ３，Ｇ３，
Ｂ３を形成するようにしたものである。

【００１６】第３の本発明は、画素数の増加された輝度
信号の高域信号Ｙ２Ｈが、高域原色信号Ｒ２Ｈ，Ｇ２
Ｈ，Ｂ２Ｈのうち、高域原色信号Ｇ２Ｈおよび高域原色
信号Ｒ２Ｈから形成されるようにしたものである。

【００１７】第４の本発明は、記憶媒体をカード状記憶
媒体６２にしたものである。

【００１８】

【作用】第１の本発明によれば、空間画素ずらしが採用
されたＲ，Ｇ，Ｂ用撮像素子１１〜１３の出力信号Ｒ
１，Ｇ１，Ｂ１のデジタル化された原色信号Ｒ２，Ｇ
２，Ｂ２が、フレームメモリ１６に補間前に記憶され
る。フレームメモリ１６から読みだされた原色信号Ｒ
２，Ｇ２，Ｂ２は、補間回路１８において、低域原色信
号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２
Ｈ，Ｂ２Ｈとに分けられ、そのうち、高域原色信号Ｒ２
Ｈ，Ｇ２Ｈ，Ｂ２Ｈが輝度信号の高域信号とみなされ
て、その高域信号の画素補間処理が行なわれて輝度信号
の高域信号Ｙ２Ｈの画素数が増加されるとともに、低域
原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ間で画素補間処理が行
われて低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの画素数が
増加された後、これら画素数の増加された低域原色信号
Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと画素数が増加された輝度信号
の高域信号Ｙ２Ｈとが対応する画素毎に所定演算されて
補間後原色信号Ｒ３，Ｇ３，Ｂ３が形成される。

【００１９】このため、補間してからフレームメモリに
記憶する従来の技術に比較してフレームメモリのメモリ
容量が少なくなる。具体的には、画素ずらしを行わない
場合のメモリ容量でよくなる。また、補間後の原色信号
により表される画像の高解像度化が図れる。

【００２０】第２の本発明によれば、空間画素ずらしが
採用されたＲ，Ｇ，Ｂ用撮像素子１１〜１３の出力信号
Ｒ１，Ｇ１，Ｂ１のデジタル化された原色信号Ｒ２，Ｇ
２，Ｂ２が、フレームメモリ１６に補間前に記憶され
る。フレームメモリ１６から読みだされた原色信号Ｒ
２，Ｇ２，Ｂ２に対して、圧縮処理回路６１において、
少なくとも離散的コサイン変換処理を含む圧縮処理が行
われて、その圧縮後原色信号Ｄａが記憶媒体６２に記憶
される。そして、伸張回路６３により、記憶媒体６２か
ら読みだされた圧縮後原色信号Ｄａに対して少なくとも
逆離散的コサイン変換処理を含む伸張処理がなされて原
色信号Ｒ２，Ｇ２，Ｂ２に対応する低域原色信号Ｒ２
Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ
２Ｈとが形成される。補間回路６４において、低域原色
信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｂ
２Ｈ，Ｇ２Ｈのうち、高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ
２Ｈが輝度信号の高域信号Ｙ２Ｈとみなされて、その高
域信号Ｙ２Ｈの画素補間処理が行なわれて輝度信号の高
域信号Ｙ２Ｈの画素数が増加されるとともに、低域原色
信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ間で画素補間処理が行われ
て低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの画素数が増加
された後、これら画素数の増加された低域原色信号Ｒ２
Ｌ，Ｇ２Ｌ，Ｂ２Ｌと画素数が増加された輝度信号の高
域信号Ｙ２Ｈとが対応する画素毎に所定演算されて補間
後原色信号Ｒ３，Ｇ３，Ｂ３が形成されるようにしてい
る。

【００２１】このため、補間した後フレームメモリに記
憶する従来の技術に比較してフレームメモリのメモリ容
量が少なくなる。具体的には、画素ずらしを行わない場
合のメモリ容量でよくなる。その上、補間処理の前に圧
縮処理を行っているので、補間した後、圧縮処理を行う
従来の技術に比較して圧縮処理時間が増加しない。ま
た、圧縮後の原色信号を記憶媒体に記憶するようにして
いるので、記憶媒体のメモリ容量が少なくてすむ。さら
に、圧縮データの伸張を行うときに、高域原色信号と低
域原色信号とに分離しているので、分離のため個別の低
域通過フィルタや高域通過フィルタを必要としない。さ
らにまた、補間後の原色信号により表される画像の高解
像度化が図れる。

【００２２】第３の本発明によれば、第１または第２の
本発明において、上記画素数の増加された輝度信号の高
域信号が、上記高域原色信号のうち、Ｇの高域原色信号
およびＲの高域原色信号から形成されるようにしてい
る。このため、補間処理が比較的簡単になる。

【００２３】第４の本発明によれば、第２または第３の
本発明において、上記記憶媒体をカード状記憶媒体とし
たものである。このため、取扱いが容易になる。

【００２４】

【実施例】以下、本発明撮像処理装置の一実施例につい
て図面を参照して説明する。なお、以下に参照する図面
において、上記の図７に示したものに対応するものには
同一の符号をつけている。

【００２５】図１は、本発明の一実施例の撮像処理装置
の概略的な構成を示している。

【００２６】図１において、レンズ１０に入射された画
像情報を有する光が、図示しないプリズムによって分解
され、それぞれ、ＣＣＤ撮像素子などである赤色チャン
ネル用撮像素子（以下、Ｒ用撮像素子という）１１、緑
色チャンネル用撮像素子（以下、Ｇ用撮像素子という）
１２、および青色チャンネル用撮像素子（以下、Ｂ用撮
像素子という）１３に入射される。

【００２７】Ｒ，Ｇ，Ｂ用各撮像素子１１〜１３は、そ
れぞれ、例えば、画素が縦横に並べられて配置された構
成になっており、Ｇ用撮像素子１２を構成する各画素が
Ｒ用およびＢ用撮像素子１１，１３を構成する各画素に
対して縦方向と横方向にそれぞれ空間的に１／２画素分
ずらされて配置されている。

【００２８】Ｒ，Ｇ，Ｂ用各撮像素子１１〜１３の出力
信号である撮像信号Ｒ１，Ｇ１，Ｂ１は、周知の撮像信
号処理回路１５に供給される。この撮像信号処理回路１
５において、γ補正処理などの周知の信号処理が行われ
るとともに、Ａ／Ｄ変換回路（図示していない）により
デジタル信号に変換され、そのデジタル信号である原色
信号Ｒ２，Ｇ２，Ｂ２がフレームメモリ１６に記憶され
る。なお、フレームメモリ１６には、リアルタイムで原
色信号Ｒ２，Ｇ２，Ｂ２が取り込まれる。

【００２９】フレームメモリ１６から出力される原色信
号Ｒ２，Ｇ２，Ｂ２は、補間回路１８を構成する低域高
域分離処理回路２０に供給される。

【００３０】補間回路１８は、この低域高域分離処理回
路２０の他に、フレームメモリ２３〜２８、合成回路３
０、加算回路３１〜３３および係数回路３５〜３７を有
している。

【００３１】図２は、低域高域分離処理回路２０の動作
を示している。

【００３２】まず、図２Ａに示すように、原色信号Ｇ２
の画素のうち８×８画素データの画素データブロック５
０毎にＤＣＴ変換処理を行い、図２Ｂに示すように、直
流から高周波までの係数データブロック５２を得る。図
２Ａにおいて、画素データをすべてレベル「Ｇ」で表し
ているが、そのレベルは、必ずしも同一ではない（通常
は、被写体に応じて全部異なっている）。繁雑さを回避
するために同一の文字で表している。同様に図２Ｂにお
いて、個々の周波数毎にレベル「Ｆ」で表しているがこ
れも通常、同一の値ではない。

【００３３】周知のように、図２Ｂ中、左上隅のデータ
は、直流の係数データであり、右下隅のデータは、最高
周波数の係数データである。矢印Ｐ方向が直流ｄｃから
最高周波数ｆ_maxに向かう方向である。

【００３４】ここで、原色信号Ｇ２を空間周波数の低域
成分の原色信号（以下、必要に応じて低域原色信号とい
う）Ｇ２Ｌ（図２Ｅ参照）に変換するために、図２Ｃに
示すように、直流の係数データを含む左上側半分のデー
タをレベル「０（ゼロ）」に置換して係数データブロッ
ク５３を作成する。その後、逆離散的コサイン変換（Ｉ
ＤＣＴ）を行うことで、図２Ｅに示すように、８×８画
素データ分の画素データブロック５０（図２Ａ参照）に
対応した低域原色信号Ｇ２Ｌの画素データブロック５４
が得られる。

【００３５】一方、原色信号Ｇ２を空間周波数の高域成
分の原色信号（以下、必要に応じて高域原色信号とい
う）Ｇ２Ｈ（図２Ｆ参照）に変換するために、図２Ｄに
示すように、画素データブロック５２（図２Ｂ参照）の
うち、最高周波数の係数データを含む右下側半分のデー
タをレベル「０（ゼロ）」に置換して係数データブロッ
ク５５を作成する。その後、逆離散的コサイン変換（Ｉ
ＤＣＴ）を行うことで、図２Ｆに示すように、８×８画
素データ分の画素データブロック５０（図２Ａ参照）に
対応した高域原色信号Ｇ２Ｈの画素データブロック５６
が得られる。

【００３６】このようにして、８×８の画素データ以外
の残りの画素データについても低域高域分離処理が行わ
れる。

【００３７】同様に、原色信号Ｇ２以外の他の原色信号
Ｒ２，Ｂ２についても低域原色信号Ｒ２Ｌ，Ｂ２Ｌと高
域原色信号Ｒ２Ｈ，Ｂ２Ｈに分離する。

【００３８】このようにして分離された低域原色信号Ｒ
２Ｌ，Ｇ２Ｌ，Ｂ２Ｌおよび高域原色信号Ｒ２Ｈ，Ｇ２
Ｈ，Ｂ２Ｈは、それぞれフレームメモリ２３〜２８に記
憶される。

【００３９】フレームメモリ２３〜２８に記憶されてい
る低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ（画素データの
レベルは、それぞれ、「ＲＬ」、「ＧＬ」、「ＢＬ」で
表している）と高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈ
（画素データのレベルＲは、それぞれ、「ＲＨ」、「Ｇ
Ｈ」、「ＢＨ」で表している）の仮想画面１（１ａ〜１
ｆ）上の配置を図３Ａ〜図３Ｅに対応して示す。なお、
繁雑を避けるために、それぞれ、４×４画素データ分の
みを描いている。

【００４０】低域原色信号ＧＬ２および高域原色信号Ｇ
Ｈ２の画素データの位置に対して低域原色信号Ｒ２Ｌ，
Ｂ２Ｌおよび高域原色信号Ｒ２Ｈ，Ｂ２Ｈの画素データ
位置は、１／２画素（ピッチ）分縦横にずれていること
が分かる。

【００４１】そこで、仮想画面１ａ〜１ｆ内における全
画素部分の画素データを補間処理の一例によって作成す
る動作について次に説明する。

【００４２】この場合、まず、高域原色信号Ｒ２Ｈ，Ｇ
２Ｈ，Ｂ２Ｈは、それぞれ、輝度信号の高域成分（高域
信号）とみなす。その理由は、人間の目の特性が、空間
周波数の高い成分は色の判別が難しいという性質に基づ
くものである。

【００４３】図３Ｄ〜図３Ｆに示す高域原色信号Ｒ２
Ｈ，Ｇ２Ｈ，Ｂ２Ｈを１つの仮想画面１ｇ上に重ねて描
くと図４Ａに示すように表される。

【００４４】フレームメモリ２６〜２８から読みだされ
た高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈの画素データ
は、合成回路３０で、縦、横に補間が行われて、図４Ｂ
に示すように、画素数が倍の高域信号（高域成分）のレ
ベルが「ＹＨ」からなる輝度信号（以下、必要に応じて
輝度信号の高域信号という）Ｙ２Ｈが得られる。

【００４５】高域信号のレベル「ＹＨ」は、例えば、数
１または数２に基づいて形成される。

【００４６】

【数２】ＹＨ１＝０．５ＧＨ＋０．３５ＲＨ＋０．１５ＢＨ

【００４７】

【数３】ＹＨ２＝０．５ＧＨ＋０．５ＲＨ

【００４８】数１の場合には、Ｒ，Ｇ，Ｂの３原色画素
データから輝度信号Ｙ２Ｈの各画素データのレベルＹＨ
１を形成した場合であり、数２の場合には、人間の目の
感度に比較的高く感じられるＲ，Ｇの２色の原色データ
から輝度信号Ｙ２Ｈの各画素データのレベルＹＨ２を形
成した場合である。実用上、数２を用いることで十分な
場合が多い。その場合には、図１中、フレームメモリ２
８は不要であり、合成回路３０における計算時間も短く
なり、その分、合成回路３０のハードウェアおよび（ま
たは）ソフトウェアが簡単になる。数１を用いた場合に
は、色をより忠実に再現することができる。

【００４９】このようにして補間されて得られた輝度信
号Ｙ２Ｈの画素データが、合成回路３０から係数回路３
５〜３７を介して加算回路３１〜３３の他方の入力端子
に順次供給さる。

【００５０】一方、加算回路３１〜３３の一方の入力端
子には、輝度信号Ｙ２Ｈの画素数（図４Ｂ参照）に合わ
せるため、フレームメモリ２３〜２５のそれぞれから、
低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの各画素データに
ついて、それぞれ縦、横２回ずつ同一の画素データが読
みだされて供給される。

【００５１】そして、加算回路３１〜３３によって、そ
れぞれ、仮想画面上、同画素位置の画素データのレベル
が加算されることで、補間処理後の原色信号（補間後原
色信号）Ｒ３，Ｇ３，Ｂ３が加算回路３１〜３３の出力
側に得られる。

【００５２】補間後原色信号Ｒ３，Ｇ３，Ｂ３の各画素
データのレベルは、数３に示すように表される。

【００５３】

【数４】Ｒ３＝ＲＬ＋０．３０ＹＨＧ３＝ＧＬ＋０．５９ＹＨＢ３＝ＢＬ＋０．１１ＹＨ

【００５４】これらのデジタル信号である補間後原色信
号Ｒ３，Ｇ３，Ｂ３をＤ／Ａ変換回路４１〜４３でアナ
ログ信号である補間後原色信号Ｒ４，Ｇ４，Ｂ４に変換
し、出力端子４４〜４６を通じて図示しないモニタに供
給することで、フレームメモリ１６に記録された原色信
号Ｒ２，Ｇ２，Ｂ２が補間されて高解像度化された補間
後原色信号Ｒ３，Ｇ３，Ｂ３（Ｒ４，Ｇ４，Ｂ４）に基
づいてモニタ上に静止画が表示される。

【００５５】上記した図１例の実施例によれば、空間画
素ずらしが採用されたＲ，Ｇ，Ｂ用撮像素子１１〜１３
の撮像信号Ｒ１，ＧＧ１，Ｂ１のデジタル化された原色
信号Ｒ２，Ｇ２，Ｂ２が、フレームメモリ１６に補間前
に記憶される。フレームメモリ１６から読みだされた原
色信号Ｒ２，Ｇ２，Ｂ２は、補間回路１８を構成する低
域高域分離処理回路２０において、低域原色信号Ｒ２
Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ
２Ｈとに分けられる。そのうち、高域原色信号Ｒ２Ｈ，
Ｇ２Ｈ，Ｂ２Ｈが輝度信号の高域信号Ｙ２Ｈとみなされ
て、その高域信号Ｙ２Ｈの画素補間処理が行なわれて輝
度信号の高域信号Ｙ２Ｈの画素数が増加されるととも
に、低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ間で画素補間
処理が行われて低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌの
画素数が増加された後、これら画素数の増加された低域
原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと画素数が増加された
輝度信号の高域信号Ｙ２Ｈとが対応する画素毎に加算さ
れて補間後原色信号Ｒ３，Ｇ３，Ｂ３が形成されるよう
にしている。

【００５６】このため、補間してからフレームメモリ１
６に記憶する従来の技術に比較してフレームメモリのメ
モリ容量が少なくなる。具体的には、画素ずらしを行わ
ない場合のメモリ容量でよくなる。また、補間後の原色
信号により表される画像の高解像度化が図れるという効
果が得られる。

【００５７】図５は、他の実施例の構成を示している。
なお、図５例において、図１例に対応するものには同一
の符号を付けその詳細な説明は省略する。なお、この図
５例は、取り外し可能なメモリカードを内蔵する電子ス
チルカメラに適用した例であり、図５Ａに示す記録系と
図５Ｂに示す再生系とを備えている。再生系は、その電
子スチルカメラから分離してもよい。

【００５８】この図５例においては、図１例に比較し
て、フレームメモリ１６とフレームメモリ２３〜２８と
の間に圧縮処理回路６１、メモリカード６２および伸張
回路６３が挿入されている。なお、図１例中の低域高域
分離回路２０はその一部が伸張回路６３に含まれてい
る。また、図５例において、補間回路６４は、フレーム
メモリ２３〜２８と、合成回路３０と、加算回路３１〜
３３と、係数回路３５〜３７とで構成される。

【００５９】図５において、フレームメモリ１６から出
力される原色信号Ｒ２，Ｇ２，Ｂ２は、圧縮処理回路６
１に供給される。

【００６０】圧縮処理回路６１では、周知の離散的コサ
イン変換（ＤＣＴ）処理、量子化処理、およびハフマン
符号化処理を行って画像データである原色信号Ｒ２，Ｇ
２，Ｂ２を圧縮処理し、圧縮処理後のデジタル信号Ｄａ
をカード状記憶媒体であるＳＲＡＭ集積回路を有するメ
モリカード６２に供給する。この圧縮処理は、いわゆる
ＪＰＥＧ方式の圧縮方式である。なお、メモリカード６
２に代替して、ＥＡＲＯＭ、ＥＥＰＲＯＭ、フロッピィ
ディスク、光磁気ディスクまたはハードディスクなどで
もよい。メモリカード６２を採用した場合には、取扱い
が容易である。

【００６１】メモリカード６２に記憶されたデジタル信
号Ｄａは、伸張処理回路６３により伸張処理されてデジ
タル信号Ｄｂとして出力される。このデジタル信号Ｄｂ
は、上記した低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高
域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈとから構成されてい
る。すなわち、伸張処理回路６３では、周知のハフマン
複号化過程と逆量子化過程とが行われた後、図２Ａ〜図
２Ｆに示す低域高域分離処理過程が行われる。

【００６２】その後の補間回路６４によるデータ処理
は、図１例と同様であるので省略する。なお、合成回路
３０で上述の数２に示す処理を行うようにすることによ
りフレームメモリ２８を省略できることも同様である。

【００６３】このように、図２例によれば、空間画素ず
らしが採用されたＲ，Ｇ，Ｂ用撮像素子１１〜１３の撮
像信号Ｒ１，Ｇ１，Ｂ１のデジタル化された原色信号Ｒ
２，Ｇ２，Ｂ２が、フレームメモリ１６に補間処理前に
記憶される。フレームメモリ１６から読みだされた原色
信号Ｒ２，Ｇ２，Ｂ２に対して、圧縮処理回路６１にお
いて、少なくとも離散的コサイン変換処理を含む圧縮処
理が行われて、その圧縮後原色信号であるデジタル信号
Ｄａがメモリカード６２に記憶される。そして、伸張回
路６３により、メモリカード６２から読みだされた圧縮
後原色信号であるデジタル信号Ｄａに対して少なくとも
逆離散的コサイン変換処理を含む伸張処理がなされてデ
ジタル信号Ｄａに対応する原色信号であるデジタル信号
Ｄｂが形成される。

【００６４】このデジタル信号Ｄｂは、低域原色信号Ｒ
２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，
Ｂ２Ｈとを有している。そして、補間回路６４におい
て、低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと高域原色信
号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈとに分けられ、そのうち、高
域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈが輝度信号の高域信
号とみなされて、その高域信号の画素補間処理が行なわ
れて輝度信号の高域信号の画素数が増加されるととも
に、上記低域原色信号間で画素補間処理が行われて低域
原色信号の画素数が増加された後、これら画素数の増加
された低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌと上記画素
数が増加された輝度信号の高域信号Ｙ２Ｈとが対応する
画素毎に加算されて補間後原色信号Ｒ３，Ｇ３，Ｂ３が
形成されるようにしている。

【００６５】このため、補間した後にフレームメモリに
記憶する従来の技術に比較してフレームメモリ１６のメ
モリ容量が少なくなる。具体的には、画素ずらしを行わ
ない場合のメモリ容量でよくなる。その上、補間処理の
前に圧縮処理を行っているので、補間した後、圧縮処理
を行う従来の技術に比較して圧縮処理時間が増加しない
（もし、補間処理をしてから圧縮処理を行うと、補間処
理を行わない場合に比較して４倍の圧縮処理時間が必要
になる）。また、圧縮後の原色信号をメモリカード３に
記憶するようにしているので、メモリカード３のメモリ
容量が少なくてすむ。さらに、圧縮データの伸張を行う
ときに、高域原色信号Ｒ２Ｈ，Ｇ２Ｈ，Ｂ２Ｈと低域原
色信号Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌとに分離しているので、
分離のため個別の低域通過フィルタや高域通過フィルタ
を必要としない。さらにまた、補間後の原色信号により
表される画像の高解像度化が図れる。

【００６６】図６は、図５Ｂに示す再生系の他の実施例
（ＰＡＬ方式再生系）の構成を示している。この図６に
おいて、図５Ｂに示すものと対応するものには同一の符
号を付けてその詳細な説明を省略する。

【００６７】図６に示す再生系では、補間回路６７を構
成する合成回路６５で、低域原色信号Ｒ２Ｌ，Ｇ２Ｌ，
Ｂ２Ｌから、補間処理後のＰＡＬ方式の色差信号Ｖ１，
Ｕ１および輝度信号の低域信号Ｙ１Ｌが形成される。加
算回路６６で輝度信号の低域信号Ｙ１Ｌと輝度信号の高
域信号Ｙ２Ｈとが加算されて輝度信号Ｙ１が形成され
る。

【００６８】これらのアナログ信号である色差信号Ｖ
１，Ｕ１および輝度信号Ｙ１とがＤ／Ａ変換回路４１〜
４３でデジタル信号である色差信号Ｖ２，Ｕ２および輝
度信号Ｙ２が形成される。なお、図６に示したＰＡＬ方
式の補間回路６７（フレームメモリ２３〜２８、合成回
路３０、６５および加算回路６６）は、図１例の補間回
路１８（低域高域分離回路２０を除く）に代替すること
もできる。

【００６９】また、本発明は上記の実施例に限らず本発
明の要旨を逸脱することなく種々の構成を採り得ること
はもちろんである。

【００７０】

【発明の効果】以上説明したように、第１の本発明によ
れば、空間画素ずらしが採用されたＲ，Ｇ，Ｂ用撮像素
子の出力信号のデジタル化された原色信号が、フレーム
メモリに補間前に記憶される。フレームメモリから読み
だされた原色信号は、補間回路において、低域原色信号
と高域原色信号とに分けられ、そのうち、高域原色信号
が輝度信号の高域信号とみなされて、その高域信号の画
素補間処理が行なわれて輝度信号の高域信号の画素数が
増加されるとともに、上記低域原色信号間で画素補間処
理が行われて低域原色信号の画素数が増加された後、こ
れら画素数の増加された低域原色信号と上記画素数が増
加された輝度信号の高域信号とが対応する画素毎に所定
演算されて補間後原色信号が形成されるようにしてい
る。

【００７１】このため、補間してからフレームメモリに
記憶する従来の技術に比較してフレームメモリのメモリ
容量が少なくなるという効果が得られる。具体的には、
画素ずらしを行わない場合のメモリ容量でよくなるとい
う効果が得られる。また、補間後の原色信号により表さ
れる画像の高解像度化が図れるという効果が得られる。

【００７２】第２の本発明によれば、空間画素ずらしが
採用されたＲ，Ｇ，Ｂ用撮像素子の出力信号のデジタル
化された原色信号が、フレームメモリに補間前に記憶さ
れる。フレームメモリから読みだされた原色信号に対し
て、圧縮処理回路において、少なくとも離散的コサイン
変換処理を含む圧縮処理が行われて、その圧縮後原色信
号が記憶媒体に記憶される。そして、伸張回路により、
上記記憶媒体から読みだされた圧縮後原色信号に対して
少なくとも逆離散的コサイン変換処理を含む伸張処理が
なされて上記原色信号に対応する低域原色信号と高域原
色信号とが形成される。補間回路において、上記低域原
色信号と高域原色信号のうち、高域原色信号が輝度信号
の高域信号とみなされて、その高域信号の画素補間処理
が行なわれて輝度信号の高域信号の画素数が増加される
とともに、上記低域原色信号間で画素補間処理が行われ
て低域原色信号の画素数が増加された後、これら画素数
の増加された低域原色信号と上記画素数が増加された輝
度信号の高域信号とが対応する画素毎に加算されて補間
後原色信号が形成されるようにしている。

【００７３】このため、補間した後にフレームメモリに
記憶する従来の技術に比較してフレームメモリのメモリ
容量が少なくなるという効果が得られる。具体的には、
画素ずらしを行わない場合のメモリ容量でよくなる。そ
の上、補間処理の前に圧縮処理を行っているので、補間
した後、圧縮処理を行う従来の技術に比較して圧縮処理
時間が増加しないという利点を有する。また、圧縮後の
原色信号を記憶媒体に記憶するようにしているので、記
憶媒体のメモリ容量が少なくてすむという効果が得られ
る。さらに、圧縮データの伸張を行うときに、高域原色
信号と低域原色信号とに分離しているので、分離のため
個別の低域通過フィルタや高域通過フィルタを必要とし
ないという効果が得られる。さらにまた、補間後の原色
信号により表される画像の高解像度化が図れるという効
果が得られる。

【００７４】第３の本発明によれば、第１または第２の
本発明において、上記画素数の増加された輝度信号の高
域信号が、上記高域原色信号のうち、Ｇの高域原色信号
およびＲの高域原色信号から形成されるようにしてい
る。このため、補間処理が比較的に簡単になるという効
果が得られる。

【００７５】第４の本発明によれば、第２または第３の
本発明において、上記記憶媒体をカード状記憶媒体とし
たものである。このため、取扱いが容易になるという効
果が得られる。

【図面の簡単な説明】

【図１】本発明撮像処理装置の一実施例の構成を示す線
図である。

【図２】図１例中の低域高域分離処理回路の動作説明に
供される線図である。

【図３】図１例中の補間回路の動作説明に供される線図
である。

【図４】図１例中の補間回路の動作説明に供される線図
である。

【図５】本発明撮像装置の他の実施例の構成を示す線図
である。

【図６】図５中の再生系の他の例の構成を示す線図であ
る。

【図７】従来の技術の動作説明に供される線図である。

【符号の説明】

１１〜１３Ｒ，Ｇ，Ｂ用各撮像素子、Ｒ２，Ｇ２，Ｂ２原色信号１６，２３〜２８フレームメモリ１８，６４補間回路２０低域高域分離処理回路Ｒ２Ｌ，Ｇ２Ｌ，Ｂ２Ｌ低域原色信号Ｙ２Ｈ輝度信号の高域信号Ｒ３，Ｇ３，Ｂ３補間後原色信号

Claims

【特許請求の範囲】

【請求項１】画素が縦横に並べられた緑色（Ｇ）用撮
像素子と、このＧ用撮像素子を構成する画素に対して垂直方向およ
び水平方向に１／２画素分空間的にずらされて配された
画素を有する赤色（Ｒ）用および青色（Ｂ）用撮像素子
と、これらＲ，Ｇ，Ｂ用各撮像素子の出力信号をそれぞれデ
ジタル化して原色信号に変換する信号処理回路と、上記原色信号を記憶するフレームメモリと、上記フレームメモリから上記原色信号を読みだして画素
補間処理を行い補間後原色信号を形成する補間回路とを
備え、上記補間回路は、供給される上記原色信号を低域原色信
号と高域原色信号とに分け、そのうち、高域原色信号を
輝度信号の高域信号とみなして、その高域信号の画素補
間処理を行って輝度信号の高域信号の画素数を増加する
とともに、上記低域原色信号間で画素補間処理を行って
低域原色信号の画素数を増加した後、これら画素数の増
加された低域原色信号と上記画素数の増加された輝度信
号の高域信号とを対応する画素毎に所定演算して上記補
間後原色信号を形成するようにしたことを特徴とする撮
像信号処理装置。
【請求項２】画素が縦横に並べられた緑色（Ｇ）用撮
像素子と、このＧ用撮像素子を構成する画素に対して垂直方向およ
び水平方向に１／２画素分空間的にずらされて配された
画素を有する赤色（Ｒ）用および青色（Ｂ）用撮像素子
と、これらＲ，Ｇ，Ｂ用各撮像素子の出力信号をそれぞれデ
ジタル化して原色信号に変換する信号処理回路と、上記原色信号を記憶するフレームメモリと、上記フレームメモリに記憶された原色信号を少なくとも
離散的コサイン変換処理を含む圧縮処理をして圧縮後原
色信号に変換する圧縮処理回路と、この圧縮後原色信号を記憶する記憶媒体と、上記記憶媒体から圧縮後原色信号を読みだして少なくと
も逆離散的コサイン変換処理を含む伸張処理をして上記
原色信号に対応する低域原色信号と高域原色信号とに変
換する伸張処理回路と、上記低域原色信号と高域原色信号とが供給されて、補間
後原色信号を形成する補間回路とを備え、上記補間回路は、上記低域原色信号と高域原色信号のう
ち、高域原色信号を輝度信号の高域信号とみなして、そ
の高域信号の画素補間処理を行って輝度信号の高域信号
の画素数を増加するとともに、上記低域原色信号間で画
素補間処理を行って低域原色信号の画素数を増加した
後、これら画素数の増加された低域原色信号と上記画素
数の増加された輝度信号の高域信号とを対応する画素毎
に所定演算して上記補間後原色信号を形成するようにし
たことを特徴とする撮像信号処理装置。
【請求項３】上記画素数の増加された輝度信号の高域
信号が、上記高域原色信号のうち、Ｇの高域原色信号お
よびＲの高域原色信号から形成されるようにしたことを
特徴とする請求項１または請求項２記載の撮像信号処理
装置。
【請求項４】上記記憶媒体がカード状記憶媒体である
ことを特徴とする請求項１〜請求項３のいずれかに記載
の撮像信号処理装置。