JP2002209100A

JP2002209100A - 画像処理装置および画像処理方法

Info

Publication number: JP2002209100A
Application number: JP2001003471A
Authority: JP
Inventors: Masaru Osada; 勝長田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2001-01-11
Filing date: 2001-01-11
Publication date: 2002-07-26

Abstract

(57)【要約】【課題】画像サイズを縮小させても高画質を維持する
ことのできるいわゆるハニカム配列固有の画像処理装置
および画像処理方法の提供。【解決手段】ディジタルカメラ10は、G 正方格子RB完
全市松パターンに対応した画素データを信号処理部30に
入力し、信号処理部30の縮小補正部46で対象画素を実在
画素または仮想画素にして所望の色の画素データを生成
して対象画素の画素データを周囲の画素データの代表値
として用い、全体的に用いる各色の画素数を減少させな
がらも構造的な画像を構成する緑色の画素配置を考慮し
て求めて本来の空間周波数分布と同じにして、さらに広
帯域化処理部30c では縮小補正部46で得られた画素デー
タに周波数的な広帯域化の処理を施して得られる画像の
画質を保たせている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、特に、たとえば数百万以上の画
素データを入力し、この得られた画素データに対して画
像処理を施し、そして出力するディジタルカメラ等の画
像入力装置やプリンタ等の画像出力装置に適用して好適
なものである。

【０００２】

【従来の技術】民生市場で高画素なディジタルスチルカ
メラは、2000年現在において撮像素子を画素数として現
在100 万ないし600 万画素で撮像するように構成されて
いる場合が多い。現状において撮像して得られる画像
は、最大サイズで概ね上述した画素数で表現される。ま
た、撮像した画素データを用いて画素間の画素データを
補間することにより実際の撮像素子の画素数以上の画素
数が出力され、得られる画像の解像度を高めたカメラも
ある。

【０００３】これらが示すように画素数の増加は、たと
えば最終出力形態の一つである写真印刷における解像度
の向上を目的に設計されている。

【０００４】また、得られた画像を装置に表示させる場
合、表示装置は実際にはこれほど多数の画素数を表示す
る構成になっていない場合が多いので全画像を表示でき
ないことがある。画像全体を表示させるためには画像を
縮小表示させたり、メディア記録時に縮小することもあ
る。

【０００５】画像を縮小するには得られた画像データを
信号処理により減少させる方法と撮像部からの読出し段
階で加算混合または間引き読出しを行う方法との２通り
の方法がある。後者の方法はたとえば自動処理系で行わ
れる自動焦点調節（AF: Automatic Focusing contro
l）、および自動露出調節（AE: Automatic Exposure co
ntrol）や動画表示させるムービモード等の高速読出し
が要求される場合に用いられる。

【０００６】

【発明が解決しようとする課題】ところで、上述した２
つの画像縮小方法は、本来、生成された画像が有する品
質に比べて画質を低下させる場合がある。しかしなが
ら、いわゆるハニカム配列の特徴を生かして画像縮小さ
せた際に良好な画質を得る方法があり、標記課題を改善
できる。

【０００７】本発明はこのような従来技術の欠点を解消
し、画像サイズを縮小させても高画質を維持することの
できるいわゆる、ハニカム配列固有の画像処理装置およ
び画像処理方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は上述の課題を解
決するために、色分解された入射光を光電変換する複数
の撮像素子が隣接する撮像素子の幾何学的な中心に対し
て行および／または列方向に半ピッチずらして得られた
各色の画素データを用いて、高画質な画像をもたらす画
像データを生成する画像処理装置において、この装置
は、画素データの色が、２次元的に正方格子状に得られ
る画素データを画像データに含まれる輝度データの生成
に関わる色、この輝度データの生成に関わる色を挟む一
方の対角位置の画素データを輝度データの生成に関わる
色と異なる一方の色として同色または異色、ならびにこ
の輝度データの生成に関わる色を挟む他方の対角位置の
画素データを輝度データの生成に関わる色および一方の
色と異なる他方の色として同色または異色で供給される
画素データを入力して、この供給される画素データを実
在する実在画素からのデータとし、この実在画素で囲ま
れた領域の中央を幾何学的な中心とする仮想画素とし、
供給される画素データのうち、縮小表示に用いる対象画
素を実在画素または仮想画素にしてこの対象画素を囲む
周囲の画素データから所望の色の画素データを生成する
縮小演算処理手段と、この対象画素として得られた画素
データを周波数的に広帯域化する広帯域化手段とを含む
ことを特徴とする。

【０００９】本発明の画像処理装置は、縮小演算処理手
段で対象画素を実在画素または仮想画素にして所望の色
の画素データを生成することにより対象画素の画素デー
タを周囲の画素データの代表値として用いて全体的に用
いる各色の画素数を減少させながらも構造的な画像を構
成する緑色の画素配置を考慮して求め、さらに広帯域化
手段では縮小演算処理手段で得られた画素データに広帯
域化の処理が施されることからより一層の画像の高画質
化が施される。

【００１０】ここで、供給される画素データの色は、具
体的に説明すると、原色系でも補色系でもよい。得られ
る画素データの空間構造は、画素ずらしした、いわゆる
ハニカム構造である。このハニカム構造における個々の
色の空間周波数分布に関わる関係は、まず、画像データ
に含まれる輝度データの生成に関わる色を２次元的に正
方格子状に得られる、緑色、マゼンタ色や白色等にす
る。そして、輝度データの生成に関わる色の画素データ
を挟んで供給される画素データは、原色系および補色系
で用いる２色が市松または完全市松パターンで供給され
る。原色系の場合、たとえば一方の色を赤色とし、他方
の色を青色とする。

【００１１】本発明は上述の課題を解決するために、被
写界からの入射光を３つの色に分解し、得られた３色の
入射光を光電変換する撮像素子が隣接する撮像素子の幾
何学的な中心に対して行および／または列方向に半ピッ
チずらして複数配設され、この撮像素子を実在画素と
し、この撮像素子を用いてこの撮像素子から得られる撮
像信号のそれぞれをディジタルの画素データにして、こ
の実在画素で囲まれた空間を新たに形成する仮想画素と
し、供給される画素データに基づいて演算し各画素に対
応する輝度および色差データを生成する画像処理方法に
おいて、この方法は、画素データの色が、２次元的に正
方格子状に得られる画素データを画像データに含まれる
輝度データの生成に関わる色、この輝度データの生成に
関わる色を挟む一方の対角位置の画素データを輝度デー
タの生成に関わる色と異なる一方の色として同色または
異色、ならびにこの輝度データの生成に関わる色を挟む
他方の対角位置の画素データを輝度データの生成に関わ
る色および一方の色と異なる他方の色として同色または
異色で供給される画素データを用いて、この供給される
画素データを実在する実在画素からのデータとし、この
実在画素で囲まれた領域の中央を幾何学的な中心とする
仮想画素とし、供給される画素データのうち、縮小表示
に用いる対象画素を実在画素または仮想画素にしてこの
対象画素を囲む周囲の画素データから所望の色の画素デ
ータを生成する第１の工程と、この対象画素として得ら
れた画素データを周波数的に広帯域化する第２の工程と
を含むことを特徴とする。

【００１２】本発明の画像処理方法は、正方格子状の配
置を有する画素に輝度データに関わる色を担わせた画素
データを含む画像データを用いて、対象画素を実在画素
または仮想画素にしてこの対象画素を囲む周囲の画素デ
ータから複数の所望の色の画素データを生成し、生成し
た所望の色の画素データに対して周波数的に広帯域化の
処理を施すことにより、対象画素の画素データを周囲の
画素データの代表値とし、全体的に用いる各色の画素数
を減少させながらも画像を構成する際に緑色の画素配置
を考慮して得ることで構造的な画像の高解像度化を図
り、さらに広帯域化手段で得られた画素データに広帯域
化の処理が施されることから画像の高画質化を行う。

【００１３】

【発明の実施の形態】次に添付図面を参照して本発明に
よる画像処理装置の実施例を詳細に説明する。

【００１４】本実施例は、本発明を適用したディジタル
カメラ10について説明する。また、本実施例は、本発明
と直接関係のない部分について図示および説明を省略す
る。ここで、信号の参照符号はその現れる接続線の参照
番号で表す。

【００１５】ディジタルカメラ10には、光学レンズ系1
2、操作部14、システム制御部18、タイミング信号発生
部20、ドライバ部22、メカニカルシャッタ24、撮像部2
6、前処理部28、信号処理部30、圧縮／伸長処理部32、
ストレージ部34、モニタ36、プリンタ38およびI/F 部40
が備えられている。これら各部を順次説明する。

【００１６】光学レンズ系12は、たとえば、複数枚の光
学レンズを組み合わせて構成されている。光学レンズ系
12には、図示しないが、これら光学レンズの配置する位
置を調節して画面の画角を操作部14からの操作信号14a
に応じて調節するズーム機構や被写体とカメラ10との距
離に応じてピント調節する、AF（Automatic Focus ：自
動焦点）調節機構が含まれている。後述するように操作
信号14a は、システムバス16、データバス18a を介して
システム制御部18に供給される。システム制御部18は制
御信号18b をシステムバス16に供給する。制御信号18c
は、システムバス16から制御信号18c としてタイミング
信号発生部20およびドライバ部22に供給される。タイミ
ング信号発生部20およびドライバ部22は供給される制御
信号18cに応じて動作して光学レンズ系12に駆動信号22a
を出力する。

【００１７】操作部14には、図示しないがレリーズシャ
ッタボタンやたとえばモニタ画面に各種の項目を表示さ
せ、表示項目のなかからカーソルを用いて選択する選択
機能等がある。操作部14には、これら各種の機能選択の
うち、静止画・動画設定部が含まれている。静止画・動
画設定部は、設定した結果が別な操作信号として出力し
ている（本実施例では図示せず）。操作部14で選択され
た操作は前述したように操作信号14a がシステムバス16
を介してシステム制御部18に報知される。

【００１８】システム制御部18は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルカメラ10の動作手順
が書き込まれた ROM（Read Only Memory：読み出し専用
メモリ）がある。システム制御部18は、データ信号線18
a を介してたとえば、ユーザの操作に伴って操作部14か
ら供給される情報、すなわち操作信号14a とこの ROMが
有する情報とを用いて各部の動作を制御する制御信号18
b を生成する。システム制御部18は、生成した制御信号
18b をシステムバス16を介して上述した光学レンズ系12
の駆動だけでなく、タイミング信号発生部20、ドライバ
部22に供給するとともに、図示していないが前処理部2
8、信号処理部30、圧縮／伸長処理部32、ストレージ部3
4、モニタ36、プリンタ38およびI/F 部40にも供給して
いる。

【００１９】タイミング信号発生部20は、ディジタルカ
メラ10を動作させる基本クロック（システムクロック）
を発生する発振器（図示せず）を有する。発振器にはた
とえば、VCO (Voltage Controlled Oscillator）方式等
が用いられている。また、タイミング信号発生部20はこ
の基本クロックをシステム制御部18や信号処理部30等必
要とするほとんどすべてのブロックに供給するととも
に、基本クロックを分周して様々な信号も生成してい
る。特にタイミング信号発生部20は、この基本クロック
を用い、制御信号18b に基づいて各部の動作をタイミン
グ調節するタイミング信号20a, 20bを生成する回路を含
む。タイミング信号発生部20は、ドライバ部22に生成し
たタイミング信号20a を供給する。また、タイミング信
号発生部20は、前処理部28等の動作タイミングとして供
給するようにタイミング信号20b も生成し、供給してい
る。この他、図示していないが図１に示すように各部に
も各種のタイミング信号が供給されている。

【００２０】ドライバ部22は、供給されるタイミング信
号20a を用いて、所望の駆動信号22a, 22b,および 22c
をそれぞれ、生成し、光学レンズ系12、メカニカルシャ
ッタ24、および撮像部26に供給する。駆動信号22c は、
静止画用と動画用のモードに対応している。

【００２１】メカニカルシャッタ24は、操作部14のレリ
ーズボタンの押圧操作に応じて動作する。動作順序は、
レリーズシャッタボタンの押圧操作により、たとえば、
システムバス16を介して操作信号14a がシステム制御部
18に供給され、システム制御部18からの制御信号18b が
システムバス16、および信号線18c を介してドライバ部
22に供給される。メカニカルシャッタ24はドライバ部22
から供給される駆動信号22b に応じて動作する。メカニ
カルシャッタ24は、このような順序で動作して制御され
る。

【００２２】撮像部26は色フィルタ26a が固体撮像素子
（Charge Coupled Device：CCD )26b の入射光側に一体
的に設けられた単板カラーCCD センサである。これは、
光学レンズ系12で結像された光学像が固体撮像素子26b
の受光部の各撮像素子に到達した光量に応じた出力信号
27を出力する。撮像部26には、光学ローパスフィルタが
配設されていない大きな特徴がある。入射光の側から順
次に色フィルタ26a 、および固体撮像素子26b だけで一
体的に形成されている。色フィルタ26a は単板である。
色フィルタ26a の色フィルタセグメント260 と撮像素子
262 とは、一対一の対応関係にある。

【００２３】ところで、後段で撮像素子262 を実在画
素、撮像素子262 が対応していない領域、すなわち撮像
素子262 で囲まれた幾何学的な領域の中心に仮想画素を
想定して信号処理について説明する。

【００２４】色フィルタ26a は、たとえば、図２に示す
ような三原色RGB の色フィルタセグメント260 が配置さ
れている。この色フィルタセグメント260 の配置パター
ンは、色G が正方格子状に配され、さらに色G を挟んで
対角位置に同色R,または Bが配される完全市松に配する
パターンである。

【００２５】この色パターンは、以後、この色フィルタ
配置はハニカム型G 正方格子RB完全市松パターンとい
う。図２に示した画素数は、14個のうち、本来の色G が
６個、色R, Bがそれぞれ４個ずつである。上述した色G
の正方格子状とは、画素の形状を示すものでなく、画素
の配置形状を示している。画素の形状は多角形で、たと
えば四角形、六角形、八角形等がある。

【００２６】撮像素子には、CCD や後段で示すMOS（Met
al Oxide Semiconductor: 金属酸化型半導体）タイプの
固体撮像デバイスが適用される。撮像部26では、供給さ
れる駆動信号22c に応じて光電変換によって得られた信
号電荷を所定のタイミングとして、たとえば、垂直ブラ
ンキング期間にフィールドシフトにより垂直転送路に読
み出され、この垂直転送路をラインシフトした信号電荷
が水平転送路に供給される。この水平転送路を経た信号
電荷は図示しない出力回路による電荷／電圧変換によっ
てアナログ電圧信号27にされて前処理部28に出力され
る。固体撮像素子26b は、CCD タイプでは信号電荷の読
出しモードに応じて間引き読出しや全画素読出しを用い
る。

【００２７】前処理部28は、図示しないが相関二重サン
プリング部（Correlated Double Sampling :以下、CDS
という）およびA/D 変換部を有している。CDS 部は、ア
ナログ電圧信号に含まれる1/f 雑音やリセット雑音の低
減に寄与して、ノイズ除去を行う。また、前処理部28は
ここでガンマ補正を行うようにしてもよい。ノイズ成分
が除去された出力信号がA/D 変換部に送られる。A/D 変
換部は、供給されるアナログ信号の信号レベルを所定の
量子化レベルにより量子化してディジタル信号29に変換
するA/D 変換器を有する。A/D 変換部は、タイミング信
号発生部20から供給される変換クロック等のタイミング
信号20b により変換し、この変換したディジタル信号29
を信号処理部30に出力する。前処理部28は撮像部26から
得られるアナログの撮像信号に対して用いるサンプリン
グ周波数を、光学LPF がなくても折返し歪みが生じない
程度に高く設定してそれぞれの処理を行っている。

【００２８】信号処理部30には、フレームメモリ機能を
有するデータ補正部30a 、補間処理部30b 、および広帯
域化処理部30c が含まれる。さらに、データ補正部30a
には、図示しないがバッファ機能としてフレームメモリ
および補正処理部が含まれている。補正処理部は、あら
わに示していないがガンマ補正やホワイトバランス等の
調整を行う機能も有する。ここでのガンマ補正は、消費
電力や回路規模を小さくして信号処理のビット数を低減
すること等も可能にしている。このガンマ補正処理をた
とえば、前処理部28ですでに行っている場合、省略す
る。A/D 変換によりディジタル化された画像データ29が
データ補正部30a のフレームメモリに供給され、そこに
記憶される。フレームメモリは、読み出す領域をずらし
ながら繰り返して画素データを読み出すことから、非破
壊型のメモリを用いると有利である。また、フレームメ
モリには、システム制御部18からの制御信号18b に含ま
れる書込み／読出しイネーブル信号、クロック信号等の
制御に関わる信号をシステムバス16を介した制御信号18
d として供給されている。データ補正部30a は、処理と
して、たとえば、各色フィルタに対応した画像データの
レベルを後段の信号処理に適したレベルに合わせるため
各色フィルタごとにゲイン調整も行っている。また、デ
ータ補正部30a は、記憶した画像データを所定の順序で
画像データ42を補間処理部30b に出力する。

【００２９】なお、撮像部26の説明で定義した実在画素
および仮想画素を用いて補間処理部30b を説明する。補
間処理部30b は、本実施例では静止画補間および動画補
間を行う機能を有し、供給される画像データ42の供給先
をユーザの要望に応じて切り換えて各部に供給してい
る。このうち、静止画補間を行う構成について説明す
る。補間処理部30b は、静止画補間に対応して通常補正
部44および縮小補正部46を含んでいる。補間処理部30b
は、システム制御部18からの制御に応じて通常補正部44
および縮小補正部46が動作する。ただし、補間処理部30
b としての出力はいずれか選択された方から行われる。

【００３０】通常補正部44には、図３に示すように、輝
度補間展開部44a および色補間展開部44b が備えられて
いる。通常補正部44は、実在画素および実在画素の中間
に位置する仮想画素において高域成分を含む高周波輝度
データY_Hおよび三原色データを補間生成する機能を有す
る。輝度補間展開部44a および色補間展開部44b には、
データ補正部30a から画像データ42がそれぞれ供給され
ている。画像データ42は、撮像素子の実在する実在画素
からの画素データである。

【００３１】輝度補間展開部44a には、高周波輝度デー
タ作成部440 および輝度データ補間展開部442 が含まれ
る。高周波輝度データ作成部440 は、供給される画素デ
ータを用いて実在画素または仮想画素の位置における高
域成分を含む高周波輝度データY_H（444)を生成する。本
実施例の高周波輝度データ作成部440 は、実在画素の位
置での高周波輝度データY_Hの算出を行う。この算出は、
供給される画素データ42を用いてたとえば、供給される
色に対する相関関係がどの方向にあるか検出し、検出結
果に応じた高周波輝度データY_H（444)を生成している。

【００３２】輝度データ補間展開部442 は、供給される
高周波輝度データY_H（444)を用いて仮想画素の位置にお
ける高周波輝度データY_Hを生成する。輝度補間展開部44
a は、このように高周波輝度データY_Hの生成および補間
により実在画素および仮想画素すべての位置での高周波
輝度データY_H (446)を広帯域化処理部30c に出力する。

【００３３】なお、輝度補間展開部44a は、仮想画素の
位置に対応する高周波輝度データY_Hを作成し、この仮想
画素の高周波輝度データY_Hを用いて実在画素の位置に対
応する高周波輝度データY_Hを作成するようにしてもよ
い。

【００３４】色補間展開部44b は、仮想画素および実在
画素の対応していない色に対して実在画素の色配置を考
慮して補間処理を行い、画面全体の三原色データを生成
する機能を有する。このため、色補間展開部44b には、
各色ごとの補間展開部がある。これがR 補間展開部448
、G 補間展開部450 、およびB 補間展開部452 であ
る。各補間展開部448, 450, 452 は供給される画像デー
タ42のうち、色ごとにそれぞれ色データ42a, 42b, 42c
を入力し、入力したそれぞれの色データで補間展開処理
を行うことにより実在画素および仮想画素すべての位置
で色データを生成する。これにより三原色RGB をすべて
そろえる、RGB 同時化処理を行って三原色データ454, 4
56, 458を広帯域化処理部30c に出力する。

【００３５】縮小補正部46は、供給される画素データ42
を用いて実在画素または仮想画素を縮小補正の代表値を
割り当てる対象画素にして扱い、結果的に画素数を減少
させる機能部である。本実施例では対象画素を実在画素
に設定した場合の構成を示す（図４を参照）。縮小補正
部46には、G 縮小演算部46a 、R 縮小演算部46b および
B 縮小演算部46c が含まれている。

【００３６】G 縮小演算部46a は、色R または色B の位
置を対象画素として対象画素を囲む４つの色G の画素デ
ータを用いて加算平均して色G の画素データを算出する
演算部である。ここで、図５および図６に示す画素配置
関係の画素データにあるとする。八角形の実線は実在画
素、八角形の破線は仮想画素を表す。また、八角形の内
部に記した記号R, G, B は各画素が生成する色を示す。
記号R, G, B に付される添字は画素の位置を行列表示で
示している。

【００３７】図５に示すようなG 正方格子RB完全市松パ
ターンでG 縮小演算部46a は、色R₂ ₂ や色B₂₄ の位置に
対応する色G₂₂, G₂₄を算出する場合、色G₁₁, G₁₃, G₃₁,
G₃₃と色G₁₃, G₁₅, G₃₃, G₃₅を、それぞれの一組として
用いて加算平均して求めている。G 縮小演算部46a は、
集約させた色G の画素データ462 として出力するだけで
なく、色G_Hの画素データ460 、すなわち輝度データY_Hと
しても広帯域化処理部30c に出力する。

【００３８】R 縮小演算部46b は、色B の位置を対象画
素として対象画素を囲む４つの異色R の画素データを用
いて加算平均して対象画素（色B ）での色R の画素デー
タを算出する演算部である。対象画素が色R の場合、こ
の位置の画素データをそのまま用いる。図６のパターン
でR 縮小演算部46b は、色B₂₄ の位置に対応する色R
（同色）の画素データを算出する場合、色R₀₄, R₂₂, R
₂₆, R₄₄を一組（実線）として用いて加算平均して、色R
₂₄ を算出する。色R₂₂ の位置では、本来色R の画素デ
ータはそのまま用いる。R 縮小演算部46b は、算出した
対象画素に対する色R の画素データ464 を広帯域化処理
部30c に出力する。

【００３９】また、B 縮小演算部46c は、色R の位置を
対象画素として対象画素を囲む４つの異色B の画素デー
タを用いて加算平均して対象画素（色R ）での色B の画
素データを算出する演算部である。対象画素が色B の場
合、この位置の画素データをそのまま用いる。図６のパ
ターンでB 縮小演算部46c は、色R₂₂ の位置に対応する
色B （同色）の画素データを算出する場合、色B₀₂,
B₂₀, B₂₄, B₄₂を一組（一点鎖線）として用いて加算平
均して、色B₂₂ を算出する。色B₂₄ の位置では、本来色
B の画素データはそのまま用いる。B 縮小演算部46c
は、算出した対象画素に対する色B の画素データ466 を
広帯域化処理部30c に出力する。本実施例で画素数は図
５の矢印で示す位置の画素データ数に減少する。

【００４０】広帯域化処理部30c には、通常補正部44お
よび縮小補正部46のいずれか一方から供給される高周波
輝度データY_HおよびプレーンなRGB データが供給されて
通常補正部44および縮小補正部46にそれぞれ対応した処
理部が用意されている。このうち、本実施例では縮小表
示用の構成を広帯域化処理部30c として表す。広帯域化
処理部30c には、ハイパスフィルタ回路48、色差マトリ
クス部50、加算器52、歪み防止処理部54、アパーチャ調
整部56および色差ゲイン調整部58, 60が備えられている
（図７を参照）。ハイパスフィルタ回路（以下、HPF と
いう）48は、供給される高周波輝度データ446 または色
G_Hの画素データ460 から高周波成分を抽出するフィルタ
である。HPF 48は、抽出した高周波成分Y_h（またはG_h）
の信号48a を加算器52の一端52a 側に出力する。

【００４１】色差マトリクス部50は、通常補正部44の三
原色データ454, 456, 458 または縮小補正部46の三原色
データ464, 462, 466 を用いて輝度データY 、色差デー
タC_r, C_bを生成している。色差マトリクス部50は、ここ
で行うマトリクス演算にはこれまで用いてきた従来の算
出式を用いている。色差マトリクス部50は、生成した輝
度データY (50a）を加算器52の他端52b 側に供給し、色
差データC_r(50b）, C_b(50c）を歪み防止処理部54に出力
する。

【００４２】加算部52は、原色G に対応して高周波成分
Y_hを加算することにより三原色データの周波数帯域を広
帯域化する。広帯域化は、色G に対してアウトオブグリ
ーン方式で行われる。加算器52は、広帯域化した輝度デ
ータ52a (Y )を歪み防止処理部54に供給する。

【００４３】また、加算器52は、この配設位置に限定さ
れるものでなく、図示していないが、通常の補正信号処
理を行って画素数を増加させる場合には色差マトリクス
部50の前に各色ごとに生成した画素データと高周波成分
Y_hとの加算が行えるように加算器をそれぞれ配設すると
よい。この場合、補正信号処理を行う通常補正部44で
は、前述した通り高周波輝度データY_Hおよび色補間展開
して得られたプレーンな各原色の画素データをそれぞれ
生成する。HPF 回路が高周波輝度データY_Hを通して高周
波輝度成分Y_hを抽出する。広帯域化はこの抽出した高周
波輝度成分Y_hとプレーンな各原色の画素データとを、そ
れぞれの加算器（図示せず）で加算している。

【００４４】歪み防止処理部54には、供給される３つの
信号の帯域を損なうことなく、折返し歪みを発生させな
いように高域にまで帯域のあるローパスフィルタ（以
下、LPF という）540, 542, 544 がある。その中でもLP
F 540 は輝度データY に応じて最も高い周波数まで通す
特性を有している。また、歪み防止処理部54では、通常
補正が行われた際に水平および垂直方向の周波数帯域の
重複している領域に対して一方の方向の重複する周波数
帯域を制限する処理も施している。これにより、周波数
の重複による画質劣化を回避している。このように処理
された輝度データY (54a）および色差データC_r(54b）,
C_b(54c）がそれぞれ、アパーチャ調整部56、色差ゲイン
調整部58, 60に供給される。

【００４５】アパーチャ調整部56は、たとえば、LPF 処
理によって高域成分の低下をなくすように処理して出力
する。この結果、画像には輪郭（エッジ）強調処理が施
されたと同様の効果がもたらされる。また、色差ゲイン
調整部58, 60は、供給される色差データC_r(54b）, C_b(5
4c）に対してゲイン調整を行い、所定のレベルに揃えて
いる。このようにして信号処理部30は、生成した輝度デ
ータY (60a）、色差データC_r(60b）, C_b(60c）を圧縮／
伸長処理部32に供給する。

【００４６】図１に戻って圧縮／伸長処理部32は、信号
処理部30から供給された１フレーム分の輝度データY と
色差データC_r, C_bを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG（Joint Photogra
phic Experts Group）規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸長する回路とを有す
る。ここで、フレームメモリは、信号処理部30のフレー
ムメモリと兼用してもよい。ここで、複数のフレームメ
モリを所有すると、動画の記録、すなわち連写等の処理
において有利である。また、圧縮はJPEGに限定されるも
のでなく、MPEG（Moving Picture coding Experts Grou
p ）や動画像の１枚いちまいのフレームにJPEGを適用す
るモーションJPEG等の圧縮方法がある。

【００４７】圧縮／伸長処理部32は、システム制御部18
の制御により記録時には圧縮したデータをシステムバス
16を介してストレージ部34に供給する。圧縮／伸長処理
部32は、供給される輝度データY (60a）、色差データC_r
(60b）, C_b (60c）をシステム制御部18の制御によりス
ルーさせてシステムバス16に供給したり、または信号処
理部32からの信号をシステムバス16を介してモニタ36に
供給することもできる。圧縮／伸長処理部32が伸長処理
を行う場合、逆にストレージ部34から読み出したデータ
をシステムバス16を介して圧縮／伸長処理部32に取り込
んで処理する。ここで処理されたデータはフレームメモ
リに記憶された後、システム制御部18の制御により圧縮
／伸長処理部32は、所要の順序でフレームメモリのデー
タを読み出し、モニタ36に供給して表示させる。

【００４８】ストレージ部34は、記録媒体に記録する記
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディア（登録商
標）のような半導体メモリや磁気ディスク、光ディスク
等がある。磁気ディスク、光ディスクを用いる場合、画
像データを変調する変調部とともに、この画像データを
書き込むヘッドがある。

【００４９】モニタ36は、システム制御部18の制御に応
じてシステムバス16を介して供給される輝度データY お
よび色差データC_r, C_bまたは三原色RGB のデータを画面
の大きさを考慮するとともに、タイミング調整して表示
する機能を有する。モニタ36には、図１に示すように広
帯域化処理部30c から供給される広帯域化された縮小表
示用の画像データをシステムバス16を介して供給される
ようにしてこの画像データを表示させてもよい。

【００５０】プリンタ38は、図示しないがYMC 変換処理
部、駆動信号生成部および感熱ヘッドおよび印画紙保持
部が含まれる。YMC 変換処理部は、縮小表示サイズに調
整された三原色RGB または輝度データY および色差デー
C_r, C_bに応じてYMC 変換処理する。駆動信号生成部は、
処理されたYMC データに応じた熱を発生させる駆動信号
の生成を行う。感熱ヘッドは、供給される駆動信号のレ
ベルに応じてヘッドに熱を発生させるセンサを含む。感
熱ヘッドは印画紙保持部からカメラ10の外部に排出され
る印画紙に非接触ながら感熱させ、発色させている。

【００５１】I/F 部40は、たとえばUSB (Universal Ser
ial Bus ）を含み、外部と画像データ等の入出力を行う
処理機能を有している。入出力を行う機能にはデータの
信号レベル変換や制御のタイミング調整等も含む。I/F
部40は、生成した画像データや再生した画像データを接
続した外部のプリンタに供給することができる。

【００５２】このようにディジタルカメラ10は構成して
撮像した画像に対して信号処理を施し、記録している。
また、記録した画像データを再生してモニタ36に表示さ
せることも行っている。

【００５３】次に、ディジタルカメラ10の動作について
説明する。必要に応じて前述の構成で用いた図面も参照
する。ディジタルカメラ10は、たとえば、図８に示す撮
影におけるメインフローチャートに従って動作する。本
実施例のディジタルカメラ10は、静止画撮影の画像サイ
ズ拡大モード（補間処理モード）と画像サイズ縮小モー
ド（縮小処理モード）の両方を有している。この動作手
順は前述したように静止画撮影におけるこれらのモード
での処理の中で、特に、縮小モードの動作に着目して説
明する。

【００５４】ディジタルカメラ10は、電源投入後、カメ
ラ10が有する複数のモードのうち、どのようなモードで
動作させるか選択する（ステップS10 ）。ここでは各種
あるモードから撮影モードを選択するだけでなく、静止
画撮影、かつ画像サイズ設定も行う。画像サイズ設定に
は、実在画素数以上に画素数を増大させる通常行う補間
処理モードと実在画素数より減少させる縮小処理モード
とがある。画像サイズ設定はこのいずれか一方のモード
を選択する。

【００５５】撮影モードが選択されている場合、光学レ
ンズ系12を介して採り込む被写界の像をディジタル処理
して連続的にモニタ36に表示する（ステップS12 ：予備
の撮像）。特に、操作部14のレリーズシャッタボタン
（図示せず）を１段階押すと、カメラ10は、撮像した被
写界の画像をモニタ36に表示させるだけでなく、本撮像
を前に露光条件の設定処理および露光対象との焦点距離
の調節等をシステム制御部18で行い、本撮像に備えてい
る。露光条件の設定に関わるパラメータ設定処理は、信
号処理部30で行ってもよい。

【００５６】ユーザが所望のタイミングでレリーズシャ
ッタボタンを２段階まで押し切って本撮像を行う（ステ
ップS14 ）。本撮像が行われると、システム制御部18に
は、操作信号14a から供給される。システム制御部18は
このタイミングであらかじめ設定した制御信号18b をシ
ステムバス16、信号線18c を介してタイミング信号発生
部20およびドライバ部22に送る。カメラ10は、タイミン
グ信号発生部20およびドライバ部22からのタイミング信
号および駆動信号に応じて動作する。図２に示すよう
に、固体撮像素子26b は、ハニカム型G 正方格子RB完全
市松パターンの色フィルタ26a を介して色フィルタセグ
メントRGB に対応した画素から読み出した信号電荷をア
ナログ信号27にしている。読み出したアナログ信号27が
前処理部28に供給される。

【００５７】前処理部28では、タイミング信号20b に応
じて供給されたアナログ信号27に含まれる雑音を除去
し、雑音除去された信号にA/D 変換処理を施してディジ
タル信号29に変換する（ステップS16 ）。ディジタル信
号29が撮像された画像データとして信号処理部30に供給
される。フローチャートに示していないが信号処理部30
のデータ補正部30a でたとえば、ガンマ補正やホワイト
バランス等の調整が補正処理として施されている。デー
タ補正部30a にはフレームメモリ（図示せず）を備えて
もよい。この場合画像データは供給された際に一時的に
記憶し、その後各画素ごとに読み出して上述した補正が
施される。この補正された画像データ42は、フレームメ
モリにふたたび格納してもよいし、補間処理部30b に補
正結果を供給してもよい。

【００５８】次に静止画撮影の中で画像サイズの設定が
補間処理モードかどうかの判定を行っている（ステップ
S18 ）。この設定が補間処理モードのとき（YES ）、信
号処理部30の通常補正処理部44で実在画素数以上に多い
画素数で画像を表現させる補間信号処理に進む（サブル
ーチンSUB1）。また、この設定が縮小補正処理モードの
とき（NO）、縮小補正部46で実在画素数より画素数を減
少させる縮小補正処理に進む（サブルーチンSUB2）。

【００５９】補間信号処理（サブルーチンSUB1）では、
たとえばCCD 26b が有する実在画素の位置に高周波輝度
データを生成し、さらに実在画素数以上に画素数を増加
させるように新たな画素として仮想画素にも高周波輝度
データの補間生成を行う。色に関しては、色補間展開部
44b で一つの実在画素に対して本来得られた色と異なる
２色の画素データも補間生成する。この補間により生成
された画素データ、すなわち高周波輝度データY_Hおよび
プレーンな色データがそれぞれが広帯域化処理部30c に
供給される。

【００６０】補間生成された画素データには広帯域化処
理が施される（サブルーチンSUB3）。広帯域化処理は、
供給される画素データを用いて広帯域な輝度データY お
よび色差データC_r, C_bを画像データとしてそれぞれ生成
する。生成した画像データを圧縮／伸長処理部32に出力
する。

【００６１】また、通常の補間信号処理でないと判定さ
れた際に行う縮小補正処理に移行する（サブルーチンSU
B2）。縮小補正処理は、後段で詳述する処理を縮小補正
部46で行う。縮小補正部46では実在画素の画素データを
用いて実在画素を対象画素として三原色RGB の画素デー
タを生成する。縮小補正部46では色R または色B を対象
画素とする画素データに対して本来の画素にない色の画
素データの生成を行う。すなわち、色R の画素データに
対して色B および色G の画素データを生成する。また、
色B の画素データに対して色R および色G の画素データ
を生成する。生成した画素データは広帯域化処理部30c
に供給される。

【００６２】広帯域化処理部30c では、縮小補正処理モ
ードで対象画素に対する広帯域化処理を施す（サブルー
チンSUB4）。このモードでは対象画素の色G に対する高
周波輝度成分G_h(=Y_h）の抽出を行う。そして、広帯域化
処理部30c では、対象画素での三原色RGB の画素データ
を用いて輝度データY および色差データC_r, C_bをそれぞ
れ生成する。生成した輝度データY には高周波輝度成分
G_hを加算する。これにより輝度データY は広帯域化す
る。さらにこの他にも広帯域化に対応した画像処理等を
後処理として施している。このようにして得られた画像
サイズは縮小されている。

【００６３】次に縮小補正処理モードで生成した画像デ
ータを印刷するかどうか判定する（ステップS20 ）。内
蔵する印画紙に印刷するとき（YES ）、画像（写真）の
印刷処理に進む。また、画像を印刷しないとき（NO）、
圧縮処理に進む。

【００６４】画像の印刷処理は、プリンタ38で行う（ス
テップS22 ）。画像データはプリンタ38が印画紙に印刷
可能な縮小サイズに調整されている。プリンタ38は、画
像データに対してYMC 変換を施して印刷用画像データを
生成している。生成した印刷用画像データを用いてプリ
ンタ38は、たとえば写真として印刷する。

【００６５】圧縮処理は、前述したサブルーチンSUB3や
印刷しない場合にそれぞれ生成した輝度データY および
色差データC_r, C_bに対して圧縮／伸長処理部32で行われ
る（ステップS24 ）。静止画モードではJPEG等が圧縮信
号処理として適用される。この圧縮処理が施された画像
データは、ストレージ部34の記録再生装置に装着された
記録媒体に記録保存される（ステップS26 ）。

【００６６】最後に、ディジタルカメラ10の動作を終了
させるかどうかを判定する（ステップS28 ）。まだ動作
を継続するとき（NO）、ステップS10 に戻って一連の処
理を継続する。また、動作を終了するとき（YES ）、デ
ィジタルカメラ10の電源をオフにする。なお、モード設
定をそのまま用いる場合、ステップS12 の処理から動作
を継続させるようにしてもよい。

【００６７】次に補間信号処理について簡単に説明する
（図９を参照）。実在画素が表す市松状パターンの画素
位置に高周波輝度データY_Hを生成する（サブルーチンSU
B5）。実在画素の位置に生成する高周波輝度データY
_Hは、対象の画素データと周囲の画素データとの相関性
を考慮して相関性の高い方向に位置する画素データを用
いて重み付け加算平均することにより生成する。この加
算平均により得られる高周波輝度データY_Hは、色G の画
素データや色G の補色、すなわち色マゼンタMgを示すデ
ータでもよい。相関検出は、斜め、垂直および／または
水平方向について行う。特に、垂直および水平方向の相
関検出は、対象の画素に対して用いる周囲の画素を対象
画素の色（同色または異色）を考慮して、相関検出に実
際に用いる画素の領域を変えながら行っている。この処
理は、高周波輝度データ作成部440 で行う。本実施例で
は実在画素を用いて実在画素の位置での高周波輝度デー
タY_Hを生成したが、実在画素から仮想画素での高周波輝
度データY_Hを生成するようにしてもよい。この場合、次
に行う補間処理は実在画素の位置に対して行うことにな
る。

【００６８】次に高周波輝度データY_Hの補間を行う（サ
ブルーチンSUB6）。この補間処理は、実在画素の高周波
輝度データY_Hを用いて仮想画素の位置での高周波輝度デ
ータY_Hを生成する。この生成は、輝度データ補間処理部
442 で行っている。この位置の高周波輝度データY_Hは相
関性を考慮して生成してもよい。また、高周波輝度デー
タY_HはディジタルフィルタのLPF 機能を用いて生成して
もよい。

【００６９】次に色補間展開処理を行う（サブルーチン
SUB7）。単板の色フィルタ26a を用いることにより色フ
ィルタセグメントを介して実在画素に対して一つの色が
割り当てられている。色補間展開処理は、三原色RGB の
うち、各実在画素が割り当てられていない色を補間生成
する。この処理により色補間展開部44b ではプレーンな
三原色RGB の画素データを生成することができる。各サ
ブルーチンSUB5, SUB6, SUB7では１フレーム単位でそれ
ぞれ処理を行っている。これらの処理が終了したならば
リターンを介してメインルーチンに戻る。

【００７０】また、縮小補正処理モードでの縮小補正処
理について具体的に手順を説明する（図10を参照）。こ
の手順は図５および図６の模式的に示した画素位置の関
係も参照しながら説明する。縮小補正処理（サブルーチ
ンSUB2）は、縮小した際の代表位置となる対象画素の位
置を設定する（サブステップSS200 ）。対象画素は、正
方格子に並ぶ色G の４つの画素に囲まれた色R または色
B の実在画素（斜線）にする（図５を参照）。本実施例
では、色R の位置R₂₂ を最初の対象画素として設定す
る。

【００７１】次に画素位置R₂₂ における色G の画素デー
タG₂₂ の算出を行う（サブステップSS202 ）。画素デー
タG₂₂ は、たとえば周囲の画素データ（G₁₁, G₁₃, G₃₁,
G₃₃）を用いて

【００７２】

【数１】 G₂₂ ＝（G₁₁ ＋G₁₃ ＋G₃₁ ＋G₃₃ ）/4 ・・・(1) の加算平均によって算出する。

【００７３】次に対象画素の色がR かどうかの判定を行
う（サブステップSS204 ）。対象画素が色R に対応して
いるとき（YES ）、対象画素における色R の画素データ
をそのまま用いる。また、対象画素が色R でなかったと
き（NO）、対象画素の色を色B と判定し、色B の画素デ
ータをそのまま用いる。いま算出する画素R₂₂ の場合、
判定が真であるから画素データR₂₂ をそのまま縮小補正
で用いる色R の画素データにする。

【００７４】次に対象画素でまだ算出されていない色B
の画素データB₂₂ を算出する（サブステップSS206 ）。
画素データB₂₂ は、図６に示すように、算出される色B
と同色の一点鎖線で囲まれた画素（B₀₂, B₂₀, B₂₄,
B₄₂）を用いて

【００７５】

【数２】 B₂₂ ＝（B₀₂ ＋B₂₀ ＋B₂₄ ＋B₄₂ ）/4 ・・・(2) の加算平均によって算出する。

【００７６】次に１フレーム分の画素データに対する縮
小補正処理が完了したかどうかの判定を行う（サブステ
ップSS208 ）。まだ処理が完了していないとき（NO）、
次の対象画素の設定（サブステップSS210 ）に進む。ま
た、処理が完了したとき（YES ）、リターンに進んでこ
の処理を終了する。この時点でまだ処理が完了していな
いので、サブステップSS210 に進む。

【００７７】新たな対象画素は、水平方向に処理を進め
るとき列を示す表示を+2歩進させる。また、改行するよ
うに垂直方向に処理を移すとき、行を示す表示を+2歩進
させ、かつ列を示す表示を水平方向の処理開始の列表示
に戻す。単に+2歩進させると、新たな対象画素は色B の
画素データB₂₄ になる。この設定の後、サブステップSS
202 に戻って前述した処理を繰り返す。画素データG₂₄
は、たとえば周囲の画素データ（G₁₃, G₁₅, G₃₃, G₃₅）
を用いて

【００７８】

【数３】 G₂₄ ＝（G₁₃ ＋G₁₅ ＋G₃₃ ＋G₃₅ ）/4 ・・・(3) の加算平均によって算出する。

【００７９】対象画素の色が色R かどうか判定し、色R
でないと判定されるから（NO)、対象画素でまだ算出さ
れていない色R の画素データR₂₄ を算出する（サブステ
ップSS212 ）。画素データR₂₄ は、図６に示すように、
算出される色R と同色の実線で囲まれた画素（R₀₄,
R₂₂, R₂₆, R₄₄）を用いて

【００８０】

【数４】 R₂₄ ＝（R₀₄ ＋R₂₂ ＋R₂₆ ＋R₄₄ ）/4 ・・・(4) の加算平均によって算出する。

【００８１】また、対象画素が新たな行で算出する、た
とえば画素位置B₄₂ のようなとき前述したように改行的
に設定を変更して欠如している各色の算出を行う。結果
を示すと、画素データG₄₂ は、たとえば周囲の画素デー
タ（G₃₁, G₃₃, G₅₁, G₅₃）を用いて

【００８２】

【数５】 G₄₂ ＝（G₃₁ ＋G₃₃ ＋G₅₁ ＋G₅₃ ）/4 ・・・(5) の加算平均によって算出する。画素データR₄₂ は、たと
えば周囲の画素データ（R₂₂, R₄₀, R₄₄, R₆₂）を用いて

【００８３】

【数６】 R₄₂ ＝（R₂₂ ＋R₄₀ ＋R₄₄ ＋R₆₂ ）/4 ・・・(6) の加算平均によって算出する。

【００８４】このように各対象画素の算出には周囲の画
素データを一部の画素データを重ね合わせて用いてい
る。この算出の結果、図５の斜線で示した各位置におけ
る三原色RGB の画素データがそれぞれ得られる。これ
は、画素数が減少するが各対象画素で三原色RGB の画素
データが得られることから、ディジタルカメラ10は、単
板方式で縮小した画像データでありながら３板式CCD で
求めた場合に匹敵する情報が得られる。

【００８５】対象画素の画素データを求めるために使用
する周囲の領域内に存在する実在画素数N_rは、水平方向
にN_h（列数）、垂直方向にN_v（行数）とし、その行列間
の数をガウス記号[]を用いて表すと、

【００８６】

【数７】 Nr＝（[N_h/2]＋1)×（[N_v/2]＋1)＋[N_h/2] ×[N_v/2] ・・・(7) と計算される。具体的に値を代入してみると、N_h＝7, N
_v ＝7 の領域62では、中間の行が[N_h/2]＝3, [N_v/2]＝3
であるから、領域62内の実在画素数Nr＝4 ×4 ＋3 ×3
＝16＋9 ＝25個とわかる。また、領域62での仮想画素数
Nvは

【００８７】

【数８】 Nv＝[N_h/2]×（[N_v/2]＋1)＋（[N_h/2]＋1)×[N_v/2] ・・・(8) となり、仮想画素数Nv＝3 ×4 ＋4 ×3 ＝24（＝25−1
）である。したがって、この領域62での実在および仮
想画素を合わせた総数N は49個の画素位置で画素データ
が生成される。縮小補正処理では、実在および仮想画素
を合わせた25個の領域64から一つの画素を代表させてい
る。また、この縮小補正処理における領域66は前述した
ように画素を重複させながら対象画素を生成している。
これを考慮し、かつ重複した画素数もカウントすること
にして、領域64を水平方向および垂直方向に拡大した
（総数N が49個を含む）領域62では、画素数のカウント
が25+(15+10)+(6+9+4+6)+(9+6+6+4)＝100 個になる。し
たがって、この領域62から得られる縮小補正の画素数は
100/25＝4 個とわかる。この一例として挙げた領域62に
おける重複を考慮した縮小補正処理では4/49＝0.082 と
補間信号処理を行って画素数を増加させる場合に比べて
大幅に画素数を削減させることができることがわかる。

【００８８】本実施例のように、G 正方格子RB完全市松
パターンを縮小補正処理すると、結果として、色R, Bの
位置に三原色RGB の画素データを持たせることができ、
色Gの画素データが正方配置されることから、後段で説
明するように画像の像構造を不変にしていることから画
像サイズを縮小させてもその画像の画質を維持させるこ
とが可能になる。

【００８９】次にこれまで通常の画素数を増加させる補
間信号処理に対応した広帯域化処理について簡単に説明
する（図12を参照）。この補間信号処理に対応した広帯
域化処理の構成は図示していない。広帯域化処理は、輝
度補間展開部44a から供給される高周波輝度データY
_H（446 ）に対してハイパスフィルタ（HPF ）処理を行
う（サブステップSS300 ）。この処理によって得られる
高周波輝度データY_Hの高周波成分Y_hの信号を加算部に出
力する。加算部には色補間展開部44b からのプレーンな
画素データ454, 456, 458 が各加算器の一端側に供給さ
れる。各加算器の他端側には高周波成分Y_hの信号がそれ
ぞれ供給されている。各加算器は、それぞれ供給される
画素データ454, 456, 458 と高周波成分Y_hの信号とを加
算して色差マトリクス部に供給する（サブステップSS30
2 ）。この加算により、各画素データは広帯域まで延び
た信号にしている。

【００９０】次に色差マトリクス部では供給されるプレ
ーンな画素データRGB を用いて色差マトリクス処理を行
う（サブステップSS304 ）。色差マトリクス処理に用い
る係数は従来から知られている係数を用いる。供給され
る画素データに対して色差マトリクス処理を施して輝度
データY および色差データC_r, C_bを出力する。

【００９１】次に供給される輝度データY および色差デ
ータC_r, C_bに対して歪み防止処理を施す（サブステップ
SS306 ）。これら得られた画素データには歪み防止処理
として周波数的な重複防止および広帯域まで延びたLPF
処理を施している。重複防止処理では、たとえば周波数
的に垂直および水平方向に重複した領域がある場合、そ
の一方の周波数領域を遮断するバンドパスフィルタ（BP
F ）処理が行われる。重複の有無は補間処理等で、たと
えば、あらかじめ各画素データに付したフラグを参照し
て判断するとよい。

【００９２】また、LPF 処理は、帯域阻止周波数の特性
が高域まで延びたフィルタ処理を行い、折返し歪みが生
じないようにしている。この他、撮像部26から得られる
アナログの撮像信号に対して適用するサンプリング周波
数を高くしている。このように折返し歪みが生じないよ
うにしていることから光学LPF を薄くまたは最良の場合
この光学LPF の配設を回避することができる。歪み防止
処理の施された輝度データY および色差データC_r, C_bが
出力される。

【００９３】輝度データY には後処理の一つとしてアパ
ーチャ調整が施される（サブステップSS308 ）。アパー
チャ調整は輪郭強調処理に相当する処理である。そし
て、歪み防止処理を受けた色差データC_r, C_bに対して所
定のレベルになるようにゲイン調整を施す（サブステッ
プSS310 ）。このように処理して１フレーム分の処理が
終了したかどうか判定を行う（サブステップSS312 ）。
１フレーム分の処理が終了していない場合（NO）、最初
（サブステップSS300 ）に戻って一連の処理を繰り返
す。また、１フレーム分の処理が終了している場合（YE
S ）、リターンに進んでこのサブルーチンSUB3を終了
し、リターンを介してメインルーチンに移行する。

【００９４】なお、前述した手順を実現させる構成は図
７に示すように広帯域化処理部30cと異なるが、広帯域
化処理部30c と同じ構成にしてもよい。共通化すること
により構成の簡素化を図ることができる。

【００９５】次に縮小補正処理モードで得られた画素デ
ータに対する広帯域化処理の手順を説明する（図13を参
照）。この広帯域化処理も最初に縮小補正部46から供給
される高周波輝度データY_H（460 ）に対してハイパスフ
ィルタ（HPF ）処理を行う（サブステップSS400 ）。こ
の処理によって得られる高周波輝度データY_Hの高周波成
分Y_h（＝G_h）の信号48a を加算部52に出力する。

【００９６】次に縮小補正部46から縮小処理の施された
画素データ462, 464, 466 が色差マトリクス部50に供給
される。色差マトリクス部50では、それぞれ、原色G,
R, Bの画素データ464, 462, 466 を用いて輝度データY
および色差データC_r, C_bを生成する（サブステップSS40
2 ）。色差マトリクス処理に用いる係数は前述したと同
様に従来から知られている係数を用いる。生成した輝度
データY を加算器52の一端52a の側に供給する。また、
生成した色差データC_r, C_bを歪み防止処理部54に出力す
る。

【００９７】加算器52では、輝度データY が一端52a 側
から供給され、一方、高周波成分Y_hの信号48a が他端52
b 側から供給される。このとき、加算器52は、輝度デー
タYと高周波成分Y_hの信号48a とを加算して輝度データY
を高周波域にまで延びた信号にする（サブステップSS4
04 ）。加算器52は輝度データY (52a）を歪み防止処理
部54に出力する。

【００９８】歪み防止処理部54では、供給される輝度デ
ータY および色差データC_r, C_bに対して高周波帯域まで
帯域阻止特性の延びたLPF 処理を施す（サブステップSS
406）。また、垂直および水平方向に対する相関性を考
慮した画素データの生成を行っている場合、前述した補
間信号処理と同様に周波数的な重複の有無に応じた処理
を行ってもよい。LPF 処理を施すことにより歪み防止処
理では折返し歪みの発生が防止される。これにより、画
素ピッチが狭くするとき光学LPF を薄くでき、最良の場
合、本実施例のように光学LPF の配設を回避することが
できる。

【００９９】ディジタルカメラ10をこのように構成する
ことにより、縮小補正させても正方格子状に画素が供給
される像構造であり、さらに各画素が色G の画素データ
を有していることから、この補正を施しても従来の間引
き表示に比べて得られる画像の画質劣化をもたらすこと
なく、単板でありながら３板方式に匹敵する画像を提供
することができる。また、カメラ10は、撮像部の構成が
簡素化できる点で優れている。

【０１００】次に本発明を適用した他の実施例について
説明する。本実施例は、縮小補正部46で行う縮小補正処
理の方法（サブルーチンSUB8）が先の実施例と異なって
いる。本実施例の縮小補正処理の原理を以下に説明す
る。この縮小補正処理は、先の方法のような縮小する領
域を重複させることなく、実在画素が十字に配される４
つの画素データを用いて新たな画素データを生成するこ
とに特徴がある。ここで、新たに生成する画素の位置
は、ハニカム型の画素ずらしにより空いている空間を仮
想画素の位置に生成してこの位置を対象画素とする。画
素データは、この対象画素の位置に対して三原色RGB の
画素データが生成される。

【０１０１】画素のブロック化は、図14に示すように、
２通り考えられる。すなわち、縦方向に色R, Rがあり横
方向に色G が配されるブロック化（図14(a) ）と、縦方
向に色G があり横方向に色R, Bが配されるブロック化
（図14(b) ）とがある。後者のブロック化を採用した際
のブロックおよび各ブロックが生成する色の関係を図15
に示す。各ブロックの領域は一点鎖線で示す。各ブロッ
クで生成される色はブロック内に配される仮想画素に三
原色RGB のいずれか一色が示されている。本実施例では
この一連の原理に従って動作させる。

【０１０２】この動作手順は、最初に供給される実在画
素からそれぞれ得られた画素データをブロック化する
（サブステップSS800 ：図15を参照)。ブロック化は４
つの画素データずつ重複しないように行う。本実施例で
は図14や図15が示すようにブロック化した領域の中央に
位置する仮想画素を生成する対象画素とする。この他、
常にブロック内の同じ位置の実在画素を対象画素に定義
してもよい。このようにブロック化することにより、各
ブロックも画素ずらしの配置が維持されてブロック化さ
れることがわかる。

【０１０３】次にブロック化した対象画素に割り付ける
色の指定を行う（サブステップSS802 ）。ブロックの正
方格子状に配置した４ブロックには色G を指定し、４ブ
ロックの中央に位置するブロックには色R または色B が
指定される。色R と色B の指定は、対角位置のブロック
では同色の画素データを生成するように指定する。これ
はG 正方格子RB完全市松パターンと同じ定義である。

【０１０４】指定色に対応しないブロック内の画素デー
タに対してこの位置における指定色の画素データを生成
する（サブステップSS804 ）。このサブステップでの処
理は、たとえば、ブロック（G₁₁, B₂₀, R₂₂, G₃₁ )の指
定色が色G のとき、画素B₂₀および画素R₂₂には色G の画
素データがないから、周囲の画素データを用いて本来存
在しない画素データG₂₀および画素データG₂₂の２つを補
間処理によって生成する。具体的に説明しないが補間処
理は、たとえば色補間展開処理を用いるとよい。色G 指
定の場合残りの色R, Bの２画素を生成する。色R 指定の
場合残る色G,Bの３画素を生成する。色B 指定の場合残
る色G, Rの３画素を生成する。

【０１０５】次に指定色の画素データの生成を行う（サ
ブステップSS806 ）。前述した色Gの場合、G₁₁, G₂₀, G
₂₂, G₃₁ を用いて、仮想画素G₂₁ に

【０１０６】

【数９】 G₂₁ ＝（G₁₁ ＋G₂₀ ＋G₂₂ ＋G₃₁ ）/4 ・・・(9) を生成する。このように４つの画素データの加算平均処
理によって４画素データを１つの画素データにまとめ
る。

【０１０７】供給された画像データの縮小補正処理が１
フレーム分に対して終了したかどうかの判定を行う（サ
ブステップSS808 ）。まだ完了していないとき（NO)、
次のブロックの選択に進む。また、１フレーム分すべて
に対して処理が終了したとき（YES ）、終了したとみな
してリターンに移行する。リターンからメインルーチン
に戻る。

【０１０８】次のブロックの選択処理（サブステップSS
810 ）では、あらかじめブロック化した隣接するブロッ
クを指定する。図15の仮想画素の色で選択方向を説明す
ると、色G, G, G,・・・と水平方向に選択し、次に垂直方
向に半ブロックずらした位置から水平方向に色R, B, R,
・・・と選択し、また垂直方向に半ブロックずらすといっ
た選択を行わせる。このブロックの選択後、生成する色
の指定に戻る（サブステップSS802 )。

【０１０９】このように縮小補正処理を行うことによっ
て、画像サイズを縮小化しても本来のG 正方格子RB完全
市松パターンが維持された画像が得られる。

【０１１０】なお、この画像処理方法は、本実施例に限
定されるものでなく、ブロックで用いる周辺画素の数
を、９画素、16画素、および２のN 乗の画素加算の方法
でも縮小補正処理を施すことができることは言うまでも
ない。ただし、N は整数である。

【０１１１】この画像が得られる関係について簡単に説
明する（図17(a) を参照）。空間周波数（h, v）で表す
と、G 正方格子RB完全市松パターンの色G が正方格子に
配置されていることから空間周波数分布は正方形にな
る。色R, Bは対角位置にそれぞれ配されていることか
ら、空間周波数軸h, vの色G が切る切断点を頂点とする
四辺形（正方形）になっている。

【０１１２】ところで、縮小補正処理を行った場合、縮
小用に新たに対象画素位置とされた空間の配置は図５か
ら明らかなように前述したパターンの色G の場合とまっ
たく同じ関係にある。また、他の実施例の場合は縮小補
正処理して新たにG 正方RB完全市松パターンを生成して
いることから、空間周波数の構造が損なわれることな
く、生成されていることがわかる（図17(a) の破線）。
結果的にこの縮小補正処理が３板方式で得られる正方格
子と同じ配置で得られるから、実際に得られる画像は３
板方式に匹敵するものになる。

【０１１３】また、この縮小補正処理にともなって生成
する画素データは、画素数の増加に対応するように高周
波輝度データG_Hの作成時にLPF 処理による補間を施して
補間しなくて済む。そして、縮小処理には単に加算平均
するだけでよい。これは、縮小補正処理にLPF 処理によ
る補間で生じる偽信号の発生がないことを意味してい
る。

【０１１４】比較例としてベイヤパターンの場合の空間
周波数分布を検討してみる。この場合、画素ずらしなく
G ストライプRB完全市松パターンを45°回転した位置と
同じ関係にある。このことから、ベイヤパターンの色G
はG 正方格子RB完全市松パターンの色G の正方形に比べ
て45°回転した四辺形になり、色R, Bはこの四辺形の各
辺を切って形成される正方形である。したがって、色R,
Bの空間周波数分布は四辺形の内部になる。このベイヤ
パターンに対して本実施例で行った縮小補正処理を施し
た場合、生成される色G の位置関係を考慮して空間周波
数分布を求めると、色R, または色Bの空間周波数分布と
同じであることがわかる。

【０１１５】これは本実施例が示したようにG 正方格子
RB完全市松パターンの画素データを用いて縮小補正処理
を施すことにより、画像サイズを縮小させても得られた
画像はベイヤパターンより高い空間周波数特性を維持で
きることを示している。

【０１１６】また、色G の信号の周波数分布に対する応
答特性を図18に示す。図18(a) および(b) の周波数−応
答特性は斜め方向ならびに垂直および水平方向の特性を
それぞれ示している。この特性から明らかなように、垂
直および水平方向の応答特性が斜め方向よりも優れてい
ることがわかる。このように本発明は、たとえば1000万
画素以上の撮像素子を用いてYC処理を行うような画像処
理において有効な処理である。

【０１１７】なお、前述した実施例は、供給される画像
データがG 正方格子RB完全市松パターンで供給された場
合について説明したが、これらの実施例に限定されるも
のでなく、G 正方光子RB市松パターンでも補色系でもよ
い。G 正方光子RB市松パターンの場合、対象画素の周囲
の画素データは色R, Bが混合して得られる。求める色と
異なる色の画素データに対しては、この位置における求
める色と同色の画素データをこの画素データの周囲の画
素データから補間生成することで対応することができ
る。

【０１１８】以上のように構成することにより、縮小補
正部で対象画素を実在画素または仮想画素にして所望の
色の画素データを生成して対象画素の画素データを周囲
の画素データの代表値として用い、全体的に用いる各色
の画素数を減少させながらも構造的な画像を構成する緑
色の画素を正方格子状に配置して縮小画素を求め、さら
に広帯域化部では縮小補正部で得られた画素データに広
帯域化の処理が施されることにより、単なる画素間引き
して画像サイズを縮小した場合に比べてより一層の高画
質化および偽信号の抑圧を画像に施すことができ、光学
LPF の利用をなくす構成の簡素化も図ることができる。

【０１１９】

【発明の効果】このように本発明の画像処理装置によれ
ば、縮小演算処理手段で対象画素を実在画素または仮想
画素にして所望の色の画素データを生成して対象画素の
画素データを周囲の画素データの代表値として用い、全
体的に用いる各色の画素数を減少させながらも構造的な
画像を構成する緑色の画素配置を考慮して求め、さらに
広帯域化手段では縮小演算処理手段で得られた画素デー
タに広帯域化の処理が施されることにより、単なる画素
間引きして画像サイズを縮小した場合に比べてより一層
の高画質化および偽信号の抑圧を画像に施すことができ
る。

【０１２０】また、本発明の画像処理方法によれば、正
方格子状の配置を有する画素に輝度データに関わる色を
担わせた画素データを含む画像データを用いて、対象画
素を実在画素または仮想画素にしてこの対象画素を囲む
周囲の画素データから複数の所望の色の画素データを生
成し、生成した所望の色の画素データに対して周波数的
に広帯域化の処理を施し、対象画素の画素データを周囲
の画素データの代表値とし、全体的に用いる各色の画素
数を減少させながらも画像を構成する際に緑色の画素配
置を考慮して得ることで構造的な画像の高解像度化およ
び偽信号の抑圧を図り、さらに広帯域化手段で得られた
画素データに広帯域化の処理が施されることから画像を
一層高画質化させることができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置を適用したディジタ
ルカメラの概略的なブロック図である。

【図２】図１のディジタルカメラにて用いた撮像部を入
射光側から見た模式図である。

【図３】図１のディジタルカメラの通常補正部の概略的
な構成を示すブロック図である。

【図４】図１のディジタルカメラの縮小補正部の概略的
な構成を示すブロック図である。

【図５】図４の縮小補正部での縮小補正処理における色
G の対象画素および処理に用いる画素の位置関係を説明
する模式図である。

【図６】図４の縮小補正部での縮小補正処理における色
R および色B の対象画素および処理に用いる画素の位置
関係を説明する模式図である。

【図７】図１のディジタルカメラの縮小補正処理モード
対応における広帯域化処理部の概略的な構成を示すブロ
ック図である。

【図８】図１のディジタルカメラの動作を説明するメイ
ンフローチャートである。

【図９】図８に示した通常の補間信号処理（サブルーチ
ンSUB1）の手順を説明するフローチャートである。

【図１０】図８に示した縮小補正処理モードにおける縮
小補正処理の手順（サブルーチンSUB2）を説明するフロ
ーチャートである。

【図１１】図10に示した縮小補正処理における処理領域
の範囲を説明する模式図である。

【図１２】図９に示した通常の補間信号処理の手順によ
り生成された画素データに対して施す広帯域化処理の手
順（サブルーチンSUB3）を説明するフローチャートであ
る。

【図１３】図10に示した縮小補正処理の手順により生成
された画素データに対して施す広帯域化処理の手順（サ
ブルーチンSUB4）を説明するフローチャートである。

【図１４】本発明の画像処理方法におけるブロック化の
仕方を説明する模式図である。

【図１５】図15に示したブロック化の一つを用いてブロ
ック化する際の画素および位置の関係を説明する模式図
である。

【図１６】図15の関係から得られる画素データに対して
施す縮小補正処理の手順（サブルーチンSUB8）を説明す
るフローチャートである。

【図１７】図５に示したG 正方格子RB完全市松パターン
とベイヤパターンとに関し、縮小補正処理を施した際の
空間周波数分布を示すグラフである。

【図１８】図17のG 正方格子RB完全市松パターンにおけ
る斜め、垂直および水平方向のローパスフィルタの周波
数応答を示すチャートである。

【符号の説明】

10 ディジタルカメラ 12 光学レンズ系 14 操作部 16 システムバス 18 システム制御部 26 撮像部 30 信号処理部 30a データ補正部 30b 補間処理部 30c 広帯域化処理部 32 圧縮／伸長処理部 38 プリンタ 40 I/F 部 44 通常補正部 46 縮小補正部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 101:00 ５Ｃ０７９ 9/64 1/40 Ｄ // Ｈ０４Ｎ 101:00 1/46 ＺＦターム(参考） 5B057 BA02 BA12 CA01 CA08 CA12 CB01 CB08 CB12 CB16 CC02 CD06 CE03 CE06 CE16 CH09 5C065 AA03 BB10 BB12 CC01 CC02 CC03 CC08 CC09 DD02 DD17 EE06 GG02 GG15 GG21 HH02 5C066 AA01 AA05 CA06 CA17 EA14 EC02 EC05 GA01 GA02 GA05 GA31 KC02 KE02 KE05 KE07 KM05 5C076 AA22 AA26 BA01 BA06 BB07 BB40 5C077 LL19 MP08 PP20 PP32 PP34 RR19 RR21 5C079 HB01 HB04 JA12 LA02 LA10 LA14 LA26 LA28 LA37 MA11 MA17 NA02 NA04 PA03

Claims

【特許請求の範囲】

【請求項１】色分解された入射光を光電変換する複数
の撮像素子が隣接する撮像素子の幾何学的な中心に対し
て行および／または列方向に半ピッチずらして得られた
各色の画素データを用いて、高画質な画像をもたらす画
像データを生成する画像処理装置において、該装置は、前記画素データの色が、２次元的に正方格子状に得られ
る画素データを前記画像データに含まれる輝度データの
生成に関わる色、該輝度データの生成に関わる色を挟む
一方の対角位置の画素データを前記輝度データの生成に
関わる色と異なる一方の色として同色または異色、なら
びに該輝度データの生成に関わる色を挟む他方の対角位
置の画素データを前記輝度データの生成に関わる色およ
び前記一方の色と異なる他方の色として同色または異色
で供給される画素データを入力して、該供給される画素
データを実在する実在画素からのデータとし、該実在画
素で囲まれた領域の中央を幾何学的な中心とする仮想画
素とし、供給される画素データのうち、縮小表示に用いる対象画
素を前記実在画素または前記仮想画素にして該対象画素
を囲む周囲の画素データから所望の色の画素データを生
成する縮小演算処理手段と、該対象画素として得られた画素データを周波数的に広帯
域化する広帯域化手段とを含むことを特徴とする画像処
理装置。
【請求項２】請求項１に記載の装置において、前記縮
小演算処理手段は、前記対象画素を前記輝度データの生
成に関わる色で囲むそれぞれの領域の中心に位置する実
在画素にして、該対象画素が本来持つ色および前記輝度
データの生成に関わる色と異色の画素データを算出する
第１算出手段を含むことを特徴とする画像処理装置。
【請求項３】請求項２に記載の装置において、第１算
出手段は、前記輝度データの生成に関わる色の実在画素
で囲まれた前記一方の色または前記他方の色の前記対象
画素の位置に、該輝度データの生成に関わる色の実在画
素から得られる画素データを用いて加算平均処理を行う
第１の平均化手段と、前記一方の色および前記他方の色のいずれかの色を前記
対象画素の画素データとしてそのまま用い、前記縮小用
画素に用いる３色のうち、前記対象画素を囲む画素デー
タを残る色の画素データと同色の画素データにして加算
平均処理を行う第２の平均化手段とを含むことを特徴と
する画像処理装置。
【請求項４】請求項１に記載の装置において、前記縮
小演算処理手段は、供給される画素データのうち、４つ
の前記実在画素の中心に前記仮想画素を含むブロック化
を行い、前記対象画素を各ブロックの前記仮想画素にし
て、前記各ブロックに色分解する３つの色のいずれか一
色を指定するとともに、各ブロックに含まれる画素デー
タを用いて指定色の画素データを算出する第２算出手段
を含むことを特徴とする画像処理装置。
【請求項５】請求項４に記載の装置において、第２算
出手段は、前記各ブロックへの前記指定色を本来供給さ
れる画素データの色と同じパターンの色指定を行う色指
定手段と、前記各ブロック内の画素データのうち、該指定色と異な
る色の画素の周囲にある該指定色と同色の画素データか
ら前記異なる色の画素における画素データを生成する指
定色データ生成手段とを含むことを特徴とする画像処理
装置。
【請求項６】被写界からの入射光を３つの色に分解
し、得られた３色の入射光を光電変換する撮像素子が隣
接する撮像素子の幾何学的な中心に対して行および／ま
たは列方向に半ピッチずらして複数配設され、該撮像素
子を実在画素とし、該撮像素子を用いて該撮像素子から
得られる撮像信号のそれぞれをディジタルの画素データ
にして、該実在画素で囲まれた空間を新たに形成する仮
想画素とし、供給される画素データに基づいて演算し各
画素に対応する輝度および色差データを生成する画像処
理方法において、該方法は、前記画素データの色が、２次元的に正方格子状に得られ
る画素データを前記画像データに含まれる輝度データの
生成に関わる色、該輝度データの生成に関わる色を挟む
一方の対角位置の画素データを前記輝度データの生成に
関わる色と異なる一方の色として同色または異色、なら
びに該輝度データの生成に関わる色を挟む他方の対角位
置の画素データを前記輝度データの生成に関わる色およ
び前記一方の色と異なる他方の色として同色または異色
で供給される画素データを用いて、該供給される画素デ
ータを実在する実在画素からのデータとし、該実在画素
で囲まれた領域の中央を幾何学的な中心とする仮想画素
とし、供給される画素データのうち、縮小表示に用いる対象画
素を前記実在画素または前記仮想画素にして該対象画素
を囲む周囲の画素データから所望の色の画素データを生
成する第１の工程と、該対象画素として得られた画素データを周波数的に広帯
域化する第２の工程とを含むことを特徴とする画像処理
方法。
【請求項７】請求項６に記載の方法において、第１の
工程は、前記対象画素を前記輝度データの生成に関わる
色で囲むそれぞれの領域の中心に位置する実在画素にし
て、該対象画素が本来持つ色および前記輝度データの生
成に関わる色と異色の画素データを算出する第３の工程
を含むことを特徴とする画像処理方法。
【請求項８】請求項７に記載の方法において、第３の
工程は、前記輝度データの生成に関わる色の実在画素で
囲まれた前記一方の色または前記他方の色の前記対象画
素の位置に、該輝度データの生成に関わる色の実在画素
から得られる画素データを用いて加算平均処理を行う第
４の工程と、前記一方の色および前記他方の色のいずれかの色を前記
対象画素の画素データとしてそのまま用い、前記縮小用
画素に用いる３色のうち、前記対象画素を囲む画素デー
タを残る色の画素データと同色の画素データにして加算
平均処理を行う第５の工程とを含むことを特徴とする画
像処理方法。
【請求項９】請求項６に記載の方法において、第１の
工程は、供給される画素データのうち、４つの前記実在
画素の中心に前記仮想画素を含むブロック化を行い、前
記対象画素を各ブロックの前記仮想画素にして、前記各
ブロックに３色のいずれか一色を指定するとともに、各
ブロックに含まれる画素データを用いて指定色の画素デ
ータを算出する第６の工程を含むことを特徴とする画像
処理方法。
【請求項１０】請求項９に記載の方法において、第６
の工程は、前記各ブロックへの前記指定色を本来供給さ
れる画素データの色と同じパターンの色指定を行う第７
の工程と、前記各ブロック内の画素データのうち、該指定色と異な
る色の画素の周囲にある該指定色と同色の画素データか
ら前記異なる色の画素における画素データを生成する第
８の工程とを含むことを特徴とする画像処理方法。