JP3873168B2 - デジタルカメラ及び画像処理方法 - Google Patents
デジタルカメラ及び画像処理方法 Download PDFInfo
- Publication number
- JP3873168B2 JP3873168B2 JP2001202518A JP2001202518A JP3873168B2 JP 3873168 B2 JP3873168 B2 JP 3873168B2 JP 2001202518 A JP2001202518 A JP 2001202518A JP 2001202518 A JP2001202518 A JP 2001202518A JP 3873168 B2 JP3873168 B2 JP 3873168B2
- Authority
- JP
- Japan
- Prior art keywords
- lines
- image data
- color image
- color
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 168
- 238000000034 method Methods 0.000 claims description 81
- 230000006870 function Effects 0.000 claims description 68
- 238000013144 data compression Methods 0.000 claims description 35
- 239000000470 constituent Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Image Communication Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、電子ズーム機能を備えたデジタルカメラ、及びこのデジタルカメラで電子ズーム機能時に実行される画像処理方法に関する。
【0002】
【従来の技術】
近時、パーソナルコンピュータの普及に伴ない、撮影により得たデジタル値の画像データを銀塩フィルムに代えてメモリカードに記録するデジタルスチルカメラも広く一般に普及しつつある。
【0003】
図12はこの種のデジタルスチルカメラの一部回路構成を示すもので、ここでは、基本的に単写撮影時にYUVデータを1画面分バッファメモリ上に展開する前にYUVデータに対する圧縮処理を行なうものについて例示する。
【0004】
光学レンズ系11により得られた光像が撮像素子であるCCD12に結像される。このCCD12は、例えば原色ベイヤー配列のカラーフィルタを形成しており、得られたカラー画像データ(以下「ベイヤーデータ」と略称する)は、サンプルホールド回路(S/H)13で順次サンプルホールドされた後にA/D変換器14でデジタル化され、ライン処理部15に送出される。
【0005】
このライン処理部15は、順次送られてくるベイヤーデータをライン単位で取り纏めるもので、纏められたライン単位のベイヤーデータが第1転送部16によりメモリ17に転送されて展開記憶される。
【0006】
しかして、メモリ17上に必要なライン数分のベイヤーデータが展開された時点で、これが第2転送部18によりYUV変換部19にブロック単位で読出される。
【0007】
このYUV変換部19は、補間処理や色空間処理を施して原色系のベイヤーデータを輝度色差系のカラー画像データであるYUVデータに変換するもので、こうして得られたYUVデータは、スイッチ(SW)20を介してJPEG処理部21へ送出される一方、スイッチ22を介して第3転送部23により上記メモリ17に展開記憶される。
【0008】
このメモリ17に展開記憶されたYUVデータは、第4転送部24により表示制御部25に転送され、この表示制御部25でアナログのビデオ出力信号が作成される他、液晶モニタ表示用の信号が作成されてそれぞれ出力される。
【0009】
また、JPEG処理部21では、スイッチ20を介してYUV変換部19から送られてきたYUVデータに基づいてADCT(差分離散コサイン変換)処理、ハフマン符号化等のデータ圧縮処理を施して、データ量を大幅に減じたJPEGデータを得るもので、こうして得られたJPEGデータは第5転送部26によりメモリ17に展開記憶される。
【0010】
そして、このメモリ17に展開記憶されたJPEGデータは、記録媒体としてのメモリカードに記録される。
【0011】
また一方、再生モード時に該メモリカードから読出されてきたJPEGデータは、メモリ17に記憶された後に第6転送部27により読出され、再度JPEG処理部21に転送されて元のYUVデータに復元され、上記スイッチ22を介して第3転送部23によりメモリ17に転送されて記憶された後、第4転送部24により表示制御部25へ供される。
【0012】
しかるに、上記各回路の動作はすべてCPUを含むシステムコントローラ28により統括制御されるもので、このシステムコントローラ28の動作制御は、シャッタキーやモードキー等を含むキー入力部29から直接入力されるキー操作信号に対応して実行される。
【0013】
次いでYUVデータを生成する際の具体的な処理内容について詳述する。
【0014】
上記ライン処理部15で得られ、メモリ17に展開記憶されるベイヤーデータを図13(1)に例示する。
【0015】
このようなベイヤーデータが得られた場合、YUV変換部19でYUVデータ1画素を生成するのに、図13(2)に示すように縦5画素×横5画素が参照のために必要であるものと仮定すると、ベイヤーデータから作成されるYUVデータは図13(3)に示すような画素構成となる。
【0016】
しかるに、生成したYUVデータを図14に示すような順序で転送出力するものと限定し、生成するYUVデータのブロックの垂直サイズを4画素とすると、元のベイヤーデータの画素位置の読出し順序は、図15に示す如くC1〜C8のライン範囲の1ブロック目では
C1−1→C1−2→C1−3→C1−4→C1−5→C1−6→C1−7→C1−8→C2−1→C2−2→‥‥
となり、4ライン下がったC5〜C12のライン範囲の2ブロック目では
C1−5→C1−6→C1−7→C1−8→C1−9→C1−10→C1−11→C1−12→C2−5→C2−6→‥‥
となる。
【0017】
このような画素位置の順序で読出されるベイヤーデータに対し、生成されるYUVデータの画素位置の転送順序は、1ブロック目では
C3−3→C3−4→C3−5→C3−6→C4−3→C4−4→C4−5→C4−6→C5−3→C5−4→‥‥
となり、2ブロック目では
C3−7→C3−8→C3−9→C3−10→C4−7→C4−8→C4−9→C4−10→C5−7→C5−8→‥‥
となる。
【0018】
図16(1)は、以上のようにベイヤーデータからYUVデータを生成する際の画素構成を示すものである。同図(1)のベイヤーデータでハッチングで示す画素部分はYUVデータの生成に当たって利用されるものの、直接対応するYUVデータとして活かされるわけではない画素の位置を示すものである。
【0019】
メモリ17から読出すベイヤーデータ各8ライン分のブロック中、上4ライン分が上に隣接するブロックとで重複して読出されることとなるもので、これに対して生成されたYUVデータは、当然のことながら重複する画素位置がないようになっている。
【0020】
図16(2)は、フレーム単位のベイヤーデータから読出されるブロックと、そのベイヤーデータのブロックから生成されるYUVデータのブロックの関係を例示するものである。
【0021】
【発明が解決しようとする課題】
上述した如く、ベイヤーデータからYUVデータを生成する過程においては、上記図16で示した如く必要最小限のYUVデータのみを生成するようにしている。
【0022】
したがって、必要なデータが4:2:2であればYUVデータブロックの縦サイズを8に、また4:2:0であればYUVデータブロックの縦サイズを16に設定すれば、後段のデータ圧縮を行なうJPEG処理部21が8×8画素のブロック単位で処理を実行するので、そのまま該JPEG処理部21にYUVデータを直接転送することができるようになる。
【0023】
しかしながら、上記図12で示したような回路構成にあって、撮影により得た画像データの補間処理を行なうことで画像の構成画素数を増大させることにより画像を拡大する電子ズーム処理(拡大処理)を高速化するために、ハードウェアにより画素変換を行なう回路をYUV変換部19の後段、例えばスイッチ22と第3転送部23の間に設けることを考えると、その画素変換回路で画像データの拡大処理を行なう際、そのままでは、上述した如く必要最小限のYUVデータのみを転送するようにしているため、あるYUVデータのブロックの一番下のライン上の画素と、その次のYUVデータのブロックの一番上のライン上の画素の間に位置する画素を補間処理により作成することができなくなる。
【0024】
そのため、その画素変換回路では、あるYUVデータのブロックの一番下のライン上の画素と同じものをもう1ライン下に付け加えたり、あるYUVデータのブロックの一番下のライン上の画素を重複してもう1ライン下にも同様の画素があるものと仮定した上で、それら重複した画素を用いて拡大処理を実行する必要があり、結果として電子ズームの垂直方向の拡大率が増すにつれて画像の劣化が激しくなるという不具合があった。
【0025】
また、上記画素変換回路においてYUVデータブロック単位で電子ズーム処理(拡大処理)を実行しようとした場合、各YUVデータブロックのライン数が同じであるので、各YUVデータブロックに対して拡大処理(補間処理)を実行した後の各YUVデータブロックのライン数も同じとなり、とりうるズーム倍率(拡大率)の数に制約を生じてしまうという不具合があった。
【0026】
また、上記画素変換回路でYUVデータブロックに対する電子ズーム処理(拡大処理)を実行しようとした場合、YUV変換部19で生成されたYUVデータブロックをJPEG処理部21に直接転送してしまうと電子ズーム処理の施されていないYUVデータがデータ圧縮され記録媒体であるメモリカードに記録されてしまうので、この場合、上記画素変換回路で電子ズーム処理が施されたYUVデータをメモリ17に一旦記憶した後読み出してJPEG処理部21に転送する必要があり、画像の記録処理に時間を要してしまうという不具合があった。
【0027】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画像データを数ライン単位で拡大処理する際の利便性を大幅に向上させることが可能なデジタルカメラ及び画像処理方法を提供することにある。
【0028】
【課題を解決するための手段】
請求項1記載の発明は、電子ズーム機能を有するデジタルカメラであって、カラーフィルタを有する撮像素子で得たカラー画像データを所定ライン数単位で順次転送するとともに、上記所定ライン数分のカラー画像データを転送する場合に、直前に転送した所定ライン数分のカラー画像データのうち下位数ライン分の画像データを含む所定ライン数分のカラー画像データを転送する転送手段と、この転送手段から所定ライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記所定ライン数よりも少ないライン数単位の輝度色差系のカラー画像データを生成する第1のライン数変換手段と、この第1のライン数変換手段から上記所定数よりも少ないライン数単位で送られてくる輝度色差系のカラー画像データを拡大処理してライン数を増大させる第2のライン数変換手段とを具備し、上記第1のライン数変換手段により生成される上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データのうち上位数ライン分の画像データを含むことを特徴とする。
【0029】
このような構成とすれば、第2のライン数変換手段で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1のライン数変換手段で数ラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送手段を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0030】
請求項2記載の発明は、上記請求項1記載の発明において、電子ズーム機能の動作を指示するズーム指示手段をさらに具備し、上記転送手段、第1のライン数変換手段、及び第2のライン数変換手段は、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合に上記転送処理及びライン数変換処理を実行することを特徴とする。
【0031】
このような構成とすれば、上記請求項1記載の発明の作用に加えて、電子ズーム機能の動作指示を行なっている場合に必要に応じて転送、ライン数変換等の処理を行なうため、電子ズーム機能の非動作時に無駄な処理を施すことがない。
【0032】
請求項3記載の発明は、上記請求項2記載の発明において、上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合、上記転送手段は、上記カラー画像データを上記所定数よりも少ないライン数単位で順次転送するとともに、上記所定数よりも少ないライン数分のカラー画像データを転送する場合に、直前に転送した上記所定数よりも少ないライン数分のカラー画像データのうち下位数ライン分の画像データを含む上記所定数よりも少ないライン数分のカラー画像データを転送し、上記第1のライン数変換手段は、上記転送手段から上記所定数よりも少ないライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを生成し、上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合の上記第1のライン数変換手段から送られてくる、上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データと、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合の上記第2のライン数変換手段で拡大処理が施されたカラー画像データとをデータ圧縮するデータ圧縮手段をさらに具備し、上記第1のライン数変換手段により生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データを含まないことを特徴とする。
【0033】
このような構成とすれば、上記請求項2記載の発明の作用に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0034】
請求項4記載の発明は、上記請求項1記載の発明において、上記第2のライン数変換手段で拡大処理が施されたカラー画像データをデータ圧縮するデータ圧縮手段と、上記第2のライン数変換手段により所定のズーム倍率に基づいて拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送する転送制御手段とをさらに具備したことを特徴とする。
【0035】
このような構成とすれば、上記請求項1記載の発明の作用に加えて、所定のズーム倍率で拡大した画像データを順次データ圧縮させることができるため、回路構成をより簡略化することができる。
【0036】
請求項5記載の発明は、上記請求項4記載の発明において、電子ズーム機能のズーム倍率を指定するズーム倍率指定手段と、このズーム倍率指定手段により指定されたズーム倍率が所定のズーム倍率であるか否かを判別する判別手段とをさらに具備し、上記第2のライン数変換手段は、上記第1のライン数変換手段から順次転送されてくる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記ズーム倍率指定手段により指定されたズーム倍率に基づいて拡大処理し、上記転送制御手段は、上記判別手段により所定のズーム倍率であると判別された場合に、上記第2のライン数変換手段により拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送することを特徴とする。
【0037】
このような構成とすれば、上記請求項4記載の発明の作用に加えて、特定のズーム倍率を指定した場合には、より迅速にデータ圧縮を施すことができる。
【0038】
請求項6記載の発明は、上記請求項5記載の発明において、上記転送制御手段は、上記判別手段により所定のズーム倍率でないと判別された場合、上記第2のライン数変換手段により拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データをメモリ上に順次展開するとともに、このメモリからカラー画像データを上記データ圧縮手段のデータ圧縮ライン数単位で読出して上記データ圧縮手段に転送することを特徴とする。
【0039】
このような構成とすれば、上記請求項5記載の発明の作用に加えて、所定のズーム倍率ではない状態ではメモリに画像データを展開した上でデータ圧縮単位で読出してデータ圧縮処理に供するようにしたため、メモリを使用しなければならない状態に限って使用することで、処理速度が必要以上に低下しないようにすることができる。
【0040】
請求項7記載の発明は、上記請求項4乃至6いずれか記載の発明において、上記転送手段は、上記カラー画像データを上記所定数よりも少ないライン数単位で順次転送するとともに、上記所定数よりも少ないライン数分のカラー画像データを転送する場合に、直前に転送した上記所定数よりも少ないライン数分のカラー画像データのうち下位数ライン分の画像データを含む上記所定数よりも少ないライン数分のカラー画像データを転送する手段を含み、上記第1のライン数変換手段は、上記転送手段から上記所定数よりも少ないライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを生成する手段を含み、上記転送制御手段は、上記第1のライン数変換手段から順次転送される、上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送する手段を含み、上記第1のライン数変換手段により生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データを含まないことを特徴とする。
【0041】
このような構成とすれば、上記請求項4乃至6いずれか記載の発明の作用に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0042】
請求項8記載の発明は、上記請求項1乃至7いずれか記載の発明において、上記第2のライン数変換手段は、上記第1のライン数変換手段から順次転送されてくる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データに対し、画像データ毎にライン数の増大数が異なる拡大処理を施す手段を含むことを特徴とする。
【0043】
このような構成とすれば、上記請求項1乃至7いずれか記載の発明の作用に加えて、拡大処理後の画像データを構成するライン数が異なるような場合でもこれを実行することで、電子ズームの拡大処理として指定する拡大倍率に制約を受けることがなく、きわめて多様な拡大倍率での電子ズーム機能を実現することができる。
【0044】
請求項9記載の発明は、上記請求項8記載の発明において、上記第2のライン数変換手段は、上記拡大処理後の上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データのライン数情報を出力する手段を含むことを特徴とする。
【0045】
このような構成とすれば、上記請求項8記載の発明の作用に加えて、ズーム処理を施した後の画像データ毎に構成するライン数が異なるような場合でもそのライン数情報を次段に出力してこれに対処させることができる。
【0046】
請求項10記載の発明は、電子ズーム機能を有するデジタルカメラであって、カラーフィルタを有する撮像素子で得たカラー画像データを4n+m(m,n:自然数)ライン単位で2nライン毎にずらして順次転送する転送手段と、この転送手段から4n+mライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2n+mライン単位の輝度色差系の同データを作成する第1の画素変換手段と、上記第1の画素変換手段から送られてくる2n+mライン単位の輝度色差系のカラー画像データに基づいて拡大処理により構成画素数を増大させる第2の画素変換手段とを具備したことを特徴とする。
【0047】
このような構成とすれば、第2の画素変換手段で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1の画素変換手段でmラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送手段を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0048】
請求項11記載の発明は、上記請求項10記載の発明において、電子ズーム機能の動作を指示するズーム指示手段をさらに具備し、上記転送手段、第1の画素変換手段、及び第2の画素変換手段は、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合に上記転送処理及び画素変換処理を実行することを特徴とする。
【0049】
このような構成とすれば、上記請求項10記載の発明の作用に加えて、電子ズーム機能の動作指示を行なっている場合に必要に応じて転送、画素変換等の処理を行なうため、電子ズーム機能の非動作時に無駄な処理を施すことがない。
【0050】
請求項12記載の発明は、上記請求項11記載の発明において、上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合、上記転送手段は、上記カラー画像データを4nライン単位で2nライン毎にずらして順次転送し、上記第1の画素変換手段は、上記転送手段から4nライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2nライン単位の輝度色差系の同データを作成し、上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合の上記第1の画素変換手段から送られてくる2nライン単位のカラー画像データと、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合の上記第2の画素変換手段で拡大処理が施されたカラー画像データの少なくとも一方をデータ圧縮するデータ圧縮手段をさらに具備したことを特徴とする。
【0051】
このような構成とすれば、上記請求項11記載の発明の作用に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0052】
請求項13記載の発明は、電子ズーム機能を有するデジタルカメラでの画像処理方法であって、カラーフィルタを有する撮像素子で得たカラー画像データを所定ライン数単位で順次転送するとともに、上記所定ライン数分のカラー画像データを転送する場合に、直前に転送した所定ライン数分のカラー画像データのうち下位数ライン分の画像データを含む所定ライン数分のカラー画像データを転送する転送工程と、この転送工程により所定ライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記所定ライン数よりも少ないライン数単位の輝度色差系のカラー画像データを生成する第1のライン数変換工程と、この第1のライン数変換工程で得られる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを拡大処理してライン数を増大させる第2のライン数変換工程とを有し、上記第1のライン数変換工程で得られる上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換工程で次に得られる上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データのうち上位数ライン分の画像データを含むことを特徴とする。
【0053】
このような方法とすれば、第2のライン数変換工程で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1のライン数変換工程で数ラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送工程を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0054】
請求項14記載の発明は、電子ズーム機能を有するデジタルカメラでの画像処理方法であって、カラーフィルタを有する撮像素子で得たカラー画像データを4n+m(m,n:自然数)ライン単位で2nライン毎にずらして順次転送する転送工程と、この転送工程により4n+mライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2n+mライン単位の輝度色差系の同データを作成する第1の画素変換工程と、上記第1の画素変換工程で得られる2n+mライン単位の輝度色差系のカラー画像データに基づいて拡大処理により構成画素数を増大させる第2の画素変換工程とを有したことを特徴とする。
【0055】
このような方法とすれば、第2の画素変換工程で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1の画素変換工程でmラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送工程を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0058】
【発明の実施の形態】
(第1の実施の形態)
以下本発明の第1の実施の形態に係るデジタルスチルカメラについて図面を参照して説明する。
【0059】
図1はその一部回路構成を示すものであり、基本的には上記図12に示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【0060】
しかして、例えば上記図13(2)に示した如くYUVデータ1画素を生成するのに、縦5画素×横5画素分のベイヤーデータが必要であるものと仮定し、合せてベイヤーデータから生成するYUVデータのブロックの最低限必要な垂直サイズを4画素とすると、メモリ17に記憶したベイヤーデータを読出す第2転送部18′は、ベイヤーデータを9ライン単位で4ラインずつずらして読出し、YUV変換部19へ転送するものとする。
【0061】
また、YUV変換部19の生成したYUVデータに対し、転送経路の開閉動作を行なうスイッチ22と、このスイッチ22を介して転送されてきたYUVデータをメモリ17に展開記憶させる第3転送部23との間に、画素変換部31を配設するものとする。
【0062】
この画素変換部31は、電子ズーム機能の指定時に、与えられたYUVデータの拡大処理を行ない、その構成画素数をズーム倍率に合せて増大させるものである。
【0063】
次に上記実施の形態の動作について説明する。
【0064】
図2は撮影モード時の電子ズームの実行の有無に対応した処理内容を示すものであり、その当初には、キー入力部29を構成するズームキーの操作により電子ズーム機能が指定されているか否かを判断する(ステップA01)。
【0065】
ここで、電子ズーム機能が指定されていない場合、第2転送部18′は上記図16で示したようにメモリ17からベイヤーデータを1ブロック8ライン単位として、上4ライン分が上に隣接するブロックとで重複するものとして読出してYUV変換部19に転送させる。
【0066】
したがって、これに基づいてYUV変換部19で作成されるYUVデータは重複する画素位置がないようになっており、作成されたYUVデータはスルーでスイッチ22を介して画素変換部31を通過し、第3転送部23によりメモリ17に展開記憶された上で、第4転送部24により表示制御部25に送られ、このデジタルスチルカメラの液晶モニタにて表示出力される(ステップA03)。
【0067】
一方、上記ステップA01で電子ズーム機能が指定されていると判断した場合には、第2転送部18′は図3に示すようにメモリ17からベイヤーデータを1ブロック9ライン単位として読出してYUV変換部19に転送させる。
【0068】
例えば、第2転送部18′によるベイヤーデータの画素位置の読出し順序は、上記図15に示したC1〜C9のライン範囲の1ブロック目では
C1−1→C1−2→C1−3→C1−4→C1−5→C1−6→C1−7→C1−8→C1−9→C2−1→C2−2→‥‥
となり、4ライン下がったC5〜C13のライン範囲の2ブロック目では
C1−5→C1−6→C1−7→C1−8→C1−9→C1−10→C1−11→C1−12→C1−13→C2−5→C2−6→‥‥
となる。
【0069】
したがって、YUV変換部19では、この9ライン分のベイヤーデータから5ライン分のYUVデータを作成するもので、例えば生成されるYUVデータの画素位置の転送順序は、1ブロック目では
C3−3→C3−4→C3−5→C3−6→C3−7→C4−3→C4−4→C4−5→C4−6→C4−7→C5−3→C5−4→‥‥
となり、2ブロック目では
C3−7→C3−8→C3−9→C3−10→C3−11→C4−7→C4−8→C4−9→C4−10→C4−11→C5−7→C5−8→‥‥
となるように、ある位置のブロックのYUVデータは、図3中にハッチングで示すようにその最下ライン1ライン分が次の位置のブロックのYUVデータの最上ライン位置と重複するように生成される。
【0070】
こうして1ライン分が重複して作成されたYUVデータに対し、スイッチ22を介して画素変換部31でその時点での拡大倍率に対応した画像の拡大処理を含んだ画素変換が実行されるもので、この拡大処理においては、上述した如くあえて次のブロックに重複するようにしてYUVデータが送られてきているため、ブロックとブロックの間の画素を生成するのに際しても、作成される画像の画質が劣化するようなことはない。
【0071】
拡大処理として、具体的には、YUVデータの縦2画素×横2画素を参照してその中心に位置する画素データを補間により生成するもので、YUVデータとして5ライン目の重複するラインを付加しているため、4ライン目のYUVデータに対しても4ライン目と5ライン目のYUVデータを用いてそれぞれ縦2画素×横2画素の領域を参照することで、4ライン目と次のブロックの1ライン目との間を補間するラインの各画素データを作成することができるようになる。
【0072】
そして、拡大処理により得られた増大されたYUVデータは第3転送部23によりメモリ17に展開記憶された上で、第4転送部24により表示制御部25に送られ、必要な表示範囲がこのデジタルスチルカメラの液晶モニタにて表示出力される(ステップA02)。
【0073】
この際、ブロック中の5ライン目のYUVデータは、画素変換部31にて電子ズームの拡大処理を行なうためにのみ用いられるものであり、第3転送部23はこの5ライン目のYUVデータに関してはメモリ17には転送しない。
【0074】
以上、ステップA02またはA03で電子ズーム機能の指定の有無に応じたモニタ表示処理を行なった後に、キー入力部29を構成するシャッタキーが操作されたか否かを判断し(ステップA04)、操作されていなければ再び上記ステップA01からの処理に戻る、という処理を繰返し実行しながら、該シャッタキーが操作されるのを待機する。
【0075】
しかして、ステップA04でシャッタキーが操作されたと判断すると、次いでその時点で電子ズーム機能が指定されているか否かを判断する(ステップA05)。
【0076】
電子ズーム機能が指定されていなければ、通常の画像記録処理として、次のタイミングでCCD12で撮像して得たベイヤーデータをサンプルホールド回路13、A/D変換器14、及びライン処理部15を介して第1転送部16でメモリ17に記憶させた後、第2転送部18′で1ブロック8ライン分を単位としてメモリ17からベイヤーデータの読出しを行ない、上記図16で示した如く重複のない4ライン単位のYUVデータをYUV変換部19で生成生成する。
【0077】
このYUV変換部19で順次生成される4ライン単位のYUVデータを順次スイッチ20を介してJPEG処理部21へ転送することによってデータ圧縮してブロック単位のJPEGデータを得、得たJPEGデータを第5転送部26により1画面分メモリ17に記憶させた後、記録媒体であるメモリカードに記録させる(ステップA07)。
【0078】
こうして、通常の画像記録処理を実行すると、再び次の撮影に備えて上記ステップA01からの処理に戻る。
【0079】
また、上記ステップA05でシャッタキー操作時に電子ズーム機能が指定されていると判断した場合には、画像の拡大処理を含む画像記録処理として、次にCCD12で撮像で得たベイヤーデータをサンプルホールド回路13、A/D変換器14、及びライン処理部15を介して第1転送部16でメモリ17に記憶させた後、第2転送部18′で1ブロック9ライン分を単位としてメモリ17からベイヤーデータの読出しを行ない、上記図3で示した如く1ラインずつ重複した5ライン単位のYUVデータをYUV変換部19で生成する。
【0080】
このYUV変換部19で生成された5ライン単位のYUVデータをスイッチ22を介して画素変換部31に順次送出し、その時点で設定されている拡大倍率に従って画素数が増大するように拡大処理した後、得たYUVデータを第3転送部23によりメモリ17に転送して記憶させる。
【0081】
この拡大処理として具体的には、上述した如く、YUVデータの縦2画素×横2画素を参照してその中心に位置する画素データを補間により生成するもので、YUVデータとして5ライン目の重複するラインを付加しているため、4ライン目のYUVデータに対しても4ライン目と5ライン目のYUVデータを用いてそれぞれ縦2画素×横2画素の領域を参照することで、4ライン目と次のブロックの1ライン目との間を補間するラインの各画素データを作成することができるようになる。
【0082】
その後、メモリ17に記憶させた拡大処理を施したYUVデータを第6転送部27によりJPEG処理部21に転送してデータ圧縮させてJPEGデータを作成し、そのJPEGデータを第5転送部26によりメモリ17に記憶させた後、記録媒体であるメモリカードに記録させる(ステップA06)。
【0083】
こうして、画像の拡大処理を含む画像記録処理を実行すると、再び次の撮影に備えて上記ステップA01からの処理に戻る。
【0084】
なお、上記実施の形態では、上記図13(2)で示したようにYUVデータ1画素を生成するのに、上下左右各2画素(n=2)を含む縦5画素×横5画素が参照のために必要であるものと仮定し、且つ図3で示したように生成後のYUVデータがブロック単位で1ライン分(m=1)ずつ重複するような場合について例示したが、本発明はこれに限るものではなく、第2転送部18′が4n+m(m,n:自然数)ライン単位で2nライン毎にずらしてベイヤーデータをYUV変換部19に順次転送することにより、YUV変換部19が上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に基づいて2n+mライン単位のYUVデータを生成するものとなり、該変数m,nは上述した如く自然数の範囲内で任意に設定できるものとする。
【0085】
例えば、n=m=2とした場合、図4に示すように第2転送部18′がメモリ17から読出してYUV変換部19に転送する1ブロックは10(=4×2+2)ライン単位のブロックで4(=2×2)ラインずつずらしていくものとなり、YUV変換部19はこれに従って2ライン分重複する6(=2×2+2)ライン分のYUVデータを順次生成することとなる。
【0086】
この場合、第2転送部18′によるベイヤーデータの画素位置の読出し順序は、上記図15に示したC1〜C10のライン範囲の1ブロック目では
C1−1→C1−2→C1−3→C1−4→C1−5→C1−6→C1−7→C1−8→C1−9→C1−10→C2−1→C2−2→‥‥
となり、4ライン下がったC5〜C14のライン範囲の2ブロック目では
C1−5→C1−6→C1−7→C1−8→C1−9→C1−10→C1−11→C1−12→C1−13→C1−14→C2−5→C2−6→‥‥
となる。
【0087】
したがって、YUV変換部19では、この10ライン分のベイヤーデータから6ライン分のYUVデータを作成するもので、例えば生成されるYUVデータの画素位置の転送順序は、1ブロック目では
C3−3→C3−4→C3−5→C3−6→C3−7→C3−8→C4−3→C4−4→C4−5→C4−6→C4−7→C4−8→C5−3→C5−4→‥‥
となり、2ブロック目では
C3−7→C3−8→C3−9→C3−10→C3−11→C3−12→C4−7→C4−8→C4−9→C4−10→C4−11→C4−12→C5−7→C5−8→‥‥
となるように、ある位置のブロックのYUVデータは、図4中にハッチングで示すようにその最下ライン2ライン分が次の位置のブロックのYUVデータの最上ライン2ライン分と重複するように生成される。
【0088】
この場合、画素変換部31が実行する具体的な拡大処理としては、YUVデータの縦4画素×横4画素を参照してその中心に位置する画素データを補間により生成するもので、YUVデータとして5,6ライン目の重複する2ラインを付加しているため、4ライン目のYUVデータに対しても3〜6ラインの4ライン分のYUVデータを用いてそれぞれ縦4画素×横4画素の領域を参照することで、4ライン目と次のブロックの1ライン目との間を補間するラインの各画素データを作成することができるようになる。
【0089】
このように、第1の実施の形態においては、画素変換部31で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予めYUV変換部19でmラインが重複したYUVデータが生成されるように第2転送部18′がベイヤーデータの転送を行なうものとしたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことがない。
【0090】
なお、上記第1の実施の形態においては、カラー画像データの処理を追う物として説明したが、YUVデータ中の輝度成分であるYについてのみ着目し、同様の処理を行なう場合を考えれば、容易にモノクロの画像データについても同様に処理できることがわかる。
【0091】
(第2の実施の形態)
以下本発明の第2の実施の形態に係るデジタルスチルカメラについて図面を参照して説明する。
【0092】
図5はその一部回路構成を示すものであり、基本的には上記図1に示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【0093】
しかして、画素変換部31をYUV変換部19の後段に直接配設し、その出力がスイッチ20,22を介してJPEG処理部21、第3転送部23へ出力されるものとする。
【0094】
次に上記実施の形態の動作について説明する。
【0095】
図6は撮影モード時の電子ズームの実行の有無に対応した処理内容を示すものであり、その当初には、キー入力部29を構成するズームキーの操作により電子ズーム機能が指定されているか否かを判断する(ステップB01)。
【0096】
ここで、電子ズーム機能が指定されていない場合、第2転送部18′は上記図16で示したようにメモリ17からベイヤーデータを1ブロック8ライン単位とし、上4ライン分が上に隣接するブロックとで重複するものとして読出してYUV変換部19に転送させる。
【0097】
したがって、これに基づいてYUV変換部19で作成されるYUVデータは重複する画素位置がないようになっており、作成されたYUVデータはスルーで画素変換部31とスイッチ22を介して、第3転送部23によりメモリ17に展開記憶された上で、第4転送部24により表示制御部25に送られ、このデジタルスチルカメラの液晶モニタにて表示出力される(ステップB03)。
【0098】
一方、上記ステップB01で電子ズーム機能が指定されていると判断した場合には、第2転送部18′は上記図3に示したようにメモリ17からベイヤーデータを1ブロック9ライン単位として読出してYUV変換部19に転送させる。
【0099】
例えば、第2転送部18′によるベイヤーデータの画素位置の読出し順序は、上記図15に示したC1〜C9のライン範囲の1ブロック目では
C1−1→C1−2→C1−3→C1−4→C1−5→C1−6→C1−7→C1−8→C1−9→C2−1→C2−2→‥‥
となり、4ライン下がったC5〜C13のライン範囲の2ブロック目では
C1−5→C1−6→C1−7→C1−8→C1−9→C1−10→C1−11→C1−12→C1−13→C2−5→C2−6→‥‥
となる。
【0100】
したがって、YUV変換部19では、この9ライン分のベイヤーデータからは5ライン分のYUVデータを作成するもので、例えば生成されるYUVデータの画素位置の転送順序は、1ブロック目では
C3−3→C3−4→C3−5→C3−6→C3−7→C4−3→C4−4→C4−5→C4−6→C4−7→C5−3→C5−4→‥‥
となり、2ブロック目では
C3−7→C3−8→C3−9→C3−10→C3−11→C4−7→C4−8→C4−9→C4−10→C4−11→C5−7→C5−8→‥‥
となるように、ある位置のブロックのYUVデータは、上記図3中にハッチングで示したようにその最下ライン1ライン分が次の位置のブロックのYUVデータの最上ライン位置と重複するように生成される。
【0101】
こうして1ライン分が重複して作成されたYUVデータに対し、画素変換部31でその時点での拡大倍率に対応した画像の拡大処理を含んだ画素変換が実行されるもので、この拡大処理においては、上記第1の実施の形態でも具体的な処理内容にらついて説明した如く、あえて次のブロックに重複するようにしてYUVデータが送られてきているため、ブロックとブロックの間の画素を生成するに際しても、作成される画像の画質が劣化するようなことはない。
【0102】
そして、拡大処理により得られた、画素数が増大されたYUVデータはスイッチ22を介して第3転送部23によりメモリ17に展開記憶された上で、第4転送部24により表示制御部25に送られ、必要な表示範囲がこのデジタルスチルカメラの液晶モニタにて表示出力される(ステップB02)。
【0103】
以上、ステップB02またはB03で電子ズーム機能の指定の有無に応じたモニタ表示処理を行なった後に、キー入力部29を構成するシャッタキーが操作されたか否かを判断し(ステップB04)、操作されていなければ再び上記ステップB01からの処理に戻る、という処理を繰返し実行しながら、該シャッタキーが操作されるのを待機する。
【0104】
しかして、ステップB04でシャッタキーが操作されたと判断すると、次いでその時点で電子ズーム機能が指定されているか否かを判断する(ステップB05)。
【0105】
電子ズーム機能が指定されていなければ、通常の画像記録処理として、次にCCD12で撮像で得たベイヤーデータをサンプルホールド回路13、A/D変換器14、及びライン処理部15を介して第1転送部16でメモリ17に記憶させた後、第2転送部18′で1ブロック8ライン分を単位としてメモリ17からベイヤーデータの読出しを行ない、上記図16で示した如く重複のない4ライン単位のYUVデータをYUV変換部19で生成する。
【0106】
このYUV変換部19で順次生成される4ライン単位のYUVデータを順次画素変換部31、スイッチ20をスルーで介して直接JPEG処理部21に転送し、JPEG処理部21では2ブロック8ライン分のYUVデータを単位としてデータ圧縮処理を施し、ブロック単位のJPEGデータを得る(ステップB08)。
【0107】
そして、得たJPEGデータを第5転送部26によりメモリ17に1画面分記憶させた後に、記録媒体であるメモリカードに記録させる(ステップB09)。
【0108】
こうして、通常の画像記録処理を実行すると、再び次の撮影に備えて上記ステップB01からの処理に戻る。
【0109】
また、上記ステップB05でシャッタキー操作時に電子ズーム機能が指定されていると判断した場合には、次いでそのズームキーの操作により指定されているズーム倍率が2倍ちょうどであるか否かを判断する(ステップB06)。
【0110】
ここで、拡大倍率が2倍ではなかった場合には、画像の拡大処理を含む画像記録処理として、次にCCD12で撮像で得たベイヤーデータをサンプルホールド回路13、A/D変換器14、及びライン処理部15を介して第1転送部16でメモリ17に記憶させた後、第2転送部18′で1ブロック9ライン分を単位としてメモリ17からベイヤーデータの読出しを行ない、上記図3で示した如く1ラインずつ重複した5ライン単位のYUVデータをYUV変換部19で生成する。
【0111】
このYUV変換部19で生成した5ライン単位のYUVデータを直接画素変換部31が指定された倍率に従って画素数が増大するように拡大処理した後、得たYUVデータをスイッチ20を介してここでは図示しないバッファメモリに1画面分のYUVデータが記憶されるまで順次展開記憶させる。
【0112】
そして、1画目分のYUVデータがバッファメモリ上に揃った時点でそのバッファメモリからJPEG処理に適した8ライン分毎にYUVデータを読出してJPEG処理部21に転送してデータ圧縮させ、JPEGデータを作成する(ステップB07)。
【0113】
こうして作成したJPEGデータを、第5転送部26によりメモリ17に記憶させた後に、記録媒体であるメモリカードに記録させ(ステップB09)、以上で拡大処理を含む画像記録処理を終えると、再び次の撮影に備えて上記ステップB01からの処理に戻る。
【0114】
さらに、上記ステップB06で電子ズーム機能が指定されており、そのズーム倍率が2倍ちょうどであると判断した場合には、画像の拡大処理を含む画像記録処理として、次にCCD12で撮像で得たベイヤーデータをサンプルホールド回路13、A/D変換器14、及びライン処理部15を介して第1転送部16でメモリ17に記憶させた後、第2転送部18′で1ブロック9ライン分を単位としてメモリ17からベイヤーデータの読出しを行ない、上記図3で示した如く1ラインずつ重複した5ライン単位のYUVデータをYUV変換部19で生成する。
【0115】
このYUV変換部19で生成された5ライン単位のYUVデータを画素変換部31に順次送出し、その時点で設定されている拡大倍率に従って画素数が増大するように拡大処理した後、得た8ライン単位のYUVデータを順次JPEG処理部21に転送する。
【0116】
すなわち、画素変換部31に入力される元のYUVデータが1ブロック5ライン分、隣接するブロックと重複するライン部分を除くと4ライン分であるのに対し、画素変換部31の出力するYUVデータは2倍の拡大処理(補間処理)が施されることにより隣接するブロックと重複するライン部分を除いてその2倍の8ライン分となっており、JPEG処理の基本処理単位である8画素×8画素に適した状態となっているため、ここではそのままJPEG処理部21に転送してデータ圧縮させ、ブロック単位のJPEGデータを作成する(ステップB08)。
【0117】
こうして作成したブロック単位のJPEGデータを、第5転送部26によりメモリ17に1画面分記憶させた後に、記録媒体であるメモリカードに記録させ(ステップB09)、以上で拡大処理を含む画像記録処理を終えると、再び次の撮影に備えて上記ステップB01からの処理に戻る。
【0118】
このように、画素変換部31をYUV変換部19の後段に直接配設し、拡大処理を行なわないか、あるいは特定の倍率で拡大処理したYUVデータに関してはバッファメモリ上にYUVデータを1画面分展開することなく即時そのYUVデータをJPEG処理部21でデータ圧縮できるようにしたため、回路構成をより簡略化し、画像データの媒体への記録をより短時間のうちに実行することができるようになる。
【0119】
なお、上記第2の実施の形態では、第1の実施の形態と同様にラインが重複するYUVデータを生成するものとして説明したが、上記図16で説明した如くラインが重複しないYUVデータを作成するものとしても、特定の倍率で拡大処理したYUVデータに関しては直接JPEG処理部21に転送することができるようになる点では、同等の効果を奏するものである。
【0120】
(第3の実施の形態)
以下本発明の第3の実施の形態に係るデジタルスチルカメラについて図面を参照して説明する。
【0121】
図7はその一部回路構成を示すものであり、基本的には上記図1、図5に示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【0122】
しかして、YUV変換部19の出力するYUVデータが画素変換部31とスイッチ22とに送出されるものとし、画素変換部31の出力はスイッチ20を介さずにJPEG処理部21へのみ直接送られるものとする。
【0123】
加えて、画素変換部31と同様の構成を有する画素変換部32をスイッチ22の後段に設け、この画素変換部32でスイッチ22を介して送られてきたYUVデータを電子ズーム機能の指定時に拡大処理して第3転送部23へ転送し、メモリ17に展開記憶させる。
【0124】
次に上記実施の形態の動作について説明する。
【0125】
図8は上記画素変換部31,32が実行する電子ズーム時の拡大処理の具体的な内容を説明するためのものである。ここでは説明を容易にするために、画素変換部31(32)に入力されるYUVデータの1ブロックが3ライン分であり、したがって当該ブロックを構成する縦方向の画素数が3であって、その1ブロック中1ライン分が重複ラインであり、これを画素変換部31で拡大処理して3画素または4画素に画素変換するものとする。
【0126】
図中の丸数字で示す部分を文中では「<1>」のように称するものとし、これがYUV変換部19から入力される、拡大処理を行なう前の各画素データであるとする。
【0127】
したがって、初めの第1ブロックでは縦方向で<1>〜<3>の画素分が入力され、次の第2ブロックでは2画素ずらした<3>〜<5>の画素分が、続くブロックでは<5>〜<7>の画素分が、‥‥というように、隣接する各ブロック間で1画素分のラインが重複した画素値が入力されてくる。
【0128】
隣り合う上下の2画素間に対応して拡大処理として新たな画素を生成する場合、その画素値の16等分点をサンプリング演算で求めるものとするもので、この図8では、拡大倍率が16/10倍の拡大処理を行なう場合を例示している。
【0129】
最初に画素<1>を選択して、それ以後10/16の画素間隔で新たに画素を生成するものとした場合、その新たな画素位置は図中に黒点BP1,BP2,‥‥で示すようになり、例えば画素<4>と画素<5>の間では2つの新たな黒点BP6,BP7の位置に画素が生成されることとなる。この場合、各画素値は次式のサンプリング演算
BP6=(<4>×14+<5>×2)/16
BP7=(<4>×4+<5>×12)/16
のように、より近い側の元の画素値の内容を正確にその距離に応じて反映するものとしてサンプリング演算する。
【0130】
しかして、図示する如く、画素<1>〜<3>よりなる第1ブロックからは元の画素<1>を含む4つの黒点BP1〜BP4の画素値が生成される一方、画素<3>〜<5>よりなる第2ブロックからは3つの黒点BP5〜BP7の画素値が生成されることとなる。
【0131】
これは、垂直方向の拡大についてのみ勘案したものであり、仮に元のYUVデータの水平方向の画素数が100であり、且つその水平方向には拡大処理を行なわないものとすると、第1ブロック全体の拡大処理により400画素が生成される一方、第2ブロック全体の拡大処理により300画素が生成されて、これが上記図14に示したような画素順序で転送されることとなる。
【0132】
図9は、上記のような抽出画素位置、すなわち次の黒点BPiの位置を算出すために画素変換部31,32内に設けられる回路の構成を例示するもので、拡大処理後の画素間隔を保持するEレジスタ41の保持値21ビット分が加算器42でAレジスタ43の保持値22ビット分と加算され、その和出力が該Aレジスタ43に更新保持されることとなる。
【0133】
そして、Aレジスタ43の保持値22ビットが上述した如く加算器42に帰還出力される一方、抽出画素位置として出力されるもので、このAレジスタ43の区分内容を図示する如くBレジスタ44、Cレジスタ45、及びDレジスタ46として表現するものとする。
【0134】
ここで、Bレジスタ44は、22ビット中の上位8ビットを保持するもので、この8ビットにより元のYUVデータのブロック中のライン(縦方向の画素)位置に該当する内容を表す。
【0135】
Cレジスタ45は、22ビット中の上記Bレジスタ44の8ビットに続く4ビットを保持するもので、Bレジスタ44で示されたライン位置からのオフセット位置、具体的には2画素間を16等分した時の値を表す。
【0136】
Dレジスタ46は、22ビット中の下位10ビットを保持するもので、精度合せのためのダミーレジスタとして使用される。
【0137】
例えば、上記図8で示したような画素位置の抽出を行なう場合を考えると、Aレジスタ43には初期値「000000(H)」が入力される一方、Eレジスタ41には拡大後の画素間隔「10(/16)」に相当する21ビットの数値「002500(H)」が設定される。
【0138】
このEレジスタ41は、上位7ビットが整数部となるもので、拡大を行なわない等倍の際には「004000(H)」となるので、ここでは
004000(H)×10/16
として上記「002500(H)」が設定されるようになる。
【0139】
すなわち、最初のサンプリング位置BP1は、A=「000000(H)」、B=「00(H)」、C=「0(H)」であり、2番目のサンプリング位置BP2は、A+E=「002500(H)」、B=「00(H)」、C=「a(H)」(=10)、3番目のサンプリング位置BP3は、A+E=「005000(H)」、B=「01(H)」、C=「4(H)」、4番目のサンプリング位置BP4は、…、というように、順次Aレジスタ43の内容がEレジスタ41の保持値分ずつ加算されて画素位置が抽出されていく。
【0140】
縦方向の1走査が終了し、水平方向に1画素ずれる際には、Aレジスタ43の内容は再度初期化してサンプリング位置を抽出していく。
【0141】
また、ブロックの切り替わりに際しては、Aレジスタ43を初期化する撮影に再度Eレジスタ41の保持値を加算してその和出力を新たなブロックでの初期値として利用する。
【0142】
上記のような画素位置の抽出に係る演算の精度は、Dレジスタ46の大きさにより変わるものであるが、本実施の形態では、10ビットであるものとする。
【0143】
また、Bレジスタ44の容量は、元のYUVデータの1ブロックを構成する縦方向の画素数(=ライン数)の最大値に応じて設定されるものであるが、実用的には4〜32程度の値が用いられるので、それより充分大きい画素位置を示すように8ビットとした。
【0144】
このように画素変換部31(32で)画素位置の抽出がなされ、それに合せて拡大処理としての画素変換がなされた後のYUVデータは、画素変換部31からここでは図示しないバッファメモリに1画面分のYUVデータが記憶されるまで順次展開記憶させる。
【0145】
そして、1画目分のYUVデータがバッファメモリ上に揃った時点でそのバッファメモリからJPEG処理に適した8ライン分毎にYUVデータを読出してJPEG処理部21に転送してデータ圧縮させ、JPEGデータを作成する。
【0146】
一方、画素変換部32により拡大処理されたYUVデータは、第3転送部23によりメモリ17に送られて表示に供されることとなるが、そのYUVデータの転送時には、併せて各ブロック毎にライン数データも転送されることとなる。
【0147】
図10は、YUVデータ「DATA」と並列にしてライン数データ「LINECNT」を並列に転送している様子を基準クロック「CLK」と共に表したものである。
【0148】
ここでは、ライン数データとして、1ブロック当たり最大16画素(ライン)まで拡大が可能であるものとして、5ビット幅のパラレルデータで転送する場合を例示している。
【0149】
また、図11は、YUVデータをシリアルで転送する場合に、そのイネーブル信号「ENB」に同期してYUVデータに先立ってライン数データ「LINECNT」をシリアル転送している様子を、基準クロック「CLK」と共に表したものである。
【0150】
このように、複数のライン領域からなるブロック単位で拡大処理として画素数の増減を行ない、増減後のブロック毎に構成するライン数が異なるような場合でもライン数情報を次段に出力してこれに対処させることができる。
【0151】
そのため、いずれのブロックでも同一の画素ライン数で電子ズームのための拡大処理を行なうような場合では、拡大前と拡大後の画素構成数が整数比の関係を維持していなくてはならないなど、拡大倍率として設定できる数値に制約を受けるものであるが、本願実施の形態においてはそのような電子ズームの拡大処理として指定する拡大倍率に制約を受けることがなく、きわめて多様な拡大倍率での電子ズーム機能を実現することができる。
【0152】
なお、上記図7に示した構成では、2つの画素変換部31,32を設け、JPEG処理部21によりデータ圧縮してメモリカードに記録するためのYUVデータは、画素変換部31により拡大処理を行なう一方、液晶モニタ等で表示出力させるためのYUVデータは画素変換部32により拡大処理を行なうものとしたが、これは、モニタ表示と媒体への記録という、それぞれ異なる画素数構成のYUVデータを取り扱う上で相互の処理を並列化することにより、無駄に時間を消費することなく、デジタルスチルカメラとしての応答性を保持するためになされたものである。
【0153】
なお、上記第3の実施の形態においては、第1及び第2の実施の形態と同様に、ブロック毎に次のブロックと重複するラインを有するYUVデータを生成するものとして説明したが、上記図16で説明した如くブロック間でラインがまったく重複しないYUVデータを作成するものし、各ブロック毎に異なる拡大倍率により拡大処理するようにして多様な電子ズームの拡大倍率に対応できるようにしてもよい。
【0154】
なお、上記第1乃至第3の実施の形態は、本発明をデジタルスチルカメラに適用した場合について例示したものであるが、電子ズーム機能を有するようなカメラ装置であれば、デジタルビデオカメラ等であっても同様に適用可能であることは勿論である。
【0155】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【0156】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0157】
【発明の効果】
請求項1記載の発明によれば、第2のライン数変換手段で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1のライン数変換手段で数ラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送手段を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0158】
請求項2記載の発明によれば、上記請求項1記載の発明の効果に加えて、電子ズーム機能の動作指示を行なっている場合に必要に応じて転送、ライン数変換等の処理を行なうため、電子ズーム機能の非動作時に無駄な処理を施すことがない。
【0159】
請求項3記載の発明によれば、上記請求項2記載の発明の効果に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0160】
請求項4記載の発明によれば、上記請求項1記載の発明の効果に加えて、上記請求項1記載の発明において、所定のズーム倍率で拡大した画像データを順次データ圧縮させることができるため、回路構成をより簡略化することができる。
【0161】
請求項5記載の発明によれば、上記請求項4記載の発明の効果に加えて、特定のズーム倍率を指定した場合には、より迅速にデータ圧縮を施すことができる。
【0162】
請求項6記載の発明によれば、上記請求項5記載の発明の効果に加えて、所定のズーム倍率ではない状態ではメモリに画像データを展開した上でデータ圧縮単位で読出してデータ圧縮処理に供するようにしたため、メモリを使用しなければならない状態に限って使用することで、処理速度が必要以上に低下しないようにすることができる。
【0163】
請求項7記載の発明によれば、上記請求項4乃至6いずれか記載の発明の効果に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0164】
請求項8記載の発明によれば、上記請求項1乃至7いずれか記載の発明の効果に加えて、拡大処理後の画像データを構成するライン数が異なるような場合でもこれを実行することで、電子ズームの拡大処理として指定する拡大倍率に制約を受けることがなく、きわめて多様な拡大倍率での電子ズーム機能を実現することができる。
【0165】
請求項9記載の発明によれば、上記請求項8記載の発明の効果に加えて、ズーム処理を施した後の画像データ毎に構成するライン数が異なるような場合でもそのライン数情報を次段に出力してこれに対処させることができる。
【0166】
請求項10記載の発明によれば、第2の画素変換手段で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1の画素変換手段でmラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送手段を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0167】
請求項11記載の発明によれば、上記請求項10記載の発明の効果に加えて、電子ズーム機能の動作指示を行なっている場合に必要に応じて転送、画素変換等の処理を行なうため、電子ズーム機能の非動作時に無駄な処理を施すことがない。
【0168】
請求項12記載の発明によれば、上記請求項11記載の発明の効果に加えて、画像データを記録媒体に記録するためのデータ圧縮処理を電子ズーム機能の動作/非動作に合せて制御することができる。
【0169】
請求項13記載の発明によれば、第2のライン数変換工程で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1のライン数変換工程で数ラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送工程を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【0170】
請求項14記載の発明によれば、第2の画素変換工程で電子ズームのための拡大処理を行なう際に画像の劣化が生じないように予め第1の画素変換工程でmラインが重複した輝度色差系のカラー画像データ(YUVデータ)が生成されるような転送工程を用いたため、複雑な回路構成を用いずに、電子ズーム時にも不要に画像の劣化を招くことなく拡大処理を施すことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るデジタルスチルカメラの一部回路構成を示すブロック図。
【図2】同実施の形態に係る撮影モード時の電子ズーム機能の実行の有無に対応した処理内容を示すフローチャート。
【図3】同実施の形態に係るベイヤーデータの転送状態とそれに対応して生成されるYUVデータとの関係を示す図。
【図4】同実施の形態に係るベイヤーデータの転送状態とそれに対応して生成されるYUVデータとの他の関係を示す図。
【図5】本発明の第2の実施の形態に係るデジタルスチルカメラの一部回路構成を示すブロック図。
【図6】同実施の形態に係る撮影モード時の電子ズーム機能の実行の有無に対応した処理内容を示すフローチャート。
【図7】本発明の第3の実施の形態に係るデジタルスチルカメラの一部回路構成を示すブロック図。
【図8】同実施の形態に係る拡大処理の具体的な画素位置の対応関係を説明する図。
【図9】同実施の形態に係る画素位置抽出を行なう回路の構成を示すブロック図。
【図10】同実施の形態に係るライン数データの出力形態を例示する図。
【図11】同実施の形態に係るライン数データの他の出力形態を例示する図。
【図12】一般的なデジタルスチルカメラの一部回路構成を示すブロック図。
【図13】ベイヤーデータからYUVデータを生成する概念を示す図。
【図14】ベイヤーデータからYUVデータを生成する概念を示す図。
【図15】ベイヤーデータからYUVデータを生成する概念を示す図。
【図16】ベイヤーデータからYUVデータを生成する概念を示す図。
【符号の説明】
11…光学レンズ系
12…CCD
13…サンプルホールド回路(S/H)
14…A/D変換器(A/D)
15…ライン処理部
16…第1転送部
17…メモリ
18,18′…第2転送部
19…YUV変換部
20…スイッチ(SW)
21…JPEG処理部
22…スイッチ(SW)
23…第3転送部
24…第4転送部
25…表示制御部
26…第5転送部
27…第6転送部
28…システムコントローラ
29…キー入力部
31,32…画素変換部
41…Eレジスタ
42…加算器
43…Aレジスタ
44…Bレジスタ
45…Cレジスタ
46…Dレジスタ
Claims (14)
- 電子ズーム機能を有するデジタルカメラであって、
カラーフィルタを有する撮像素子で得たカラー画像データを所定ライン数単位で順次転送するとともに、上記所定ライン数分のカラー画像データを転送する場合に、直前に転送した所定ライン数分のカラー画像データのうち下位数ライン分の画像データを含む所定ライン数分のカラー画像データを転送する転送手段と、
この転送手段から所定ライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記所定ライン数よりも少ないライン数単位の輝度色差系のカラー画像データを生成する第1のライン数変換手段と、
この第1のライン数変換手段から上記所定数よりも少ないライン数単位で送られてくる輝度色差系のカラー画像データを拡大処理してライン数を増大させる第2のライン数変換手段とを具備し、
上記第1のライン数変換手段により生成される上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データのうち上位数ライン分の画像データを含む
ことを特徴とするデジタルカメラ。 - 電子ズーム機能の動作を指示するズーム指示手段をさらに具備し、上記転送手段、第1のライン数変換手段、及び第2のライン数変換手段は、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合に上記転送処理及びライン数変換処理を実行することを特徴とする請求項1記載のデジタルカメラ。
- 上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合、上記転送手段は、上記カラー画像データを上記所定数よりも少ないライン数単位で順次転送するとともに、上記所定数よりも少ないライン数分のカラー画像データを転送する場合に、直前に転送した上記所定数よりも少ないライン数分のカラー画像データのうち下位数ライン分の画像データを含む上記所定数よりも少ないライン数分のカラー画像データを転送し、上記第1のライン数変換手段は、上記転送手段から上記所定数よりも少ないライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを生成し、
上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合の上記第1のライン数変換手段から送られてくる、上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データと、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合の上記第2のライン数変換手段で拡大処理が施されたカラー画像データとをデータ圧縮するデータ圧縮手段をさらに具備し、
上記第1のライン数変換手段により生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データを含まない
ことを特徴とする請求項2記載のデジタルカメラ。 - 上記第2のライン数変換手段で拡大処理が施されたカラー画像データをデータ圧縮するデータ圧縮手段と、
上記第2のライン数変換手段により所定のズーム倍率に基づいて拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送する転送制御手段とをさらに具備した
ことを特徴とする請求項1記載のデジタルカメラ。 - 電子ズーム機能のズーム倍率を指定するズーム倍率指定手段と、
このズーム倍率指定手段により指定されたズーム倍率が所定のズーム倍率であるか否かを判別する判別手段とをさらに具備し、
上記第2のライン数変換手段は、上記第1のライン数変換手段から順次転送されてくる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記ズーム倍率指定手段により指定されたズーム倍率に基づいて拡大処理し、
上記転送制御手段は、上記判別手段により所定のズーム倍率であると判別された場合に、上記第2のライン数変換手段により拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送することを特徴とする請求項4記載のデジタルカメラ。 - 上記転送制御手段は、上記判別手段により所定のズーム倍率でないと判別された場合、上記第2のライン数変換手段により拡大処理された上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データをメモリ上に順次展開するとともに、このメモリからカラー画像データを上記データ圧縮手段のデータ圧縮ライン数単位で読出して上記データ圧縮手段に転送することを特徴とする請求項5記載のデジタルカメラ。
- 上記転送手段は、上記カラー画像データを上記所定数よりも少ないライン数単位で順次転送するとともに、上記所定数よりも少ないライン数分のカラー画像データを転送する場合に、直前に転送した上記所定数よりも少ないライン数分のカラー画像データのうち下位数ライン分の画像データを含む上記所定数よりも少ないライン数分のカラー画像データを転送する手段を含み、上記第1のライン数変換手段は、上記転送手段から上記所定数よりも少ないライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを生成する手段を含み、
上記転送制御手段は、上記第1のライン数変換手段から順次転送される、上記転送手段から送られてくるライン数単位よりも少ないライン数単位の輝度色差系のカラー画像データを上記データ圧縮手段に順次転送する手段を含み、
上記第1のライン数変換手段により生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換手段により次に生成される、上記転送手段から送られてくるライン数単位よりも少ないライン数分の輝度色差系のカラー画像データを含まないことを特徴とする請求項4乃至6いずれか記載のデジタルカメラ。 - 上記第2のライン数変換手段は、上記第1のライン数変換手段から順次転送されてくる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データに対し、画像データ毎にライン数の増大数が異なる拡大処理を施す手段を含むことを特徴とする請求項1乃至7いずれか記載のデジタルカメラ。
- 上記第2のライン数変換手段は、上記拡大処理後の上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データのライン数情報を出力する手段を含むことを特徴とする請求項8記載のデジタルカメラ。
- 電子ズーム機能を有するデジタルカメラであって、
カラーフィルタを有する撮像素子で得たカラー画像データを4n+m(m,n:自然数)ライン単位で2nライン毎にずらして順次転送する転送手段と、
この転送手段から4n+mライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2n+mライン単位の輝度色差系の同データを作成する第1の画素変換手段と、
上記第1の画素変換手段から送られてくる2n+mライン単位の輝度色差系のカラー画像データに基づいて拡大処理により構成画素数を増大させる第2の画素変換手段と
を具備したことを特徴とするデジタルカメラ。 - 電子ズーム機能の動作を指示するズーム指示手段をさらに具備し、
上記転送手段、第1の画素変換手段、及び第2の画素変換手段は、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合に上記転送処理及び画素変換処理を実行する
ことを特徴とする請求項10記載のデジタルカメラ。 - 上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合、上記転送手段は、上記カラー画像データを4nライン単位で2nライン毎にずらして順次転送し、上記第1の画素変換手段は、上記転送手段から4nライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2nライン単位の輝度色差系の同データを作成し、
上記ズーム指示手段により電子ズーム機能の動作が指示されていない場合の上記第1の画素変換手段から送られてくる2nライン単位のカラー画像データと、上記ズーム指示手段により電子ズーム機能の動作が指示されている場合の上記第2の画素変換手段で拡大処理が施されたカラー画像データの少なくとも一方をデータ圧縮するデータ圧縮手段をさらに具備した
ことを特徴とする請求項11記載のデジタルカメラ。 - 電子ズーム機能を有するデジタルカメラでの画像処理方法であって、
カラーフィルタを有する撮像素子で得たカラー画像データを所定ライン数単位で順次転送するとともに、上記所定ライン数分のカラー画像データを転送する場合に、直前に転送した所定ライン数分のカラー画像データのうち下位数ライン分の画像データを含む所定ライン数分のカラー画像データを転送する転送工程と、
この転送工程により所定ライン数単位で送られてくるカラー画像データ中の所定画素範囲の内容に対応した画素からなる上記所定ライン数よりも少ないライン数単位の輝度色差系のカラー画像データを生成する第1のライン数変換工程と、
この第1のライン数変換工程で得られる上記所定数よりも少ないライン数単位の輝度色差系のカラー画像データを拡大処理してライン数を増大させる第2のライン数変換工程とを有し、
上記第1のライン数変換工程で得られる上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データは、上記第1のライン数変換工程で次に得られる上記所定ライン数よりも少ないライン数分の輝度色差系のカラー画像データのうち上位数ライン分の画像データを含む
ことを特徴とする画像処理方法。 - 電子ズーム機能を有するデジタルカメラでの画像処理方法であって、
カラーフィルタを有する撮像素子で得たカラー画像データを4n+m(m,n:自然数)ライン単位で2nライン毎にずらして順次転送する転送工程と、
この転送工程により4n+mライン単位で送られてくるカラー画像データ中の上下左右各n画素を含む縦(2n+1)×横(2n+1)の画素範囲の内容に対応した画素からなる2n+mライン単位の輝度色差系の同データを作成する第1の画素変換工程と、
上記第1の画素変換工程で得られる2n+mライン単位の輝度色差系のカラー画像データに基づいて拡大処理により構成画素数を増大させる第2の画素変換工程と
を有したことを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001202518A JP3873168B2 (ja) | 2001-07-03 | 2001-07-03 | デジタルカメラ及び画像処理方法 |
TW091114504A TWI247537B (en) | 2001-07-03 | 2002-07-01 | Digital camera with electronic zooming function cross-reference to related applications |
US10/186,530 US7212237B2 (en) | 2001-07-03 | 2002-07-01 | Digital camera with electronic zooming function |
KR10-2002-0038418A KR100483191B1 (ko) | 2001-07-03 | 2002-07-03 | 전자 줌기능을 갖는 디지털 카메라 및 이미지 처리방법 |
US11/424,640 US7230643B2 (en) | 2001-07-03 | 2006-06-16 | Digital camera with electronic zooming function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001202518A JP3873168B2 (ja) | 2001-07-03 | 2001-07-03 | デジタルカメラ及び画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004259111A Division JP2005012840A (ja) | 2004-09-07 | 2004-09-07 | デジタルカメラ及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003018610A JP2003018610A (ja) | 2003-01-17 |
JP3873168B2 true JP3873168B2 (ja) | 2007-01-24 |
Family
ID=19039312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001202518A Expired - Fee Related JP3873168B2 (ja) | 2001-07-03 | 2001-07-03 | デジタルカメラ及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7212237B2 (ja) |
JP (1) | JP3873168B2 (ja) |
KR (1) | KR100483191B1 (ja) |
TW (1) | TWI247537B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7002627B1 (en) * | 2002-06-19 | 2006-02-21 | Neomagic Corp. | Single-step conversion from RGB Bayer pattern to YUV 4:2:0 format |
JP3877695B2 (ja) * | 2003-04-03 | 2007-02-07 | 松下電器産業株式会社 | カラー固体撮像装置 |
US7471322B2 (en) * | 2004-01-21 | 2008-12-30 | Panasonic Corporation | Solid state imaging device and driving method thereof |
US20070198725A1 (en) * | 2004-10-06 | 2007-08-23 | Morris Robert P | System and method for utilizing contact information, presence information and device activity |
JP4442392B2 (ja) | 2004-11-05 | 2010-03-31 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
JP4887614B2 (ja) * | 2004-11-05 | 2012-02-29 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
JP4802482B2 (ja) * | 2004-11-10 | 2011-10-26 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
US20060176321A1 (en) * | 2005-02-07 | 2006-08-10 | Olympus Corporation | Endoscope apparatus |
US20060178561A1 (en) * | 2005-02-07 | 2006-08-10 | Olympus Corporation | Endoscope apparatus |
TW200632856A (en) * | 2005-03-09 | 2006-09-16 | Sunplus Technology Co Ltd | System and method for color signal interpolation |
US20060245642A1 (en) * | 2005-04-29 | 2006-11-02 | Stmicroelectronics S.R.L. | Software implemented image generating pipeline using a dedicated digital signal processor |
JP4905080B2 (ja) * | 2006-11-22 | 2012-03-28 | カシオ計算機株式会社 | 転送回路、転送制御方法、撮像装置、制御プログラム |
JP4905460B2 (ja) * | 2006-12-12 | 2012-03-28 | 株式会社島津製作所 | 撮像装置 |
CN102356630B (zh) * | 2009-03-19 | 2016-01-27 | 数字光学公司 | 双传感器照相机 |
US8553106B2 (en) | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
JP5278497B2 (ja) * | 2011-06-02 | 2013-09-04 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
KR102069533B1 (ko) * | 2013-05-03 | 2020-01-28 | 삼성전자주식회사 | 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4858020A (en) * | 1987-01-28 | 1989-08-15 | Canon Kabushiki Kaisha | Image sensing device |
JP2551629B2 (ja) * | 1988-06-21 | 1996-11-06 | 株式会社日立製作所 | 撮像装置 |
JPH05130477A (ja) | 1991-11-05 | 1993-05-25 | Mitsubishi Electric Corp | 電子ズーム方式 |
JPH05167835A (ja) * | 1991-12-12 | 1993-07-02 | Tescon:Kk | 画像入力装置における倍率可変方法 |
JPH0795543A (ja) | 1993-09-20 | 1995-04-07 | Hitachi Ltd | 走査線補間装置 |
JPH08102851A (ja) * | 1994-10-03 | 1996-04-16 | Ricoh Co Ltd | 画像拡大処理方法 |
US5990469A (en) * | 1997-04-02 | 1999-11-23 | Gentex Corporation | Control circuit for image array sensors |
JPH11168652A (ja) | 1997-12-04 | 1999-06-22 | Victor Co Of Japan Ltd | 電子ズーム回路 |
JP3748489B2 (ja) | 1998-03-11 | 2006-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
US6529640B1 (en) * | 1998-06-09 | 2003-03-04 | Nikon Corporation | Image processing apparatus |
US6809764B1 (en) * | 1999-05-12 | 2004-10-26 | Fuji Photo Film Co., Ltd. | Solid-state electronic image sensing device with high subsampling efficiency and method of reading a video signal out of the same |
JP3456169B2 (ja) * | 1999-06-29 | 2003-10-14 | セイコーエプソン株式会社 | デジタルカメラ |
US6888568B1 (en) * | 1999-08-19 | 2005-05-03 | Dialog Semiconductor Gmbh | Method and apparatus for controlling pixel sensor elements |
JP2001061058A (ja) | 1999-08-20 | 2001-03-06 | Canon Inc | 画像処理装置 |
US6952228B2 (en) * | 2000-10-13 | 2005-10-04 | Canon Kabushiki Kaisha | Image pickup apparatus |
-
2001
- 2001-07-03 JP JP2001202518A patent/JP3873168B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-01 US US10/186,530 patent/US7212237B2/en not_active Expired - Lifetime
- 2002-07-01 TW TW091114504A patent/TWI247537B/zh not_active IP Right Cessation
- 2002-07-03 KR KR10-2002-0038418A patent/KR100483191B1/ko not_active IP Right Cessation
-
2006
- 2006-06-16 US US11/424,640 patent/US7230643B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US20030007082A1 (en) | 2003-01-09 |
US7212237B2 (en) | 2007-05-01 |
KR20030004143A (ko) | 2003-01-14 |
US7230643B2 (en) | 2007-06-12 |
KR100483191B1 (ko) | 2005-04-14 |
JP2003018610A (ja) | 2003-01-17 |
TWI247537B (en) | 2006-01-11 |
US20060227225A1 (en) | 2006-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3873168B2 (ja) | デジタルカメラ及び画像処理方法 | |
JP4680166B2 (ja) | 撮像装置および撮像方法 | |
US7573504B2 (en) | Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images | |
CN103563359B (zh) | 图像处理装置及图像处理方法以及数码相机 | |
JP5845464B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
CN101521751A (zh) | 摄像设备 | |
JP3348917B2 (ja) | 画像信号処理装置 | |
KR100779767B1 (ko) | 화상신호 생성유닛, 디지털 카메라, 및 화상신호 생성방법 | |
JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
JP2005012840A (ja) | デジタルカメラ及び画像処理方法 | |
JPH10108133A (ja) | 撮像装置及びその制御方法 | |
JP2000115694A (ja) | 画像データ記録方法、画像データ記録装置、画像データ再生方法、画像データ再生装置、情報記録媒体及びコンピュータ読み取り可能な記録媒体 | |
JP2020031336A (ja) | 撮像装置 | |
JP7289642B2 (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP2009302683A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 | |
JP3745605B2 (ja) | 電子スチルカメラ | |
JP4279910B2 (ja) | ディジタルスチルカメラ用信号処理装置 | |
KR100254081B1 (ko) | 화상 데이타 처리 장치 및 그 방법 | |
JP2000115605A (ja) | ディジタルカメラ | |
JPH1070700A (ja) | デジタルスチルカメラ | |
JP4648595B2 (ja) | 電子カメラおよび電子ズーム制御方法 | |
JP2005080198A (ja) | 撮像装置 | |
JP2012124624A (ja) | 撮像装置 | |
JP2006005596A (ja) | 半導体集積回路装置及び撮像装置 | |
JP2004282444A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061009 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3873168 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |