JP2013126182A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な撮像装置を提供する。
【解決手段】画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、前記符号化部は、前記ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を前記記憶部に記憶させるとともに、前記ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を記憶部に記憶させることを特徴とする、撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置及び画像処理方法に関する。

ＪＰＥＧ方式による画像の圧縮符号化に際しては、１画面全体を１つの単位として処理することが定められている。しかし、デジタルスチルカメラ等に設けられるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の内部では、ラインメモリの容量削減のために、１つの画像を縦に複数のブロックに分割して処理する。

そのため、１つの画像全てを処理して、ＪＰＥＧ圧縮が可能な状態にするには、全てのブロックの処理を終了し、その結果をＳＤＲＡＭ等の外部メモリに書きこんで、結合する必要がある。そしてＪＰＥＧ圧縮するためのＪＰＥＧ圧縮符号化器は、外部メモリに構成された画像を読みだして圧縮符号化を実行する。そのため、デジタルスチルカメラでのＪＰＥＧ圧縮に際しては、常に画像を１枚分ＳＤＲＡＭ等の外部メモリに書き込み、また当該外部メモリから読みだすという手順が必要となる。

従来は、デジタルスチルカメラの速度性能は撮像素子の速度性能によって決まっている部分が多く、また１秒間に３枚から７枚程度の連写性能しか必要とされていなかった。しかし、近年では撮像素子の高性能化が進み、その解像度も１２００万画素から２０００万画素以上のものが用いられるようになった。さらに、最近では連写性能も１秒間に１０枚から１５枚程度のものが要求されるようになり、デジタルスチルカメラに求められる処理性能は従来のものに比べて格段に高くなってきている。

そのため、画像のＪＰＥＧ圧縮符号化のために、画像の外部メモリへの読み書きを毎回繰り返すと、消費電力の増大、読み書きの増加に伴う速度不足解消のための外部メモリ搭載数の増加によるコスト増という問題が生じる。そのため、外部メモリへの読み書きを極力行わずに画像のＪＰＥＧ圧縮符号化を実行する必要性が高まっている。

外部メモリを極力使用せずに画像のＪＰＥＧ圧縮符号化を実行するために、１つの画像を縦に分割した複数のブロックそれぞれに対してＪＰＥＧ圧縮符号化を実行し、記録メディアに記録する段階で結合する方法がある。これにより、外部メモリへのアクセスは軽減される。１つの画像を縦に分割した複数のブロックそれぞれに対してＪＰＥＧ圧縮符号化を実行する技術として、例えば特許文献１がある。特許文献１に記載の技術は、分割した各ブロックにＲＳＴマーカーコードをつけることでＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことができる技術である。

特開２００２−３５４３６４号公報

しかし、特許文献１に記載の技術は、分割したブロックの境界で差分符号化が使えないので、符号化効率が低下し、また分割するブロックの画像サイズに制限があるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、符号化部が生成した符号化画像データを記憶する記憶部と、を備え、画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給し、符号化部は、ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を記憶部に記憶させるとともに、ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を記憶部に記憶させることを特徴とする、撮像装置が提供される。

かかる構成によれば、画像処理部は撮像素子への入光により生成されるデータから画像データを生成し、符号化部は画像処理部が生成した画像データを符号化して符号化画像データを生成し、記憶部は符号化部が生成した符号化画像データを記憶する。そして画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給する。そして、符号化部は符号化部、ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を記憶部に記憶させるとともに、ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を記憶部に記憶させる。これにより、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能となる。

符号化部は、予測符号化で用いられる情報を、該情報の対象であるブロックに隣接するブロックの予測符号化の際に記憶部から読み出すようにしてもよい。

上記撮像装置は、記憶部に記憶された符号化画像データ、開始アドレスおよび符号化後のデータ長を用いてブロック単位で符号化された符号化画像データを結合する結合部をさらに備えていてもよい。

符号化部は、符号化画像データにおける特定のデータの位置を検索し、該位置の情報を記憶部に記憶させるようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、前記画像処理ステップで生成された画像データを符号化して符号化画像データを生成する符号化ステップと、前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、を備え、前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、前記符号化ステップは、前記ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を記憶させるとともに、前記ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を記憶させることを特徴とする、画像処理方法が提供される。

以上説明したように本発明によれば、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することができる。

従来技術の概要を示す説明図である。 従来技術の概要を示す説明図である。 従来技術の概要を示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２の構成を示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００の動作を示す流れ図である。 画像データの分割と、分割した画像データの符号化順およびメモリカードへの記録順との関係を示す説明図である。 画像圧縮部１１２により可変長符号化されたデータの結合処理について示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００での予測符号化について示す説明図である。 ＪＰＥＧのＳｔｒｅａｍでＢｉｔ“１”がバイト境界上で８個続いた場合に、“００”のバイトを挿入する様子を示す説明図である。 左端のタイルは最初に符号化を行うため、最も右端のＭＣＵの情報を参照することは出来ない状態を示す説明図である。 ＤＭＡによるデータの結合の際に、左端のタイルの左端のＭＣＵの前にＲＳＴマーカーコードを挿入する様子を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．従来技術およびその問題点＞
まず、本発明の好適な実施の形態について詳細に説明する前に、従来技術の説明および従来技術の問題点について述べる。図１は従来技術の概要を示す説明図であり、特許文献１に記載されている、ＪＰＥＧ圧縮符号化の際の外部メモリへのアクセスを軽減するために、１つの画像を縦に分割した複数のブロックそれぞれに対してＲＳＴマーカーコード（ＲＳＴ Ｍａｒｋｅｒ Ｃｏｄｅ）を付ける技術の概要を示す説明図である。

ＪＰＥＧ圧縮符号化は、必ずしも１つの画像全体で行わなければいけないものではなく、画像の一部をＲＳＴマーカーコードで区切って符号化することが可能である。図１は、１つの画像を４つのブロック（Ｔｉｌｅ０、Ｔｉｌｅ１、Ｔｉｌｅ２、Ｔｉｌｅ３）に分割し、それぞれのブロックのＭＣＵラインの一番右にＲＳＴマーカーコードを付加して圧縮符号化する状態を示している。このように、１つの画像を複数のブロックに分割する際には、各ブロックのＭＣＵラインの最後尾にＲＳＴマーカーコードを付して符号化する。

しかし、このように符号化すると、データの保存方向はブロック単位となり、Ｔｉｌｅ０→Ｔｉｌｅ１→Ｔｉｌｅ２→Ｔｉｌｅ３のようにはならない。従って、符号化後の画像データを保存するためには、Ｔｉｌｅ０の最上行のＭＣＵライン→Ｔｉｌｅ１の最上行のＭＣＵライン→・・・という順番に並べ替える必要がある。

ＪＰＥＧの符号化では可変長符号化を用いるため、画素毎、ＭＣＵ毎の符号量は一定ではなく、なおかつバイト単位でもない。ただし、ＲＳＴマーカーコードはバイト境界にある必要があるため、各ＭＣＵ列はバイト単位となり、外部メモリでの扱いは簡単になる。

しかし、特許文献１に記載されている、ＲＳＴマーカーコードを付加して圧縮する方法は、以下のような問題がある。

まず、ＲＳＴマーカーコードを付加して圧縮すると、符号化効率が低下する。ＪＰＥＧでは左側のブロックの情報を基に、差分を取ってＤＣ予測を行なって符号化する。画像を複数のブロックに分割し、ＲＳＴマーカーコードで区切る場合、ブロック単位で差分がリセットされるために、構成は簡単になるが、この分ＲＳＴマーカーコードの符号を付加する必要性が生じ、またブロック間で差分符号化が使えないために符号化効率が低下する。

図２は、従来技術について示す説明図であり、従来技術では、ブロック間で差分符号化が使えない状態を示す説明図である。図２に示すように、同一のブロック内ではＭＣＵ間でＤＣ予測を行なって符号化することができる。しかし、ブロックを跨いでしまうと差分符号化が使えないので、このブロックを跨いだ部分での符号化効率が低下する。

次に、ＲＳＴマーカーコードを付加した圧縮には、画像サイズの制限がある。ＲＳＴマーカーコード間の画像サイズは一定である必要がある。通常、デジタルスチルカメラのＪＰＥＧでは、輝度成分で水平１６画素単位での処理を行うため、それぞれのブロックは１６画素単位でなければならない。従って、例えば４つのブロックに縦長に分割する構成であれば、６４画素単位でしか画像サイズを変更できない。

しかし、ブロックの大きさは通常水平２５６ｐｉｘｅｌ、５１２ｐｉｘｅｌ等の小さいものであり、画像全体は５０００〜８０００ｐｉｘｅｌ等の大きなものになりつつある。このため、例えば３２ブロックに画像を分割して処理すると、２５６画素単位でしか画像サイズを変更することができない。

しかし、そのような都合の良い撮像素子は多くなく、割り切れない部分は画像の右側には黒を挿入する必要が生じる。図３は、従来技術について示す説明図であり、従来技術では、画像の右側には黒を挿入する必要が生じる状態を示す説明図である。画像サイズが横７９５２画素で、ブロックの幅が２５６画素である場合、一番右のブロックは１６画素のみが実際の画像であり、残りの画素には黒のデータを挿入しないとブロックとして処理することができない。

そこで以下で説明する本発明の一実施形態では、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な、新規かつ改良された撮像装置について説明する。

＜２．本発明の一実施形態＞
［デジタルスチルカメラの機能構成例］
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図４は、本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。以下、図４を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明する。

図４に示したデジタルスチルカメラ１００は、本発明の撮像装置の一例である。図４に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００は、カメラ部１０２と、ＣＰＵ１０４と、ＲＯＭ１０５と、マルチプレクサ（ＭＵＸ）１０６と、現像部１１０と、画像圧縮部１１２と、歪補正処理部１１３と、メモリカード１１４と、ＬＣＤ１１６と、ＳＤＲＡＭ Ｉ／Ｆ１１８と、ＳＤＲＡＭ１２０と、を含んで構成される。

カメラ部１０２は、図４には図示しないが、ズームレンズ、フォーカスレンズ、ベイヤー配列の色フィルタが設けられた撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からのベイヤー配列のＲＧＢ画像データを出力するものである。ここで、撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。カメラ部１０２で生成されて出力されるベイヤー配列のＲＧＢ画像データ（以下、カメラ部１０２から出力されるベイヤー配列のＲＧＢ画像データを単に「データ」とも称する）はＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られるか、または直接マルチプレクサ１０６に送られる。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４は、デジタルスチルカメラ１０４の各部の動作を制御するものである。ＲＯＭ１０５は、デジタルスチルカメラ１００の動作制御に用いる各種プログラムや設定情報が格納されるものである。マルチプレクサ１０６は、カメラ部１０２で生成されて出力されるデータと、ＳＤＲＡＭ１２０に格納された画像データの入力を受け、現像部１１０に送るものである。

現像部１１０は、カメラ部１０２で生成されたデータを用いて、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成する（現像処理に相当する処理を実行する）ものである。現像部１１０が生成する画像データは、画像圧縮部１１２に送られる。

画像圧縮部１１２は、現像部１１０が生成した画像データに対して所定の画像圧縮処理を実行するものである。所定の画像圧縮処理としては、ＪＰＥＧへの圧縮処理を用いる。ＣＰＵ１０４の制御によって画像圧縮部１１２で圧縮処理が施された画像データはＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

歪補正処理部１１３は、ＳＲＡＭへのクロックの供給を制御することで消費電力を抑えつつ、ＳＤＲＡＭ１２０に格納された画像データに対して歪みを補正する処理を実行するものである。歪補正処理部１１３によって、ＳＤＲＡＭ１２０に格納された画像データの歪みを補正することができる。

メモリカード１１４は、画像圧縮部１１２で圧縮され、ＳＤＲＡＭ１２０に格納された画像データを保存するものである。メモリカード１１４への画像データの記録はＣＰＵ１０４の制御によって実行される。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１１６は、デジタルスチルカメラ１００の各種設定画面を表示したり、カメラ部１０２が生成したデータをリアルタイムで表示（ライブビュー表示）したり、メモリカード１１４に保存された画像データを表示したりするものである。なお、本実施形態ではＬＣＤを用いているが、本発明においてはＬＣＤ以外の表示デバイス、例えば有機ＥＬを用いた表示デバイスを用いても良い。

ＳＤＲＡＭ Ｉ／Ｆ１１８は、ＳＤＲＡＭ１２０との間のインタフェースであり、ＳＤＲＡＭ１２０へのデータの記録やＳＤＲＡＭ１２０からのデータの読み出しを仲介するものである。ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０は、カメラ部１０２が生成したデータや、現像部１１０で現像処理が施されたデータ、画像圧縮部１１２で圧縮された画像データ等を一時的に格納するものである。

なお、図４には図示しないが、デジタルスチルカメラ１００には、ユーザの入力操作を受け付ける入力部を備えていてもよく、入力部には、撮影処理を実行するためのシャッタボタンや、デジタルスチルカメラ１００を操作するための操作ボタンを備えていても良い。

本実施形態では、現像部１１０で画像データを生成すると、その画像データを、ＳＤＲＡＭ１２０を介さずに画像圧縮部１１２に直接供給する。これにより、カメラ部１０２により撮影が行われてから画像圧縮部１１２による圧縮処理が完了するまでに要する時間の高速化を図ることが出来る。

以上、図４を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明した。次に、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２の構成について説明する。

図５は、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２の構成を示す説明図である。以下、図５を用いて本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２の構成について説明する。

図５に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２は、ビデオＩ／Ｆ１３１と、ＤＣＴ部１３２と、量子化部１３３と、ＩＭＣ部１３４と、可変長符号化部１３５と、ストリームＩ／Ｆ１３６と、ＤＭＡ Ｉ／Ｆ１３７と、を含んで構成される。

ビデオＩ／Ｆ１３１は、現像部１１０からの画像データが入力される。ビデオＩ／Ｆ１３１は、現像部１１０からの画像データをＤＣＴ部１３２へ出力する。ＤＣＴ部１３２は、ビデオＩ／Ｆ１３１からの画像データをＤＣＴ変換（離散フーリエ変換；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）する。ＤＣＴ部１３２は、ＤＣＴ変換後のデータを量子化部１３３に送る。量子化部１３３は、ＤＣＴ変換後のデータを量子化する。ＩＭＣ部１３４は、量子化後のデータに対して逆動き補償を行う。

可変長符号化部１３５は、逆動き補償が行われた画像データを可変長符号化する。可変長符号化部１３５は、画像データの可変長符号化に際し、Ｙ、Ｃｂ、ＣｒそれぞれのＤＣ値を書き出す。可変長符号化部１３５はＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を書き出すと、書き出したＤＣ値の情報をＤＭＡ Ｉ／Ｆ１３７へ送る。また、可変長符号化部１３５は、画像データを可変長符号化すると、符号化データをストリームＩ／Ｆ１３６へ送る。

ストリームＩ／Ｆ１３６は、可変長符号化部１３５により可変長符号化されたデータをストリームとして出力する。ＤＭＡ Ｉ／Ｆ１３７は、可変長符号化部１３５が書き出したＹ、Ｃｂ、ＣｒそれぞれのＤＣ値をＳＤＲＡＭ１２０へ格納し、また、ＳＤＲＡＭ１２０に格納されたＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を必要に応じて読み出して可変長符号化部１３５へ送る。この画像圧縮部１１２の一連の処理において、必要に応じてＳＲＡＭ（図示せず）へのアクセスが行われる。

本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２は、図４に示したような構成を有することで、１つの画像を縦長に分割した場合でも、ブロックを跨いでの予測符号化が可能になり、符号化効率を低下させずに済む。

なお、画像圧縮部１１２の構成はかかる例に限定されるものではない。符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値をＳＤＲＡＭ１２０に記録するような構成であれば、画像圧縮部１１２の構成は図４に示したものに限られない。

以上、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる画像圧縮部１１２の構成について説明した。次に、本発明の一実施形態に係るデジタルスチルカメラ１００の動作について説明する。

図６は、本発明の一実施形態に係るデジタルスチルカメラ１００の動作を示す流れ図である。図６に示した流れ図は、本発明の一実施形態に係るデジタルスチルカメラ１００で画像をＪＰＥＧ圧縮符号化する際の処理を示したものである。以下、図６を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の動作について説明する。

現像部１１０は、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成すると、その画像データを、縦長の複数のブロックに分割する（ステップＳ１０１）。ここでは、分割された１つのブロックのことを「タイル（Ｔｉｌｅ）」とも称する。現像部１１０は、分割した画像データを順次ＳＤＲＡＭ１２０を介さずに画像圧縮部１１２に直接供給する。

図７は、画像データの分割と、分割した画像データの符号化順およびメモリカードへの記録順との関係を示す説明図である。図７には、１つの画像データをＴｉｌｅ０、Ｔｉｌｅ１、Ｔｉｌｅ２、Ｔｉｌｅ３の４つのタイルに分割した場合を示している。そして図７に示した例は、１つのタイルはＮ個のＭＣＵ列からなるものとする。

画像圧縮部１１２は、現像部１１０で生成され、複数のブロックに分割された画像を、ブロック単位で可変長符号化する（ステップＳ１０２）。図７に示したように、画像圧縮部１１２は、まず一番左のタイルであるＴｉｌｅ０について、上から順にＭＣＵ列単位で可変長符号化を実行する。そして、一番下のＭＣＵ列の可変長符号化が完了すると、次のタイルであるＴｉｌｅ１について、同様に上から順にＭＣＵ列単位で可変長符号化を実行する。

ここで画像圧縮部１１２は、Ｔｉｌｅ０について、上から順にＭＣＵ列単位で可変長符号化を実行する際に、ＭＣＵ列の一番右のＭＣＵにおける、Ｙ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録する。後述するように、ＭＣＵ列の一番右のＭＣＵにおける、Ｙ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録することで、隣接するタイルの、対応するＭＣＵ列の一番左のＭＣＵにおける予測符号化が可能となる。

画像圧縮部１１２は、複数のブロックに分割された画像を、ブロック単位で可変長符号化すると、符号化後の各ＭＣＵ列の開始アドレスの情報をＳＤＲＡＭ１２０に記録する（ステップＳ１０３）とともに、符号化後の各ＭＣＵ列のビット量の情報をＳＤＲＡＭ１２０に記録する（ステップＳ１０４）。

画像圧縮部１１２はＭＣＵ列を可変長符号化するので、符号化後の各ＭＣＵ列の長さは一定ではない。従って、符号化後のデータを図７に示したように並び替えて結合し、メモリカード１１４へ記録する際には、各ＭＣＵ列のデータがどこにあるかが分からなければならない。従って、符号化後の各ＭＣＵ列の開始アドレスの情報をＳＤＲＡＭ１２０に記録することで、メモリカード１１４への記録時にそのアドレスの情報を参照する。

また、メモリカード１１４へ記録する際に、ＳＤＲＡＭ１２０に記録された各ＭＣＵ列のデータをどれだけ読み出せば良いのか、また余りビット量がいくつなのかを知るために、各ＭＣＵ列の符号量を知る必要がある。従って、符号化後の各ＭＣＵ列のビット量の情報をＳＤＲＡＭ１２０に記録する。

図８は、画像圧縮部１１２により可変長符号化されたデータの結合処理について示す説明図である。図８には、タイル０の最上部のＭＣＵ列とタイル１の最上部のＭＣＵ列とを結合する場合が例示されている。そして図８には、タイル０の最上部のＭＣＵ列を可変長符号化すると、最後の３ビットが余っており、所定のビット（Ｐａｄｄｉｎｇ Ｂｉｔ）で穴埋めされている状態が例示されている。

この場合において、タイル０の最上部のＭＣＵ列の開始アドレス、符号化後の各ＭＣＵ列のビット量の情報、余りビット量の情報をＳＤＲＡＭ１２０に記憶しておき、同様にタイル１の最上部のＭＣＵ列の開始アドレス、符号化後の各ＭＣＵ列のビット量の情報、余りビット量の情報をＳＤＲＡＭ１２０に記録しておく。

１つの画像データのＪＰＥＧ符号化が完了して符号化データがＳＤＲＡＭ１２０に格納されると、ＳＤＲＡＭ１２０に格納された符号化データは、上記ステップＳ１０３およびステップＳ１０４でＳＤＲＡＭ１２０に格納された情報を用いて、符号化データを並び替えて１枚のＪＰＥＧ画像に結合される（ステップＳ１０５）。結合されたＪＰＥＧ画像はメモリカード１１４に記録される。

符号化データを並び替えてメモリカード１１４へ記録する際には、ＳＤＲＡＭ１２０に記録したこれらの情報を読み出して参照することで、図８に示したようにＭＣＵ列単位でデータを結合することが可能となる。すなわち、タイル０の一番上のＭＣＵ列の開始アドレスおよび符号化後の各ＭＣＵ列のビット量の情報をＳＤＲＡＭ１２０から読み出すことで、タイル０の一番上のＭＣＵ列をＳＤＲＡＭ１２０のどこからどれだけ読み出せば良いかが分かる。

続いて、タイル１の一番上のＭＣＵ列の開始アドレスおよび符号化後の各ＭＣＵ列のビット量の情報をＳＤＲＡＭ１２０から読み出すことで、タイル１の一番上のＭＣＵ列をＳＤＲＡＭ１２０のどこからどれだけ読み出せば良いかが分かり、タイル０の一番上のＭＣＵ列の後に繋げることができる。

以上、図６を用いて本発明の一実施形態にかかるデジタルスチルカメラ１００の動作について説明した。

以上説明したように本発明の一実施形態によれば、現像部１１０は、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成し、ＳＤＲＡＭ１２０を介さずにその画像データを画像圧縮部１１２に供給する場合に、１つの画像を複数のタイルに分割して現像部１１０から画像圧縮部１１２に供給する。画像圧縮部１１２では、タイル単位で画像データを可変長符号化する。可変長符号化に際しては、符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録する。

図９は、本発明の一実施形態に係るデジタルスチルカメラ１００での予測符号化について示す説明図である。このように、符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録することで、タイルの境界においてＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を用いた予測符号化が可能になる。

可変長符号化に際して、符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録することで、ＲＳＴマーカーコードはＭＣＵ列の最右端に１つあれば良いので、可変長符号化時の符号化効率を従来技術に比べて高めることができ、また各タイルにＲＳＴマーカーコードを挿入しないことで、各タイルの横幅は自由に設定することができるので、画像の横幅がどのようなものであっても対応することができる。

ここで、タイル単位で可変長符号化されたデータを結合してＪＰＥＧ画像とするために必要な処理について説明する。可変長符号化されたデータを結合してＪＰＥＧ画像を生成するＤＭＡは以下の機能を搭載する必要がある。

（１）Ｂｙｔｅ Ａｌｉｎｅｄ化
各タイル内のＭＣＵ列はＢｙｔｅ Ａｌｉｎｅｄされていない。従って、ＤＭＡは上述したように、各ＭＣＵ列を読み出し、Ｂｉｔずらしを行って可変長符号化されたデータを結合する必要がある。

（２）“ＦＦ”の後の“００”パディング
ＪＰＥＧのＳｔｒｅａｍ内では、Ｂｉｔ“１”がバイト境界上で８個続いた場合、つまり、ＪＰＥＧのＳｔｒｅａｍをエディタ等の画面で見て、１６進数で“ＦＦ”があった場合には、その次のバイトを“００”としなければならない。従って、Ｂｉｔ“１”がバイト境界上で８個続いた場合には、この“００”のバイトを挿入する必要がある。しかし、ＪＰＥＧ符号化を実行する画像圧縮部１１２は、符号化しているデータのどこがバイト境界なのか分からないため、“００”のバイトの挿入はデータの並べ替えを行っているＤＭＡで行う必要がある。図１０は、ＪＰＥＧのＳｔｒｅａｍでＢｉｔ“１”がバイト境界上で８個続いた場合に、“００”のバイトを挿入する様子を示す説明図である。

そのため、画像圧縮部１１２は、符号化している画像のＳｔｒｅａｍにおいて、Ｂｉｔ“１”がバイト境界上で８個続いている部分を検索し、Ｂｉｔ“１”がバイト境界上で８個続いている部分があれば、その部分のアドレスをファイルとして書き出してＳＤＲＡＭ１２０に書き込む。そして、ＪＰＥＧ符号化後の画像をメモリカード１１４に記録するＤＭＡは、画像圧縮部１１２がＳＤＲＡＭ１２０に書き出した、Ｂｉｔ“１”がバイト境界上で８個続いている部分のアドレスを参照し、該当する箇所について上述の“００”のバイトを挿入する。

図１０では、２つの例が示されている。例１では、“ＦＦ”、すなわちＢｉｔ“１”がバイト境界上で８個続いている部分があれば、その後に“００”のバイトを挿入している。例２では、“ＦＦ”、すなわちＢｉｔ“１”がバイト境界上で１６個続いている部分があれば、それぞれの“ＦＦ”の後に“００”のバイトを挿入している。

このように、画像圧縮部１１２が、符号化している画像のＳｔｒｅａｍにおいて、Ｂｉｔ“１”がバイト境界上で８個続いている部分を検索して、その部分をＳＤＲＡＭ１２０に書き出し、ＤＭＡはその情報を参照して“００”のバイトを挿入することで、ＤＭＡにデータを検索させる場合に比べ、ＤＭＡによるデータの結合に要する時間を短縮できる効果が期待できる。

（３）ＲＳＴマーカーコードの付加
ＲＳＴマーカーコードもバイト境界に記録する必要があるため、ＪＰＥＧ符号化後の画像をメモリカード１１４に記録するＤＭＡでＲＳＴマーカーコードを挿入する。本実施形態のように、１つの画像を複数のタイルに分割して符号化する場合は、出来る限りＲＳＴマーカーコードの数を減らすことを目的としている。一方、各ＭＣＵラインの最も右端の部分だけは、ＲＳＴマーカーコードは必ず必要となる。

通常のＪＰＥＧ符号化では、左端のＭＣＵのＤＣ値は、１つ上のＭＣＵ列の右端のＭＣＵの情報を用いて予測符号化を行う。しかし本実施形態では、左端のタイルは最初に符号化を行うため、最も右端のＭＣＵの情報を参照することは出来ない。図１１は、左端のタイルは最初に符号化を行うため、最も右端のＭＣＵの情報を参照することは出来ない状態を示す説明図である。従って、本実施形態にかかるデジタルスチルカメラ１００では、水平方向に１つずつのＲＳＴマーカーコードを付加する。

図１２は、本実施形態にかかるデジタルスチルカメラ１００において、ＤＭＡによるデータの結合の際に、左端のタイルの左端のＭＣＵの前にＲＳＴマーカーコードを挿入する様子を示す説明図である。このように、ＤＭＡによるデータの結合の際に、左端のタイルの左端のＭＣＵの前にＲＳＴマーカーコードを挿入することで、ＪＰＥＧの規格に適合したデータを生成することが可能となる。

図１２に示した例では、最上部のタイル３の右端（Ｒｉｇｈｔ Ｅｄｇｅ）部分のデータを抽出している。最上部のタイル３の右端のデータが、図１２に示したもののような場合、右端のデータの後にＲＳＴマーカーコードを付加しなければならない。そして最上部のタイル３の右端のデータが、図１２に示したもののような場合であり、有効データとしてバイト境界まで５ビット分足りない場合は、ＤＭＡによるデータの結合の際に５ビット分“０”でデータを埋め、その後にＲＳＴマーカーコードを付加する。これにより本実施形態にかかるデジタルスチルカメラ１００は、ＪＰＥＧの規格に適合したデータを生成することが可能となる。

＜３．まとめ＞
以上説明したように本発明の一実施形態にかかるデジタルスチルカメラ１００によれば、現像部１１０が輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成し、ＳＤＲＡＭ１２０を介さずにその画像データを画像圧縮部１１２に供給する場合に、１つの画像を複数のタイルに分割して現像部１１０から画像圧縮部１１２に供給する。画像圧縮部１１２では、タイル単位で画像データを可変長符号化する。可変長符号化に際しては、符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録する。

可変長符号化に際して、符号化後の各ＭＣＵ列の開始アドレスの情報、符号化後の各ＭＣＵ列のビット長、およびＹ、Ｃｂ、ＣｒそれぞれのＤＣ値を、ＳＤＲＡＭ１２０に記録することで、ＲＳＴマーカーコードはＭＣＵ列の最右端に１つあれば良いので、可変長符号化時の符号化効率を従来技術に比べて高めることができ、また各タイルにＲＳＴマーカーコードを挿入しないことで、各タイルの横幅は自由に設定することができるので、画像の横幅がどのようなものであっても対応することができる。

また本発明の一実施形態にかかるデジタルスチルカメラ１００は、タイル単位で画像データを可変長符号化し、符号化データを結合して１つの画像ファイルを作成する際に、ＪＰＥＧの規格に適合するように、データのＢｉｔずらし、“ＦＦ”の後の“００”パディング、およびＲＳＴマーカーコードの付加を行う。これらの処理を行うことで、本発明の一実施形態にかかるデジタルスチルカメラ１００は、Ｂ２Ｙで処理したデータをＳＤＲＡＭ１２０に一時保持する必要が無くなることで、消費電力とＳＤＲＡＭの容量の削減が可能となるとともに、ＪＰＥＧの規格に適合した画像ファイルを得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ デジタルスチルカメラ
１０２ カメラ部
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ マルチプレクサ（ＭＵＸ）
１１０ 現像部
１１２ 画像圧縮部
１１３ 歪補正処理部
１１４ メモリカード
１１６ ＬＣＤ
１１８ ＳＤＲＡＭ Ｉ／Ｆ
１２０ ＳＤＲＡＭ
１３１ ビデオＩ／Ｆ
１３２ ＤＣＴ部
１３３ 量子化部
１３４ ＩＭＣ部
１３５ 可変長符号化部
１３６ ストリームＩ／Ｆ
１３７ ＤＭＡ Ｉ／Ｆ

Claims (5)

1. 撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、
   前記画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、
   前記符号化部が生成した前記符号化画像データを記憶する記憶部と、
   を備え、
   前記画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、
   前記符号化部は、前記ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を前記記憶部に記憶させるとともに、前記ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を前記記憶部に記憶させることを特徴とする、撮像装置。
2. 前記符号化部は、前記予測符号化で用いられる情報を、該情報の対象であるブロックに隣接するブロックの予測符号化の際に前記記憶部から読み出すことを特徴とする、請求項１に記載の撮像装置。
3. 前記記憶部に記憶された前記符号化画像データ、前記開始アドレスおよび前記符号化後のデータ長を用いて前記ブロック単位で符号化された前記符号化画像データを結合する結合部をさらに備えることを特徴とする、請求項１に記載の撮像装置。
4. 前記符号化部は、前記符号化画像データにおける特定のデータの位置を検索し、該位置の情報を前記記憶部に記憶させることを特徴とする、請求項１に記載の撮像装置。
5. 撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、
   前記画像処理ステップで生成された画像データを符号化して符号化画像データを生成する符号化ステップと、
   前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、
   を備え、
   前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、
   前記符号化ステップは、前記ブロック単位で画像データを符号化する際に、符号化するラインの開始アドレス及び該ラインの符号化後のデータ長を記憶させるとともに、前記ブロックにおける符号化するライン毎に、予測符号化で用いられる情報を記憶させることを特徴とする、画像処理方法。
   
   

Images