JP4174960B2 - 信号処理装置及び方法並びにファイル生成方法 - Google Patents
信号処理装置及び方法並びにファイル生成方法 Download PDFInfo
- Publication number
- JP4174960B2 JP4174960B2 JP2000245400A JP2000245400A JP4174960B2 JP 4174960 B2 JP4174960 B2 JP 4174960B2 JP 2000245400 A JP2000245400 A JP 2000245400A JP 2000245400 A JP2000245400 A JP 2000245400A JP 4174960 B2 JP4174960 B2 JP 4174960B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded
- jpeg2000
- file
- code stream
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Discrete Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画符号化コードストリームを含む符号化ファイルを復号する信号処理装置及び方法並びにファイル生成方法に関し、特に、JPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成されるMotion-JPEG2000 ファイルを復号する信号処理装置及び方法並びにファイル生成方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
また、ＪＰＥＧの後継とも言える次世代の静止画国際標準方式として期待されているJPEG2000（ＪＰＥＧと同じ組織であるISO/IEC/JTC1SC29/WG1によって作業中）は、2000年１２月にPart-1の標準化勧告が出される予定のフォーマットである。このJPEG2000では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用することが決まっている。
【０００５】
現行のJPEGフォーマットのファイルは通常".jpg"という拡張子で与えられるが、これは純粋な符号化コードストリームである。一方、JFIFは、JPEGで圧縮されてできた符号化コードストリームに画像情報等を付加してファイルに格納するための標準フォーマットであり、C-Cube Microsystems 社によって提唱された形式で、業界標準として広く普及している。単にJPEGファイルと言った場合、多くはJFIF形式のファイルを意味している。
【０００６】
上述したJPEG2000でも、純粋な符号化コードストリームは、"jp2c"と読ばれるが、通常デジタルカメラやPCのソフト等で取り扱う場合には、付加情報を加えた形のファイルフォーマットに従った形のファイルになると考えられる。これは".jp2"の拡張子で与えられる。同様に、動画を扱うMotion-JPEG2000 の場合にも、特定のファイルフォーマット（".mj2"で与えられる）の形で取り扱われる。
【０００７】
【発明が解決しようとする課題】
ところで、上述したように、静止画像であるJPEG2000のファイルフォーマット（JP2） と、動画像であるMotion-JPEG2000 のファイルフォーマット（MJ2） とは別でありながら、両者の互換性を維持することは、アプリケーション分野の拡大の意味でも非常に重要である。例えば、最近製品化が相次いでいる動画撮影可能な静止画デジタルカメラは、動画撮影時には動画のファイルを出力するが、これを１フレームずつ独立に静止画として復号・表示できる必要がある。
【０００８】
同様に、動画のMJ2 ファイルと静止画のJP2 ファイルとの互換性を保ちながら、MJ2 ファイルに記録された１フレーム毎の静止画を独立に復号及び表示できることは便宜性が高い。
【０００９】
本発明は、上述のような実情に鑑みて提案されたものであって、静止画符号化コードストリームを含むファイルと、動画静止画符号化コードストリームを含むファイルとについて、例えば、上記JPEG2000のファイルフォーマットのJP2 ファイルと、上記Motion-JPEG2000 のファイルフォーマットのMJ2 ファイルとを利用する際の便宜性の向上を図り、MJ2 ファイルの読み取り手段を用いれば、静止画だけでなく動画の復号及び表示ができるようにし、また、MJ2 ファイル生成手段として、JP2 専用の読み取り手段でも解読可能なMJ2 ファイルを生成できるような、信号処理装置及び方法並びにファイル生成方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る信号処理装置及び方法は、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000符号化ファイルに、複数フレームのJPEG2000 符号化コードストリームを有する動画像符号化コードストリームと、少なくともフレームレートを含むメタデータ情報とを付加して生成される動画符号化ファイルを復号処理する際に、JPEG2000符号化ファイル内の先頭の上記JPEG2000符号化コードストリーム及び上記ヘッダ情報を読み出し、読み出されたJPEG2000符号化コードストリームを復号するようにし、上記JPEG2000符号化コードストリーム及び上記ヘッダ情報に加えて、上記複数フレームの動画符号化コードストリーム及び上記メタデータ情報を読み出し、読み出された上記 JPEG2000 符号化コードストリーム及び上記動画符号化コードストリームを復号することを特徴としている。
【００１１】
より具体的には、複数の符号化コードストリームとメタデータ情報が合成されたMJ2 ファイルを解読して、各構成要素に分類する手段と、分類された静止画・動画符号化コードストリームをJPEG2000復号手段を用いて復号する手段と、メタデータ情報の同期情報を用いて、復号画像を出力する手段とを有するものである。
【００１２】
また、本発明に係るファイル生成方法は、上述の課題を解決するために、複数フレームの画像をJPEG2000符号化規格に基づいて符号化しJPEG2000符号化コードストリームを生成し、複数フレームのJPEG2000符号化コードストリームの中から１フレームの符号化コードストリームだけを任意に抽出し、JPEG2000符号化コードストリームの全て又は一部の複数フレームのJPEG2000符号化コードストリームを抽出し、抽出された複数フレームのJPEG2000符号化コードストリームに関する少なくともフレームレートを含むメタデータ情報を生成し、全ての抽出されたJPEG2000符号化コードストリームとメタデータ情報をまとめて１つの動画符号化ファイルを生成することを特徴としている。
【００１３】
より具体的には、１フレームづつの画像を独立して符号化するJPEG2000符号化手段と、静止画符号化コードストリームと動画符号化コードストリームとを別々に記録する手段と、同期情報等のメタデータ情報を生成する手段と、上記の静止画・動画符号化コードストリームとメタデータ情報をすべて合成して、MJ2 ファイルを生成する手段とを有するものである。
【００１４】
【発明の実施の形態】
以下、本発明に係る信号処理装置及び方法並びにファイル生成方法の実施の形態について、図面を参照しながら説明する。以下の実施の形態では、特に、静止画符号化コードストリームとしてJPEG2000符号化コードストリームを用い、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから成るJPEG2000ファイルに加えて複数フレームの動画符号化コードストリームとメタデータ情報とを付加して生成されるMotion-JPEG2000 ファイルの読み出しや生成を行う実施の形態について詳細に説明する。
【００１５】
第１の実施の形態
本発明の第１の実施の形態となる信号処理装置について、図１〜図３を参照しながら説明する。この第１の実施の形態は、上記Motion-JPEG2000 ファイルを読み取るための装置であり、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成されるMotion-JPEG2000 ファイルが入力され、上記JPEG2000ファイル内の先頭のJPEG2000符号化コードストリームを読み出してこれらをJPEG2000デコーダ装置に送出する手段を備え、かつJPEG2000ファイル内の先頭以外のJPEG2000符号化コードストリームを棄却または無視する手段を備えているものである。
【００１６】
図１は、このようなMotion-JPEG2000 のファイル（MJ2 ファイル）を読み取るための装置の構成例を示し、MJ2 ファイル解読部９、JPEG2000復号部１０、及びシステム制御部１１を有して構成され、必要に応じて音声復号部１２を設けるようにしている。
【００１７】
図１において、入力データ１１１は、上記Motion-JPEG2000 ファイル（MJ2 ファイル）である。このMJ2 ファイルのファイルフォーマットを図２の（Ｂ）に示す。図２の（Ａ）は、JPEG2000規格に準拠したJPEG2000ファイル（JP2 ファイル）のファイルフォーマットを示し、このJP2 ファイル６０がそのまま図２の（Ｂ）のMJ2 ファイル７０内に用いられている。
【００１８】
すなわち、図２の（Ａ）に示すフォーマットは、現在JPEG2000 Part-1 ＦＣＤ（Final Committee Draft） に記載されているものであり、JP2 ファイル６０は、画像のサイズや色情報等のヘッダ情報を記録するJP2 Header（JP2 ヘッダ）６１と、１つのJPEG2000符号化コードストリーム（JPEG2000 Codestream）６２とを少なくとも有して成り、さらに必要に応じていくつかのJPEG2000符号化コードストリーム６３、６４、・・・を設けるようにしてもよい。その他の本発明に関係のない部分は省略している。
【００１９】
図２の（Ｂ）は、MJ2 ファイル（Motion-JPEG2000 のファイル）７０のファイルフォーマットの一例を示す図であり、上記JP2 ファイル６０がそのまま（図中の上半分に）包含されている。従って、このJP2 ファイル６０の部分を解読または生成することにより、JP2 ファイルフォーマットとMJ2 ファイルフォーマットの互換性を維持することができる。MJ2 ファイル７０は、このJP2 ファイル６０に加えられる部分７１として、複数フレームの動画符号化コードストリーム７２と、メタデータ情報７３とを有している。メタデータ情報７３は、符号化コードストリームに関連する情報としての動画像の表示のフレームレートや、復号及び出力のタイミング等を含む。また、音声やテキスト情報も含めたメタデータを用いるようにしてもよい。
【００２０】
再び図１に戻って、MJ2ファイル解読部９では、上記MJ2 ファイルの入力データ１１１を入力して、各構成要素に分離する。その結果、静止画符号化コードストリーム１０５、動画符号化コードストリーム１０６、メタデータ情報１０７とに分類される。この内、静止画符号化コードストリーム１０５、動画符号化コードストリーム１０６はどちらもJPEG2000復号部１０に送出されて、同部において、JPEG2000の規格で規定された復号処理によって復号画像１１５が生成される。動画である場合には、存在するフレーム数分だけの復号画像が送出されることは言うまでもない。
【００２１】
次にメタデータ情報１０７は、システム制御部１１に入力されて、このシステム制御部１１から出力される画像用同期制御信号１１２と、音声用同期制御信号１１３に従って、復号画像１１５と復号音声１１４とが同期をとって表示または出力される。
【００２２】
以上の動作について図３を参照しながら説明すると、図３のMJ2 Reader（あるいはMJ2 Motion Reader ともいう。）のBox ８０が、図１のMJ2 ファイル解読部９に相当する。一方、既に図２の（Ａ）のJP2 ファイルフォーマットの構成で述べたように、JP2 ファイル６０では１つ以上の符号化コードストリームが存在する可能性がある。しかし、図３のMJ2 ReaderのBox ８０はこの内、一番先頭に位置する符号化コードストリームのみを読み出し、それ以外の符号化コードストリームに対しては、棄却または無視する手段を取る。
【００２３】
一方、図３の複数フレーム符号化コードストリーム７２に記録されている複数フレームの動画符号化コードストリームを読み出すことで、図１の動画符号化コードストリーム１０６を、MJ2ファイル解読部９より得ることができる。
【００２４】
また、前記複数フレームの動画符号化コードストリームを解読して、各フレームの符号化コードストリームをJPEG2000復号部１０に送出する場合において、通常は、静止画符号化コードストリーム１０５と動画符号化コードストリーム１０６の両方を、MJ2 ファイル７０は有しているので、双方の符号化コードストリーム１０５、１０６がJPEG2000復号部１０に送出されて、ここで復号が行われることになる。
【００２５】
ところで、Motion-JPEG2000 において、動画像の場合は、１秒当りに出力すべきフレーム数が可変にできるので、例えば動画符号化コードストリーム１０６の符号化フレームレートに、忠実に従って出力しないと、スロー再生または逆に早送りの様な、違和感のある動画像が表示されるという問題が生ずる。従って、実際に指定された所定のフレームレートで動画像を表示するべく、メタデータ情報１０７がシステム制御部１１に送られる。このシステム制御部１１からはJPEG2000復号部１０に対し、復号及び出力のタイミングを示す制御信号１１２が送出され、決められたタイミングで復号画像１１５が出力される。
【００２６】
また、図１の破線にて音声復号部１２を示すているが、これは音声情報をMJ2 ファイルが包含していた場合に有用な構成である。MJ2 ファイルフォーマットは、静止画・動画のみならず、音声やテキスト情報も含めたメタデータを含めることができるフォーマットであり、音声を圧縮または非圧縮で含めることが可能である。
【００２７】
図１の例では、MJ2 ファイル解読部９で解読された音声符号化ストリーム１１０が圧縮符号化されている場合には、音声復号部１２において復号されて、音声データ１１４として例えばスピーカから発せられる。他方、動画像の場合と同様に、同期をとる必要があることから、上記メタデータ情報１０７の情報を元に、音声を出力するタイミングを示す制御信号１１３が音声復号部１２に送出されて、最終的に動画像１１５と音声１１４との同期が取られることになる。
【００２８】
第２の実施の形態
本発明の第２実施の形態として、Motion-JPEG2000 ファイルフォーマットのファイルの生成方法について説明する。このMJ2 ファイルの生成方法が適用される装置は、１フレーム以上の画像をJPEG2000符号化手段により符号化し、生成された１フレーム以上のJPEG2000符号化コードストリームの中から１フレームだけを任意に抽出して記録する手段（静止画符号化コードストリーム記録手段）と、同該すべてのまたは一部の複数フレームのJPEG2000符号化コードストリームを抽出して記録する手段（動画符号化コードストリーム記録手段）と、上記２つの手段によって記録されたデータを別々の領域に格納する手段と、上記複数フレームの画像情報の他、メタデータ情報を生成する手段と、上記すべてのJPEG2000符号化コードストリームとメタデータ情報をまとめて１つのファイルを生成する手段を備えたものである。図４は、このようなMJ2 ファイルを生成するための構成例を示すものである。
【００２９】
図４に示す装置は、JPEG2000符号化部１、制御部２、静止画コードストリーム抽出部３、動画コードストリーム抽出部４、メタデータ情報生成部５、MJ2 ファイル生成部６、音声符号化部８とを有して構成されている。また、この図４の破線で囲んだ部分が、MJ2 ファイル生成部７である。
【００３０】
この図４において、入力画像１００（動画または静止画）は、JPEG2000符号化部１で、JPEG2000の規格に従って符号化を行い、符号化ストリーム１０１を出力する。制御部２では、上記符号化ストリーム１０１が静止画であった場合には、静止画符号化コードストリーム１０２として、静止画コードストリーム抽出部３に送出する。また、上記符号化ストリーム１０１が動画であった場合には、動画符号化コードストリーム１０３として、動画コードストリーム抽出部４に送出する。
【００３１】
ここで、上記符号化ストリーム１０１が動画の場合には、例えば秒当りのフレームレートや動画像の長さ（シーケンスの秒数、又は全フレーム数）等のメタデータの制御情報１０４を、メタデータ情報生成部５に送出する。
【００３２】
また、オプションとして、音声信号１０９を音声符号化部８で圧縮して生成された音声符号化ストリーム１１０が存在する場合には、音声メタデータ情報１０８をメタデータ情報生成部５に送出する。この場合、メタデータ情報生成部５で生成されるメタデータは、音声と動画像の双方の同期情報を含めた形となる。このようなメタデータは、図２あるいは図３のMJ2 ファイル７０のメタデータ情報７３にパッキングされて、図４のデータ１０７として送出される。
【００３３】
静止画符号化コードストリーム１０２は、図２あるいは図３のMJ2 ファイル７０内のMJ2 ファイル６０中の複数個あるJPEG2000 Codestreamの内の先頭Box の符号化コードストリーム６２にパッキングされて、静止画コードストリーム１０５として送出される。同じく、動画符号化コードストリーム１０３は、MJ2 ファイル７０内の複数フレーム符号化コードストリーム７２にパッキングされて、動画コードストリーム１０６として送出される。
【００３４】
以上のようにして生成された各データ１０５、１０６、１０７、及び必要に応じて付加される音声符号化ストリーム１１０を、MJ2 ファイル生成部６に送り、MJ2 ファイル生成部６から１つのファイル（MJ2 ファイル）１１１として出力する。以上がMJ2 ファイル生成の実施の形態である。
【００３５】
第３の実施の形態
本発明の第３の実施の形態は、上記第２の実施の形態における静止画符号化コードストリームとして、上記動画符号化コードストリームの全フレームの内の先頭フレーム、途中の任意のフレーム（例えば最も特徴的なフレーム）、動画符号化コードストリームとは別のフレーム等の符号化コードストリームを用いるものである。
【００３６】
先ず、上記動画符号化コードストリームの全フレームの先頭フレームを用いる場合は、一般的には１番実現し易い方法であり、JPEG2000符号化部１で、入力された動画像の先頭フレームだけを静止画符号化ストリームとして、記録あるいは記憶しておくことで実現できる。他方、途中のフレームの符号化ストリームを上記静止画符号化ストリームとして記録するためには、その際に外部より割り込み制御をかける必要がある。また、上記静止画符号化ストリームを入力動画像の先頭フレームを符号化して生成されたストリームとし、２フレーム以降を符号化して生成されたストリームを上記動画符号化ストリームとすることもできる。また、上記動画符号化ストリームとは独立の符号化コードストリームを上記静止画コードストリームとして用いてもよい。
【００３７】
第４の実施の形態
本発明の第４の実施の形態は、上記動画符号化コードストリームの各フレームの全てが、JPEG2000規格で定義されたコード開始を示すSOC(Start Of Code)コードから始まり、JPEG2000規格で定義されたコード終了を示すEOC(End Of Code)コードで終結するようにしてものである。
【００３８】
ここで、図５は、JPEG2000規格で定義されている１フレームの符号化コードストリームの各パラメータの構成を示す図である。
【００３９】
JPEG2000規格では、符号化対象の画像を任意のサイズのタイルに分割して、このタイル毎に符号化を行なう手段を有しており、それを実現するために、図５に示すように、メインヘッダ（Main Header） ３１と、タイルヘッダ（Tile-part Header）３２及び符号化されたビットストリーム（Bit stream）４６の組の複数組とから構成されている。図５では簡略化してもう１組のタイルヘッダ（Tile-part Header）３３及びビットストリーム（Bit stream）４７を示しているが、さらに組数を増やしてもよいことは勿論である。
【００４０】
メインヘッダ（Main Header） ３１は、符号化コードストリームの開始を示す開始コードSOC（Start of Codestream）４１と、メインヘッダマーカセグメント（main）４２とを有し、タイルヘッダ（Tile-part Header）３２は、タイルパートの開始を示すコードSOT（Start of Tile-parts）４４と、タイルパートヘッダマーカセグメント（Tile0 tile-part0）４４と、コードSOD（Start of Data）４５とを有している。タイルヘッダ（Tile-part Header）３２の最後に位置するコードSOD ３２に続いて、タイルパートの符号化データであるビットストリーム（Bit stream）４６が配される。また、符号化コードストリームの最後には、コードの終端を示すコードEOC（End of Codestream）が設けられる。
【００４１】
この図５から明らかなように、１つの符号化コードストリームは、コードSOC （Start of Code） から始まり、EOC （End of Code） で終結している。これを動画に拡張したフォーマットを図６に示す。この図６は、図５の構成を元にして、静止画の連続した符号化ビットストリームをシーケンシャルに繋げた例を示している。１ピクチャ（フレーム）は図５に示したようにSOC で始まりEOC で終わるので、これらを連続して、ピクチャＰ１，Ｐ２，・・・のように並べたものである。各フレーム（ピクチャ）が独立してSOCからEOCで完結している。
【００４２】
第５の実施の形態
本発明の第５の実施の形態は、上記図１のファイル解読部９として、上記複数フレームの動画符号化コードストリームのあるフレームにJPEG2000規格で規定されたコード終了を示すEOC(End Of Code)コードが存在しないとき、JPEG2000規格で規定された次のコード開始を示すSOC(Start Of Code)コードを探索するか又はその時点で復号を終了するようにしたものである。
【００４３】
すなわちこれは、何らかの理由であるフレームのEOC コードが欠落してしまった場合には、上記第１の実施の形態で述べたMotion-JPEG2000 のファイル読み取りのための構成において、次のフレームのSOC コードを探索する手段を有していれば、そのSOC を発見した時点で、次のフレームの復号に移れるので問題は発生しないことを考慮したものである。あるいは、SOC コードを探索せずに、その時点で復号を終了するようにしてもよい。
【００４４】
以上説明したような本発明の実施の形態によれば、JPEG-2000 規格で定められているJP2ファイルフォーマットと、この動画版であるMotion-JPEG2000 のMJ2 ファイルフォーマットとの互換性を取ることができるので、MJ2 ファイル解読器が、どちらのファイルも読め、静止画・動画を共に復号出来、利便性が向上するという効果がある。
【００４５】
また、動画像のMJ2 ファイルを生成する際、メタデータ情報を同時に生成し、画像以外にも例えば音声ストリームをまとめてファイル化することが出来るので、画像と音声を同期を取ってMJ2ファイルに記録、または表示出来るので、プレゼンテーション等でも効果を発揮する。また、メタデータを効率良くファイル化出来るという効果もある。
【００４６】
ここで、上述したJPEG2000やMotion-JPEG2000 の具体的な応用例としては、電子カメラ、カムコーダ、監視画像用ビデオコーデック、放送用VTR のコーデック、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像・医用用画像等のコーデックまたはそのソフトウェアモジュール、ゲーム、３次元CGで用いるテキスチャの圧縮・伸長器またはそのソフトウェアモジュール等が挙げられる。
【００４７】
なお、本発明は、上述の実施の形態に限定されるものではなく、例えば第１の符号化ファイル、第２の符号化ファイルは、JPEG2000ファイル、Motion-JPEG2000 ファイルに限定されないことは勿論である。
【００４８】
【発明の効果】
本発明は、１つ以上の第１の符号化コードストリームとヘッダ情報とから構成される第１の符号化ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成される第２の符号化ファイル復号処理する際に、第１の符号化ファイル内の先頭の第１の符号化コードストリームを読み出すと共に、第１の符号化ファイル内の先頭以外の第１の符号化コードストリームを棄却または無視するようにし、読み出された第１の符号化ファイル内の先頭の第１の符号化コードストリームを復号することにより、第１の符号化ファイルと第２の符号化ファイルとの互換性を高め、動画及び静止画の復号及び表示が容易に実現できる。
【００４９】
また、本発明は、複数フレームの画像を第１の符号化規格に基づいて符号化し第１の符号化コードストリームを生成し、上記複数フレームの第１の符号化コードストリームの中から１フレームの符号化コードストリームだけを任意に抽出し、上記第１の符号化コードストリームの全て又は一部の複数フレームの符号化コードストリームを抽出し、上記抽出された複数フレームの符号化コードストリームに関するメタデータ情報を生成し、上記全ての第１の符号化コードストリームとメタデータ情報をまとめて１つの第２の符号化ファイルを生成することにより、第１の符号化ファイルとの互換性の高い第２の符号化ファイルを生成することができる。
【００５０】
具体的には、JPEG2000規格で定められているJP2 ファイルフォーマットと、この動画版であるMotion-JPEG2000 のMJ2 ファイルフォーマットとの互換性を取ることが出来るので、MJ2 ファイル解読器が、どちらのファイルも読め、静止画・動画を共に復号出来、利便性が向上する。また、動画像のMJ2 ファイルを生成する際にメタデータ情報を同時に生成し、画像以外にも例えば音声ストリームをまとめてファイル化することにより、画像と音声を同期をとり得るように、MJ2 ファイルの生成やMJ2 ファイルの復号を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる信号処理装置の概略構成を示すブロック図である。
【図２】 JPEG2000（JP2）ファイルフォーマット及びMotion-JPEG2000（MJ2）ファイルフォーマットを説明するための図である。
【図３】 Motion-JPEG2000（MJ2）ファイルの読み出しを説明するための図である。
【図４】本発明の実施の形態となるファイル生成方法が適用された装置の概略構成を示すブロック図である。
【図５】 JPEG2000規格のシンタックスとして規定されている符号化ビットストリームの構造を示す図である。
【図６】符号化ビットストリームの連続したピクチャのデータ構造を示す図である。
【符号の説明】
１ JPEG2000符号化部、 ２ 制御部、 ３ 静止画コードストリーム抽出部、 ４ 動画コードストリーム抽出部、 ５ メタデータ情報生成部、 ６ MJ2ファイル生成部、 ８ 音声符号化部、 ９ MJ2ファイル解読部、 JPEG2000復号部、 １１ システム制御部、 １２ 音声復号部
【発明の属する技術分野】
本発明は、動画符号化コードストリームを含む符号化ファイルを復号する信号処理装置及び方法並びにファイル生成方法に関し、特に、JPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成されるMotion-JPEG2000 ファイルを復号する信号処理装置及び方法並びにファイル生成方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
また、ＪＰＥＧの後継とも言える次世代の静止画国際標準方式として期待されているJPEG2000（ＪＰＥＧと同じ組織であるISO/IEC/JTC1SC29/WG1によって作業中）は、2000年１２月にPart-1の標準化勧告が出される予定のフォーマットである。このJPEG2000では、画像圧縮の基本である変換方式として、既存のＪＰＥＧのＤＣＴに代わり、ウェーブレット変換を採用することが決まっている。
【０００５】
現行のJPEGフォーマットのファイルは通常".jpg"という拡張子で与えられるが、これは純粋な符号化コードストリームである。一方、JFIFは、JPEGで圧縮されてできた符号化コードストリームに画像情報等を付加してファイルに格納するための標準フォーマットであり、C-Cube Microsystems 社によって提唱された形式で、業界標準として広く普及している。単にJPEGファイルと言った場合、多くはJFIF形式のファイルを意味している。
【０００６】
上述したJPEG2000でも、純粋な符号化コードストリームは、"jp2c"と読ばれるが、通常デジタルカメラやPCのソフト等で取り扱う場合には、付加情報を加えた形のファイルフォーマットに従った形のファイルになると考えられる。これは".jp2"の拡張子で与えられる。同様に、動画を扱うMotion-JPEG2000 の場合にも、特定のファイルフォーマット（".mj2"で与えられる）の形で取り扱われる。
【０００７】
【発明が解決しようとする課題】
ところで、上述したように、静止画像であるJPEG2000のファイルフォーマット（JP2） と、動画像であるMotion-JPEG2000 のファイルフォーマット（MJ2） とは別でありながら、両者の互換性を維持することは、アプリケーション分野の拡大の意味でも非常に重要である。例えば、最近製品化が相次いでいる動画撮影可能な静止画デジタルカメラは、動画撮影時には動画のファイルを出力するが、これを１フレームずつ独立に静止画として復号・表示できる必要がある。
【０００８】
同様に、動画のMJ2 ファイルと静止画のJP2 ファイルとの互換性を保ちながら、MJ2 ファイルに記録された１フレーム毎の静止画を独立に復号及び表示できることは便宜性が高い。
【０００９】
本発明は、上述のような実情に鑑みて提案されたものであって、静止画符号化コードストリームを含むファイルと、動画静止画符号化コードストリームを含むファイルとについて、例えば、上記JPEG2000のファイルフォーマットのJP2 ファイルと、上記Motion-JPEG2000 のファイルフォーマットのMJ2 ファイルとを利用する際の便宜性の向上を図り、MJ2 ファイルの読み取り手段を用いれば、静止画だけでなく動画の復号及び表示ができるようにし、また、MJ2 ファイル生成手段として、JP2 専用の読み取り手段でも解読可能なMJ2 ファイルを生成できるような、信号処理装置及び方法並びにファイル生成方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る信号処理装置及び方法は、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000符号化ファイルに、複数フレームのJPEG2000 符号化コードストリームを有する動画像符号化コードストリームと、少なくともフレームレートを含むメタデータ情報とを付加して生成される動画符号化ファイルを復号処理する際に、JPEG2000符号化ファイル内の先頭の上記JPEG2000符号化コードストリーム及び上記ヘッダ情報を読み出し、読み出されたJPEG2000符号化コードストリームを復号するようにし、上記JPEG2000符号化コードストリーム及び上記ヘッダ情報に加えて、上記複数フレームの動画符号化コードストリーム及び上記メタデータ情報を読み出し、読み出された上記 JPEG2000 符号化コードストリーム及び上記動画符号化コードストリームを復号することを特徴としている。
【００１１】
より具体的には、複数の符号化コードストリームとメタデータ情報が合成されたMJ2 ファイルを解読して、各構成要素に分類する手段と、分類された静止画・動画符号化コードストリームをJPEG2000復号手段を用いて復号する手段と、メタデータ情報の同期情報を用いて、復号画像を出力する手段とを有するものである。
【００１２】
また、本発明に係るファイル生成方法は、上述の課題を解決するために、複数フレームの画像をJPEG2000符号化規格に基づいて符号化しJPEG2000符号化コードストリームを生成し、複数フレームのJPEG2000符号化コードストリームの中から１フレームの符号化コードストリームだけを任意に抽出し、JPEG2000符号化コードストリームの全て又は一部の複数フレームのJPEG2000符号化コードストリームを抽出し、抽出された複数フレームのJPEG2000符号化コードストリームに関する少なくともフレームレートを含むメタデータ情報を生成し、全ての抽出されたJPEG2000符号化コードストリームとメタデータ情報をまとめて１つの動画符号化ファイルを生成することを特徴としている。
【００１３】
より具体的には、１フレームづつの画像を独立して符号化するJPEG2000符号化手段と、静止画符号化コードストリームと動画符号化コードストリームとを別々に記録する手段と、同期情報等のメタデータ情報を生成する手段と、上記の静止画・動画符号化コードストリームとメタデータ情報をすべて合成して、MJ2 ファイルを生成する手段とを有するものである。
【００１４】
【発明の実施の形態】
以下、本発明に係る信号処理装置及び方法並びにファイル生成方法の実施の形態について、図面を参照しながら説明する。以下の実施の形態では、特に、静止画符号化コードストリームとしてJPEG2000符号化コードストリームを用い、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから成るJPEG2000ファイルに加えて複数フレームの動画符号化コードストリームとメタデータ情報とを付加して生成されるMotion-JPEG2000 ファイルの読み出しや生成を行う実施の形態について詳細に説明する。
【００１５】
第１の実施の形態
本発明の第１の実施の形態となる信号処理装置について、図１〜図３を参照しながら説明する。この第１の実施の形態は、上記Motion-JPEG2000 ファイルを読み取るための装置であり、１つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成されるMotion-JPEG2000 ファイルが入力され、上記JPEG2000ファイル内の先頭のJPEG2000符号化コードストリームを読み出してこれらをJPEG2000デコーダ装置に送出する手段を備え、かつJPEG2000ファイル内の先頭以外のJPEG2000符号化コードストリームを棄却または無視する手段を備えているものである。
【００１６】
図１は、このようなMotion-JPEG2000 のファイル（MJ2 ファイル）を読み取るための装置の構成例を示し、MJ2 ファイル解読部９、JPEG2000復号部１０、及びシステム制御部１１を有して構成され、必要に応じて音声復号部１２を設けるようにしている。
【００１７】
図１において、入力データ１１１は、上記Motion-JPEG2000 ファイル（MJ2 ファイル）である。このMJ2 ファイルのファイルフォーマットを図２の（Ｂ）に示す。図２の（Ａ）は、JPEG2000規格に準拠したJPEG2000ファイル（JP2 ファイル）のファイルフォーマットを示し、このJP2 ファイル６０がそのまま図２の（Ｂ）のMJ2 ファイル７０内に用いられている。
【００１８】
すなわち、図２の（Ａ）に示すフォーマットは、現在JPEG2000 Part-1 ＦＣＤ（Final Committee Draft） に記載されているものであり、JP2 ファイル６０は、画像のサイズや色情報等のヘッダ情報を記録するJP2 Header（JP2 ヘッダ）６１と、１つのJPEG2000符号化コードストリーム（JPEG2000 Codestream）６２とを少なくとも有して成り、さらに必要に応じていくつかのJPEG2000符号化コードストリーム６３、６４、・・・を設けるようにしてもよい。その他の本発明に関係のない部分は省略している。
【００１９】
図２の（Ｂ）は、MJ2 ファイル（Motion-JPEG2000 のファイル）７０のファイルフォーマットの一例を示す図であり、上記JP2 ファイル６０がそのまま（図中の上半分に）包含されている。従って、このJP2 ファイル６０の部分を解読または生成することにより、JP2 ファイルフォーマットとMJ2 ファイルフォーマットの互換性を維持することができる。MJ2 ファイル７０は、このJP2 ファイル６０に加えられる部分７１として、複数フレームの動画符号化コードストリーム７２と、メタデータ情報７３とを有している。メタデータ情報７３は、符号化コードストリームに関連する情報としての動画像の表示のフレームレートや、復号及び出力のタイミング等を含む。また、音声やテキスト情報も含めたメタデータを用いるようにしてもよい。
【００２０】
再び図１に戻って、MJ2ファイル解読部９では、上記MJ2 ファイルの入力データ１１１を入力して、各構成要素に分離する。その結果、静止画符号化コードストリーム１０５、動画符号化コードストリーム１０６、メタデータ情報１０７とに分類される。この内、静止画符号化コードストリーム１０５、動画符号化コードストリーム１０６はどちらもJPEG2000復号部１０に送出されて、同部において、JPEG2000の規格で規定された復号処理によって復号画像１１５が生成される。動画である場合には、存在するフレーム数分だけの復号画像が送出されることは言うまでもない。
【００２１】
次にメタデータ情報１０７は、システム制御部１１に入力されて、このシステム制御部１１から出力される画像用同期制御信号１１２と、音声用同期制御信号１１３に従って、復号画像１１５と復号音声１１４とが同期をとって表示または出力される。
【００２２】
以上の動作について図３を参照しながら説明すると、図３のMJ2 Reader（あるいはMJ2 Motion Reader ともいう。）のBox ８０が、図１のMJ2 ファイル解読部９に相当する。一方、既に図２の（Ａ）のJP2 ファイルフォーマットの構成で述べたように、JP2 ファイル６０では１つ以上の符号化コードストリームが存在する可能性がある。しかし、図３のMJ2 ReaderのBox ８０はこの内、一番先頭に位置する符号化コードストリームのみを読み出し、それ以外の符号化コードストリームに対しては、棄却または無視する手段を取る。
【００２３】
一方、図３の複数フレーム符号化コードストリーム７２に記録されている複数フレームの動画符号化コードストリームを読み出すことで、図１の動画符号化コードストリーム１０６を、MJ2ファイル解読部９より得ることができる。
【００２４】
また、前記複数フレームの動画符号化コードストリームを解読して、各フレームの符号化コードストリームをJPEG2000復号部１０に送出する場合において、通常は、静止画符号化コードストリーム１０５と動画符号化コードストリーム１０６の両方を、MJ2 ファイル７０は有しているので、双方の符号化コードストリーム１０５、１０６がJPEG2000復号部１０に送出されて、ここで復号が行われることになる。
【００２５】
ところで、Motion-JPEG2000 において、動画像の場合は、１秒当りに出力すべきフレーム数が可変にできるので、例えば動画符号化コードストリーム１０６の符号化フレームレートに、忠実に従って出力しないと、スロー再生または逆に早送りの様な、違和感のある動画像が表示されるという問題が生ずる。従って、実際に指定された所定のフレームレートで動画像を表示するべく、メタデータ情報１０７がシステム制御部１１に送られる。このシステム制御部１１からはJPEG2000復号部１０に対し、復号及び出力のタイミングを示す制御信号１１２が送出され、決められたタイミングで復号画像１１５が出力される。
【００２６】
また、図１の破線にて音声復号部１２を示すているが、これは音声情報をMJ2 ファイルが包含していた場合に有用な構成である。MJ2 ファイルフォーマットは、静止画・動画のみならず、音声やテキスト情報も含めたメタデータを含めることができるフォーマットであり、音声を圧縮または非圧縮で含めることが可能である。
【００２７】
図１の例では、MJ2 ファイル解読部９で解読された音声符号化ストリーム１１０が圧縮符号化されている場合には、音声復号部１２において復号されて、音声データ１１４として例えばスピーカから発せられる。他方、動画像の場合と同様に、同期をとる必要があることから、上記メタデータ情報１０７の情報を元に、音声を出力するタイミングを示す制御信号１１３が音声復号部１２に送出されて、最終的に動画像１１５と音声１１４との同期が取られることになる。
【００２８】
第２の実施の形態
本発明の第２実施の形態として、Motion-JPEG2000 ファイルフォーマットのファイルの生成方法について説明する。このMJ2 ファイルの生成方法が適用される装置は、１フレーム以上の画像をJPEG2000符号化手段により符号化し、生成された１フレーム以上のJPEG2000符号化コードストリームの中から１フレームだけを任意に抽出して記録する手段（静止画符号化コードストリーム記録手段）と、同該すべてのまたは一部の複数フレームのJPEG2000符号化コードストリームを抽出して記録する手段（動画符号化コードストリーム記録手段）と、上記２つの手段によって記録されたデータを別々の領域に格納する手段と、上記複数フレームの画像情報の他、メタデータ情報を生成する手段と、上記すべてのJPEG2000符号化コードストリームとメタデータ情報をまとめて１つのファイルを生成する手段を備えたものである。図４は、このようなMJ2 ファイルを生成するための構成例を示すものである。
【００２９】
図４に示す装置は、JPEG2000符号化部１、制御部２、静止画コードストリーム抽出部３、動画コードストリーム抽出部４、メタデータ情報生成部５、MJ2 ファイル生成部６、音声符号化部８とを有して構成されている。また、この図４の破線で囲んだ部分が、MJ2 ファイル生成部７である。
【００３０】
この図４において、入力画像１００（動画または静止画）は、JPEG2000符号化部１で、JPEG2000の規格に従って符号化を行い、符号化ストリーム１０１を出力する。制御部２では、上記符号化ストリーム１０１が静止画であった場合には、静止画符号化コードストリーム１０２として、静止画コードストリーム抽出部３に送出する。また、上記符号化ストリーム１０１が動画であった場合には、動画符号化コードストリーム１０３として、動画コードストリーム抽出部４に送出する。
【００３１】
ここで、上記符号化ストリーム１０１が動画の場合には、例えば秒当りのフレームレートや動画像の長さ（シーケンスの秒数、又は全フレーム数）等のメタデータの制御情報１０４を、メタデータ情報生成部５に送出する。
【００３２】
また、オプションとして、音声信号１０９を音声符号化部８で圧縮して生成された音声符号化ストリーム１１０が存在する場合には、音声メタデータ情報１０８をメタデータ情報生成部５に送出する。この場合、メタデータ情報生成部５で生成されるメタデータは、音声と動画像の双方の同期情報を含めた形となる。このようなメタデータは、図２あるいは図３のMJ2 ファイル７０のメタデータ情報７３にパッキングされて、図４のデータ１０７として送出される。
【００３３】
静止画符号化コードストリーム１０２は、図２あるいは図３のMJ2 ファイル７０内のMJ2 ファイル６０中の複数個あるJPEG2000 Codestreamの内の先頭Box の符号化コードストリーム６２にパッキングされて、静止画コードストリーム１０５として送出される。同じく、動画符号化コードストリーム１０３は、MJ2 ファイル７０内の複数フレーム符号化コードストリーム７２にパッキングされて、動画コードストリーム１０６として送出される。
【００３４】
以上のようにして生成された各データ１０５、１０６、１０７、及び必要に応じて付加される音声符号化ストリーム１１０を、MJ2 ファイル生成部６に送り、MJ2 ファイル生成部６から１つのファイル（MJ2 ファイル）１１１として出力する。以上がMJ2 ファイル生成の実施の形態である。
【００３５】
第３の実施の形態
本発明の第３の実施の形態は、上記第２の実施の形態における静止画符号化コードストリームとして、上記動画符号化コードストリームの全フレームの内の先頭フレーム、途中の任意のフレーム（例えば最も特徴的なフレーム）、動画符号化コードストリームとは別のフレーム等の符号化コードストリームを用いるものである。
【００３６】
先ず、上記動画符号化コードストリームの全フレームの先頭フレームを用いる場合は、一般的には１番実現し易い方法であり、JPEG2000符号化部１で、入力された動画像の先頭フレームだけを静止画符号化ストリームとして、記録あるいは記憶しておくことで実現できる。他方、途中のフレームの符号化ストリームを上記静止画符号化ストリームとして記録するためには、その際に外部より割り込み制御をかける必要がある。また、上記静止画符号化ストリームを入力動画像の先頭フレームを符号化して生成されたストリームとし、２フレーム以降を符号化して生成されたストリームを上記動画符号化ストリームとすることもできる。また、上記動画符号化ストリームとは独立の符号化コードストリームを上記静止画コードストリームとして用いてもよい。
【００３７】
第４の実施の形態
本発明の第４の実施の形態は、上記動画符号化コードストリームの各フレームの全てが、JPEG2000規格で定義されたコード開始を示すSOC(Start Of Code)コードから始まり、JPEG2000規格で定義されたコード終了を示すEOC(End Of Code)コードで終結するようにしてものである。
【００３８】
ここで、図５は、JPEG2000規格で定義されている１フレームの符号化コードストリームの各パラメータの構成を示す図である。
【００３９】
JPEG2000規格では、符号化対象の画像を任意のサイズのタイルに分割して、このタイル毎に符号化を行なう手段を有しており、それを実現するために、図５に示すように、メインヘッダ（Main Header） ３１と、タイルヘッダ（Tile-part Header）３２及び符号化されたビットストリーム（Bit stream）４６の組の複数組とから構成されている。図５では簡略化してもう１組のタイルヘッダ（Tile-part Header）３３及びビットストリーム（Bit stream）４７を示しているが、さらに組数を増やしてもよいことは勿論である。
【００４０】
メインヘッダ（Main Header） ３１は、符号化コードストリームの開始を示す開始コードSOC（Start of Codestream）４１と、メインヘッダマーカセグメント（main）４２とを有し、タイルヘッダ（Tile-part Header）３２は、タイルパートの開始を示すコードSOT（Start of Tile-parts）４４と、タイルパートヘッダマーカセグメント（Tile0 tile-part0）４４と、コードSOD（Start of Data）４５とを有している。タイルヘッダ（Tile-part Header）３２の最後に位置するコードSOD ３２に続いて、タイルパートの符号化データであるビットストリーム（Bit stream）４６が配される。また、符号化コードストリームの最後には、コードの終端を示すコードEOC（End of Codestream）が設けられる。
【００４１】
この図５から明らかなように、１つの符号化コードストリームは、コードSOC （Start of Code） から始まり、EOC （End of Code） で終結している。これを動画に拡張したフォーマットを図６に示す。この図６は、図５の構成を元にして、静止画の連続した符号化ビットストリームをシーケンシャルに繋げた例を示している。１ピクチャ（フレーム）は図５に示したようにSOC で始まりEOC で終わるので、これらを連続して、ピクチャＰ１，Ｐ２，・・・のように並べたものである。各フレーム（ピクチャ）が独立してSOCからEOCで完結している。
【００４２】
第５の実施の形態
本発明の第５の実施の形態は、上記図１のファイル解読部９として、上記複数フレームの動画符号化コードストリームのあるフレームにJPEG2000規格で規定されたコード終了を示すEOC(End Of Code)コードが存在しないとき、JPEG2000規格で規定された次のコード開始を示すSOC(Start Of Code)コードを探索するか又はその時点で復号を終了するようにしたものである。
【００４３】
すなわちこれは、何らかの理由であるフレームのEOC コードが欠落してしまった場合には、上記第１の実施の形態で述べたMotion-JPEG2000 のファイル読み取りのための構成において、次のフレームのSOC コードを探索する手段を有していれば、そのSOC を発見した時点で、次のフレームの復号に移れるので問題は発生しないことを考慮したものである。あるいは、SOC コードを探索せずに、その時点で復号を終了するようにしてもよい。
【００４４】
以上説明したような本発明の実施の形態によれば、JPEG-2000 規格で定められているJP2ファイルフォーマットと、この動画版であるMotion-JPEG2000 のMJ2 ファイルフォーマットとの互換性を取ることができるので、MJ2 ファイル解読器が、どちらのファイルも読め、静止画・動画を共に復号出来、利便性が向上するという効果がある。
【００４５】
また、動画像のMJ2 ファイルを生成する際、メタデータ情報を同時に生成し、画像以外にも例えば音声ストリームをまとめてファイル化することが出来るので、画像と音声を同期を取ってMJ2ファイルに記録、または表示出来るので、プレゼンテーション等でも効果を発揮する。また、メタデータを効率良くファイル化出来るという効果もある。
【００４６】
ここで、上述したJPEG2000やMotion-JPEG2000 の具体的な応用例としては、電子カメラ、カムコーダ、監視画像用ビデオコーデック、放送用VTR のコーデック、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像・医用用画像等のコーデックまたはそのソフトウェアモジュール、ゲーム、３次元CGで用いるテキスチャの圧縮・伸長器またはそのソフトウェアモジュール等が挙げられる。
【００４７】
なお、本発明は、上述の実施の形態に限定されるものではなく、例えば第１の符号化ファイル、第２の符号化ファイルは、JPEG2000ファイル、Motion-JPEG2000 ファイルに限定されないことは勿論である。
【００４８】
【発明の効果】
本発明は、１つ以上の第１の符号化コードストリームとヘッダ情報とから構成される第１の符号化ファイルに加え、複数フレームの動画符号化コードストリーム、メタデータ情報を付加して生成される第２の符号化ファイル復号処理する際に、第１の符号化ファイル内の先頭の第１の符号化コードストリームを読み出すと共に、第１の符号化ファイル内の先頭以外の第１の符号化コードストリームを棄却または無視するようにし、読み出された第１の符号化ファイル内の先頭の第１の符号化コードストリームを復号することにより、第１の符号化ファイルと第２の符号化ファイルとの互換性を高め、動画及び静止画の復号及び表示が容易に実現できる。
【００４９】
また、本発明は、複数フレームの画像を第１の符号化規格に基づいて符号化し第１の符号化コードストリームを生成し、上記複数フレームの第１の符号化コードストリームの中から１フレームの符号化コードストリームだけを任意に抽出し、上記第１の符号化コードストリームの全て又は一部の複数フレームの符号化コードストリームを抽出し、上記抽出された複数フレームの符号化コードストリームに関するメタデータ情報を生成し、上記全ての第１の符号化コードストリームとメタデータ情報をまとめて１つの第２の符号化ファイルを生成することにより、第１の符号化ファイルとの互換性の高い第２の符号化ファイルを生成することができる。
【００５０】
具体的には、JPEG2000規格で定められているJP2 ファイルフォーマットと、この動画版であるMotion-JPEG2000 のMJ2 ファイルフォーマットとの互換性を取ることが出来るので、MJ2 ファイル解読器が、どちらのファイルも読め、静止画・動画を共に復号出来、利便性が向上する。また、動画像のMJ2 ファイルを生成する際にメタデータ情報を同時に生成し、画像以外にも例えば音声ストリームをまとめてファイル化することにより、画像と音声を同期をとり得るように、MJ2 ファイルの生成やMJ2 ファイルの復号を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる信号処理装置の概略構成を示すブロック図である。
【図２】 JPEG2000（JP2）ファイルフォーマット及びMotion-JPEG2000（MJ2）ファイルフォーマットを説明するための図である。
【図３】 Motion-JPEG2000（MJ2）ファイルの読み出しを説明するための図である。
【図４】本発明の実施の形態となるファイル生成方法が適用された装置の概略構成を示すブロック図である。
【図５】 JPEG2000規格のシンタックスとして規定されている符号化ビットストリームの構造を示す図である。
【図６】符号化ビットストリームの連続したピクチャのデータ構造を示す図である。
【符号の説明】
１ JPEG2000符号化部、 ２ 制御部、 ３ 静止画コードストリーム抽出部、 ４ 動画コードストリーム抽出部、 ５ メタデータ情報生成部、 ６ MJ2ファイル生成部、 ８ 音声符号化部、 ９ MJ2ファイル解読部、 JPEG2000復号部、 １１ システム制御部、 １２ 音声復号部
Claims (7)
- １つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000符号化ファイルに、複数フレームのJPEG2000 符号化コードストリームを有する動画符号化コードストリームと、少なくともフレームレートを含むメタデータ情報とを付加して生成される動画符号化ファイルが入力される信号処理装置であって、
上記JPEG2000符号化ファイル内の先頭の上記JPEG2000符号化コードストリーム及び上記ヘッダ情報を読み出すファイル解読手段と、
上記ファイル解読手段から読み出されたJPEG2000符号化コードストリームを復号する復号手段とを有し、
上記ファイル解読手段は、上記JPEG2000符号化コードストリーム及び上記ヘッダ情報に加えて、上記複数フレームの動画符号化コードストリーム及び上記メタデータ情報を読み出し、読み出された上記 JPEG2000 符号化コードストリーム及び上記動画符号化コードストリームを上記復号手段に送出する
ことを特徴とする信号処理装置。 - 上記復号手段の復号及び出力を制御するシステム制御手段を有し、
上記ファイル解読手段は、上記複数フレームの少なくともフレームレートを含むメタデータ情報を解読して上記システム制御手段に渡し、
上記システム制御手段は、上記解読した結果に基づいて上記復号手段による上記複数フレームの動画符号化コードストリームの復号及び出力を制御して、復号された動画像の同期をとって表示することを特徴とする請求項１記載の信号処理装置。 - 上記動画符号化ファイルには音声符号化コードストリームが含まれ、
上記音声符号化コードストリームを復号する音声復号手段を有し、
上記システム制御手段は、上記復号手段及び上記音声復号手段を制御して、上記復号手段からの複数フレームの復号された動画像と上記音声復号手段からの復号された音声との同期をとることを特徴とする請求項２記載の信号処理装置。 - １つ以上のJPEG2000符号化コードストリームとヘッダ情報とから構成されるJPEG2000符号化ファイルに、複数フレームのJPEG2000 符号化コードストリームを有する動画像符号化コードストリームと、少なくともフレームレートを含むメタデータ情報とを付加して生成される動画符号化ファイルを復号処理する信号処理方法であって、
上記JPEG2000符号化ファイル内の先頭の上記JPEG2000符号化コードストリーム及び上記ヘッダ情報を読み出すファイル解読工程と、
上記ファイル解読工程により読み出されたJPEG2000符号化コードストリームを復号する復号工程を有し、
上記ファイル解読工程では、上記JPEG2000符号化コードストリーム及び上記ヘッダ情報に加えて、上記複数フレームの動画符号化コードストリーム及び上記メタデータ情報を読み出し、読み出された上記 JPEG2000 符号化コードストリーム及び上記動画符号化コードストリームを上記復号工程に送る
ことを特徴とする信号処理方法。 - 複数フレームの画像をJPEG2000符号化規格に基づいて符号化し、JPEG2000符号化コードストリームを生成する工程と、
上記複数フレームのJPEG2000符号化コードストリームの中から１フレームの符号化コードストリームだけを任意に抽出する静止画抽出工程と、
上記JPEG2000符号化コードストリームの全て又は一部の複数フレームのJPEG2000符号化コードストリームを抽出する動画抽出工程と、
上記動画抽出工程にて抽出された複数フレームのJPEG2000符号化コードストリームに関する少なくともフレームレートを含むメタデータ情報を生成する工程と、
上記静止画抽出工程及び上記動画抽出工程より出力されたJPEG2000符号化コードストリームとメタデータ情報をまとめて１つの動画符号化ファイルを生成する工程とを有することを特徴とするファイル生成方法。 - 上記静止画抽出工程で抽出されたJPEG2000符号化コードストリームは、上記動画抽出工程で抽出されたJPEG2000符号化コードストリームの全フレームの先頭フレームであることを特徴とする請求項５記載のファイル生成方法。
- 上記静止画抽出工程で抽出されたJPEG2000符号化コードストリームは、外部入力情報によって指定された、上記動画抽出工程で抽出されたJPEG2000符号化コードストリーム中の最も特徴的な画像のJPEG2000符号化コードストリームであることを特徴とする請求項５記載のファイル生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000245400A JP4174960B2 (ja) | 2000-08-11 | 2000-08-11 | 信号処理装置及び方法並びにファイル生成方法 |
| US09/920,768 US20020021843A1 (en) | 2000-08-11 | 2001-08-03 | Signal processing device, signal processing method and file generating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000245400A JP4174960B2 (ja) | 2000-08-11 | 2000-08-11 | 信号処理装置及び方法並びにファイル生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002058025A JP2002058025A (ja) | 2002-02-22 |
| JP4174960B2 true JP4174960B2 (ja) | 2008-11-05 |
Family
ID=18735936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000245400A Expired - Fee Related JP4174960B2 (ja) | 2000-08-11 | 2000-08-11 | 信号処理装置及び方法並びにファイル生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20020021843A1 (ja) |
| JP (1) | JP4174960B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8611726B2 (en) | 2010-11-17 | 2013-12-17 | Electronics And Telecommunications Research Institute | Apparatus and method for generating digital cinema content and apparatus and method for playing digital cinema content |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003169333A (ja) * | 2001-09-21 | 2003-06-13 | Ricoh Co Ltd | 符号列作成装置、画像伸長システム、画像伸長装置、画像提供システム、符号列作成方法、プログラム及び記録媒体 |
| JP3869714B2 (ja) * | 2001-12-17 | 2007-01-17 | 三洋電機株式会社 | 画像記録装置 |
| WO2003101102A1 (en) * | 2002-05-24 | 2003-12-04 | Mitsubishi Denki Kabushiki Kaisha | Mobile communication device |
| DE10354556B4 (de) * | 2002-11-25 | 2008-10-09 | Samsung Electronics Co., Ltd., Suwon | Vorrichtung und Verfahren zum Anzeigen von Bildern in einem mobilen Endgerät |
| JP2004186871A (ja) * | 2002-12-02 | 2004-07-02 | Ricoh Co Ltd | 画像処理装置、撮像装置、プログラム及び記憶媒体 |
| US8036475B2 (en) * | 2002-12-13 | 2011-10-11 | Ricoh Co., Ltd. | Compression for segmented images and other types of sideband information |
| US8769395B2 (en) * | 2002-12-13 | 2014-07-01 | Ricoh Co., Ltd. | Layout objects as image layers |
| US7526144B2 (en) | 2003-02-20 | 2009-04-28 | Ricoh Company, Ltd. | Image processing method, image expansion method, image output method, image conversion method, image processing apparatus, image expansion apparatus, image output apparatus, image conversion apparatus, and computer-readable storage medium |
| JP2005027261A (ja) | 2003-06-11 | 2005-01-27 | Matsushita Electric Ind Co Ltd | 記録装置、情報記録媒体および記録方法 |
| US20060158677A1 (en) * | 2005-01-18 | 2006-07-20 | Atousa Soroushi | Enhanced image data processing method and apparatus |
| JP4618676B2 (ja) * | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4053737A (en) * | 1976-06-25 | 1977-10-11 | Recognition Equipment Incorporated | Magnetic reader for bar encoded characters |
| US5870497A (en) * | 1991-03-15 | 1999-02-09 | C-Cube Microsystems | Decoder for compressed video signals |
| AUPO951497A0 (en) * | 1997-09-29 | 1997-10-23 | Canon Information Systems Research Australia Pty Ltd | A method for data compression |
| US5990812A (en) * | 1997-10-27 | 1999-11-23 | Philips Electronics North America Corporation | Universally programmable variable length decoder |
| JP3613983B2 (ja) * | 1998-06-25 | 2005-01-26 | ソニー株式会社 | 画像生成装置及び方法、並びに電子スチルカメラ |
-
2000
- 2000-08-11 JP JP2000245400A patent/JP4174960B2/ja not_active Expired - Fee Related
-
2001
- 2001-08-03 US US09/920,768 patent/US20020021843A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8611726B2 (en) | 2010-11-17 | 2013-12-17 | Electronics And Telecommunications Research Institute | Apparatus and method for generating digital cinema content and apparatus and method for playing digital cinema content |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020021843A1 (en) | 2002-02-21 |
| JP2002058025A (ja) | 2002-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3149303B2 (ja) | デジタル画像符号化方法及びデジタル画像復号化方法 | |
| US6058141A (en) | Varied frame rate video | |
| US6690881B1 (en) | Digital camera apparatus and recording method thereof | |
| JP4403737B2 (ja) | 信号処理装置及びこれを用いた撮像装置 | |
| KR100630983B1 (ko) | 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치 | |
| JP4174960B2 (ja) | 信号処理装置及び方法並びにファイル生成方法 | |
| KR100896974B1 (ko) | 압축-영역 비디오 편집 방법, 장치들, 시스템 및소프트웨어 생성물 | |
| US20100098161A1 (en) | Video encoding apparatus and video encoding method | |
| JP4515465B2 (ja) | 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
| JP2001258031A (ja) | 信号処理方法、画像符号化装置及び画像復号装置 | |
| USRE49321E1 (en) | Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof | |
| KR100578438B1 (ko) | 비디오 캡쳐 장치 및 저속 데이타 링크를 통해 고품질의 비디오를 송신하는 방법 | |
| KR20060051064A (ko) | 기록 장치 및 기록 방법, 재생 장치 및 재생 방법, 및프로그램 | |
| US9064294B2 (en) | Image processing apparatus and method | |
| WO2003036967A1 (fr) | Appareil et procede de traitement de signaux video, programme et moyen d'enregistrement | |
| JPH09135446A (ja) | Ｍｐｅｇ用ビデオデコーダ | |
| JP3166572B2 (ja) | 動画像音声圧縮装置 | |
| KR100393666B1 (ko) | 동영상 압축 방법 및 시스템 | |
| JP2003078876A (ja) | 映像信号の記録方法及び装置 | |
| JP2004208213A (ja) | ビデオ信号処理システムおよび該システムを構成するビデオ信号処理装置、携帯端末、ビデオ信号符号化装置、ビデオ信号記録装置、ビデオ信号符号化復号化装置、ならびにこれらの装置を用いた監視システム | |
| JP2002051308A (ja) | リアルタイムコーディックデジタルビデオレコーダ及び該レコーダを備えたテレビジョン装置 | |
| JP2006304103A (ja) | 動画記録装置、および動画記録再生装置 | |
| JP2008092503A (ja) | 撮像装置 | |
| JP2004228679A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2001006296A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080811 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |