JP4633866B2

JP4633866B2 - 画像復号方法および画像復号装置

Info

Publication number: JP4633866B2
Application number: JP2010534314A
Authority: JP
Inventors: スンリムチョン; 孝啓西
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2009-04-28
Filing date: 2010-04-28
Publication date: 2011-02-16
Anticipated expiration: 2030-04-28
Also published as: RU2010141215A; AU2010227032B2; MX2010011009A; KR101097690B1; TW201206198A; EP2426924A1; KR20110132380A; RU2011121698A; US20110019746A1; JP2011010362A; KR20110002843A; US20110286512A1; BRPI1001258A2; CA2718447C; JP2013158023A; RU2550552C2; US8908771B2; CA2718447A1; TW201101843A; CN101981936A

Description

本発明は、多視点映像を復号する画像復号方法、および、多視点映像を復号する画像復号装置に関する。

多視点映像符号化（ＭＶＣ：ＭｕｌｔｉｖｉｅｗＶｉｄｅｏＣｏｄｉｎｇ）規格は、ＩＳＯ／ＩＥＣ１４４９６−１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ（ＡＶＣ）規格の拡張規格として規定されたものである。ＭＶＣ規格におけるプロファイルは、ＡＶＣ規格に定義されたプロファイルのいくつかに後方互換性を持たせるように設計されている。言い換えると、新たなＭＶＣプロファイルに準拠したデコーダまたはプレーヤは、ＡＶＣプロファイルのビットストリームのいくつかを復号することができる。逆に、ＡＶＣプロファイル（特にハイ・プロファイル）の旧来型デコーダは、新たなＭＶＣプロファイルに準拠したビットストリームの中の少なくとも１つのビューを復号するはずである。

多視点映像符号化（ＭＶＣ）規格において、符号化されたベース・ビューがＡＶＣ規格に定義されたプロファイルと互換性を有するように要求されているため、ＡＶＣ規格のハイ・プロファイルに準拠した旧来型デコーダは、ＭＶＣプロファイルに準拠したＭＶＣビットストリームの中のベース・ビューを復号可能でなければならない。符号化されたビューは、ネットワーク抽象レイヤ（ＮＡＬ：ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットに含められる。異なるタイプのＮＡＬユニットは、ＮＡＬユニット・タイプの値によって区別される。ノン・ベース・ビューは、ＡＶＣ規格の旧版において予約されたＮＡＬユニット・タイプの値を有するＮＡＬユニットに含められる。よって、これらのＮＡＬユニットは、旧来型のハイプロファイル・デコーダには無視されるべきものである。

また、ＭＶＣ規格において、前置ＮＡＬユニット（ＰｒｅｆｉｘＮＡＬｕｎｉｔ）と呼ばれる特別なＮＡＬユニットが、符号化されたベース・ビューを含む各ＮＡＬユニットの前に配置され、共に送信されることが要求されている。この前置ＮＡＬユニットのＮＡＬユニット・タイプの値は１４であり、ＡＶＣ規格の旧版において予約されている。符号化されたベース・ビューを含む各ＮＡＬユニットのＮＡＬユニット・タイプの値は、５または１である。

前置ＮＡＬユニットは、ＮＡＬユニット・ヘッダのＭＶＣ拡張部に配置される付加パラメータを含む。これらのパラメータは、ベース・ビューと関連付けられ、ノン・ベース・ビューを符号化し復号する処理において用いられる。図２３は、ＮＡＬユニット・ヘッダのＭＶＣ拡張構文による記憶位置に関する図である。ＮＡＬユニット・ヘッダのＭＶＣ拡張部におけるパラメータの例として、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）、予約１ビット（ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿ｂｉｔ）などがある。予約１ビット（ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿ｂｉｔ）は、１つの値であり、ノン・ベース・ビューの符号化および復号処理には用いられない。

なお、特許文献１には、ＮＡＬユニットを用いて、多視点映像を符号化する技術が記載されている。

国際公開第２００７／１２６５０９号

理想的には、旧来型ＡＶＣデコーダは、ＡＶＣ規格の旧版において予約された値として定義されているＮＡＬユニット・タイプの値を有するＮＡＬユニットについては無視すべきである。旧来型ＡＶＣデコーダは、ベース・ビューを含むＮＡＬユニットのみを復号し、そのベース・ビューのみを再構築すべきである。

しかしながら、市場における全てのデコーダが、予約された値を有するＮＡＬユニットを無視するわけではない。圧縮されたベース・ビューと圧縮されたノン・ベース・ビューとは、異なるストリーム識別子を用いて区別できる。しかし、圧縮されたベース・ビューに関連付けて前置ＮＡＬユニットを含めることが要求されているため、市場におけるデコーダの中には、前置ＮＡＬユニットが原因でベース・ビューを復号できないものもある。このことは、圧縮されたＭＶＣストリームが旧来型ＡＶＣデコーダとの後方互換性を有するように支援する上での課題となる。

また、前置ＮＡＬユニットは、ベース・ビューの各ＮＡＬユニットの前に配置されなければならない。したがって、単一のビューを対象とするビットストリームであって、前置ＮＡＬユニットのないビットストリームに、新たな別のビューを追加することは、容易ではない。つまり、従来の規格に基づいて生成されたビットストリームを多視点映像に対応したビットストリームに変更することは、困難である。そのため、従来の規格に基づいて生成された既存のビットストリームを多視点映像における１つのビューとして利用することは、困難であった。

そこで、本発明は、前置ＮＡＬユニットが用いられない場合でも、多視点映像を復号できる画像復号方法、および、多視点映像を符号化できる画像符号化方法を提供することを目的とする。

上記課題を解決するため、本発明に係る画像復号方法は、多視点映像を復号する画像復号方法であって、ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析し、前記ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号し、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析し、前記ベース・ビューの前記ビュー・コンポーネントに前置ＮＡＬユニットが存在しているか否かを検索し、前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在していない場合、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出し、前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在している場合、前記前置ＮＡＬユニットから、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析し、前記ノン・ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析し、算出または構文解析された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、構文解析された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号する。

これにより、前置ＮＡＬユニットが用いられない場合でも、多視点映像が復号される。

また、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータは、それぞれ、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）およびビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）を含んでもよい。

これにより、様々なパラメータを用いて、ノン・ベース・ビューが復号される。

また、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する際には、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、前記非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）の値を取得し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから取得された前記非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に、予め定められた第１の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビューＩＤ（ｖｉｅｗ＿ｉｄ）に、予め定められた第２の値を割り当て、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を取得し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）に、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから取得された前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を割り当て、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を取得し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）に、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから取得された前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に、予め定められた第３の値を割り当ててもよい。

これにより、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータが、より具体的に算出される。

また、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する際には、前記ベース・ビューのＮＡＬユニット・ヘッダから、ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値を取得し、前記ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値が５である場合、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に、０を割り当て、前記ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値が１である場合、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に、１を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に、予め定められた第１の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビューＩＤ（ｖｉｅｗ＿ｉｄ）に、予め定められた第２の値を割り当て、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を取得し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）に、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから取得された前記時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を割り当て、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を取得し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）に、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから取得された前記アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に、予め定められた第３の値を割り当ててもよい。

これにより、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータが、より具体的に算出される。また、ベース・ビューのＮＡＬユニット・ヘッダを用いることにより、より高精度な値が算出される。

また、前記優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に割り当てられる前記予め定められた第１の値は、０であってもよい。

これにより、ベース・ビューが、優先的に取り扱われる。

また、前記ビューＩＤ（ｖｉｅｗ＿ｉｄ）に割り当てられる前記予め定められた第２の値は、０であってもよい。

これにより、ベース・ビューのビューＩＤ（ｖｉｅｗ＿ｉｄ）が、判別しやすい固定の値になる。

また、前記ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に割り当てられる前記予め定められた第３の値は、１であってもよい。

これにより、ベース・ビューの復号画像が、ビュー間予測に利用可能になる。

また、本発明に係る画像符号化方法は、多視点映像を符号化する画像符号化方法であって、ベース・ビューの画像を符号化し、前置ＮＡＬユニットなしで、前記ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込み、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定し、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出し、算出された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、特定された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの画像を符号化し、前記ノン・ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込んでもよい。

これにより、前置ＮＡＬユニットなしで、多視点映像が符号化される。

これにより、様々なパラメータを用いて、ノン・ベース・ビューが符号化される。

また、本発明に係る画像符号化方法は、多視点映像を符号化する画像符号化方法であって、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定し、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定し、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前置ＮＡＬユニットに書き込むか否かを切り替え、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前記前置ＮＡＬユニットに書き込むように切り替えられた場合、特定された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前記前置ＮＡＬユニットに書き込み、前記ベース・ビューの画像を符号化し、前記ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込み、特定された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、特定された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの画像を符号化し、前記ノン・ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込んでもよい。

これにより、多視点映像の符号化の際、前置ＮＡＬユニットの有無が、切り替え可能になる。また、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出するための負荷が、軽減される。

また、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータは、それぞれ、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）およびビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）を含み、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定する際には、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に、予め定められた第１の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビューＩＤ（ｖｉｅｗ＿ｉｄ）に、予め定められた第２の値を割り当て、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータの前記ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に、予め定められた第３の値を割り当ててもよい。

これにより、ベース・ビューが、優先的に取り扱われる。

また、本発明に係る画像復号装置は、多視点映像を復号する画像復号装置であって、ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析するベース・ビュー・ＮＡＬユニット構文解析部と、前記ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号するベース・ビュー復号部と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析するノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部と、前記ベース・ビューの前記ビュー・コンポーネントに前置ＮＡＬユニットが存在しているか否かを検索する前置ＮＡＬユニット検索部と、前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在していない場合、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出するベース・ビュー・ＭＶＣ拡張パラメータ算出部と、前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在している場合、前記前置ＮＡＬユニットから、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析するベース・ビュー・ＭＶＣ拡張パラメータ構文解析部と、前記ノン・ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析するノン・ベース・ビュー・ＮＡＬユニット構文解析部と、算出または構文解析された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、構文解析された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号するノン・ベース・ビュー復号部とを備えてもよい。

また、本発明に係る画像符号化装置は、多視点映像を符号化する画像符号化装置であって、ベース・ビューの画像を符号化するベース・ビュー符号化部と、前置ＮＡＬユニットなしで、前記ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込むベース・ビュー書き込み部と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定するノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部と、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出するベース・ビュー・ＭＶＣ拡張パラメータ算出部と、算出された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、特定された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの画像を符号化するノン・ベース・ビュー符号化部と、前記ノン・ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込むノン・ベース・ビュー書き込み部とを備えてもよい。

また、本発明に係る画像符号化装置は、多視点映像を符号化する画像符号化装置であって、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定するベース・ビュー・ＭＶＣ拡張パラメータ特定部と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定するノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部と、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前置ＮＡＬユニットに書き込むか否かを切り替える前置ＮＡＬユニット書き込み切り替え部と、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前記前置ＮＡＬユニットに書き込むように切り替えられた場合、特定された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前記前置ＮＡＬユニットに書き込む前置ＮＡＬユニット書き込み部と、前記ベース・ビューの画像を符号化するベース・ビュー符号化部と、前記ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込むベース・ビュー書き込み部と、特定された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、特定された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの画像を符号化するノン・ベース・ビュー符号化部と、前記ノン・ベース・ビューの符号化された前記画像を含むビュー・コンポーネントをＮＡＬユニットに書き込むノン・ベース・ビュー書き込み部とを備えてもよい。

本発明により、前置ＮＡＬユニットが用いられない場合でも、多視点映像が復号され、多視点映像が符号化される。

したがって、前置ＮＡＬユニットに起因してベース・ビューを復号できなかった旧来型ＡＶＣデコーダであっても、多視点映像に含まれるベース・ビューの画像を復号できる。また、前置ＮＡＬユニットを用いないため、単一のビューを符号化することにより生成されたストリームに、別のビューを追加することも容易になる。そして、旧来型ＡＶＣエンコーダにより生成された既存のビットストリームを多視点映像のベース・ビューとして利用することも容易になる。

図１は、本発明の実施の形態１における画像符号化装置の構成要素を示す構成図である。図２は、本発明の実施の形態１における符号化処理を示すフローチャートである。図３は、本発明の実施の形態１における画像復号装置の構成要素を示す構成図である。図４は、本発明の実施の形態１における復号処理を示すフローチャートである。図５は、本発明の実施の形態１における、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する処理を示すフローチャートである。図６は、本発明の実施の形態１における画像符号化装置の例を示す図である。図７は、本発明の実施の形態１における画像復号装置の例を示す図である。図８は、本発明の実施の形態２における、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する処理を示すフローチャートである。図９は、本発明の実施の形態２における画像符号化装置の例を示す図である。図１０は、本発明の実施の形態２における画像復号装置の例を示す図である。図１１は、本発明の実施の形態３における画像符号化装置の構成要素を示す構成図である。図１２は、本発明の実施の形態３における符号化処理の変形例を示すフローチャートである。図１３は、本発明の実施の形態３における画像符号化装置の例を示す図である。図１４は、本発明の各実施の形態における符号化ストリームのデータ構造の例を示す図である。図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。図１６は、携帯電話の外観を示す図である。図１７は、携帯電話の構成例を示すブロック図である。図１８は、デジタル放送用システムの全体構成の一例を示す模式図である。図１９は、テレビの構成例を示すブロック図である。図２０は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。図２１は、光ディスクである記録メディアの構造例を示す図である。図２２は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。図２３は、ＮＡＬユニット・ヘッダのＭＶＣ拡張構文による記憶位置を示す図である。

圧縮ＭＶＣストリームにおいて前置ＮＡＬユニットを用いることなく、前置ＮＡＬユニットのヘッダのＭＶＣ拡張部に含まれるパラメータを、ＭＶＣデコーダへ信号送信する新たな方法を紹介する。本発明の新規な点は、旧来型ＡＶＣデコーダによる復号処理において問題を生じさせることがある前置ＮＡＬユニットを用いることなく、ノン・ベース・ビューの復号に必要な符号化ＭＶＣストリームのベース・ビューに関連付けられた値を特定可能にする点である。本発明は、市場における旧来型ＡＶＣデコーダがＭＶＣストリームのベース・ビューを復号できるようにし、本発明のＭＶＣデコーダがＭＶＣストリーム中の全ての符号化ビューを復号できるようにする。

（実施の形態１）
まず、実施の形態１について説明する。

図１は、実施の形態１における画像符号化装置の構成要素を示す構成図である。

図１に示された画像符号化装置１５０は、ベース・ビュー符号化部１００、ベース・ビュー書き込み部１０２、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部１０４、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６、ノン・ベース・ビュー符号化部１０８およびノン・ベース・ビュー書き込み部１１０を備える。各処理部は、次に示される各処理を実行する。

図２は、本発明の実施の形態１における符号化処理を示すフローチャートである。

まず、ベース・ビュー符号化部１００は、ベース・ビューの画像を符号化する（Ｓ１００）。ベース・ビューの画像は、多視点映像符号化規格を用いて符号化される。多視点映像符号化規格を用いて符号化されるベース・ビューの画像は、ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ規格によって復号可能である。

次に、ベース・ビュー書き込み部１０２は、圧縮されたベース・ビュー・コンポーネントをＮＡＬユニットに書き込む（Ｓ１０２）。ベース・ビューのＮＡＬユニットは、図２３に示されているような前置ＮＡＬユニットを用いることなく書き込まれる。

次に、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部１０４は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定する（Ｓ１０４）。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する（Ｓ１０６）。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

なお、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータは、前置ＮＡＬユニットが用いられると仮定した場合に、前置ＮＡＬユニットのＮＡＬユニット・ヘッダのＭＶＣ拡張部に格納されるパラメータである。

次に、ノン・ベース・ビュー符号化部１０８は、ベース・ビューおよびノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、ノン・ベース・ビューの画像を符号化する（Ｓ１０８）。

最後に、ノン・ベース・ビュー書き込み部１１０は、ノン・ベース・ビュー・コンポーネントをＮＡＬユニットに書き込む（Ｓ１１０）。

図３は、本発明の実施の形態１における画像復号装置の構成要素を示す構成図である。

図３に示された画像復号装置２５０は、ベース・ビュー・ＮＡＬユニット構文解析部２００、ベース・ビュー復号部２０２、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０４、前置ＮＡＬユニット検索部２０５、ベース・ビュー・ＭＶＣ拡張パラメータ算出部２０６、ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７、ノン・ベース・ビュー・ＮＡＬユニット構文解析部２０８およびノン・ベース・ビュー復号部２１０を備える。各処理部は、次に示される各処理を実行する。

図４は、本発明の実施の形態１における復号処理を示すフローチャートである。

まず、ベース・ビュー・ＮＡＬユニット構文解析部２００は、ベース・ビュー・コンポーネントのＮＡＬユニットを構文解析する（Ｓ２００）。

次に、ベース・ビュー復号部２０２は、多視点映像符号化規格に記載の符号化処理を用いて、ベース・ビューの画像を復号する（Ｓ２０２）。

次に、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０４において、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析する（Ｓ２０４）。つまり、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０４は、ノン・ベース・ビューのＮＡＬユニット・ヘッダを構文解析することにより、ノン・ベース・ビューのＭＶＣ拡張パラメータを取得する。

これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

次に、前置ＮＡＬユニット検索部２０５は、ベース・ビューの前置ＮＡＬユニットを検索する（Ｓ２０５）。

ここで、ベース・ビューの前置ＮＡＬユニットが存在している場合（Ｓ２０５でＹｅｓ）、ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７は、前置ＮＡＬユニットに基づいて、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析する（Ｓ２０７）。つまり、ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７は、前置ＮＡＬユニットのＮＡＬユニット・ヘッダを構文解析することにより、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを取得する。

一方、ベース・ビューの前置ＮＡＬユニットが存在していなかった場合（Ｓ２０５でＮｏ）、ベース・ビュー・ＭＶＣ拡張パラメータ算出部２０６は、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する（Ｓ２０６）。

これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

次に、ノン・ベース・ビュー・ＮＡＬユニット構文解析部２０８は、ノン・ベース・ビュー・コンポーネントのＮＡＬユニットを構文解析する（Ｓ２０８）。

最後に、ノン・ベース・ビュー復号部２１０は、多視点映像符号化規格で指定された復号処理に基づいて、ベース・ビューおよびノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、ノン・ベース・ビューの画像を復号する（Ｓ２１０）。

図５は、本発明の実施の形態１における、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する処理を示すフローチャートである。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

以下、画像符号化装置１５０のベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６が実行する処理として記載するが、画像復号装置２５０のベース・ビュー・ＭＶＣ拡張パラメータ算出部２０６も同様の処理を実行する。

まず、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）の値を読み出す（Ｓ３００）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューの非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に、ノン・ベース・ビューの非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）の値を割り当てる（Ｓ３０２）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューの優先フラグ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に、予め定められた値を割り当てる（Ｓ３０４）。優先フラグ（ｐｒｉｏｒｉｔｙ＿ｉｄ）の値として予め定められた値は０である。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ビューＩＤ（ｖｉｅｗ＿ｉｄ）にも、予め定められた値を割り当てる（Ｓ３０６）。ビューＩＤ（ｖｉｅｗ＿ｉｄ）の値として予め定められた値も０である。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、ノン・ベース・ビューの時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を取得する（Ｓ３０８）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューの時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）に、ノン・ベース・ビューの取得された時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を割り当てる（Ｓ３１０）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を取得する（Ｓ３１０）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのアンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）に、ノン・ベース・ビューの取得されたアンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を割り当てる（Ｓ３１４）。

最後に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に、予め定められた値を設定する（Ｓ３１６）。ベース・ビューのビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）として予め定められた値は１である。

図６は、本発明の実施の形態１における画像符号化装置の例を示す図である。この装置が備えるものには、ベース・ビュー符号化部５００、ベース・ビュー書き込み部５０２、ベース・ビュー復号部５０４、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部５０６、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８、記憶部５１０、ノン・ベース・ビュー符号化部５１２、ノン・ベース・ビュー書き込み部５１４などがある。

まず、ベース・ビューの画像Ｄ００１が、ベース・ビュー符号化部５００に入力され、圧縮画像Ｄ００３が、ベース・ビュー書き込み部５０２とベース・ビュー復号部５０４の両方に出力される。ベース・ビュー復号部５０４は、ベース・ビューの圧縮画像Ｄ００３を読み取り、ベース・ビューの復号画像Ｄ００５を、記憶部５１０に出力する。

図６に示されるように、ノン・ベース・ビューの画像Ｄ０１１は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８とノン・ベース・ビュー符号化部５１２の両方に入力される。ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８は、次に、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部５０６とノン・ベース・ビュー符号化部５１２の両方に出力する。ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部５０６は、予め定められた値Ｄ００９とノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３とを取得し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータに値を割り当て、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７を、ノン・ベース・ビュー符号化部５１２に出力する。ノン・ベース・ビュー符号化部５１２は、ノン・ベース・ビューの画像Ｄ０１１と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７と、ベース・ビューの復号画像Ｄ０１９とを取得し、ノン・ベース・ビューの圧縮画像Ｄ０２１を出力する。

最後に、ベース・ビュー書き込み部５０２およびノン・ベース・ビュー書き込み部５１４は、それぞれ、ベース・ビューの圧縮画像Ｄ００３およびノン・ベース・ビューの圧縮画像Ｄ０２１を取得し、ＮＡＬユニットにおける圧縮画像Ｄ００７および圧縮画像Ｄ０２３として出力する。

なお、図６に示された画像符号化装置は、図１に示された画像符号化装置１５０の具体的な例である。図１に示された各構成要素が行う処理は、図６に示された各構成要素によって実行される。

ベース・ビュー符号化部１００の処理は、ベース・ビュー符号化部５００によって実行される。ベース・ビュー書き込み部１０２の処理は、ベース・ビュー書き込み部５０２によって実行される。ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部１０４の処理は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６の処理は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部５０６によって実行される。ノン・ベース・ビュー符号化部１０８の処理は、ノン・ベース・ビュー符号化部５１２によって実行される。ノン・ベース・ビュー書き込み部１１０の処理は、ノン・ベース・ビュー書き込み部５１４によって実行される。

図７は、本発明の実施の形態１における画像復号装置の例を示す図である。この装置が備えるものには、スプリッタ部６００、前置ＮＡＬユニット検索部６０１、ベース・ビュー復号部６０２、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０３、記憶部６０４と、スイッチ部６０５、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０８、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部６０６、ノン・ベース・ビュー復号部６１０などがある。

図７に示されるように、スプリッタ部６００は、１つ以上のビューの圧縮映像Ｄ０２０を取得し、前置ＮＡＬユニット検索部６０１に対するベース・ビューの圧縮画像Ｄ００３と、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０８に対するノン・ベース・ビューの圧縮画像Ｄ０２１とに分割する。ベース・ビューの圧縮画像Ｄ００３は、スプリッタ部６００からベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０３へも出力される。前置ＮＡＬユニット検索部６０１は、ベース・ビュー内で前置ＮＡＬユニットを検索し、存在するか否かを示す信号Ｄ０１６をスイッチ部６０５に出力する。前置ＮＡＬユニット検索部６０１は、また、ベース・ビューの圧縮画像Ｄ００４を、ベース・ビュー復号部６０２へ出力する。

ベース・ビュー復号部６０２は、ベース・ビューの圧縮画像Ｄ００４を取得し、ベース・ビューの復号画像Ｄ００５を出力する。出力されたベース・ビューの復号画像Ｄ００５は、記憶部６０４に格納される。

圧縮ベース・ビューに前置ＮＡＬユニットが存在する場合、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０３は、ベース・ビューの圧縮画像Ｄ００３を読み出し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ００８を出力する。

ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０８は、次に、ノン・ベース・ビューの圧縮画像Ｄ０２１を取得し、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部６０６とノン・ベース・ビュー復号部６１０の両方に出力する。ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０８は、次に、ノン・ベース・ビューの圧縮画像Ｄ０１５を、ノン・ベース・ビュー復号部６１０に出力する。ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部６０６は、予め定められた値Ｄ００９とノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３とを取得し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータに値を割り当て、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１４を、スイッチ部６０５に出力する。

前置ＮＡＬユニット検索部６０１によって送信された信号Ｄ０１６に基づき、圧縮ベース・ビューに前置ＮＡＬユニットが存在しているか否かによって、存在していない場合には、スイッチ部６０５は、算出されたベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１４を、ノン・ベース・ビュー復号部６１０へ引き渡す。存在している場合には、スイッチ部６０５は、構文解析されたベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１０を、ノン・ベース・ビュー復号部６１０に引き渡す。

最後に、ノン・ベース・ビュー復号部６１０は、ベース・ビューの復号画像Ｄ０１９と、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１０と、構文解析されたノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ノン・ベース・ビューの圧縮画像Ｄ０１５とを取得し、ノン・ベース・ビューの復号画像Ｄ０２５を出力する。

なお、図７に示された画像復号装置は、図３に示された画像復号装置２５０の具体的な例である。図３に示された各構成要素が行う処理は、図７に示された各構成要素によって実行される。

ベース・ビュー・ＮＡＬユニット構文解析部２００およびベース・ビュー復号部２０２の処理は、ベース・ビュー復号部６０２によって実行される。ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０４の処理は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０８によって実行される。前置ＮＡＬユニット検索部２０５の処理は、前置ＮＡＬユニット検索部６０１によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７の処理は、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部６０３によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ算出部２０６の処理は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部６０６によって実行される。ノン・ベース・ビュー・ＮＡＬユニット構文解析部２０８およびノン・ベース・ビュー復号部２１０の処理は、ノン・ベース・ビュー復号部６１０によって実行される。

以上、実施の形態１において示された画像符号化装置１５０は、前置ＮＡＬユニットなしで、多視点映像を符号化する。これにより、符号化された多視点映像に含まれる前置ＮＡＬユニットに起因してベース・ビューを復号できなかった旧来型ＡＶＣデコーダであっても、ベース・ビューを復号できる。また、実施の形態１において示された画像復号装置２５０は、符号化された多視点映像に前置ＮＡＬユニットがあるか否かに関わらず、符号化された多視点映像に含まれる全てのビューを復号できる。

また、前置ＮＡＬユニットを省略できるため、符号化効率が向上する。

なお、画像復号装置２５０は、前置ＮＡＬユニットがあるか否かにより、ベース・ビューのＭＶＣ拡張パラメータを構文解析するか、ベース・ビューのＭＶＣ拡張パラメータを算出している。しかし、画像復号装置２５０は、前置ＮＡＬユニットがあるか否かに関わらず、ノン・ベース・ビューのＭＶＣ拡張パラメータから、ベース・ビューのＭＶＣ拡張パラメータを算出することにより、ノン・ベース・ビューの画像を復号してもよい。

この場合、前置ＮＡＬユニット検索部２０５、ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７、および、それらによって実行される処理が不要になる。画像復号装置２５０は、そのような構成要素を備えず、また、符号化された多視点映像に前置ＮＡＬユニットがない場合でも、符号化された多視点映像を復号できる。

また、図２、図４および図５に示された処理の流れは、処理の流れの一例であって、画像符号化装置１５０および画像復号装置２５０によって実行される処理の流れは、各図に示された処理の流れに限定されない。例えば、画像符号化装置１５０および画像復号装置２５０は、各図に示された処理の順序と異なる順序で各図に示された処理を実行してもよいし、各図に示された処理を並行に実行してもよい。

また、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）およびビュー間予測フラグ（ｖｉｅｗ＿ｉｎｔｅｒ＿ｆｌａｇ）に割り当てられる予め定められた値は、実施の形態１に示された値と異なる値であってもよい。

また、ノン・ベース・ビューは、複数あってもよい。

（実施の形態２）
次に、実施の形態２について説明する。

実施の形態２における画像符号化装置１５０は、図１に示された実施の形態１における画像符号化装置１５０と同様の構成要素を備える。そして、実施の形態２における画像符号化装置１５０は、図２に示された実施の形態１における符号化処理と同様の符号化処理を実行する。また、実施の形態２における画像復号装置２５０は、図３に示された実施の形態１における画像復号装置２５０と同様の構成要素を備える。そして、実施の形態２における画像復号装置２５０は、図４に示された実施の形態１における復号処理と同様の復号処理を実行する。

実施の形態２では、実施の形態１と比較して、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する処理が変更されている。

図８は、本発明の実施の形態２における、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出する処理を示すフローチャートである。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

まず、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのＮＡＬユニット・ヘッダから、ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値を読み出す（Ｓ４００）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値が５であるときは、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に０を割り当てる（Ｓ４０２）。

また、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値が０のときは、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）に１を割り当てる（Ｓ４０４）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューの優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）に、予め定められた値を割り当てる（Ｓ４０６）。優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）の値として予め定められた値は０である。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ビューＩＤ（ｖｉｅｗ＿ｉｄ）にも、予め定められた値を割り当てる（Ｓ４０８）。ビューＩＤ（ｖｉｅｗ＿ｉｄ）の値として予め定められた値も０である。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、ノン・ベース・ビューの時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を取得する（Ｓ４１０）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューの時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）に、ノン・ベース・ビューの取得された時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）の値を割り当てる（Ｓ４１２）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータから、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を取得する（Ｓ４１４）。

次に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのアンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）に、ノン・ベース・ビューの取得されたアンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）の値を割り当てる（Ｓ４１６）。

最後に、ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６は、ベース・ビューのビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）に、予め定められた値を設定する（Ｓ４１８）。ベース・ビューのビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）として予め定められた値は１である。

図９は、本発明の実施の形態２における画像符号化装置の例を示す図である。この装置が備えるものには、ベース・ビュー符号化部７００、ベース・ビュー書き込み部７０２、ベース・ビュー復号部７０４、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部７０６、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部７０８、記憶部７１０、ノン・ベース・ビュー符号化部７１２、ノン・ベース・ビュー書き込み部７１４などがある。

まず、ベース・ビューの画像Ｄ００１が、ベース・ビュー符号化部７００に入力され、ベース・ビューの圧縮画像Ｄ００３が、ベース・ビュー書き込み部７０２およびベース・ビュー復号部７０４の両方に出力される。ベース・ビュー復号部７０４は、ベース・ビューの圧縮画像Ｄ００３を読み取り、ベース・ビューの復号画像Ｄ００５を、記憶部７１０に出力する。ベース・ビュー書き込み部７０２は、ベース・ビューの圧縮画像Ｄ００３を取得し、ＮＡＬユニットにおけるベース・ビューの圧縮画像Ｄ００７を出力し、ベース・ビュー・ＮＡＬユニットのＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値Ｄ０１８を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部７０６へ出力する。

図９に示されるように、ノン・ベース・ビューの画像Ｄ０１１は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部７０８とノン・ベース・ビュー符号化部７１２の両方に入力される。ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部７０８は、次に、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部７０６とノン・ベース・ビュー符号化部７１２の両方に出力する。ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部７０６は、予め定められた値Ｄ００９とノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ベース・ビュー・ＮＡＬユニットのＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値Ｄ０１８を取得し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータに値を割り当て、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７を、ノン・ベース・ビュー符号化部７１２に出力する。ノン・ベース・ビュー符号化部７１２は、ノン・ベース・ビューの画像Ｄ０１１と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７と、ベース・ビューの復号画像Ｄ０１９とを取得し、ノン・ベース・ビューの圧縮画像Ｄ０２１を出力する。

最後に、ノン・ベース・ビュー書き込み部７１４は、ノン・ベース・ビューの圧縮画像Ｄ０２１を取得し、ＮＡＬユニットにおけるノン・ベース・ビューの圧縮画像Ｄ０２３を出力する。

なお、図９に示された画像符号化装置は、図１に示された画像符号化装置１５０の具体的な例である。図１に示された各構成要素が行う処理は、図９に示された各構成要素によって実行される。

ベース・ビュー符号化部１００の処理は、ベース・ビュー符号化部７００によって実行される。ベース・ビュー書き込み部１０２の処理は、ベース・ビュー書き込み部７０２によって実行される。ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部１０４の処理は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部７０８によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ算出部１０６の処理は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部７０６によって実行される。ノン・ベース・ビュー符号化部１０８の処理は、ノン・ベース・ビュー符号化部７１２によって実行される。ノン・ベース・ビュー書き込み部１１０の処理は、ノン・ベース・ビュー書き込み部７１４によって実行される。

図１０は、本発明の実施の形態２における画像復号装置の例を示す図である。この装置が備えるものには、スプリッタ部８００、ベース・ビュー・ＮＡＬユニット・ヘッダ・パラメータ構文解析部８０２、前置ＮＡＬユニット検索部８０３、ベース・ビュー復号部８０４、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８０５、記憶部８０６、スイッチ部８０７、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部８０８、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８１０、ノン・ベース・ビュー復号部８１２などがある。

図１０に示されるように、スプリッタ部８００は、１つ以上のビューの圧縮映像Ｄ０２０を取得し、ベース・ビュー・ＮＡＬユニット・ヘッダ・パラメータ構文解析部８０２に対するベース・ビューの圧縮画像Ｄ００３と、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８１０に対するノン・ベース・ビューの圧縮画像Ｄ０２１とに分割する。

ベース・ビュー・ＮＡＬユニット・ヘッダ・パラメータ構文解析部８０２は、ベース・ビューの圧縮画像Ｄ００３を取得し、ベース・ビュー・ＮＡＬユニットのＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値Ｄ０１８を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部８０８へ出力する。ベース・ビュー・ＮＡＬユニット・ヘッダ・パラメータ構文解析部８０２は、ベース・ビューの圧縮画像Ｄ００４を、前置ＮＡＬユニット検索部８０３へ出力する。前置ＮＡＬユニット検索部８０３は、ベース・ビュー内で前置ＮＡＬユニットを検索し、存在するか否かを示す信号Ｄ０１６をスイッチ部８０７に出力する。前置ＮＡＬユニット検索部８０３は、また、ベース・ビューの圧縮画像Ｄ００６を、ベース・ビュー復号部８０４へ出力する。

ベース・ビュー復号部８０４は、ベース・ビューの圧縮画像Ｄ００６を取得し、ベース・ビューの復号画像Ｄ００５を出力する。出力されたベース・ビューの復号画像Ｄ００５は、記憶部８０６に格納される。圧縮ベース・ビューに前置ＮＡＬユニットが存在する場合、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８０５は、ベース・ビューの圧縮画像Ｄ００３を読み出し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ００８を出力する。

ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８１０は、ノン・ベース・ビューの圧縮画像Ｄ０２１を取得し、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３を、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部８０８とノン・ベース・ビュー復号部８１２の両方に出力する。ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８１０は、次に、ノン・ベース・ビューの圧縮画像Ｄ０１５を、ノン・ベース・ビュー復号部８１２に出力する。ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部８０８は、予め定められた値Ｄ００９と、ベース・ビュー・ＮＡＬユニットのＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値Ｄ０１８と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３とを取得し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータに値を割り当て、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１４を、スイッチ部８０７に出力する。

前置ＮＡＬユニット検索部８０３によって送信された信号Ｄ０１６に基づき、圧縮ベース・ビューに前置ＮＡＬユニットが存在しているか否かによって、存在していない場合には、スイッチ部８０７は、算出されたベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１４を、ノン・ベース・ビュー復号部８１２へ引き渡す。存在している場合には、スイッチ部８０７は、構文解析されたベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ００８を、ノン・ベース・ビュー復号部８１２に引き渡す。

最後に、ノン・ベース・ビュー復号部８１２は、ベース・ビューの復号画像Ｄ０１９と、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１０と、構文解析されたノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ノン・ベース・ビューの圧縮画像Ｄ０１５とを取得し、ノン・ベース・ビューの復号画像Ｄ０２５を出力する。

なお、図１０に示された画像復号装置は、図３に示された画像復号装置２５０の具体的な例である。図３に示された各構成要素が行う処理は、図１０に示された各構成要素によって実行される。

ベース・ビュー・ＮＡＬユニット構文解析部２００およびベース・ビュー復号部２０２の処理は、ベース・ビュー復号部８０４によって実行される。ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０４の処理は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８１０によって実行される。前置ＮＡＬユニット検索部２０５の処理は、前置ＮＡＬユニット検索部８０３によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部２０７の処理は、ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部８０５によって実行される。ベース・ビュー・ＭＶＣ拡張パラメータ算出部２０６の処理は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部８０８によって実行される。ノン・ベース・ビュー・ＮＡＬユニット構文解析部２０８およびノン・ベース・ビュー復号部２１０の処理は、ノン・ベース・ビュー復号部８１２によって実行される。

以上、実施の形態２の画像符号化装置１５０は、実施の形態１と同様に、前置ＮＡＬユニットなしで、多視点映像を符号化する。また、実施の形態２の画像復号装置２５０は、実施の形態１と同様に、符号化された多視点映像に前置ＮＡＬユニットがあるか否かに関わらず、符号化された多視点映像を復号できる。さらに、実施の形態２における画像符号化装置１５０および画像復号装置２５０は、ベース・ビューのＭＶＣ拡張パラメータを算出する時、ベース・ビューのＮＡＬユニット・タイプを用いることで、より精度の高いＭＶＣ拡張パラメータを算出できる。

なお、実施の形態１と同様に、図８に示された処理の流れは、処理の流れの一例であって、画像符号化装置１５０および画像復号装置２５０によって実行される処理の流れは、図８に示された処理の流れに限定されない。例えば、画像符号化装置１５０および画像復号装置２５０は、図８に示された処理の順序と異なる順序で図８に示された処理を実行してもよいし、図８に示された処理を並行に実行してもよい。

また、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）およびビュー間予測フラグ（ｖｉｅｗ＿ｉｎｔｅｒ＿ｆｌａｇ）に割り当てられる予め定められた値は、実施の形態２に示された値と異なる値であってもよい。

また、実施の形態１と同様に、ノン・ベース・ビューは、複数あってもよい。

（実施の形態３）
次に、実施の形態３について説明する。

図１１は、本発明の実施の形態３における画像符号化装置の構成要素を示す構成図である。

図１１に示された画像符号化装置９５０は、ベース・ビュー・ＭＶＣ拡張パラメータ特定部９００、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部９０２、前置ＮＡＬユニット書き込み切り替え部９０４、前置ＮＡＬユニット書き込み部９０６、ベース・ビュー符号化部９０８、ベース・ビュー書き込み部９１０、ノン・ベース・ビュー符号化部９１２およびノン・ベース・ビュー書き込み部９１４を備える。各処理部は、次に示される各処理を実行する。

図１２は、本発明の実施の形態３における符号化処理を示すフローチャートである。

まず、ベース・ビュー・ＭＶＣ拡張パラメータ特定部９００は、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定する（Ｓ９００）。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

次に、ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部９０２は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを特定する（Ｓ９０２）。これらのパラメータの例としては、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）などがある。

次に、前置ＮＡＬユニット書き込み切り替え部９０４は、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込むか否かを切り替える（Ｓ９０４）。例えば、前置ＮＡＬユニット書き込み切り替え部９０４は、予め設定された情報に基づいて、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込むか否かを切り替える。

ここで、前置ＮＡＬユニット書き込み切り替え部９０４が、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込むように切り替えた場合（Ｓ９０４でＹｅｓ）、前置ＮＡＬユニット書き込み部９０６は、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込む（Ｓ９０６）。

一方、前置ＮＡＬユニット書き込み切り替え部９０４が、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込まないように切り替えた場合（Ｓ９０４でＮｏ）、前置ＮＡＬユニット書き込み部９０６は、前置ＮＡＬユニットにベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを書き込まない。つまり、前置ＮＡＬユニットは、生成されない。

次に、ベース・ビュー符号化部９０８は、ベース・ビューの画像を符号化する（Ｓ９０８）。ベース・ビューの画像は、多視点映像符号化規格を用いて符号化される。多視点映像符号化規格を用いて符号化されるベース・ビューの画像は、ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ規格によって復号可能である。

次に、ベース・ビュー書き込み部９１０は、符号化されたベース・ビュー・コンポーネントをＮＡＬユニットに書き込む（Ｓ９１０）。

次に、ノン・ベース・ビュー符号化部９１２は、ベース・ビューおよびノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、ノン・ベース・ビューの画像を符号化する（Ｓ９１２）。

最後に、ノン・ベース・ビュー書き込み部９１４は、ノン・ベース・ビュー・コンポーネントをＮＡＬユニットに書き込む（Ｓ９１４）。

図１３は、本発明の実施の形態３における画像符号化装置の例を示す図である。この装置が備えるものには、ベース・ビュー符号化部５００、ベース・ビュー書き込み部５０２、ベース・ビュー復号部５０４、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部１０１５、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８、記憶部５１０、ノン・ベース・ビュー符号化部５１２、ノン・ベース・ビュー書き込み部５１４、スイッチ部１０１６および前置ＮＡＬユニット書き込み部１０１７などがある。

図６に示された例と比較して、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部５０６の代わりに、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部１０１５が追加されている。また、スイッチ部１０１６および前置ＮＡＬユニット書き込み部１０１７が追加されている。

ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部１０１５は、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７に値を設定し、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７を、ノン・ベース・ビュー符号化部５１２に出力する。

ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８は、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３に値を設定し、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３を、ノン・ベース・ビュー符号化部５１２に出力する。

ベース・ビューの画像Ｄ００１は、ベース・ビュー符号化部５００に入力され、ベース・ビューの圧縮画像Ｄ００３が、ベース・ビュー書き込み部５０２とベース・ビュー復号部５０４の両方に出力される。ベース・ビュー復号部５０４は、ベース・ビューの圧縮画像Ｄ００３を読み取り、ベース・ビューの復号画像Ｄ００５を、記憶部５１０に出力する。

ノン・ベース・ビューの画像Ｄ０１１は、ノン・ベース・ビュー符号化部５１２に入力される。ノン・ベース・ビュー符号化部５１２は、ノン・ベース・ビューの画像Ｄ０１１と、ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１３と、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７と、ベース・ビューの復号画像Ｄ０１９とを取得し、ノン・ベース・ビューの圧縮画像Ｄ０２１を出力する。

最後に、ベース・ビュー書き込み部５０２およびノン・ベース・ビュー書き込み部５１４は、それぞれ、ベース・ビューの圧縮画像Ｄ００３およびノン・ベース・ビューの圧縮画像Ｄ０２１を取得し、ＮＡＬユニットにおけるベース・ビューの圧縮画像Ｄ００７およびノン・ベース・ビューの圧縮画像Ｄ０２３を出力する。

これにより、前置ＮＡＬユニットが含まれない、１つ以上のビューの圧縮映像のストリームが生成される。

また、前置ＮＡＬユニットが含まれるように設定が切り替えられた場合、スイッチ部１０１６は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部１０１５から、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータＤ０１７を、前置ＮＡＬユニット書き込み部１０１７に出力する。前置ＮＡＬユニット書き込み部１０１７は、ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを前置ＮＡＬユニットに書き込み、前置ＮＡＬユニットＤ０２２を出力する。

これにより、前置ＮＡＬユニットが含まれる、１つ以上のビューの圧縮映像のストリームが生成される。

なお、図１３に示された画像符号化装置は、図１１に示された画像符号化装置９５０の具体的な例である。図１１に示された各構成要素が行う処理は、図１３に示された各構成要素によって実行される。

例えば、ベース・ビュー・ＭＶＣ拡張パラメータ特定部９００の処理は、ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部１０１５によって実行される。ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部９０２の処理は、ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部５０８によって実行される。前置ＮＡＬユニット書き込み切り替え部９０４の処理は、スイッチ部１０１６によって実行される。前置ＮＡＬユニット書き込み部９０６の処理は、前置ＮＡＬユニット書き込み部１０１７によって実行される。ベース・ビュー符号化部９０８の処理は、ベース・ビュー符号化部５００によって実行される。ベース・ビュー書き込み部９１０の処理は、ベース・ビュー書き込み部５０２によって実行される。ノン・ベース・ビュー符号化部９１２の処理は、ノン・ベース・ビュー符号化部５１２によって実行される。ノン・ベース・ビュー書き込み部１１０の処理は、ノン・ベース・ビュー書き込み部５１４によって実行される。

以上、実施の形態３の画像符号化装置９５０は、多視点映像を符号化する時、前置ＮＡＬユニットの有無を切り替えることができる。さらに、実施の形態３における画像符号化装置９５０は、ベース・ビューおよびノン・ベース・ビューのＭＶＣ拡張パラメータを、それぞれ特定する。つまり、画像符号化装置９５０は、ベース・ビューのＭＶＣ拡張パラメータを算出しなくてよい。

また、画像符号化装置９５０は、ノン・ベース・ビューのＭＶＣ拡張パラメータからベース・ビューのＭＶＣ拡張パラメータを特定しなくてもよい。画像符号化装置９５０は、独立して特定されたベース・ビューのＭＶＣ拡張パラメータを、ノン・ベース・ビューの符号化に用いることができる。

そして、実施の形態１および実施の形態２と同様に、旧来型ＡＶＣデコーダであっても、符号化された多視点映像に含まれるベース・ビューを復号できる。また、実施の形態１および実施の形態２における画像復号装置２５０は、画像符号化装置９５０によって符号化された多視点映像に含まれる全てのビューを復号できる。

なお、画像符号化装置９５０は、前置ＮＡＬユニットを書き込むか否かを切り替えている。しかし、画像符号化装置９５０は、前置ＮＡＬユニットを書き込まないことを前提としてもよい。この場合、前置ＮＡＬユニット書き込み切り替え部９０４、前置ＮＡＬユニット書き込み部９０６、および、それらによって実行される処理が不要になる。

また、実施の形態１および実施の形態２と同様に、図１２に示された処理の流れは、処理の流れの一例であって、画像符号化装置９５０によって実行される処理の流れは、図１２に示された処理の流れに限定されない。例えば、画像符号化装置９５０は、図１２に示された処理の順序と異なる順序で図１２に示された処理を実行してもよいし、図１２に示された処理を並行に実行してもよい。

特に、ベース・ビューのＭＶＣ拡張パラメータを特定する処理（Ｓ９００）とノン・ベース・ビューのＭＶＣ拡張パラメータを特定する処理（Ｓ９０２）とは、順序が逆であってもよい。そして、それらのＭＶＣ拡張パラメータを特定する処理（Ｓ９００、Ｓ９０２）は、ノン・ベース・ビューの画像を符号化する処理（Ｓ９１２）、および、それぞれＭＶＣ拡張パラメータが書き込まれる処理（Ｓ９０６、Ｓ９１４）までに実行されればよい。

また、実施の形態１および実施の形態２と同様に、ベース・ビューのＭＶＣ拡張パラメータを特定する時（Ｓ９００）、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）、ビューＩＤ（ｖｉｅｗ＿ｉｄ）、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）には、それぞれ、予め定められた値が割り当てられてもよい。例えば、優先ＩＤ（ｐｒｉｏｒｉｔｙ＿ｉｄ）には、０が割り当てられ、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）には、０が割り当てられ、ビュー間予測フラグ（ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ）には、１が割り当てられる。

そして、ベース・ビューおよびノン・ベース・ビューのＭＶＣ拡張パラメータを特定する時（Ｓ９００、Ｓ９０２）、非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）、時間ＩＤ（ｔｅｍｐｏｒａｌ＿ｉｄ）、アンカー・ピクチャ・フラグ（ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ）は、それぞれ、ベース・ビュー側とノン・ベース・ビュー側とで同じ値になるように、割り当てられてもよい。このうち、ベース・ビューの非ＩＤＲフラグ（ｎｏｎ＿ｉｄｒ＿ｆｌａｇ）は、実施の形態２と同様に、ＮＡＬユニット・タイプに基づいて、特定されてもよい。

また、実施の形態１および実施の形態２と同様に、ノン・ベース・ビューは、複数あってもよい。

以上のように、実施の形態１、実施の形態２および実施の形態３において示された画像符号化装置および画像復号装置は、前置ＮＡＬユニットを用いない場合でも、多視点映像を符号化し、多視点映像を復号できる。これにより、前置ＮＡＬユニットに起因してベース・ビューを復号できなかった旧来型ＡＶＣデコーダであっても、ベース・ビューを復号できる。また、旧来型ＡＶＣエンコーダにより生成された既存のビットストリームを多視点映像のベース・ビューとして利用することも可能である。

例えば、旧来型ＡＶＣエンコーダにより既に符号化された２Ｄのアニメーション映像がＢＤ（Ｂｌｕ−ｒａｙＤｉｓｃ）に書き込まれている場合がある。そして、ＢＤに書き込まれている２Ｄのアニメーション映像に視差を付加した映像が、符号化され、インターネットを介して配信されてもよい。この場合、ＢＤに書き込まれている２Ｄのアニメーション映像がベース・ビューとして、２Ｄのアニメーション映像に視差を付加した映像がノン・ベース・ビューとして、多視点映像が形成される。

各実施の形態における画像復号装置は、このように形成された多視点映像を復号できる。そして、復号された多視点映像は、３Ｄのアニメーション映像として再生される。このように、ベース・ビューのストリームに前置ＮＡＬユニットを加える必要がないため、既存の資産の再利用が容易である。そして、単一のビューを前提として生成されたストリームに、別のビューを追加することも容易である。そのため、例えば、符号化された別のビューが、別の記録媒体で提供されてもよい。

図１４は、各実施の形態における符号化ストリームのデータ構造の例を示す図である。各実施の形態における画像符号化装置は、多視点映像を符号化することにより、図１４に示されるような、前置ＮＡＬユニットのないストリームを生成することができる。そして、各実施の形態における画像復号装置は、図１４に示されるような、前置ＮＡＬユニットのないストリームから、ノン・ベース・ビューに含まれるＭＶＣ拡張パラメータ等を用いて、多視点映像を復号することができる。

さらに、前置ＮＡＬユニットなしでベース・ビューが既に符号化されている場合、各実施の形態における画像符号化装置は、ノン・ベース・ビューのみを符号化してもよい。各実施の形態における画像復号装置は、ノン・ベース・ビューのＭＶＣ拡張パラメータからベース・ビューのＭＶＣ拡張パラメータを算出することにより、前置ＮＡＬユニットなしで符号化されたベース・ビュー、および、新たに符号化されたノン・ベース・ビューを多視点映像として復号できる。

（実施の形態４）
上記各実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１５のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）方式、もしくはＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（ＨｉｇｈＳｐｅｅｄＰａｃｋｅｔＡｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。

このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。

その一例として携帯電話ｅｘ１１４について説明する。

図１６は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１４について図１７を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。

電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。

携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。

画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた画像符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。

多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。

また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。

次に、画像復号部ｅｘ７０９は、本願で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した画像符号化方法に対応した画像復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図１８に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。

また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図１９は、上記各実施の形態で説明した画像復号方法および画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した画像復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２０に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図２１に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態５）
上記各実施の形態で示した画像符号化方法および装置、画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図２２に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶＩ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上、本発明に係る画像符号化方法、画像符号化装置、画像復号方法および画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

本発明は、画像符号化方法、画像復号方法、画像符号化装置および画像復号装置として、例えば、画像の記録装置および再生装置等に利用することができる。

１００、５００、７００、９０８ベース・ビュー符号化部
１０２、５０２、７０２、９１０ベース・ビュー書き込み部
１０４、９０２ノン・ベース・ビュー・ＭＶＣ拡張パラメータ特定部
１０６、２０６ベース・ビュー・ＭＶＣ拡張パラメータ算出部
１０８、５１２、７１２、９１２ノン・ベース・ビュー符号化部
１１０、５１４、７１４、９１４ノン・ベース・ビュー書き込み部
１５０、９５０画像符号化装置
２００ベース・ビュー・ＮＡＬユニット構文解析部
２０２、５０４、６０２、７０４、８０４ベース・ビュー復号部
２０４ノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部
２０５、６０１、８０３前置ＮＡＬユニット検索部
２０７ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部
２０８ノン・ベース・ビュー・ＮＡＬユニット構文解析部
２１０、６１０、８１２ノン・ベース・ビュー復号部
２５０画像復号装置
５０６、６０６、７０６、８０８ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ算出部
５０８、７０８ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部
５１０、６０４、７１０、８０６記憶部
６００、８００スプリッタ部
６０３、８０５ベース・ビュー・前置ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部
６０５、８０７、１０１６スイッチ部
６０８、８１０ノン・ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ構文解析部
８０２ベース・ビュー・ＮＡＬユニット・ヘッダ・パラメータ構文解析部
９００ベース・ビュー・ＭＶＣ拡張パラメータ特定部
９０４前置ＮＡＬユニット書き込み切り替え部
９０６、１０１７前置ＮＡＬユニット書き込み部
１０１５ベース・ビュー・ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ特定部
Ｄ００１、Ｄ０１１画像
Ｄ００３、Ｄ００４、Ｄ００６、Ｄ００７、Ｄ０１５、Ｄ０２１、Ｄ０２３圧縮画像
Ｄ００５、Ｄ０１９、Ｄ０２５復号画像
Ｄ００８、Ｄ０１０、Ｄ０１３、Ｄ０１４、Ｄ０１７ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ
Ｄ００９、Ｄ０１８値
Ｄ０１６信号
Ｄ０２０圧縮映像
Ｄ０２２前置ＮＡＬユニット
ｅｘ１００コンテンツ供給システム
ｅｘ１０１インターネット
ｅｘ１０２インターネットサービスプロバイダ
ｅｘ１０３ストリーミングサーバ
ｅｘ１０４電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０基地局
ｅｘ１１１コンピュータ
ｅｘ１１２ＰＤＡ
ｅｘ１１３、ｅｘ１１６カメラ
ｅｘ１１４カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５ゲーム機
ｅｘ１１７マイク
ｅｘ２００デジタル放送用システム
ｅｘ２０１放送局
ｅｘ２０２放送衛星（衛星）
ｅｘ２０３ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１アンテナ
ｅｘ２１０車
ｅｘ２１１カーナビゲーション（カーナビ）
ｅｘ２１２再生装置
ｅｘ２１３、ｅｘ２１９モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７記録メディア
ｅｘ２１７セットトップボックス（ＳＴＢ）
ｅｘ２１８リーダ／レコーダ
ｅｘ２２０リモートコントローラ
ｅｘ２３０情報トラック
ｅｘ２３１記録ブロック
ｅｘ２３２内周領域
ｅｘ２３３データ記録領域
ｅｘ２３４外周領域
ｅｘ３００テレビ
ｅｘ３０１チューナ
ｅｘ３０２変調／復調部
ｅｘ３０３多重／分離部
ｅｘ３０４音声信号処理部
ｅｘ３０５映像信号処理部
ｅｘ３０６、ｅｘ５０７信号処理部
ｅｘ３０７スピーカ
ｅｘ３０８、ｅｘ６０２表示部
ｅｘ３０９出力部
ｅｘ３１０、ｅｘ５０１制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０電源回路部
ｅｘ３１２操作入力部
ｅｘ３１３ブリッジ
ｅｘ３１４、ｅｘ６０６スロット部
ｅｘ３１５ドライバ
ｅｘ３１６モデム
ｅｘ３１７インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８バッファ
ｅｘ４００情報再生／記録部
ｅｘ４０１光ヘッド
ｅｘ４０２変調記録部
ｅｘ４０３再生復調部
ｅｘ４０５ディスクモータ
ｅｘ４０６サーボ制御部
ｅｘ４０７システム制御部
ｅｘ５００ＬＳＩ
ｅｘ５０２ＣＰＵ
ｅｘ５０３メモリコントローラ
ｅｘ５０４ストリームコントローラ
ｅｘ５０６ストリームＩ／Ｏ
ｅｘ５０９ＡＶＩ／Ｏ
ｅｘ５１０バス
ｅｘ５１１メモリ
ｅｘ６０３カメラ部
ｅｘ６０４操作キー
ｅｘ６０５音声入力部
ｅｘ６０８音声出力部
ｅｘ７０１送受信回路部
ｅｘ７０２ＬＣＤ制御部
ｅｘ７０３カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４操作入力制御部
ｅｘ７０５音声処理部
ｅｘ７０６変復調回路部
ｅｘ７０７記録再生部
ｅｘ７０８多重分離部
ｅｘ７０９画像復号部
ｅｘ７１１主制御部
ｅｘ７１２画像符号化部
ｅｘ７１３同期バス

Claims

多視点映像を復号する画像復号方法であって、
ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析し、
前記ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号し、
ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析し、
前記ベース・ビューの前記ビュー・コンポーネントに前置ＮＡＬユニットが存在しているか否かを検索し、
前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在していない場合、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出し、
前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在している場合、前記前置ＮＡＬユニットから、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析し、
前記ノン・ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析し、
算出または構文解析された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、構文解析された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号する
画像復号方法。
多視点映像を復号する画像復号装置であって、
ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析するベース・ビュー・ＮＡＬユニット構文解析部と、
前記ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号するベース・ビュー復号部と、
ノン・ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析するノン・ベース・ビュー・ＭＶＣ拡張パラメータ構文解析部と、
前記ベース・ビューの前記ビュー・コンポーネントに前置ＮＡＬユニットが存在しているか否かを検索する前置ＮＡＬユニット検索部と、
前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在していない場合、前記ベース・ビューのＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを算出するベース・ビュー・ＭＶＣ拡張パラメータ算出部と、
前記ベース・ビューの前記ビュー・コンポーネントに前記前置ＮＡＬユニットが存在している場合、前記前置ＮＡＬユニットから、前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを構文解析するベース・ビュー・ＭＶＣ拡張パラメータ構文解析部と、
前記ノン・ベース・ビューのビュー・コンポーネントに含まれる画像を含むＮＡＬユニットを構文解析するノン・ベース・ビュー・ＮＡＬユニット構文解析部と、
算出または構文解析された前記ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータ、および、構文解析された前記ノン・ベース・ビューの前記ＮＡＬユニット・ヘッダ・ＭＶＣ拡張パラメータを用いて、前記ノン・ベース・ビューの前記ビュー・コンポーネントに含まれる前記画像を復号するノン・ベース・ビュー復号部とを備える
画像復号装置。