JP4791129B2 - 画像符号化装置、画像符号化方法及び画像編集装置 - Google Patents

Description

本発明は、非圧縮の映像データを符号化した符号化ストリームを編集し、復号し、再符号化することができる画像符号化装置、画像符号化方法及び画像編集装置に関する。

近年のディジタル技術の発展に伴い、ＨＤＤ（Hard Disc Drive）若しくはＤＶＤ（Digital Versatile Disc）レコーダやＤＶＤプレーヤのようなディジタル方式の音声／画像記録再生装置が実用化されている。このようなディジタル方式では、画像データはＭＰＥＧ（Moving Picture Experts Group）方式で圧縮しストリーム化されている

ＭＰＥＧ２方式（ＩＳＯ／ＩＥＣ１３８１８−２）は、フレーム内符号化画像（以下Ｉピクチャ：intra coded picture）、片方向予測によりフレーム間符号化された画像（以下Ｐピクチャ：predictive coded picture）、及び双方向予測によりフレーム間符号化された画像（以下Ｂピクチャ：bi-directionally predictive coded picture）により符号化ストリームが形成されている。

ＭＰＥＧ２方式のビデオストリームはＧＯＰ(group of pictures)という単位で符号化されている。１つのＧＯＰは、通常１５枚程度のピクチャから構成され、Ｉピクチャから始まり、Ｐピクチャ又はＢピクチャが含まれる。

Ｉピクチャは画像内符号化により作られるもので、前画像からの予測符号化を行わない、すなわち、他の画像を参照せずにピクチャ内符号化を行なうものであり、復号に必要な全ての情報を有する画像である。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャを参照してピクチャ間予測符号化を行なうピクチャであり、したがって、ストリーム順で先行する既に復号されたＩピクチャ又はＰピクチャの情報が必要な画像である。Ｂピクチャは、前後（過去及び未来）の２枚のＩピクチャ又はＰピクチャを使用し、双方向からの予測符号化を行うピクチャであり、復号には、ストリーム順で先行する既に復号化されたＩピクチャ又はＰピクチャ２画像の情報が必要な画像である。

したがって、Ｂピクチャが存在する場合には、符号画像順と表示画像順は一致しない。すなわち、Ｂピクチャの復号には該画像よりも再生順で後に表示される画像を参照するため、符号順ではＢピクチャよりも先にその参照画像となるＩピクチャ又はＰピクチャが配置される。したがって、このようなＭＰＥＧ２方式で得られたビデオストリームを編集する際には、Ｐピクチャ及びＢピクチャに符号化された画像の参照画像が編集により変わってしまうため、必要なピクチャのデータを抜き出して単純に連結することができない。

そこで、ＭＰＥＧ方式で符号化された動画像の編集を行なう際には、簡単には、ＧＯＰ単位で編集することが考えられる。しかしながら、ＧＯＰの途中にシーチェンジがある場合に、その点で編集を行なうことができないという問題点がある。そこで、ＧＯＰの途中にある編集点と、ＧＯＰの途中にある編集点とを連結するビデオストリームの編集方法が特許文献１に記載されている。

この特許文献１に記載の編集方法においては、フレーム間予測符号化された第１のビデオストリームの一部又は全部と第２のビデオストリームの一部又は全部を連結して連続再生可能なビデオストリームを得る。この場合、第１のビデオストリームから、フレーム内予測符号化または片方向のフレーム間予測により符号化されたピクチャの直前までの、第１の部分ビデオストリームを切り出す。そして、第２のビデオストリームから、フレーム内符号化または片方向のフレーム間予測により符号化されたピクチャ以降の、第２の部分ビデオストリームを切り出す。第２のビデオストリームから切り出された第２の部分ストリームの直前に表示されるピクチャがフレーム内符号化されたピクチャであるか否かを判定し、フレーム内符号化されたピクチャであると判定された場合には、このピクチャを第１のフレーム内符号化ピクチャとし、フレーム内符号化されたピクチャでないと判定された場合には、該ピクチャの直前にあるフレーム内符号化ピクチャから該ピクチャまでの片方向フレーム間予測符号化ピクチャを順に復号化することで該ピクチャの復号画像を得た後、復号された該ピクチャをフレーム内符号化処理により再符号化し、第１のビデオストリームから得られた第１の部分ストリームと、第２のビデオストリームから得られた第２の部分ストリームとの間に、再符号化したフレーム内符号化ピクチャを挿入することで、ＧＯＰの途中に編集点がある場合においても編集を可能としている。

しかしながら、このような符号化されたままのストリームを編集する場合には、ストリームの一部を削除することで全体の符号量を小さくすることはできるものの、符号化の際のビットレートを変更することができず、編集後における符号量を調整することが難しい。

例えば、非圧縮のディジタル映像データを、ＭＰＥＧ等の方法によりＩピクチャ、Ｂピクチャ及びＰピクチャから構成されるＧＯＰ単位に圧縮符号化して光磁気ディスク（ＭＯディスク；magneto-optical disc）等の記録媒体に記録する際には、圧縮符号化後の圧縮映像データのデータ量（ビット量）を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは、通信回線の伝送容量以下にする必要がある。

このため、事前解析を用いた動画像の符号化方法が採用される場合がある。事前解析を用いた符号化方法においては、先ず、１パス目で非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり、次の２パス目に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（以下、このような圧縮符号化方法を２パス・エンコードともいう）。

この２パス・エンコードにおいては、符号量の割当てによるバッファ占有量の推移を考慮しなければ実際の符号化処理の際に、バッファでオーバーフローやアンダーフローなどのバッファの破綻を引き起こす。仮に、実際の符号化処理の際に、バッファの破綻を回避する処理が組み込まれていたとしても、画像を符号化する際に発生する符号量が割当てられた目標符号量から外れたものになり、発生後の符号量制御が正確にできなくなる。この場合には、本来、割当てるべき符号量と異なった符号量を画像に割当ててしまうこととなり、符号化における画質の劣化を引き起してしまう。

そこで、特許文献２には、入力画像を符号化する前に画像の解析を行い、画像毎の複雑度を算出し、この複雑度に応じた符号量を一定区間内の画像に一括して割当て、符号量がバッファに占める占有量の推移を見積ることでバッファの破綻を回避し、与えられたビットレートとバッファサイズとに基づいて適切な符号配分を行うことにより符号化した画像の画質を向上させる事前解析を用いた動画像符号化装置が開示されている。
特開２００２−３００５２８号公報 特開２００２−２３２８８２号公報

しかしながら、上記特許文献２に記載の２パス・エンコード方法の場合、１パス目でエンコードしたストリームをピクチャ単位で編集すると、編集したストリームを復号して再度符号化したときには編集点以後のピクチャ位相を１パス目の符号化ストリームのピクチャ位相と一致させることができない。この場合、例えば元々Ｂピクチャとして符号化されていたピクチャをＩピクチャとして符号化する場合などが生じ、編集後の画像が劣化してしまう場合がある。更には、編集したストリームのピクチャ位相が、事前解析済みの１パス目の符号化ストリームのピクチャ位相と一致しなくなることから、編集点以降の複雑度を参照できなくなり、編集したストリームを２パス・エンコードすることができなくなってしまう。

本発明にかかる画像符号化装置は、非圧縮の映像データを符号化した符号化ストリームを編集する画像符号化装置であって、前記符号化ストリームを１又は複数の編集点で編集されるよう編集指示を作成する編集部と、前記編集指示に従って前記符号化ストリームを復号して編集済ストリームを生成する復号処理部と、前記編集済ストリームを再符号化して編集済符号化ストリームを生成する符号化処理部とを有し、前記符号化処理部は、前記符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて前記編集済符号化ストリームを生成するものであって、前記編集済ストリームにおける前記編集点の前及び／又は後に所定の画像からなる挿入画像を挿入することで、前記符号化ストリーム及び前記編集済符号化ストリームの前記編集点まで及び／又は編集点後のピクチャ位相が同一になるよう前記編集済符号化ストリームを生成するものである。

本発明においては、非圧縮の映像データを符号化した符号化ストリームを編集して再度符号化する際、元の符号化ストリームと同一フレームにおいては同一ピクチャとなるよう、ピクチャ位相を揃えて再符号化することができるため、例えば元々ＢピクチャだったものをＩピクチャに符号化するようなことがなく、画質の劣化を防止することができる。

本発明にかかる画像編集装置は、非圧縮の映像データを符号化した符号化ストリームを編集する画像符号化処理部と、符号化ストリームを記録する２以上の記録部とを備え、
前記画像符号化処理部は、一方の記憶装置に記録された前記符号化ストリームを１又は複数の編集点で編集されるよう編集指示を生成する編集部と、前記編集指示に従って前記符号化ストリームを復号して編集済ストリームを生成する復号処理部と、前記編集済みストリームを再符号化して編集済符号化ストリームを生成する符号化処理部とを有し、前記符号化処理部は、前記符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて前記編集済符号化ストリームを生成するものであって、前記編集済みストリームにおける前記編集点の前及び／又は後に所定の画像からなる挿入画像を挿入することで、前記符号化ストリーム及び前記編集済符号化ストリームの前記編集点まで及び／又は編集点後のピクチャ位相が同一になるよう前記編集済符号化ストリームを生成し、前記他方の記憶装置は、前記編集済符号化ストリームを記録するものである。

本発明においては、一方の記憶装置に記録された元の符号化ストリームから編集したデータを、元の符号化ストリームと同一フレームにおいては同一ピクチャとなるよう、ピクチャ位相を揃えて再符号化するので、画質を劣化させることなくこれを他方の記憶装置にダビングすることができる。また、符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて編集済みストリームを符号化するので、元の符号化ストリームを生成する際に各フレームの複雑度を解析しておけば、編集済みストリームの２パス・エンコードが可能になる。

本発明によれば、符号化ストリームの任意のピクチャ位置で編集しても、編集後に符号化して得られる符号化ストリームと編集前の符号化ストリームのピクチャ位相を揃えることができ、再符号化した画質の劣化を抑制することができる。そして、本発明によれば、符号化ストリームを編集しても編集前の符号化ストリームと同一のピクチャ位相とすることができるので、符号化ストリームについて予め事前解析を行なっておけば、編集後であっても２パス・エンコードを行なうことができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、２パス・エンコード方法を用いた編集機能付き動画像符号化装置に適用したものである。

本実施の形態にかかる画像符号化装置は、２パス・エンコード機能を有する。２パス・エンコードは、非圧縮オーディオ／ビデオデータを予備的に圧縮符号化して圧縮符号化後のデータ量を見積もり（１パス目）、次に、見積もったデータ量に基づいて圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の記録容量以下になるように圧縮符号化する（２パス目）方法である。このため、１パス目において、非圧縮の映像データなどのタイトルを例えばＭＰＥＧ符号化して記録する際に各フレームを解析してその複雑度を求め（事前解析）、この複雑度を、ＭＰＥＧ符号化したタイトルと共に記録しておく。そして、２パス目に、予め定められるビットレートとなるよう、上記複雑度に応じて符号量を割り当て符号化する。複雑度を用いて符号量を割り当てることで、限られたビットレートにおける画質の向上を図り、バッファのアンダーフローやオーバーフローを防止することができる。

そして、本実施の形態における画像符号化装置は、ＭＰＥＧ符号化された記録済みのタイトル（番組）をピクチャ単位で編集したプレイリスト又は編集済みタイトルを生成しても、上記２パス・エンコードを可能にするものである。

通常、事前解析された符号化ストリームは、各フレーム毎の複雑度が求められているが、各フレームは所定のピクチャタイプに符号化されており、複雑度もピクチャタイプに対応したものとなっている。したがって、符号化ストリームをＧＯＰの途中で編集して復号してしまうと、再び編集後のタイトルを符号化する場合、編集前の符号化ストリームと対応するフレームが同じピクチャタイプに符号化されなくなる。すなわち、もともと例えばＢピクチャで符号化されていたフレームがＩピクチャで符号化される場合などが生じ、編集後の符号化ストリームにおいては画質が劣化する場合がある。

更に編集後の符号化ストリームが、編集前の事前解析された符号化ストリームとは対応するフレーム（同一画像）が異なるピクチャタイプのピクチャに符号化されると、事前解析結果を用いて最適な目標符号量を設定して符号化する２パス・エンコードが不可能になる。これに対し、本実施の形態にかかる画像符号化装置は、編集後の符号化ストリームにおいて、所定の画像（以下、挿入画像という。）を挿入することにより、編集前の事前解析済みの符号化ストリームと対応するフレームが同一ピクチャタイプのピクチャに符号化されるようピクチャ位相を揃えるものである。すなわち、ピクチャ位相を揃えるとは、一旦符号化した符号化ストリームの構成ピクチャを、復号し再符号化する際において当該構成ピクチャのピクチャタイプと同一のピクチャタイプになるよう、ピクチャタイプを一致させて符号化することを示す。ピクチャ位相を揃えることにより、事前解析された符号化ストリームにおいて、ＧＯＰの途中に編集点を設けて編集し再符号化する場合であっても編集前の符号化ストリームの事前解析結果を参照することができ、２パス・エンコードを可能にする。

ここでは、先ず、本実施の形態にかかる画像符号化装置の構成について説明し、次に、編集後のＭＰＥＧストリーム（以下、編集済符号化ストリームＳＴ１という。）を編集前のＭＰＲＧストリーム（以下、オリジナルストリームＳＴ０という。）のピクチャ位相に合わせる方法について説明し、最後にオリジナルストリームの事前解析結果を用いた編集済みストリームの２パス・エンコード方法について説明する。

図１は、本実施の形態にかかる画像符号化装置を示すブロック図である。画像符号化装置１は、符号化処理部２、編集部３、復号処理部４、表示部５、及びストレージインターフェース（Ｉ／Ｆ）６、７を有する。なお、表示部５は、画像符号化装置１とは異なる装置であってもよい。また、ストレージＩ／Ｆは本実施の形態においては、２つとして説明するが、２以上あってもよいことは勿論である。ストレージＩ／Ｆ６は、例えばＨＤＤ等の記憶装置３０と接続され、ストレージＩ／Ｆ７は例えばＤＶＤレコーダ等の記憶装置４０と接続される。また、これら記憶装置３０、４０が画像符号化装置に含まれる構成としてもよい。

本実施の形態にかかる画像符号化装置１は、符号化処理部２により、入力される非圧縮の映像データを、ＭＰＥＧ符号化して記憶装置３０、４０に記録したり、編集部３により、記憶装置３０、４０に記録された符号化ストリームを編集したりする。また、復号処理部４により符号化ストリームを復号して表示部５にて表示（再生）する。ここで、本画像符号化装置１は、上述したように、映像データを符号化処理部２にて符号化した符号化ストリーム（以下、オリジナルストリームという。）を編集して編集済符号化ストリームＳＴ１を生成する場合に、オリジナルストリームＳＴ０と編集済符号化ストリームＳＴ１のピクチャ位相を揃える機能を有する。すなわち、オリジナルストリームＳＴ０において、例えばＩピクチャに符号化されたフレームは編集済みストリームにおいてもＩピクチャに符号化される。

このことにより、オリジナルストリームＳＴ０を生成する際にその複雑度を解析し、オリジナルストリームＳＴ０と共に保存しておけば、編集済みストリームＳＴ１を生成する際に、その複雑度を参照することができる。したがって、この複雑度に応じた最適な符号量を割り当てることができる。すなわち、編集済み符号化ストリームＳＴ１を生成する際の符号量を制御しつつ符号化する２パス・エンコードを可能とする。これにより、オリジナルストリームの符号化時よりビットレートを小さくしても画質の劣化を抑制し、例えばＤＶＤ等の記憶容量が限られたメディアに記録することができる。

以下、各ブロックについて詳細に説明する。図２は、符号化処理部の詳細を示すブロック図である。符号化処理部２は、図２に示すように、外部から供給される非圧縮の映像データ又は復号処理部４からの復号データが入力され、これをＭＰＥＧ符号化する符号化部２１及び符号化したデータを一時保存する符号化バッファ２２を有する。また、符号化の際の各種情報を解析して複雑度を算出する解析部２３を有する。更に、複雑度に基づき各ピクチャの目標符号量を割り当てる符号量割り当て部２４を有し、これにより２パス・エンコードを可能にする。更にまた、図示せぬ制御部から指定される符号量又は符号量割り当て部２４にて割り当てられた符号量で符号化するよう符号化部２１を制御する符号量制御部２５を有する。更に、２パス・エンコードの際、編集前後のピクチャ位相を一致させるために、符号化処理の一時停止、再開のタイミングを制御するポーズ／レジューム制御部２６を有する。

符号化処理部２は、通常、タイトルを記録する場合には、入力される非圧縮の映像データから例えば比較的高いビットレートでＭＰＥＧ符号化し、符号化したストリーム（オリジナルストリーム）をストレージＩ／Ｆ６を介して例えばＨＤＤ等の記憶容量が大きい記憶装置３０に記憶する。そのとき解析部２３は、上記映像データの各フレームを所定のピクチャに符号化する際に発生する符号量や量子化スケールに基づき複雑度Ｘを解析する。この複雑度Ｘは、各フレームを所定のピクチャタイプのピクチャに符号化する際の複雑度を示すものであって、各ピクチャに対応付けられたものとなっている。この複雑度Ｘは、オリジナルストリームと共に記憶装置３０に記憶される。なお、複雑度Ｘは、記憶装置３０ではなく、その他、装置内に設けられたメモリ（図示せず）等に記録するようにしてもよい。

解析部２３は、特徴量観測部５１及び複雑度算出部５２を有する。特徴量観測部５１は、１パス目の符号化の際に、特徴量としての画像の発生符号量と平均量子化スケールとを観測する。例えば、符号化部２１が符号量制御部２５の制御のもと、指定のビットレートＲに基づいて非圧縮映像データからなるタイトルを符号化する際の各フレームｆの発生符号量Ｓ[ｆ]と平均量子化スケールＱ[ｆ]とを観測する。

複雑度算出部５２は、特徴量観測部５１で観測された発生符号量と平均量子化スケールとに基づいて複雑度を計算する。例えば、発生符号量をＳ[ｆ]、平均量子化スケールをＱ[ｆ]、複雑度Ｘ[ｆ]とした場合、複雑度Ｘ[ｆ]は、
Ｘ[ｆ]＝Ｓ[ｆ]＊Ｑ[ｆ]
と計算することができる。

なお、２パス・エンコードの際の目標符号量を算出するための複雑度Ｘの計算方法の詳細は、例えば特許文献２に記載されている。通常は、このようにして算出された複雑度から符号量割り当て部２４にて目標符号量を算出し、２パス目のエンコードの際に当該目標符号量となるよう符号化が行なわれる。

ここで、後述するように、編集済みストリームには、その符号化後にオリジナルストリームとピクチャ位相を一致させるため、編集点前及び／または編集点後に必要に応じて挿入画像が挿入される。本実施の形態における複雑度算出部５２は、編集済みストリームを符号化して編集済符号化ストリームＳＴ１を生成する際には、オリジナルストリームＳＴ０の生成の際に解析した複雑度を参照し、オリジナルストリームにおける対応するフレームの複雑度を符号量割り当て部２４に供給する。また、挿入画像を符号化してピクチャ（以下、挿入ピクチャという。）を生成する際の複雑度を、オリジナルストリームの複雑度から算出して符号量割り当て部２４へ供給する。

符号量割り当て部２４は、複雑度算出部５２から供給される複雑度に基づき各フレームを符号化する（各ピクチャを生成する）際の目標符号量を割り当てる。目標符号量は、例えば、所定のＧＯＰ長などに対応する符号量の割当て区間で使用できる総符号量を画像毎の複雑度に応じて配分する。符号量の割当て区間をＬフレームとし、第ｆフレームから第ｆ＋Ｌ−１フレームまでのフレームに割当てることができる総符号量をＲａ[ｆ]とした場合、Ｒａ[ｆ]を複雑度Ｘ[ｆ]で比例配分した各フレームの目標符号量Ｔ[ｆ]は、割り当て区間の複雑度Ｘ[ｆ]の総和をＸｓｕｍとした場合、
Ｔ[ｆ]＝（Ｘ[ｆ]／Ｘｓｕｍ）＊Ｒａ[ｆ]
として算出することができる。

符号量制御部２５は、１パス目のエンコードの際には、予め設定されたか又は外部から指示されるビットレートで符号化されるよう符号化処理部２を制御する。２パス目のエンコードの際には、符号割当て部２４からの情報に基づき、量子化スケールを計算し、この量子化スケールにより符号化させる。この際に実際に発生した発生符号量を計測して発生符号量と割当てた符号量とに差がある場合は、符号量が所定のビットレートに近づくようにフィードバック制御をかけて符号量を制御することで、目標符号量となるよう符号化が行なわれる。簡単には、発生符号量が目標符号量を上回っている場合には、量子化スケールを大きくして符号の発生を抑制し、下回っている場合には、量子化スケールを小さくして符号の発生を多くする。

更に、符号量制御部２５は、符号化バッファ２２のバッファ占有量を監視し、符号化した際に発生する符号量が符号化バッファ２２でオーバーフロー又はアンダーフローを起こさないように監視して量子化スケールの調整やスタッフィングなどの制御を行う。例えば、符号化バッファ２２のオーバーフローを回避する場合には、量子化スケールを大きくして符号の発生を抑制し、又は符号化すべき情報を符号化せず削除して発生符号量を抑制する。一方、符号化バッファ２２のアンダーフローを回避する場合には、量子化スケールを小さくして符号の発生量を多くし、又はスタッフィングを行って発生符号量を増加させる。

符号化部２１は、外部から供給される非圧縮の映像データや復号処理部４から送られる復号データを与えられたパラメタに従って符号化し、圧縮データを生成する。また、符号化部２１は、発生符号量を計測して符号量制御部２５に通知する。更に、１パス目の符号化の際には、発生符号量、平均量子化スケールを特徴量観測部５１へ通知する。

符号化バッファ２２は、符号化部２１で符号化されたデータを蓄積し、固定のビットレートで出力することもできる。この符号化バッファ２２により、画像ごとの発生符号量の変動を吸収することができる。

図１に戻って復号処理部４は、記憶装置３０、４０に記録されているＭＰＥＧストリームを復号して表示部５を介して表示する他、再符号化するために符号化処理部２へ供給する。図３は、復号処理部４の詳細を示すブロック図である。

復号処理部４は、符号化処理部２にて符号化された符号化ストリーム、又は記憶装置３０、４０に記録されている符号化ストリームを復号する復号部６１と、復号されたオーディオ／ビデオデータを一時保存する復号バッファ６２と、復号部６１の復号処理のタイミングを制御するポーズ／レジューム制御部６３とを有する。

上述の２パス・エンコードを実行する際には、復号処理部４にて、１パス目で符号化されたオリジナルストリームＳＴ０を復号する。ここで、符号化処理部２にて編集済符号化ストリームＳＴ１を生成する場合には、編集部３により生成された仮想のタイトルに当たる編集指示（プレイリスト）に従って、編集部３から順次ＧＯＰが供給され、これを復号処理する。この際、ポーズ／レジューム制御部６３により、後述するように編集点がＧＯＰの途中にある場合には、その直前の復号画像を繰り返し出力したり、編集済符号化ストリームに必要な復号画像のみを出力したりの制御を行う。こうして、復号処理部４が復号して出力する復号データ（編集済ストリーム）を符号化処理部２にて編集済符号化ストリームＳＴ１に符号化する。

図１に戻って、編集部３は、記憶装置３０に記憶されたオリジナルストリームを所望の編集点で編集されるよう仮想のタイトルに当たるプレイリストを生成する。また、本実施の形態における編集部３は、プレイリスト編集した映像を２パス・エンコードさせるため、符号化処理部２及び復号処理部４を制御する機能を有する。なお復号処理部４及び符号化処理部２を制御するための制御部を別途設けてもよい。この制御方法についての詳細は後述する。

編集済符号化ストリームＳＴ１を生成する際には、編集部３には、例えば、ユーザにより所望の編集点間をカットするなどの指示と、編集済符号化ストリームＳＴ１を生成する際のビットレート等が指示される。編集部３は、その編集点の指示によりプレイリストを生成することで、オリジナルストリームＳＴ０を編集する。編集部３は、このプレイリストに従ってオリジナルストリームＳＴ０のＧＯＰを復号処理部４へ供給させることで、編集済みストリームを再生することができる。また、編集済みストリームを２パス・エンコードを行なう場合には、復号処理部４に、編集済みストリームを出力させ、符号化処理部２にこれを２パス・エンコードさせる。すなわち、エンコード後の編集済み符号化ストリームＳＴ１が所望のデータ容量となるよう、ビットレートを指示し、複雑度Ｘに応じた目標符号量を割り当てさせ、これに基づき編集済みストリームを符号化させ編集済み符号化ストリームＳＴ１を生成させる。

次に、２パス・エンコードによる編集済み符号化ストリームＳＴ１の生成方法について詳細に説明する。本実施の形態においては、この画像符号化装置１により、既に記録済みのタイトル（オリジナルストリーム）に対して、例えば任意の２つのピクチャを指定して編集を行い、編集したタイトルのダビングをおこなう場合について説明する。

図４は、オリジナルストリームＳＴ０の編集方法を示す図である。図４（ａ）はオリジナルストリームを示す図、図４（ｂ）は、編集点を含むオリジナルストリームのＧＯＰを抜き出して示す図、図４（ｃ）は、編集後のプレイリストの一部を示す図である。

図４（ａ）に示すように、オリジナルストリームＳＴ０は、複数のＧＯＰ＃１、＃２,・・＃ｊ,・・,＃ｋ,・・から構成される。なお、本実施の形態においては、説明の簡単のため、各ＧＯＰは、Ｎ（Ｎは整数）枚のピクチャから構成されるものとし、更に例えばＩ、Ｐ、Ｂ、Ｂ、Ｐ・・などのピクチャの並び順（符号化規則）も同一の構成であるものとして説明する。なお、オリジナルストリームＳＴ０と編集済符号化ストリームＳＴ１とにおいて同一フレームが同一ピクチャで符号化されていれば本願を適用することができる。つまり、ＧＯＰ長や符号化規則がＧＯＰ間で異なっていてもオリジナルストリームＳＴ０と編集済符号化ストリームＳＴ１との間でピクチャ位相が一致していれば、ＧＯＰ長、符号化規則等を全てのＧＯＰで同一とする必要はない。

また、オリジナルストリームＳＴ０（ＧＯＰ）を構成する各ピクチャの複雑度は、映像データからオリジナルストリームＳＴ０を生成する際に解析部２３によって解析され複雑度Ｘとして記憶装置３０に格納されているものとする。

以下の説明においては、図４に示す編集点Ａ、Ｂを使用し、編集済符号化ストリームＳＴ１を生成する場合について説明する。ここで、オリジナルストリームＳＴ０は、ＧＯＰ＃ｓ（１≦ｓ≦Ｓ）からなり、各ＧＯＰ＃ｓは、ピクチャ＃ｔ（１≦ｔ≦Ｎ）から構成されるものとする。編集点Ａは、ＧＯＰ＃ｊ（１≦ｊ≦Ｓ）のピクチャ＃ｎ（１≦ｎ≦Ｎ）と＃ｎ＋１の間を示すものとする。なお、ピクチャ＃ｎ＝＃Ｎの場合には、編集点ＡはＧＯＰ境界を示す。更に、編集点Ａ以降のピクチャはカットされるものとする。また、編集点Ｂは、ＧＯＰ＃ｋ（１≦ｋ≦Ｓ）の＃ｍ−１と＃ｍ（１≦ｍ≦Ｎ）との間を示すものとする。なお、ピクチャ＃ｍ＝＃１の場合は、編集点ＢはＧＯＰ境界を示す。更に、編集点Ｂ以前のピクチャはカットされるものとする。

例えば、図４（ｂ）に示すように、ＧＯＰ単位で見た場合には、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａ直前のピクチャ＃ｎまでのストリームと、ＧＯＰ＃ｋの編集点Ｂ直後のピクチャ＃ｍ乃至最終ピクチャ＃Ｎまでのストリームとが抜き出され、図４（ｃ）に示すように、編集点Ａ、Ｂが連続するよう編集される。

編集部３は、オリジナルストリーム中の任意の２つの編集点Ａと編集点Ｂを指定してオリジナルストリーム（タイトル）を編集することができる。すなわち、編集点Ａで編集済みストリームを終了させたり、編集点Ｂで編集済みストリームを開始させたり、又は編集点Ａと編集点Ｂとを連続して再生されるような編集済みストリームとすることができる。編集の際にはオリジナルストリームへ操作の有無に関わらず、仮想のタイトルに当たるプレイリストを生成する。なお、プレイリストを生成する際にオリジナルストリームを編集操作してもよい。この編集部３は、このプレイリストを参照しながら、ＭＰＥＧ ＡＶデコーダである復号処理部４へＧＯＰ単位でストリームを供給することにより、例えば編集点Ａと編集点Ｂとを連続再生させる。

この復号処理部４が出力するオーディオ及びビデオ信号を表示部５に出力することで編集済みストリームを再生することができ、また、復号処理部４が復号した編集済みストリームを符号化処理部２へ入力して符号化処理する際にオリジナルストリームの複雑度を参照することで２パス・エンコードを行なう。そして、これを記憶装置４０へ供給することでオリジナルストリームから編集した編集済みストリームの２パス・エンコードでの記録（ダビング）を行なうことができる。

２パス・エンコードでは、２パス目の符号化時の各フレームのピクチャ・タイプ（ピクチャ位相）は１パス目の符号化時と同じであることが条件となる。１パス目において解析した複雑度に応じて符号量を割り当てるため、ピクチャ位相が異なると適切な符号量を割り当てることができないためである。

よって、符号化処理部２が生成する編集済み符号化ストリームＳＴ１の各ＧＯＰでのピクチャ構造の規則とＧＯＰ長（ＧＯＰ中のピクチャ総数）（以下、これらをピクチャ構成ともいう。）は、１パス目の符号化時と同様にする必要がある。すなわち、編集済み符号化ストリームＳＴ１のピクチャ位相をオリジナルストリームの位相と一致させる必要がある。

図５乃至図７は、編集済みストリームを生成する方法を説明する図である。編集部３は、図５乃至図７に示す６通りの場合に分けて、復号処理部４及び符号化処理部２を制御する。図５に示すのは、２つの編集点Ａ、Ｂをつなぎ合わせる場合であって、図４（ｃ）に示すＧＯＰ＃ｊのピクチャ＃１乃至＃ｎ及びＧＯＰ＃ｋのピクチャ＃ｍ乃至＃Ｎからなるピクチャ群（以下、編集ピクチャ群という。）に含まれるピクチャ総数がＮの整数倍とは異なる場合には、編集点Ａ、Ｂの間に所定の画像（挿入画像）を１又は複数枚挿入し、これを符号化した際のピクチャ群（以下、再符号化ピクチャ群という。）に含まれるピクチャ総数がＮの整数倍となるよう制御する。

また、図６に示すのは、編集ピクチャ群に含まれるピクチャ総数がＮ又は２Ｎ枚である場合である。この場合には、編集点Ｂは編集済符号化ストリームＳＴ１においてＧＯＰ境界と一致するため挿入画像を挿入する必要がない。更に図７に示すのは、編集点が１箇所の場合であり、編集点Ｂが先頭にくる場合や、編集点Ａで編集済みストリームが終了する場合を示す。これらの６通りの編集方法を１以上組み合わせて編集済みストリームが生成される。

先ず、編集ピクチャ群に含まれるピクチャ総数がＮの整数倍にならない場合について説明する。

（１）ｎ＋（Ｎ−ｍ＋１）＜Ｎ（図５（ａ）参照）
図５（ａ）に示すように、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＜Ｎの場合とは、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａまでのピクチャ＃ｎ（ＧＯＰ＃ｊの一部）１０２に含まれるピクチャ数ｎ、ＧＯＰ＃ｋの編集点Ｂ以降のピクチャ＃ｍ乃至最終ピクチャ＃Ｎ（ＧＯＰ＃ｋの一部）１０３に含まれるピクチャ数（Ｎ−ｍ＋１）の和ｎ＋（Ｎ−ｍ＋１）がＮ未満である場合である。

この場合、編集部３は、ＧＯＰ＃ｊ中の編集点Ａと編集点Ｂとの間に、ＧＯＰ＃ｊのピクチャ＃ｎを復号した第１の復号画像Ｊを（ｍ−ｎ−１）枚挿入して再符号化ピクチャ群１０１を生成するよう符号化処理部２を制御する。すなわち、編集部３は、復号画像Ｊを編集ピクチャ群の編集点Ａ、Ｂの間に（ｍ−ｎ−１）枚挿入させることで、再符号化ピクチャ群のピクチャ枚数をＮ枚とする。このことにより、再符号化ピクチャ群１０１をＧＯＰと同一ピクチャ枚数とする。

復号画像Ｊを（ｍ−ｎ−１）枚挿入することで、ＧＯＰ＃ｊの一部１０２、ＧＯＰ＃ｋの一部１０３を、それぞれＧＯＰ＃ｊ、＃ｋと同一ピクチャ位相とすることができる。これにより、ピクチャ位相が一致しているＧＯＰ＃ｊの一部１０２、ＧＯＰ＃ｋの一部１０３については、ＧＯＰ＃ｊ、＃ｋの複雑度Ｘを参照することができる。

ところで、復号画像Ｊを符号化した挿入ピクチャ（第１の挿入ピクチャ）は、オリジナルストリームＳＴ０には存在しないピクチャであり、その複雑度は解析されていない。しかし、この復号画像Ｊは、ＧＯＰ＃ｊのピクチャ＃ｎを復号した画像であり、画像ＪからＧＯＰ＃ｊのピクチャ＃ｎを生成する際の複雑度は事前解析により得られている。そこで、本実施の形態においては、復号画像Ｊから生成する挿入ピクチャの複雑度を、このＧＯＰ＃ｊのピクチャ＃ｎを生成する際に事前解析された複雑度に基づき算出することとする。これにより、編集済みストリームの各ピクチャを生成する際の複雑度が参照又は演算により求まることで、編集済みストリームを生成する際には、最適な符号量を割り当て２パス・エンコードを行なうことができる。復号画像Ｊから生成する挿入ピクチャの複雑度の算出方法及び複雑度を利用した符号化処理については後述する。

（２）ｎ＋（Ｎ−ｍ＋１）＞Ｎ（図５（ｂ）参照）
図５（ｂ）に示すように、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＞Ｎの場合とは、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａまでのピクチャ＃ｎ（ＧＯＰ＃ｊの一部）１０２に含まれるピクチャ数ｎ、ＧＯＰ＃ｋの編集点Ｂ以降のピクチャ＃ｍ乃至最終ピクチャ＃Ｎ（ＧＯＰ＃ｋの一部）１０３に含まれるピクチャ数（Ｎ−ｍ＋１）の和ｎ＋（Ｎ−ｍ＋１）がＮを超える場合である。

この場合、編集部３は、ＧＯＰ＃ｊ中の編集点Ａと編集点Ｂとの間に、ＧＯＰ＃ｊのピクチャ＃ｎを復号した復号画像Ｊを（（Ｎ−ｍ）＋ｍ−１）枚挿入して再符号化ピクチャ群１１１を生成するよう符号化処理部２を制御する。すなわち、編集部３は、ＧＯＰ＃ｊのピクチャ＃ｎの復号画像Ｊを、編集ピクチャ群の編集点Ａ、Ｂの間に（（Ｎ−ｍ）＋ｍ−１）枚挿入させることで、再符号化ピクチャ群のピクチャ枚数を２Ｎ枚とする。

復号画像Ｊを（（Ｎ−ｍ）＋ｍ−１）枚挿入することで、ＧＯＰ＃ｊの一部１０２、ＧＯＰ＃ｋの一部１０３を、それぞれＧＯＰ＃ｊ、＃ｋと同一ピクチャ位相とすることができる。これにより、ピクチャ位相が一致しているＧＯＰ＃ｊの一部１０２、ＧＯＰ＃ｋの一部１０３については、ＧＯＰ＃ｊ、＃ｋの複雑度Ｘを参照することができる。また、挿入ピクチャの複雑度については上述と同様に、ＧＯＰ＃ｊのピクチャ＃ｎの複雑度から算出するものとする。

更に、上述の場合には、ＧＯＰ＃ｊのピクチャ＃ｎの復号画像Ｊを挿入する場合について説明したが、挿入画像を以下のようにしてもよい。すなわち、挿入画像として、復号画像Ｊのみならず、ＧＯＰ＃ｋのピクチャ＃ｍの復号画像Ｋを使用する。そして、ＧＯＰ＃ｊの一部１０２に挿入画像Ｊを挿入することでフレーム数をＮ枚とし、挿入画像ＫとＧＯＰ＃ｋの一部１０３とでフレーム数をＮ枚とし、これらにより２Ｎ枚からなる再符号化ピクチャ群を構成してもよい。この場合には、編集点Ａから編集点Ｂまでを復号した映像は、復号画像Ｊ、Ｋの静止画像となり、復号画像Ｊのみとするより、より自然な編集結果を得られる。

（３）ｎ＋（Ｎ−ｍ＋１）＝２Ｎ（図６（ａ）参照）
図６（ａ）に示すように、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＝２Ｎの場合とは、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａまでのピクチャ＃ｎ（ＧＯＰ＃ｊの一部）１０２に含まれるピクチャ数ｎ、ＧＯＰ＃ｋの編集点Ｂ以降のピクチャ＃ｍ乃至最終ピクチャ＃Ｎ（ＧＯＰ＃ｋの一部）１０３に含まれるピクチャ数（Ｎ−ｍ＋１）の和ｎ＋（Ｎ−ｍ＋１）＝２Ｎの場合である。

すなわち、ＧＯＰ＃ｊのピクチャ＃ｎ＝ピクチャ＃Ｎ、ＧＯＰ＃ｊのピクチャ＃ｍ＝ピクチャ＃１であり、ＧＯＰ＃ｊの一部１０２がＧＯＰ＃ｊの全部に一致し、ＧＯＰ＃ｋの一部１０３がＧＯＰ＃ｋの全部に一致する場合であって編集点Ａ、Ｂを接続した編集後の再符号化ピクチャ群（＝編集ピクチャ群）１２１は１パス目のＧＯＰと同位相となる場合である。この場合には、上記（１）、（２）とは異なり、挿入画像を挿入することなく、そのままＧＯＰの複雑度を用いて２パス目のエンコードを行なうことができる。この場合、ＧＯＰ＃ｋの一部１０３＝ＧＯＰ＃ｋをクローズドＧＯＰ化してもよい。

（４）ｎ＋（Ｎ−ｍ＋１）＝Ｎ（図６（ｂ）参照）
図６（ｂ）に示すように、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＝２Ｎの場合とは、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａまでのピクチャ＃ｎ（ＧＯＰ＃ｊの一部）１０２に含まれるピクチャ数ｎ、ＧＯＰ＃ｋの編集点Ｂ以降のピクチャ＃ｍ乃至最終ピクチャ＃Ｎ（ＧＯＰ＃ｋの一部）１０３に含まれるピクチャ数（Ｎ−ｍ＋１）の和ｎ＋（Ｎ−ｍ＋１）＝Ｎの場合である。

この場合においても、編集点Ａ、Ｂを接続した編集後の再符号化ピクチャ群（＝編集ピクチャ群）１３１は、ＧＯＰと同一ピクチャ位相となっており、上記（３）と同様、挿入画像を挿入する処理をすることなく、このまま２パス目のエンコードを行なうことができる。

（５）ＧＯＰ＃ｋが先頭に位置する場合（図７（ａ）参照）
図７（ａ）に示すように、例えば図４の編集点Ｂからオリジナルストリームの最終ピクチャまでを編集済みストリームとする場合、すなわち、ＧＯＰ＃ｋ＝ＧＯＰ＃１の場合である。

この場合、ＧＯＰ＃ｋの編集点Ｂ以降のピクチャ＃ｍ乃至最終ピクチャ＃Ｎ（ＧＯＰ＃ｋの一部）１０３が編集ピクチャ群となるが、これをこのまま先頭ＧＯＰとすると、ＧＯＰ＃ｋのピクチャ＃ｍがＩピクチャに符号化されることになり、このままでは２パス目のエンコードの際にピクチャ位相が一致せず、オリジナルストリームの複雑度を参照することができない。よって、ＧＯＰ＃ｋの一部１０３の前に（ｍ−１）枚の挿入画像を挿入して再符号化ピクチャ群１４１を得ることで、ピクチャ枚数をＮ枚とする。この場合、位相を揃えるために挿入する挿入画像は、予め用意した例えば単色画像Ｍ１〜Ｍ（ｍ−１）とすることができる。なお、例えばＧＯＰ＃ｋのピクチャ＃ｍを復号した復号画像Ｋを挿入画像とするなどしてもよい。位相合わせのために単色画像を挿入する場合には、符号量が少なくてすむため、単色画像用の予め用意された複雑度を設定することができる。

ここで、上記挿入画像を符号化した挿入ピクチャもオリジナルストリームには存在しないピクチャであり、その複雑度は解析されていないが、単色画像を符号化して挿入ピクチャとする場合、その符号量は極めて少なくてよく、複雑度の値を適宜設定しておくことができる。また、復号画像Ｋを挿入画像とする場合には、上述と同様に、ＧＯＰ＃ｋのピクチャ＃ｍを生成した際の複雑度から算出するものとする。

（６）ＧＯＰ＃ｊが末尾に位置する場合（図７（ｂ）参照）
図７（ｂ）に示すように、例えば図４の編集点Ｂからオリジナルストリームの最終ピクチャまでを編集済みストリームとする場合、すなわち、ＧＯＰ＃ｋ＝ＧＯＰ＃Ｓの場合である。

この場合、ＧＯＰ＃ｊの先頭ピクチャ＃１乃至編集点Ａまでのピクチャ＃ｎ（ＧＯＰ＃ｊの一部）１０２が編集ピクチャ群となるが、そのピクチャ枚数はｎ枚である。この場合には、上述と同様、ＧＯＰ＃ｊの一部１０２の後ろにＧＯＰ＃ｊのピクチャ＃ｎを復号した画像Ｊを（Ｎ−ｎ）枚挿入して再符号化ピクチャ群１５１とすることで、そのピクチャ総数をＮ枚としてＧＯＰ長を揃えることができる。

ただし、ＧＯＰ＃ｊが最終ＧＯＰである場合には、必ずしも（Ｎ−ｎ）枚の挿入画像を挿入せずともピクチャ位相を揃え、２パス目のエンコードの際に１パス目の複雑度を参照することができる。つまり、例えばピクチャ＃ｎがピクチャ＃１でＩピクチャである場合には、挿入画像を挿入せずとも編集点Ａまでの複雑度はオリジナルストリームＳＴ０の複雑度を引用でき、２パス・エンコードが可能である。またピクチャ＃ｎがＰピクチャやＢピクチャである場合には、ピクチャ＃ｎを復号できる最低限の枚数の挿入画像を挿入するものとすれば２パス・エンコードが可能となる。この場合、上述と同様、編集点Ａまでの複雑度はオリジナルストリームＳＴ０の複雑度を引用し、挿入ピクチャの複雑度は、ＧＯＰ＃ｊのピクチャ＃ｎの複雑度から算出すればよい。

以上のようにして、オリジナルストリームを構成するＧＯＰの途中で編集し、編集後に復号し、再度符号化して符号化ストリームを生成しても、オリジナルストリームと同じフレームについてはピクチャタイプを一致させ、ピクチャ位相を揃えることができる。したがって、編集済みストリームは、オリジナルストリームと同じピクチャタイプに符号化されるため、画質の劣化がない。また、このことにより、オリジナルストリームを生成する際に複雑度を解析しておけば、編集済み符号化ストリームを生成する際には、その複雑度を参照することができ、この複雑度に応じて最適な符号量を割り当てた２パス・エンコードを可能にする。

なお、上記（１）、（４）、（５）、（６）においては、それぞれ再符号化ピクチャ群１０１、１３１、１４１、１５１のピクチャ総数をＮ枚とする場合、（２）、（３）においては、それぞれ再符号化ピクチャ群１１１、１２１のピクチャ総数を２Ｎ枚とする場合について説明したが、再符号化ピクチャ群のピクチャ総数はこれらに限らない。すなわち、再符号化ピクチャ群のピクチャ総数がＮの整数倍であれば、編集済符号化ストリームＳＴ１における編集点Ａについては、編集済符号化ストリームＳＴ１における編集点前後におけるフレームをオリジナルストリームＳＴ０と同一のピクチャタイプとしてピクチャ位相を一致させることができる。

次に、本実施の形態にかかる２パス・エンコード方法について詳細に説明する。図８、図９は、２パス目のエンコード方法を示すフローチャートである。画像符号化装置１に接続される記憶装置３０には、予め複雑度が解析されたオリジナルストリームが記憶されているものとする。ユーザは、このタイトルを編集したプレイリストを作成し、これを２パス・エンコードを用いて記憶装置４０に記録するものとする。

なお、本実施の形態においては、表示部５にて編集済みのタイトルを再生しつつ、これを再符号化して記憶装置４０に記録する場合について説明するが、表示部５にて再生することなく記録するようにしてもよい。また、記憶装置３０に記録されているオリジナルストリームＳＴ０を１パス目のオリジナルの符号化ストリーム、記憶装置４０に記録する編集済符号化ストリームＳＴ１を２パス・エンコードにより符号化して記憶する編集済みのＭＰＥＧ符号化ストリームとして説明する。

図８に示すように、先ず、画像符号化装置１は、編集されたプレイリストから全ピクチャ数、編集点を含むＧＯＰの再生時刻、及び編集点のピクチャ再生時刻の情報を取得する（ステップＳ１）。各種情報を取得した後、編集されたオリジナルストリーム（タイトル）を表示部５にて表示する（ステップＳ２）。そして、編集部３は、編集点が上述した（１）〜（６）のいずれに当てはまるかを判断し、この判断結果に応じて復号処理部４、符号化処理部２を制御しつつ２パス・エンコードを実行させる。先ず、プレイリストの先頭ＧＯＰに編集点が存在するか否かを判定する（ステップＳ３）。先頭ＧＯＰに編集点が存在しない場合には、後述する図９に示す処理を実行する。

一方、先頭ＧＯＰに編集点がある場合は、編集部３は以下の処理を行う。ここでは、上述の（５）、図７（ａ）に示す場合、すなわち、先頭ＧＯＰに編集点Ｂが存在する場合について説明する。この場合、編集部３の制御のもと、復号処理部４は、先頭ＧＯＰから復号処理を開始するが、編集点Ｂの再生時刻まではＧＯＰを出力させない。すなわち、表示部５では、再生画像については予め用意された単色画像などの挿入画像を表示し（挿入画像出力（ビデオ・ミュート制御））、音声についてはミュート処理を行う（オーディオ・ミュート制御）（ステップＳ４）。符号化処理部２は、復号処理部４から出力される単色画像などの挿入画像を２パス・エンコード、すなわち複雑度に応じて符号量を制御しつつ符号化を行なう。

上記処理中の編集点Ｂまでは、復号処理部４から出力される上記挿入画像を、所定の形式のピクチャに符号化していく。この場合、簡単には、オリジナルストリームのＧＯＰのピクチャ構成と同一ピクチャ構成になるよう符号化すればよいが、Ｎ−ｍ枚の挿入画像を挿入すれば、編集点Ｂ以降のピクチャ位相を揃えることができるので、挿入画像を符号化する際のピクチャタイプは、オリジナルストリームのＧＯＰのピクチャ構成と異なっていてもよい。この挿入画像はオリジナルストリームＳＴ０には存在しない画像であるため、当該挿入画像の複雑度も存在しない。

そこで、本実施の形態においては、複雑度算出部５２がこの挿入画像の複雑度を適宜算出するものとする。例えば、オリジナルストリームの先頭ＧＯＰの対応する複雑度に基づき算出することができる。なお、挿入画像が単色画像である場合には、符号量は極めて小さくてよく、予め用意された複雑度等を用いてもよい。また、先頭に配置される挿入画像はＩピクチャとして復号されるため、その複雑度はオリジナルストリームの先頭ＧＯＰの先頭ピクチャの複雑度又はその数分の１などとしてもよい。符号量割り当て部２４は、当該複雑度を取得し、この複雑度に応じて目標符号量を決定して挿入画像をＧＯＰと同一ピクチャ位相として順次符号化していく（ステップＳ５）。

そして、編集点Ｂの再生時刻になった時点（ステップＳ６：Ｙｅｓ）で、復号処理部４はＧＯＰ＃ｋのピクチャ＃ｍ以降の復号結果を出力させる（復号画像出力（ビデオ・アンミュート）／オーディオ・アンミュート制御）（ステップＳ７）。これにより、符号化処理部２は、編集点Ｂ以降は、オリジナルストリームの復号データを受け取り符号化する。編集点Ｂ以降は、オリジナルストリームとピクチャ位相が同じであるため、複雑度算出部５２は、記憶装置３０に保存されているオリジナルストリームの複雑度を読出し、符号量割り当て部２４は、この複雑度に応じて目標符号量を決定し、符号化部２はこの目標符号量で復号データをＭＰＥＧ符号化していき、後述するステップＳ１０へ進む。

次に、ステップＳ３において、先頭ＧＯＰに編集点がない場合には、図９のステップＳ８に進み、プレイリストの先頭ＧＯＰに編集点がない場合には、復号処理部４にて先頭ＧＯＰから復号を開始する。そして、符号化処理部２では、複雑度算出部５２がオリジナルストリームの対応するＧＯＰの各ピクチャの複雑度を読み出し、符号量割り当て部２４が目標符号量を算出して割り当て、符号化部２１はこの目標符号量で復号処理部４が出力する復号データをＭＰＥＧ符号化していく（ステップＳ９）。

こうして復号処理部４にて復号した画像を符号化処理部２にて、編集点Ａの再生時刻まで、複雑度に応じて符号量を制御しつつ符号化する２パス・エンコードを行なう。そして、編集点Ａの再生時刻になったら（ステップＳ１０：Ｙｅｓ）、復号処理部４は、その出力を、その直前に復号したＧＯＰ＃ｊのピクチャ＃ｎの復号画像Ｊを繰り返し復号するなどして、そのままポーズする（デコード・ポーズ制御）。その際、オーディオはミュートする（オーディオ・ミュート制御）（ステップＳ１１）。

そして、編集点Ａとこの編集点Ａと接続される編集点Ｂとを含む編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））がＮより小さいとき（ステップＳ１２：Ｙｅｓ）、すなわち、上記（１）、図５（ａ）の場合には、上記復号画像Ｊをｍ−ｎ−１枚符号化する処理を実行する。この場合、符号化処理部２の複雑度算出部５２が後述する複雑度Ｘｐｒ、Ｘｂｒを算出し、符号量割り当て部２４がこの複雑度Ｘｐｒ、Ｘｂｒから目標符号量を算出し、符号化部２１はこの目標符号量になるよう符号化処理をする（ステップＳ１３）。

そして、符号化部２１が（ｍ−ｎ−１）枚分の復号画像Ｊを符号化したら、すなわち（ｍ−ｎ−１）枚分の挿入画像である画像Ｊを挿入したら（ステップＳ１４：Ｙｅｓ）、編集部３は、符号化部２１の符号化を一旦停止させる（エンコード・ポーズ制御）（ステップＳ１５）。すなわち、編集部３は、再符号化ピクチャ群のピクチャ総数がＮ枚となるよう、ＧＯＰ＃ｊのピクチャ＃ｎを復号した画像Ｊを符号化した挿入ピクチャを、編集点Ａ、Ｂの間に（ｍ−ｎ−１）枚挿入させることで、再符号化ピクチャ群のピクチャ総数をＮ枚とする。このことにより、再符号化ピクチャ群の編集点Ａまで及び編集点Ａ以降のピクチャ位相をオリジナルストリームのピクチャ位相に一致させることができる。

次いで、編集部３は復号処理部４のデコード・ポーズ制御及びオーディオ・ミュート制御を解除し、編集点Ａ以降のＧＯＰ＃ｊの残りを復号させる（ステップＳ１６）。復号処理部４がＧＯＰ＃ｊを最後まで復号したら、編集部３は、次に編集点Ａと連続される編集点Ｂを含むＧＯＰ＃ｋを復号処理部４へ供給する。復号処理部４は、編集点Ｂを含むＧＯＰ＃ｋを復号する（ステップＳ１７）。そして、編集点Ｂの再生時刻になったら（ステップＳ１８：Ｙｅｓ）、編集部３は、符号化処理部２のエンコード・ポーズ制御を解除する（エンコード・レジューム制御）。これにより、符号化部２１は、編集点Ｂ以降の復号された画像データの符号化を開始する（ステップＳ１９）。

次に、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））がＮより大きい場合（ステップＳ１２：Ｎｏ、ステップＳ２０：Ｙｅｓ）、すなわち、上記（２）、図５（ｂ）の場合には、符号化処理部２の複雑度算出部５２が後述する複雑度Ｘｉｒ、Ｘｐｒ、Ｘｂｒを算出し、この複雑度複雑度Ｘｉｒ、Ｘｐｒ、Ｘｂから符号量割り当て部２４が目標符号量を算出し、符号化処理部２はこの目標符号量になるよう符号化処理をする（ステップＳ２１）。

そして、符号化処理部２が（Ｎ−ｎ＋ｍ−１）枚分の復号画像Ｊを符号化したら、すなわち。復号画像Ｊを符号化した挿入ピクチャを（Ｎ−ｎ＋ｍ−１）枚挿入したら（ステップＳ２２：Ｙｅｓ）、上述のステップＳ１５からの処理を実行する。すなわち、編集部３は符号化処理部２のエンコード・ポーズ制御を行い、復号処理部４にＧＯＰ＃ｊの残りの復号をさせ、更にＧＯＰ＃ｋの先頭ピクチャから復号を開始させ、そして、編集点Ｂの再生時刻で符号化処理部２のエンコード・レジューム制御を実行する（ステップＳ１５〜Ｓ１９）。なお、上述したように、復号画像Ｊを符号化したピクチャを（Ｎ−ｎ）枚挿入し、復号画像Ｋを符号化したピクチャを（ｍ−１）枚挿入するようにしてもよい。

次に、編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））が２Ｎ枚である場合（ステップＳ２０：Ｎｏ、ステップＳ２３：Ｙｅｓ）、すなわち、上記（３）、図６（ａ）の場合、及び編集ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））がＮ枚である場合（ステップＳ２３：Ｎｏ）、すなわち、上記（４）、図６（ｂ）の場合には、ステップＳ２５へ進む。ここで、ピクチャ総数（ｎ＋（Ｎ−ｍ＋１））が２Ｎ枚の場合（ステップＳ２３：Ｙｅｓ）には、編集部３は符号化処理部２に指示して編集点Ｂを含むＧＯＰ＃ｋをクローズドＧＯＰ化させてもよい。

以上、２パス・エンコードする編集ピクチャ群のピクチャ総数（ｎ＋（Ｎ−ｍ＋１））の枚数に応じて編集部３は復号処理部４、符号化処理部２を適宜制御する。編集点がない場合には、復号処理部４は編集部３から供給されるプレイリストで指定されるＧＯＰを復号し、符号化処理部２は、復号された画像を順次ＭＰＥＧ符号化していく。こうして復号処理部４がプレイリストの最終ＧＯＰを復号し、符号化処理部２がこれを符号化したら（ステップＳ２５：Ｙｅｓ）、編集部３は符号化処理部２のエンコードを終了させる（ステップＳ２６）。

本実施の形態においては、このように、必要に応じて単色画像を符号化したピクチャ又は編集点直前または直後のピクチャを復号した復号画像を挿入することで、編集点Ａ以前、及び／又は編集点Ｂ以降のエンコード後のピクチャ位相をオリジナルストリームのピクチャ位相と一致させることができる。このことにより、オリジナルストリームの符号化の際に解析された複雑度を引用し、目標符号量を設定して２パス・エンコードを可能とする。

ここで、２パス・エンコードを可能とするため、復号処理部４をポーズ・制御し、例えば図５に示す復号画像Ｊを１又は複数枚挿入することでピクチャ位相を揃えるが、この際、挿入画像（復号画像Ｊ、Ｋ、単色画像など）を符号化したピクチャは、オリジナルストリームにはないものであるため、複雑度も引用することができない。そこで、本実施の形態においては、この挿入画像の複雑度を、元の符号化ストリームの複雑度から推定算出する。

次に、符号化処理部２の符号量割り当て部における目標符号量を算出する方法、及びオリジナルストリームには存在しない挿入画像を符号化する際の複雑度の算出方法について説明する。図１０、図１１は、複雑度を用いて目標符号量を算出する方法を示すフローチャート、図１２は、挿入するピクチャの複雑度を算出する方法を示すフローチャートである。

フレームｆの符号化までに、入力された復号画像の解析ができるフレーム数をＬａとする。図１２に示すように、複雑度算出部５２は、先ず、プレイリストから編集点の総数、編集点を含むＧＯＰ位置、編集点のピクチャ位置を取得する（ステップＳ３１）。符号量割り当て部２４は、入力された復号画像のフレーム番号ｆを−Ｌａ＋１と初期化する（ステップＳ３２）

そして、複雑度算出部５２は、プレイリストに従って順次ＧＯＰの複雑度Ｘ[ｓ，ｔ]を読み込んでいく（ステップＳ３３）。オリジナルストリームＳＴ０の複雑度は、予め解析され、例えばオリジナルストリームＳＴ０と共に保存されている。ここで、複雑度[ｓ，ｔ]は、オリジナルストリームＳＴ０におけるＧＯＰ＃ｓ（１≦ｓ≦Ｓ）のピクチャ＃ｔ（１≦ｔ≦Ｎ）の複雑度を示すものとする。

そして、編集点Ａの直前ピクチャの複雑度Ｘ[ｓ，ｔ]＝Ｘ[＃ｊ，＃ｎ]まで読み込んだら（ステップＳ３４：Ｙｅｓ）、本実施の形態においては、以降に必要に応じて位相を揃えるための挿入画像が挿入される。よって、編集点間に挿入される挿入画像の複雑度を算出する（ステップＳ３５）。この詳細は、図１２を参照して後述する。

複雑度算出部５２は、入力されたフレームｆがフレーム数Ｌａを満たすか否かを判断する（ステップＳ３６）。入力された画像のフレーム枚数がフレーム数Ｌａ未満である場合（すなわち−Ｌａ＋１に初期化された画像のフレーム番号ｆがｆ＜０の場合）、複雑度算出部５２は、ｆの値をインクリメントし（ステップＳ３８）、次の画像の複雑度を読み出す。

一方、入力された画像のフレーム枚数がフレーム数Ｌａと同じになった場合（ｊ＝０）、複雑度算出部５２は、フレームｆが符号化処理を行う単位区間Ｃの倍数であるか否かを判断する（ステップＳ３７）。

フレームｆが符号処理を行う単位区間Ｃの倍数でない場合、複雑度算出部５２はフレームｆの値をインクリメントし（ステップＳ３８）、次の画像の複雑度を読み出す。

一方、フレームｆが符号化処理を行う単位区間Ｃの整数倍である場合、符号割当て部２４は、符号量割り当て区間Ｃに対し符号量を割当てる。

先ず、割当て区間内の総符号量Ｒａを、２パス目の符号化処理のビットレートに基づき算出する。この際、バッファ占有量ＢＯＣ[ｆ]を考慮して、総符号量を調整することも可能である。（ステップＳ３９）

次に、符号量割当て部２４は、各フレームの目標符号量を計算する。各フレームの目標符号量Ｔ[ｆ]は、符号量の割当て区間に割当てることができる総符号量Ｒａ[ｆ]を複雑度Ｘ[ｓ，ｔ]で比例配分し、
Ｔ[ｆ]＝（Ｘ[ｓ，ｔ]／Ｘｓｕｍ）＊Ｒ[ｆ]
と算出することができる。ここでＸｓｕｍは割当て区間の複雑度Ｘ[ｓ，ｔ]の総和を示す。目標符号量Ｔ[ｆ]は、フレームｆからフレームｆ＋Ｌ−１までの各々について計算する（ステップＳ４１）。

続いて、符号量割り当て部２４は、割当てられた目標符号量の符号化バッファ２２におけるバッファ占有量を計算する（ステップＳ４１）。例えば、バッファ占有量をＢＯＣ[ｆ]は、
ＢＯＣ[ｆ]＝ＢＯＣ[ｆ−１]＋Ｔ[ｆ]−Ｒｆｒａｍｅ
と計算することができる。ここでＲｆｒａｍｅは、本符号化で使うビットレートＲから計算されたフレームあたりの符号量を示す。また、バッファ占有量の初期値ＢＯＣ[０]＝０とする

そして、符号量割り当て部２４は、計算したバッファ占有量ＢＯＣ[ｆ]に基づき、符号化バッファ２２がオーバーフロー又はアンダーフローを起こすか否かを判断する。例えば、符号化バッファの上限をＢとした場合、バッファ占有量ＢＯＣ[ｊ]がＢ−Ｒｆｒａｍｅより小さいか否かを判断する。

符号化バッファがアンダーフローを起こしている場合（ステップＳ４２：Ｙｅｓ）、符号量割り当て部２４は、符号化バッファ２２がアンダーフローを起こさないように符号量を調節する（ステップＳ４３）。例えば、符号化バッファ２２の符号占有量が最小となるフレームｆｕを検出し、フレームｆからｆｕまでに割当てた符号を、ｆｕで符号化バッファがアンダーフローを起こさないように割当てを増加させる。そして、増加させた分の符号量は、ｆｕ＋１からｆ＋Ｌ−１のフレームに割当てた符号量から減少させる。

また、符号化バッファがオーバーフローを起こしている場合（ステップＳ４４：Ｙｅｓ）、符号量割り当て部２４は、符号化バッファ２２がオーバーフローを起こさないように符号量を調節する。例えば、符号化バッファの符号量の占有量が最大となるフレームｆｏを検出し、フレームｆからｆｏまでに割当てた符号量を、ｆｏで符号化バッファがオーバーフローを起こさないよう符号量の割当てを減少させる。そして、減少させた分の符号量は、ｆｏ＋１からｆ＋Ｌ−１のフレームに割当てる（ステップＳ４５）

また、符号化バッファ２２でオーバーフロー又はアンダーフローのいずれも起こさない、適切な割当てとなっている場合（ステップＳ４２：Ｎｏ、ステップＳ４４：Ｎｏ）、符号化部２１は、割り当て区間Ｃの符号化を行う（ステップＳ４６）。そして、ステップＳ３８へ進み、フレームｆの値をインクリメントし（ステップＳ３８）、複雑度算出部５２は次の画像の複雑度を読み出し、上述の処理を繰り返す。

次に、挿入画像Ｊの複雑度を算出する処理について説明する。図１２に示すように、先ず、再符号化ピクチャ群の総数ｎ＋（Ｎ−ｍ＋１）がＮより小さいか否かを判定する（ステップＳ５１）。小さい場合には、ｓ＝ｊ、ｔ＝ｎ＋１にセットし（ステップＳ５２）、ｔ＝ｍ−１に達するまで（ステップＳ５３）、順次複雑度Ｘ[ｓ，ｔ]を算出する（ステップＳ５４）。

ここで、ｔ＝ｎ〜ｍ−１までの間は、同一の復号画像Ｊを符号化する処理である。すなわち、この場合には、上述したように、編集点Ａにおいて、復号画像Ｊがポーズ表示され、これを符号化処理するため、１パス・エンコードのオリジナルストリームには存在しない新た画像を挿入することになる。このため、１パス目の符号化処理では、この画像の複雑度が求められていない。よって、このままでは、ピクチャ毎の目標符号量を算出することができない。

ところで、この挿入画像はｔ＝ｎにおける復号画像Ｊである。そこで本実施の形態においては、復号画像Ｊの複雑度Ｘ[＃ｊ，＃ｎ]に基づき、復号画像Ｊを符号化するピクチャタイプに応じて算出する。すなわち、をＰピクチャに符号化するのであれば、
複雑度Ｘｐｒ＝Ｘ[＃ｊ，＃ｎ]／Ｄｐ
とし、Ｂピクチャに符号化するのであれば、
複雑度Ｘｂｒ＝Ｘ[＃ｊ，＃ｎ]／Ｄｂ
として算出する。

ここで、０＜Ｄｐ≦Ｄｂであり、例えばＸｐｒ＝Ｘ[＃ｊ，＃ｎ]／３、Ｘｂｒ＝Ｘ[＃ｊ，＃ｎ]／１０等とすることができる。このＤｐ、Ｄｂは、１パス・エンコード時に同ピクチャの繰り返し箇所があれば、それの複雑度を参照してもよい。また、挿入される（ｍ−ｎ−１）枚分のピクチャは、編集点Ｂ以降の位相を揃えるために挿入するものであり、必ずしもこの（ｍ−ｎ−１）枚のピクチャは、オリジナルストリームにおけるｔ＝ｎ＋１〜ｍ−１までのピクチャタイプと同一である必要はない。編集点Ａ以前又は編集点Ｂ以降に割り当てる符号量を増加したい場合には、オリジナルストリームよりＢピクチャを増やし、挿入ピクチャの複雑度を小さくするなどしてもよい。

なお、ここでは、挿入画像をｔ＝ｎにおける復号画像Ｊとして説明したが、上述したように、挿入画像としてｓ＝ｋ、ｔ＝ｍにおける復号画像Ｋを使用することもできる。すなわち、ＧＯＰ＃ｋのピクチャ＃ｍを復号した復号画像Ｋの複雑度Ｘ[＃ｋ，＃ｍ]に基づき、挿入画像の複雑度を上記と同様に算出することも可能である。

更に、復号画像Ｊ又は復号画像Ｋのオリジナルストリームにおけるピクチャタイプに応じて、Ｄｐ、Ｄｂの値を適宜調整することも可能である。例えば復号画像Ｊ又は復号画像ＫがオリジナルストリームＳＴ０においてＩピクチャである場合には、Ｄｐ、Ｄｂを大きくし、Ｂピクチャである場合にはＤｐ、Ｄｂを相対的に小さくしたりしてもよい。すなわち、上記の例では、Ｄｐ＝３、Ｄｂ＝１０として説明したが、復号画像Ｊ又は復号画像Ｋのピクチャタイプ等に応じ、Ｄｐ＝１／３、Ｄｂ＝１など設定し、復号画像Ｊ又は復号画像Ｋを符号化する際の複雑度と同等以上の複雑度とすることも可能である。

そして、ｔを順次インクリメントし（ステップＳ５５）、ｔ＝ｍとなったら、挿入ピクチャ総数＝ｍ−ｎ−１（枚）、すなわち、挿入画像のフレーム分（ｍ−ｎ−１）、ｆを増加させてフレームｆ＝ｆ＋（ｍ−ｎ−１）とし（ステップＳ５６）、図１０のステップＳ３６へ進む。

また、再符号化ピクチャ群の総数ｎ＋（Ｎ−ｍ＋１）がＮより大きく２Ｎより小さい場合には（ステップＳ５７）、先ずｓ＝ｊ、ｔ＝ｎ＋１にセットし（ステップＳ５８）、ｔ＝Ｎに達するまで（ステップＳ５９）、ｔをインクリメントしながら上述のステップＳ５４と同様の方法で複雑度Ｘｐｒ、Ｘｂｒを算出する（ステップＳ６０、Ｓ６１）。

そして、ｔ＝Ｎより大きくなったらｓ＝ｋ、ｔ＝１にセットし（ステップＳ６２）、ｔがｍに達するまで（ステップＳ６３）、ｔをインクリメントしながら複雑度Ｘ[ｓ，ｔ]を算出する（ステップＳ６４、Ｓ６５）。ここで、ｓ＝ｋ、ｔ＝１に配置されるピクチャは、ＧＯＰの先頭ピクチャであるため、Ｉピクチャとされる。このＩピクチャも復号画像Ｊの静止画像であるが、Ｉピクチャであるので、その符号量は他のＰピクチャ、Ｂピクチャより多く割り当てられる必要がある。よって、Ｉピクチャとなるｓ＝ｋ、ｔ＝１における複雑度Ｘ[＃ｋ，＃１]は、オリジナルストリームＳＴ０の複雑度Ｘ[＃ｋ，＃１]をそのまま参照する。ｔ＝１以降のＰピクチャ、Ｂピクチャは、上記と同様、複雑度Ｘｐｒ＝Ｘ[＃ｊ，＃ｎ]／Ｄｐ、複雑度Ｘｂｒ＝Ｘ[＃ｊ，＃ｎ]／Ｄｂとして算出する。こうしてｔ＝ｍに達したら、挿入ピクチャ総数＝（Ｎ−ｎ）＋ｍ−１（枚）、すなわち、挿入画像のフレーム分（Ｎ−ｎ）＋ｍ−１、ｆを増加させてフレームｆ＝ｆ＋（Ｎ−ｎ）＋ｍ−１とし（ステップＳ６６）、図１０のステップＳ３６へ進む。

なお、図１０乃至図１２の処理のタイミングは、符号化処理部２における図８、図９に示す２パス・エンコード時、各フレーム（復号画像）の符号化に先行して、その目標符号量が算出できればよい。

本実施の形態によれば、オリジナルストリームからフレーム（ピクチャ）単位で編集した編集済のタイトル（プレイリスト）において、編集点前後のピクチャ位相をオリジナルストリームＳＴ０のピクチャ位相と一致させることができる。したがって、ビットレートを下げて再符号化しても画質の劣化を最小限とすることができる。更に、オリジナルストリームを符号化する際に解析して複雑度を求めておけば、これを参照することができ、この複雑度に基づき目標符号量を算出して２パス・エンコードした編集済み符号化ストリームＳＴ１を得ることができる。よって、例えば記憶容量の大きいＨＤＤ等に録画された高ビットレートのオリジナルストリームをピクチャ単位で編集しても、２パス・エンコードにより画質の劣化を最低限に抑制しつつ記憶容量の小さいＤＶＤ等に記録（ダビング）するための編集済み符号化ストリームＳＴ１を生成することができる。

すなわち、編集点間においては、編集点直前の復号画像を符号化し、所望のフレーム（挿入画像）を挿入することで、編集点においてＧＯＰ境界に跨ぐピクチャ位相を維持することが可能となる。更に、挿入フレームは、ポーズ表示中の編集点直前の復号画像であるため、当該復号画像を符号化する際の複雑度Ｘを、オリジナルストリームにて得られる複雑度のＤｐ又はＤｂ分の１として決定することが可能となる。以上の処理によって、編集済み符号化ストリームＳＴ１を生成する際の各ピクチャの複雑度が得られるため、２パス・エンコード処理が可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態において、図１乃至図３に示す各ブロックにおける任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本発明の実施の形態にかかる画像符号化装置を示すブロック図である。 本発明の実施の形態にかかる画像符号化装置の符号化処理部の詳細を示すブロック図である。 本発明の実施の形態にかかる画像符号化装置の復号処理部の詳細を示すブロック図である。 本発明の実施の形態にかかる画像符号化装置におけるオリジナルストリームの編集方法を示す図であって、（ａ）はオリジナルストリームを示す図、（ｂ）は、編集点を含むオリジナルストリームのＧＯＰを抜き出して示す図、（ｃ）は、編集後のプレイリストの一部を示す図である。 本発明の実施の形態にかかる画像符号化装置における編集済みストリームを生成する方法を説明する図であって、（ａ）は、再符号化ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＜Ｎの場合、（ｂ）は、ｎ＋（Ｎ−ｍ＋１）＞Ｎの場合を説明する図である。 本発明の実施の形態にかかる画像符号化装置における編集済みストリームを生成する方法を説明する図であって、（ａ）は、再符号化ピクチャ群に含まれるピクチャ総数（ｎ＋（Ｎ−ｍ＋１））＝２Ｎの場合、（ｂ）は、ｎ＋（Ｎ−ｍ＋１）＝Ｎの場合を説明する図である。 本発明の実施の形態にかかる画像符号化装置における編集済みストリームを生成する方法を説明する図であって、（ａ）は、編集点Ｂが先頭ＧＯＰに位置する場合、（ｂ）は、編集点Ａが最終ＧＯＰに位置する場合を説明する図である。 本発明の実施の形態にかかる画像符号化装置における２パス目のエンコード方法を示すフローチャートである。 同じく、本発明の実施の形態にかかる画像符号化装置における２パス目のエンコード方法を示すフローチャートである。 編集済みストリームにおいて、複雑度を用いて目標符号量を算出する方法を示すフローチャートである。 同じく、編集済みストリームにおいて、複雑度を用いて目標符号量を算出する方法を示すフローチャートである。 編集済みストリームにおいて、ピクチャ位相を揃えるために挿入するフレームの複雑度を算出する方法を示すフローチャートである。

符号の説明

２ 符号化処理部
３ 編集部
４ 復号処理部
５ 表示部
６，７ ストレージＩ／Ｆ
２１ 符号化部
２２ 符号化バッファ
２３ 解析部
２４ 符号割当て部
２５ 符号量制御部
２６ ポーズ／レジューム制御部
３０，４０ 記憶装置
５１ 特徴量観測部
５２ 複雑度算出部
６１ 復号部
６２ 復号バッファ
６３ ポーズ／レジューム制御部

Claims (22)

1. 非圧縮の映像データを符号化した符号化ストリームを編集する画像符号化装置であって、
   前記符号化ストリームを１又は複数の編集点で編集されるよう編集指示を作成する編集部と、
   前記編集指示に従って前記符号化ストリームを復号して編集済ストリームを生成する復号処理部と、
   前記編集済ストリームを再符号化して編集済符号化ストリームを生成する符号化処理部とを有し、
   前記符号化処理部は、前記符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて前記編集済符号化ストリームを生成するものであって、前記編集済ストリームにおける前記編集点の前及び／又は後に所定の画像からなる挿入画像を挿入することで、前記符号化ストリーム及び前記編集済符号化ストリームの前記編集点まで及び／又は編集点後のピクチャ位相が同一になるよう前記編集済符号化ストリームを生成する画像符号化装置。
2. 前記符号化ストリームは、符号化して各ピクチャを生成する際の複雑度が事前解析により算出されているものであって、
   前記符号化処理部は、前記複雑度に応じた目標符号量となるよう前記復号された編集済ストリームを符号化する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記挿入画像は、前記符号化ストリームに含まれる一のピクチャを復号した画像であって、
   前記符号化処理部は、前記一のピクチャを符号化した際の複雑度に基づき前記挿入画像を符号化する際の目標符号量を決定する
   ことを特徴とする請求項１又は２項記載の画像符号化装置。
4. 前記符号化処理部は、前記符号化ストリームを構成する各ピクチャを符号化する際の複雑度を解析する解析部と、
   前記解析された複雑度に基づき前記各フレームに目標符号量を割り当てる符号量割り当て部とを有し、
   前記解析部は、前記符号化ストリームに含まれる一のピクチャを復号した復号画像の複雑度と、当該復号画像を前記挿入画像として符号化する際のピクチャタイプとに基づき、前記挿入画像の複雑度を決定する
   ことを特徴とする請求項１乃至３のいずれか１項記載の画像符号化装置。
5. 前記符号化ストリームは、Ｎ（Ｎは整数）枚のピクチャを有する複数のＧＯＰから構成されるものであって、
   前記編集部は、前記符号化ストリームの第１のＧＯＰに含まれる第１の編集点と、第２のＧＯＰに含まれる第２の編集点とが連続して再生されるよう前記編集指示を生成し、
   前記復号処理部は、前記第１のＧＯＰを復号し、前記第２のＧＯＰを復号し、
   前記符号化処理部は、前記第１の編集点と前記第２の編集点との間に１又は複数の前記挿入画像を挿入し、前記第１のＧＯＰの先頭ピクチャ乃至前記第１の編集点、１又は複数の前記挿入画像を符号化した挿入ピクチャ、及び前記第２の編集点乃至前記第２のＧＯＰの最終ピクチャまでに含まれるピクチャから構成される再符号化ピクチャ群のピクチャ総数をＮの整数倍とする
   ことを特徴とする請求項１乃至４のいずれか１項記載の画像符号化装置。
6. 前記第１のＧＯＰの先頭ピクチャ乃至前記第１の編集点及び前記第２の編集点乃至前記第２のＧＯＰの最終ピクチャまでに含まれるピクチャ総数がＮ（Ｎは整数）未満である場合、１又は複数の前記挿入画像を挿入することにより、前記再符号化ピクチャ群のピクチャ総数をＮとする
   ことを特徴とする請求項５記載の画像符号化装置。
7. 前記第１のＧＯＰの先頭ピクチャ乃至前記第１の編集点及び前記第２の編集点乃至前記第２のＧＯＰの最終ピクチャまでに含まれるピクチャ総数がＮ（Ｎは整数）より大きい場合、１又は複数の前記挿入画像を挿入することにより、前記再符号化ピクチャ群のピクチャ総数を２Ｎとする
   ことを特徴とする請求項５項記載の画像符号化装置。
8. 前記挿入画像は、前記第１の編集点直前のピクチャである第１のピクチャを復号した第１の復号画像である
   ことを特徴とする請求項５項記載の画像符号化装置。
9. 前記挿入画像は、前記第１の編集点直前のピクチャである第１のピクチャを復号した第１の復号画像であり、
   前記第１のピクチャの複雑度をＸ、Ｐピクチャに符号化する際の複雑度を算出するための定数Ｄｐ、及びＢピクチャに符号化する際の複雑度を算出するための定数Ｄｂとしたとき、前記符号化処理部は、前記第１の挿入画像をＰピクチャに符号化する場合には、その複雑度をＸ／Ｄｐとし、前記第１の挿入画像をＢピクチャに符号化する場合には、その複雑度をＸ／Ｄｂ（１＜Ｄｐ≦Ｄｂ）とし、当該複雑度に基づき前記第１の挿入画像の目標符号量を決定して前記挿入画像を生成する
   ことを特徴とする請求項８項記載の画像符号化装置。
10. 前記符号化処理部は、前記第１の挿入画像をＩピクチャに符号化する場合には、その複雑度を前記第２のＧＯＰに含まれるＩピクチャの複雑度とし、当該複雑度に基づき前記挿入画像の目標符号量を決定して前記挿入ピクチャを生成する
    ことを特徴とする請求項９項記載の画像符号化装置。
11. 前記第１の編集点直前のピクチャである第１のピクチャを復号した画像を第１の復号画像とし、前記第２の編集点直後のピクチャである第２のピクチャを復号した画像を第２の復号画像とし、
    前記符号化処理部は、前記第１の編集点の直後に１又は複数の前記第１の復号画像を挿入し、前記第１のＧＯＰの先頭ピクチャ乃至前記第１の編集点までに含まれるピクチャ、及び１又は複数の前記第１の復号画像を符号化した第１の挿入ピクチャのピクチャ総数をＮ（Ｎは整数）としてＧＯＰを生成し、前記第２の編集点直前に１又は複数の前記第２復号画像を挿入し、１又は複数の前記第２の挿入画像を符号化した第２の挿入ピクチャ及び前記第２の編集点乃至前記第２のＧＯＰの最終ピクチャまでに含まれるピクチャのピクチャ総数をＮとしてＧＯＰを生成する
    ことを特徴とする請求項７項記載の画像符号化装置。
12. 前記符号化ストリームは、Ｎ（Ｎは整数）枚のピクチャを有する複数のＧＯＰから構成され、第２の編集点を有する第２のＧＯＰを含み、前記第２のＧＯＰの先頭ピクチャから前記第２の編集点までのピクチャがカットされるものであって、
    前記編集部は、前記第２のＧＯＰが前記編集済ストリームの先頭となるよう前記符号化ストリームを編集し、
    前記復号処理部は、前記第２の編集点直前に所定の画像である第３の挿入画像を１又は複数挿入し、前記１又は複数の第３の挿入画像を符号化した第３の挿入ピクチャ及び前記第２の編集点乃至前記第２のＧＯＰの最終ピクチャまでに含まれるピクチャのピクチャ総数をＮとしてＧＯＰを生成する
    ことを特徴とする請求項１乃至４のいずれか１項記載の画像符号化装置。
13. 前記第３の挿入画像は、単色画像である
    ことを特徴とする請求項１２項記載の画像符号化装置。
14. 前記第３の挿入画像をＩピクチャに符号化する場合には、その複雑度を前記第２のＧＯＰに含まれるＩピクチャの複雑度とし、当該複雑度に基づき前記第３の挿入画像の目標符号量を決定して前記第３の挿入画像を生成する
    ことを特徴とする請求項１２又は１３項記載の画像符号化装置。
15. 前記第３の挿入画像をＰピクチャ又はＢピクチャに符号化する場合には、予め定められた複雑度とし、当該複雑度に基づき前記第３の挿入画像の目標符号量を決定して前記３の挿入画像を生成する
    ことを特徴とする請求項１２乃至１４のいずれか１項記載の画像符号化装置。
16. 前記符号化ストリームは、Ｎ（Ｎは整数）枚のピクチャを有する複数のＧＯＰから構成され、第１の編集点を有する第１のＧＯＰを含み、前記第１のＧＯＰは前記第１の編集点から最終ピクチャまでがカットされるものであって、
    前記編集部は、前記第１のＧＯＰの前記第１の編集点直前のピクチャが前記編集済ストリームの最終ピクチャとなるよう前記符号化ストリームを編集し、
    前記符号化処理部は、所定の画像である第４の挿入画像を前記第１の編集点直後に１又は複数挿入し、前記第１のＧＯＰの先頭乃至前記編集点までに含まれるピクチャ及び前記１又は複数の第４の挿入画像を符号化した第４の挿入ピクチャのピクチャ総数をＮ（Ｎは整数）枚としてＧＯＰを生成する
    ことを特徴とする請求項１乃至４のいずれか１項記載の画像符号化装置。
17. 前記第４の挿入画像は、前記第１の編集点直前の第１のピクチャを復号した第１の復号画像である
    ことを特徴とする請求項１６項記載の画像符号化装置。
18. 前記第４の挿入画像は、単色画像である
    ことを特徴とする請求項１６項記載の画像符号化装置。
19. 非圧縮の映像データを符号化した符号化ストリームを編集する画像符号化方法であって、
    非圧縮の映像データを符号化した符号化ストリームを１又は複数の編集点で編集されるよう復号して編集済ストリームを生成する工程と、
    前記符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて前記編集済ストリームを符号化するする工程とを有し、
    前記編集済ストリームを符号化する工程では、前記編集済ストリームにおける前記編集点の前及び／又は後に所定の画像からなる挿入画像を挿入し、前記符号化ストリーム及び前記編集済符号化ストリームの前記編集点まで及び／又は編集点後のピクチャ位相が同一になるよう編集済符号化ストリームを生成する画像符号化方法。
20. 非圧縮の映像データをＭＰＥＧ符号化すると共に、各ピクチャを生成する際の複雑度を算出し、
    前記編集後の復号データを符号化する際、前記複雑度を使用して２パス・エンコードを実施する
    ことを特徴とする請求項１９記載の画像符号化方法。
21. 非圧縮の映像データを符号化した符号化ストリームを編集する画像符号化処理部と、
    符号化ストリームを記録する２以上の記録部とを備え、
    前記画像符号化処理部は、
    一方の記憶装置に記録された前記符号化ストリームを１又は複数の編集点で編集されるよう編集指示を生成する編集部と、
    前記編集指示に従って前記符号化ストリームを復号して編集済ストリームを生成する復号処理部と、
    前記編集済ストリームを再符号化して編集済符号化ストリームを生成する符号化処理部とを有し、
    前記符号化処理部は、前記符号化ストリームと同一フレームにおいては同一のピクチャタイプになるようピクチャ位相を揃えて前記編集済符号化ストリームを生成するものであって、前記編集済ストリームにおける前記編集点の前及び／又は後に所定の画像からなる挿入画像を挿入することで、前記符号化ストリーム及び前記編集済符号化ストリームの前記編集点まで及び／又は編集点後のピクチャ位相が同一になるよう前記編集済符号化ストリームを生成し、
    前記他方の記憶装置は、前記編集済符号化ストリームを記録する画像編集装置。
22. 前記符号化ストリームは、符号化して各ピクチャを生成する際の複雑度が事前解析により算出されているものであって、
    前記符号化処理部は、前記複雑度に応じた目標符号量となるよう前記復号された編集済ストリームを符号化する
    ことを特徴とする請求項２１記載の画像編集装置。

Images