JPH09284763A

JPH09284763A - 映像素材供給装置及び方法

Info

Publication number: JPH09284763A
Application number: JP8091598A
Authority: JP
Inventors: Hiromi Yoshinari; 博美吉成; Goro Kato; 吾郎加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-12
Filing date: 1996-04-12
Publication date: 1997-10-31

Abstract

(57)【要約】【課題】映像素材同士を接続したとしても、ＶＢＶバ
ッファが破綻することなく、また繋ぎ目の連続性を保つ
ことができ、復号化の際のピクチャがフリーズになるこ
とをも防止できるようにする。【解決手段】映像素材を圧縮符号化し、ＶＢＶバッフ
ァの要求する条件を満たした符号化ビット・ストリーム
を生成すると共に、当該符号化ビット・ストリームを接
続する際のスプライス・ポイントを付加して供給する映
像素材供給装置において、接続する側の映像素材の符号
化ビット・ストリームをＶＢＶバッファに供給する際
に、ＶＢＶバッファのｖｂｖ＿ｄｅｌａｙを調整するこ
とによって、ＶＢＶバッファにスプライジング・バッフ
ァ・ルームを設定するビデオエンコーダ６２を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像素材を供給す
る映像素材供給装置及び方法に関するものである。

【０００２】

【従来の技術】近年は、動画像信号の圧縮符号化の手法
として、いわゆるＭＰＥＧ標準方式が提案されている。
上記ＭＰＥＧ（Moving Picture Image Coding Experts
Group）とは、蓄積用動画像符号化の検討組織であり、
１９８８年に国際標準化機構（ＩＳＯ）と国際電気標準
会議（ＩＥＣ）の傘下に設立された動画像圧縮技術の標
準化を検討する専門家の作業部会の略称である。このグ
ループが標準化した動画や音声などのデータ圧縮方式が
ＭＰＥＧ方式と呼ばれている。

【０００３】上記ＭＰＥＧ標準は、その標準化作業上の
フェーズ１の標準であるＭＰＥＧ１とフェーズ２の標準
であるＭＰＥＧ２とがある。両者の違いを簡単に説明す
ると、ＭＰＥＧ１は主にＣＤ−ＲＯＭなどの蓄積メディ
アのための標準であるが、ＭＰＥＧ２はＭＰＥＧ１のア
プリケーションも含む広い範囲のための標準となってい
る。

【０００４】ここで、上記ＭＰＥＧ２のシステムには、
２種類の方式があり、一つはプログラム・ストリーム
（ＭＰＥＧ２−ＰＳ、ＰＳ：Program Stream）と呼ば
れ、ＭＰＥＧ１と同様に一つのプログラムを構成する方
式である。もう一つは、トランスポート・ストリーム
（ＭＰＥＧ２−ＴＳ、ＴＳ：Transport Stream）と呼ば
れ、複数のプログラムを構成できる方式である。

【０００５】このＭＰＥＧ２システムによれば、複数の
プログラムを１本のストリーム（データ列）にできるた
め、テレビ放送などにも対応でき、プログラム編成の自
由度が高く、またスクランブル機能などをも備えてい
る。さらに、ＭＰＥＧ２ビデオへ対応するための拡張機
能や、種々のアプリケーションのための付加機能をもっ
ている。これら機能を実現するためのものとしては、例
えば、ランダム・アクセスを容易にするためのディレク
トリ情報や、個別のストリーム毎の種別を表す種別情報
などがある。

【０００６】上記ＭＰＥＧシステムにおける符号化から
復号までの流れは、以下のようになる。

【０００７】エンコーダにおける符号化の流れでは、先
ず、ビデオ，オーディオなどの個別素材を、それぞれの
連係を保ちながら個別に符号化する。次に、符号化され
た各個別のストリームをマルチプレクサ（Multiplexe
r：ＭＵＸ、多重化器）でアプリケーションに合わせて
ストリームの伝送媒体（蓄積メディアやネットワークな
ど）のフォーマットに適合した多重化を行い、伝送また
は記録する。

【０００８】一方、受信デコーダにおける復号の流れで
は、受信された多重ストリームは、デマルチプレクサ
（DeMultiplexer：ＤＭＵＸ、分離器）でビデオ、オー
ディオなどの各個別のストリーム部分を分離してそれぞ
れ復号器に送る。次に、復号器では個別にストリームを
復号して、その後出力装置（ビデオモニタやスピーカな
ど）に出力する。

【０００９】このように、ＭＰＥＧシステムでは、複数
の個別符号化ストリームを時分割多重して１本のストリ
ームにすることと、送信側で意図したように受信側で各
個別ストリームを同期復号再生することが行われる。

【００１０】上記ＭＰＥＧシステムにおける上記時分割
多重方式としては、パケットによる多重方式を用いてい
る。上記パケットによる多重化とは、例えばビデオとオ
ーディオ信号を多重化する場合、ビデオとオーディオ信
号をそれぞれパケットと呼ばれる適当な長さのストリー
ムに分割し、ヘッダなどの付加情報を付けて、適宜ビデ
オとオーディオのパケットを切り換えて時分割伝送する
方式である。これらパケットには、ヘッダと呼ばれる先
頭部分にビデオかオーディオかの属性を識別するための
情報などが付加される。また、場合によっては最後尾に
伝送上のビットエラーを検出するためのＣＲＣ（Cyclic
Redundancy Code、巡回冗長符号）と呼ばれる符号を付
加することもある。

【００１１】パケット長は、伝送媒体やアプリケーショ
ンに強く依存し、例えばＡＴＭ（Asynchronous Trasfer
Mode、非同期転送モード）のように短い（５３バイト
のパケット長、セルと呼ばれる）ものや、光ディスクシ
ステムのように長い（４０９６バイトのパケット長な
ど）ものなどがある。ＭＰＥＧでは、種々の条件に適合
するために、長さの上限を約２¹⁶（６４Ｋバイト）まで
とっており、フレキシビリティを持たせるために、各パ
ケット毎に固定長でも可変長でもよいことになってい
る。さらに、可変伝送速度も許されており、断続的な伝
送も可能となっている。ヘッダなどの固定的に必要な部
分は、パケット長に依存しないため、短いパケットはオ
ーバーヘッド（多重化のための追加データ）が大きく、
伝送効率が低下するが、時分割多重の切り換え時間が短
いために、多重に起因する遅延とバッファ・メモリ量が
少なくて済むというメリットがある。

【００１２】ＭＰＥＧ１とＭＰＥＧ２−ＰＳでは、ビデ
オやオーディオのパケットの上位にパック・レイヤと呼
ばれる階層があるが、通常は複数のパケットを束ねたパ
ックと呼ばれる構成単位で取り扱われる。パック・ヘッ
ダ部分には、後述する同期再生用の時間基準参照用の付
加情報などがある。パックの主目的は、ストリームの途
中から復号再生することを可能にすることにある。

【００１３】ここで、ＭＰＥＧの同期方式においては、
ビデオ、オーディオの各アクセス・ユニットと呼ばれる
復号再生の単位毎（ビデオは１フレーム、オーディオは
１オーディオ・フレーム）に、いつ復号再生すべきかを
示すタイム・スタンプと呼ばれる情報が付加される。ま
た、タイム・スタンプに対しては、ＳＣＲ（System Clo
ck Reference、システム時刻基準参照値）と呼ばれる情
報によって時間基準が与えられている。

【００１４】タイム・スタンプとは、各アクセス・ユニ
ット毎に付けられる復号再生処理の時刻管理のタグであ
り、ＭＰＥＧオーディオの符号化方式に起因して、２種
類のタイム・スタンプがある。一つは、ＰＴＳ（Presen
tation Time Stamp）と呼ばれる再生出力の時刻管理情
報で、他方はＤＴＳ（Decoding Time Stamp）と呼ばれ
る復号の時刻管理情報である。これらのタイム・スタン
プは、あるパケットの中にアクセス・ユニットの先頭が
ある場合には、パケット・ヘッダに付加する。ただし、
パケットの中にアクセス・ユニットの先頭がない場合に
は、パケット・ヘッダにタイム・スタンプは付加しない
こととする。また、パケットの中に２つ以上のアクセス
・ユニットの先頭があっても、最初のアクセス・ユニッ
トに対応するタイム・スタンプだけをパケット・ヘッダ
に付加する。

【００１５】上記ＰＴＳにおいては、ＭＰＥＧシステム
の基準復号器内部のＳＴＣ（SystemTime Clock、基本と
なる同期信号）がＰＴＳに一致したときに、そのアクセ
ス・ユニットを再生出力する。上記ＤＴＳにおいては、
ＭＰＥＧではＩピクチャとＰピクチャはＢピクチャより
も先行して符号化ストリームに送出されるために、復号
する順序と再生出力する順序が異なることに対応したも
のである。ＰＴＳとＤＴＳが異なる場合には両方のタイ
ム・スタンプをつけ、一致する場合にはＰＴＳだけを付
けることになっている。

【００１６】また、ＳＣＲ（System Clock Reference、
システム時刻基準参照値）、ＰＣＲ（Program Clock Re
ference、プログラム時刻基準参照値）とは、ビデオと
オーディオの復号器を含むＭＰＥＧシステム復号器にお
いて、時刻基準となるＳＴＣ（基本となる同期信号）の
値を符号器側で意図した値にセット・校正するための情
報である。これらＳＣＲ、ＰＣＲを利用するに際して
は、単にその値だけでは不十分で、ＳＣＲ，ＰＣＲの値
を運んでいるストリーム中のバイトのタイミング（復号
器への到着時刻）の精度が必要である。ＭＰＥＧ２では
ＳＣＲ，ＰＣＲとも６バイト（実データは４２ビット）
で送られるが、復号器側ではその最終バイトの到着の瞬
間に、ＳＴＣはＳＣＲまたはＰＣＲの示す値をセットす
ることが求められている。上記ＳＴＣと一体となったＰ
ＬＬ（位相ロック・ループ）を構成すれば、復号器のシ
ステム・クロックと完全に周波数が一致したＳＴＣを復
号器でもつことができる。このＰＬＬ機能は後述するＭ
ＰＥＧ２−ＴＳ（トランスポート・ストリーム）では復
号器に義務付けられている。

【００１７】また、前述したように、ＭＰＥＧ２では、
複数のプログラム（番組）の伝送を可能とするマルチプ
ログラム対応機能を有しており、この機能は多数の個別
の符号化ストリームをトランスポート・パケットと呼ば
れる比較的短い伝送単位で時分割多重するものである。
上記マルチプログラム対応は、ＭＰＥＧ２だけの機能で
ある。

【００１８】当該ＭＰＥＧ２には、前述したようにＰＳ
（プログラム・ストリーム）と共に、トランスポート・
ストリーム（ＴＳ）と呼ばれるマルチプログラム対応の
多重・分離方式の２種類の方式がある。トランスポート
・パケットのヘッダ部分には、パケット・データの内容
識別情報があり、それによって目的とするプログラム再
生に必要なパケットをＤＭＵＸ（分離器）を通じて取り
出して復号することになる。

【００１９】このトランスポート・パケットは、ＡＴＭ
との接続性も考慮して、１８８バイト固定長の比較的短
いパケットである。ＡＴＭのパケット長は実データ４７
バイト（ＡＴＭセルのペイロード（ユーザ情報）部分４
８バイトのうち１バイトは、シーケンスと同期用に使用
する）で、一つのトランスポート・パケットを４つのＡ
ＴＭパケット（セル）に乗せて伝送できるようになって
いる。上記トランスポート・ストリーム（ＴＳ）のプロ
グラム・ストリーム（ＰＳ）との大きな違いは、複数の
パケット（ＭＰＥＧ２ではＰＥＳ(Packetized Elementa
ry Stream）パケットと呼ぶ）をグループ化してパック
を構成するプログラム・ストリーム（ＰＳ）の方式に対
して、トランスポート・ストリーム（ＴＳ）方式では逆
にパケットを再分割して複数のトランスポート・パケッ
トに乗せて伝送することにある。したがって、トランス
ポート・ストリーム（ＴＳ）におけるＰＥＳパケット
は、ＰＳ（及びＭＰＥＧ１）におけるパックのような役
割を果たすことになり、パック・ヘッダと同じような情
報をＰＥＳパケットで伝送できるように拡張されてい
る。

【００２０】また、マルチプログラム対応のトランスポ
ート・ストリームでは、多数のビデオ、オーディオの個
別のストリームを伝送するため、複数のプログラムの中
からどのプログラムを選び、どのパケットを取り出して
どのように復号すればよいか、などの情報が必要にな
る。これらのプログラム仕様情報を総称してＰＳＩ（Pr
ogram Specific Information、プログラム仕様情報）と
呼んでいる。ＰＳＩは、特定の識別コードをもったパケ
ットや一次的なＰＳＩで指し示されたパケットなどで伝
送される。トランスポート・ストリーム（ＴＳ）の基準
復号器の中にあるシステム用のバッファ・メモリとシス
テムの復号器は、このＰＳＩ処理のために設けられてい
る。なお、このＰＳＩについては、ＩＳＯ／ＩＥＣ１３
８１８−１の２．４．４のProgram Specific Informati
onに詳細が記述されている。

【００２１】次に、ＭＰＥＧ２−ＴＳのデータ構造につ
いて以下に説明する。

【００２２】トランスポート・パケットのデータ構造
は、複数プログラムを扱う目的からＩＴＵ−Ｔ（旧ＣＣ
ＩＴＴ）で標準化されているＡＴＭの方式と類似してい
る。図６にはトランスポート・パケットのデータ構造を
階層的に示し、各情報項目の意味と目的を以下に説明す
る。なお、図６のトランスポート・ストリーム・シンタ
クスは、ＩＳＯ１３８１８−１にて規定されているもの
であるため、ここでは簡単な説明に止める。

【００２３】図６の（Ａ）に示すように、トランスポー
ト・ストリームは１８８バイトの固定長トランスポート
・パケットによって多重・分離されるものである。この
トランスポート・パケットは、それぞれヘッダ部とペイ
ロード部とからなる。

【００２４】上記トランスポート・パケットのヘッダ部
はそれぞれ図６の（Ｂ）から図６の（Ｄ）に示すような
構造となっている。

【００２５】図６の（Ｂ）に示すように、トランスポー
ト・パケットは、同期バイト部、誤り表示（エラー・イ
ンジケータ）部、ユニット開始表示部、トランスポート
・パケット・プライオリティ部、ＰＩＤ部、スクランブ
ル制御部、アダプテーション・フィールド制御部、巡回
カウンタ部、アダプテーション・フィールド部からなる
ヘッダを有する。

【００２６】上記同期バイト部には、復号器がトランス
ポート・パケットの先頭を検出するための８ビットの同
期信号が配置される。誤り表示（エラー・インジケー
タ）部には、このパケット中のビット・エラーの有無を
示す１ビットが配置され、ユニット開始表示部には、新
たなＰＥＳパケットが当該トランスポート・パケットの
ペイロード（実効的なパケット・データ）から始まるこ
とを示す１ビットが配置される。トランスポート・パケ
ット・プライオリティ（パケット優先度）部には、この
パケットの重要度を示す１ビットが配置され、ＰＩＤ
（Packet Identification、パケットの種別）部には、
該当パケットの個別ストリームの属性を示す１３ビット
のストリーム識別情報が配置される。スクランブル制御
部には、このパケットのペイロードのスクランブルの有
無，種別を示す２ビットが配置され、アダプテーション
・フィールド制御部には、このパケットでのアダプテー
ション・フィールドの有無及びペイロードの有無を示す
２ビットが配置される。巡回カウンタ部には、同じＰＩ
Ｄをもつパケットが途中で一部棄却されたかどうかを検
出するための情報が配置され、４ビットの巡回カウンタ
情報を連続性によって検出するようになされている。ア
ダプテーション・フィールド部には、個別ストリームに
関する付加情報やスタッフィング・バイト（実効データ
・バイト）をオプションで入れることができる。このこ
とから、個別ストリームの動的な状態変化の情報を伝送
することができる。

【００２７】上記アダプテーション・フィールド部は、
図６の（Ｃ）に示すように、アダプテーション・フィー
ルド長部、不連続表示部、ランダム・アクセス表示部、
ストリーム・プライオリティ（優先）・表示部、５フラ
グ、オプショナル・フィールド部、スタッフィング・バ
イト部からなる。

【００２８】上記アダプテーション・フィールド長部に
は、当該アダプテーション・フィールド部の長さを示す
８ビットが配置され、不連続インジケータ（不連続表
示）部には、次の同じＰＩＤのパケットで、システム・
クロックがリセットされ、新たな内容になることを示す
１ビットが配置される。ランダム・アクセス表示部は、
ビデオのシーケンス・ヘッダまたはオーディオのフレー
ムの始まりを示し、ランダム・アクセスのエントリー・
ポイントであることを示す１ビットが配置される。スト
リーム・プライオリティ（優先）・表示部は、この個別
ストリームの重要部分が、当該パケットのペイロードに
あることを示す１ビットが配置される。例えばビデオの
場合はイントラ符号化部分がこれに相当する。オプショ
ナル・フィールド部は、図６の（Ｄ）に示すように、４
２ビットのＰＣＲ（Program ClockReference）部、４２
ビットのＯＰＣＲ（Original PCR）部、８ビットのスプ
ライス・カウントダウン部、トランスポート・プライベ
ート・データ長とデータ部、アダプテーション・フィー
ルド拡張部とからなる。上記スプライス・カウントダウ
ン部には、編集可能な点（スプライス・ポイント、Ｓ
Ｐ：Splice Point）までの同一のＰＩＤのトランスポー
ト・パケットの数を示す８ビットが配置される。また、
このスプライス・ポイント（ＳＰ）では、バッファ・メ
モリ占有量が１／８と規定されている。この機能によっ
て、例えば伝送中継点でのコマーシャル挿入（ストリー
ムの一部入れ替え）などが可能となる。スタッフィング
・バイト部には、８×Ｍビットのスタッフィング・バイ
トを配置可能となっている。

【００２９】また、図６のオプショナル・フィールド部
は、さらに図６の（Ｅ）に示すように、ｌｗｔ＿ｖａｌ
ｉｄ＿ｆｌａｇ（legal time window_valid_flag）部、
ｌｔｗ＿ｏｆｆｓｅｔ（legal time window_offset）
部、ピースワイズ・レート（piecewise rate）部、スプ
ライス・タイプ部、ＤＴＳ＿ｎｅｘｔ＿ａｕ部からな
る。スプライス・タイプ部には、ＭＰＥＧ２におけるＭ
Ｐ＠ＭＬ（Main Profile at Main Level）の仕様を示す
４バイトが配置される。ＤＴＳ＿ｎｅｘｔ＿ａｕ部に
は、スプライス・ポイントに続く最初のアクセス・ユニ
ットの復号時間を示す３３ビットが配置される。

【００３０】また、トランスポート・ストリームの復号
・再生では、複数プログラムの中から一つを選択し、次
にそのプログラムの復号・再生のために必要な個別スト
リームのトランスポート・パケットのＰＩＤ（通常はビ
デオとオーディオのＰＩＤなど、複数が必要）を知るこ
とが要求される。次に、それら個別ストリームのパラメ
ータ情報や連係情報を知る必要がある。したがって、こ
のような多くのステップ動作のため、幾つかの付加テー
ブル情報（ＰＳＩ）が必要となる。これらのＰＳＩは、
セクションとよばれるデータ構造によって伝送されるこ
とになる。

【００３１】このセクションにおいて、ＰＩＤ＝０のパ
ケットで伝送される特別な情報としては、プログラム・
アソシエーション・テーブル（Program Association Ta
ble：ＰＡＴ）がある。これは、各プログラム番号（１
６ビット）ごとにそのプログラム構成を記述しているテ
ーブル（プログラム・マップ・テーブル、Program Map
Table：ＰＭＴ、一つのプログラムのディレクトリ・テ
ーブル）を伝送しているトランスポート・パケットのＰ
ＩＤを指す。

【００３２】上記プログラム・マップ・テーブルは、プ
ログラムの識別番号と、プログラムを構成するビデオ、
オーディオなどの個別ストリームが伝送されているトラ
ンスポート・パケットのＰＩＤのリストや付属情報を記
述している。プログラム・アソシエーション・テーブル
とプログラム・マップ・テーブルに分けて間接記述にし
た理由は、一つだけのテーブルで全てを記述するとテー
ブルが大きくなり過ぎて、テーブルを記憶しておくメモ
リが大きくなり、さらに、テーブルの後部に記述されて
いるプログラムの情報アクセスに時間が長くかかるため
である。

【００３３】なお、上記セクションには、コンディショ
ナル（条件付）アクセス・テーブルがある。このテーブ
ルは必ずしも必要ないが、復号・再生の制限を行うため
にスクランブルをかけたストリームを、許可されたユー
ザが復号・再生するための付属テーブルである。

【００３４】

【発明が解決しようとする課題】上述したＭＰＥＧ２の
ような動画像圧縮符号化方式は、例えば放送番組等の映
像素材（以下、放送素材或いは本編素材と呼ぶ）を供給
する放送局（以下、本局と呼ぶ）から、当該放送のネッ
トワークを構成する各局（以下、ネットワーク構成局と
呼ぶ）に対して上記放送素材を伝送する場合に、上記本
局において当該放送素材を圧縮符号化する場合に使用す
ることが考えられている。このように、本局からネット
ワーク構成局に対して送られる上記圧縮符号化された放
送素材の符号化ストリームは、前記トランスポート・ス
トリーム（ＴＳ）となっている。

【００３５】上記本局から上記放送素材のトランスポー
ト・ストリームを受けた上記ネットワーク構成局は、そ
れぞれが例えばコマーシャル映像（以下、単にＣＭと呼
ぶ）のような独自の素材を、上記放送素材のトランスポ
ート・ストリームに挿入して再伝送または放送すること
になる。以下、上記放送素材に挿入される素材を挿入素
材と呼ぶ。

【００３６】ここで、上記ＭＰＥＧ方式においては、符
号化により生成されるビット・ストリームをＶＢＶ（vi
deo buffering verifier）と呼ばれる仮想的なバッファ
検証器の要求する条件を満たすことが義務付けられてお
り、したがって、例えば上記放送素材にＣＭなどの素材
を挿入する場合のように、２つの映像素材を繋げるよう
なときには上記ＶＢＶバッファを破綻させることなく繋
げなければならない。

【００３７】また、上記ＭＰＥＧ方式においては、上記
ＶＢＶのバッファ占有量（buffer occupancy）は最初は
空であり、ＭＰＥＧシンタクスのピクチャ・ヘッダに配
置されるｖｂｖ＿ｄｅｌａｙで与えられる時間の間だ
け、ビット・ストリームからデータが満たされることな
どが規定されている。さらに、映像素材を繋げた（スプ
ライスした）結果、上記ＶＢＶのバッファ・メモリが仮
に連続になったとしても、当該繋ぎ目で表示時間（プレ
ゼンテイション・タイム、presentation time）が連続
であることが必要である。繋ぎ目が不連続になるときの
スプライス・ポイントでは、後の復号化の際にピクチャ
がフリーズ（freeze）になることが予想されるからであ
る。

【００３８】ところで、上記ＣＭのような挿入する側
（スプライスする側）である映像素材と、上記放送番組
のような挿入される側（スプライスされる側）の映像素
材とでは、上記放送素材がリアルタイムで符号化される
ものであるという違いがある。

【００３９】また、スプライスする側の映像素材を通常
のバッファ制御で符号化するとき、すなわちＶＢＶバッ
ファを一杯にするまでの時間を上記ｖｂｖ＿ｄｅｌａｙ
とするとき、上記スプライスされる側の映像素材は、ス
プライス・ポイント（ＳＰ）において（ＶＢＶバッファ・サイズ）−（ＶＢＶバッファ占有
量）＜（ビット・レート／３０フレーム）であることが、連続なプレゼンテーション・タイム（pr
esentation time）を保証するためのバッファ制御の条
件である。このような条件を満たすときに、連続した挿
入接続が可能となる。

【００４０】ここで、目標のバッファ占有量の制約を満
たすことができ、トランスポート・ストリーム同士を連
続して接続できたときの様子を図７に示す。なお、図７
には、一定レートで到達するトランスポート・ストリー
ム（ＴＳ）とＶＢＶバッファとの関係、及び一定間隔で
到達する入力ビデオデータ（ピクチャ順）とトランスポ
ート・ストリーム（ＴＳ）との関係を示している。すな
わち、入力ビデオデータはそれぞれのピクチャの情報量
に応じたビット量に圧縮され、異なるパケット数のトラ
ンスポート・ストリーム（ＴＳ）になされる。このトラ
ンスポート・ストリーム（ＴＳ）を連続に並べることに
よって一定伝送レートで伝送路にデータが送られること
になる。また、図７の（Ａ）には映像素材として３つの
プログラムＰｒｏ１，Ｐｒｏ２，Ｐｒｏ３を用いたとき
の受信デコーダ側でのＶＢＶバッファのバッファ占有量
の変化を示し、図７の（Ｂ）には上記プログラムＰｒｏ
１，Ｐｒｏ２，Ｐｒｏ３の各ピクチャを符号化するエン
コーダ側でのピクチャの入力順とトランスポート・パケ
ットの伝送順を示している。なお、図７の（Ａ）に示す
バッファ占有量を示す折れ線の傾きはビット・レートを
表し、当該折れ線で垂直に下がっている部分は各ピクチ
ャ再生のためにビデオデコーダが引き出すビット量を表
している。その引き出すタイミングが前記プレゼンテー
ション・タイムである。また、図中ＩはＩピクチャ（In
tra-coded picture、イントラ符号化画像）を、図中Ｐ
はＰピクチャ（Predictive-coded picture、前方予測符
号化画像）を、図中ＢはＢピクチャ（Bidirectionally
predictive-coded picture、両方向予測符号化画像）を
示している。さらに、図中ＳＰはスプライス・ポイント
を示しているが、説明をわかり易くするため、図中ＳＰ
（ＶＢＶ）にて示すＶＢＶバッファ上でのスプライス・
ポイントと、図中ＳＰ（ＴＳ）にて示すトランスポート
・ストリーム上でのスプライス・ポイントとは、それぞ
れ繋ぎ目を示している。また、図中ｔｃはスプライス・
ポイントでトランスポート・ストリームを接続したとき
に本来必要とされる目標のバッファ占有量（target occ
upancy）を、ｉｇは入力ギャップ（input gap）を、ｉ
ｏは入力オーバラップ（input overlap）をそれぞれ示
している。

【００４１】この図７から判るように、目標のバッファ
占有量の制約を満たすことができ、トランスポート・ス
トリームを理想的に接続できたときには、ＶＢＶバッフ
ァでのスプライス・ポイント（ＳＰ（ＶＢＶ））の映像
素材の繋ぎ目付近を含めてＶＢＶバッファの破綻はな
く、プレゼンテーション・タイムも連続である。

【００４２】しかし、実際にはリアルタイムの符号化に
よる各ピクチャのビット発生量は、符号化するまで正確
には判らない。したがって、絵柄によってはバッファ・
コントロールの予想を裏切ることが往々にしてある。こ
のため、多くの映像素材で目標のバッファ占有量にする
ことが困難である。

【００４３】このような状態で映像素材同士をスプライ
スすると、受信デコーダにおいてＶＢＶバッファが破綻
することになる。

【００４４】図８と図９を用いてＶＢＶバッファの破綻
する例について説明する。この図８と図９には、一定レ
ートで到達するトランスポート・ストリーム（ＴＳ）と
ＶＢＶバッファとの関係、一定間隔で到達する入力ビデ
オデータ（ピクチャ順）とトランスポート・ストリーム
（ＴＳ）との関係を示している。したがって、入力ビデ
オデータはそれぞれのピクチャの情報量に応じたビット
量に圧縮され、異なるパケット数のトランスポート・ス
トリーム（ＴＳ）になる。このトランスポート・ストリ
ーム（ＴＳ）を連続に並べることによって一定伝送レー
トで伝送路にデータが送られることになる。図８と図９
はこの状態をイメージしている。

【００４５】ここで、図８には、ピクチャ・ヘッダのｖ
ｂｖ＿ｄｅｌａｙを毎回見に行くような受信デコーダ
（復号器）を用いた場合において、目標のバッファ占有
量の制約を満たせなかったときの様子を示す。なお、図
８の（Ａ）には映像素材として３つのプログラムＰｒｏ
１，Ｐｒｏ２，Ｐｒｏ３を用いたときの受信デコーダ側
でのＶＢＶバッファのバッファ占有量の変化を示し、図
８の（Ｂ）には上記プログラムＰｒｏ１，Ｐｒｏ２，Ｐ
ｒｏ３の各ピクチャを符号化するエンコーダ側でのピク
チャの入力順とトランスポート・パケットの伝送順を示
している。この図８でも前記図７と同様に、バッファ占
有量を示す折れ線の傾きはビット・レートを表し、当該
折れ線で垂直に下がっている部分は各ピクチャ再生のた
めにビデオデコーダが引き出すビット量を表している。
また、図中ＩはＩピクチャを、図中ＰはＰピクチャを、
図中ＢはＢピクチャを示している。さらに、図中ＳＰは
スプライス・ポイントを示しているが、説明を分かりや
すくするため、図中ＳＰ（ＶＢＶ）にて示すＶＢＶバッ
ファ上でのスプライス・ポイントと、図中ＳＰ（ＴＳ）
にて示すトランスポート・ストリーム上でのスプライス
・ポイントとは、それぞれ繋ぎ目を示している。また、
図中ｔｃはスプライス・ポイントでトランスポート・ス
トリームを接続したときに本来必要とされる目標のバッ
ファ占有量（target occupancy）を、ｉｇは入力ギャッ
プ（input gap）を、ｉｏは入力オーバラップ（input o
verlap）をそれぞれ示している。

【００４６】この図８から判るように、ピクチャ・ヘッ
ダのｖｂｖ＿ｄｅｌａｙを毎回見に行くような受信デコ
ーダでは、図８の（Ａ）に示すｖｂｖ＿ｄｅｌａｙ分だ
けバッファからのデータ引き出しを待つようになるた
め、当該ＶＢＶバッファの破綻は起こらない。

【００４７】しかし、図８の（Ａ）に示すピリオドｐｅ
_Aでは、受信デコーダ側でピクチャがフリーズとなり、
表示同期の乱れが起きる。また、図８の（Ａ）に示すピ
リオドｐｅ_Bでは、表示の間隔が短くなりデコーダ処理
速度オーバーによるピクチャ破損が起きる。或いは表示
同期乱れが起きる。すなわち、この図８の例では、ＶＢ
Ｖスプライス・ポイントの映像素材の繋ぎ目付近を含め
て、ＶＢＶバッファの破綻はないが、プレゼンテーショ
ン・タイムの不連続が起こる。

【００４８】一方、図９には、ピクチャ・ヘッダのｖｂ
ｖ＿ｄｅｌａｙを毎回見に行くことは行わない受信デコ
ーダ（復号器）を用いた場合において、目標のバッファ
占有量の制約を満たせなかったときの様子を示してい
る。また、この図９の例の受信デコーダは、ＭＰＥＧに
て規定されているシーケンス・スタート・コード（sequ
ence_stare_code）があったときに、ピクチャ・ヘッダ
のｖｂｖ＿ｄｅｌａｙを見に行く。なお、図９の（Ａ）
及び（Ｃ）には映像素材として２つのプログラムＰｒｏ
１，Ｐｒｏ２を繋げたときの受信デコーダ側でのＶＢＶ
バッファのバッファ占有量の変化を示し、図９の（Ｂ）
及び（Ｄ）には上記プログラムＰｒｏ１，Ｐｒｏ２の各
ピクチャを符号化するエンコーダ側でのピクチャの入力
順とトランスポート・パケットの伝送順を示し、図９の
（Ａ）及び（Ｂ）はＶＢＶバッファのアンダーフロウが
起きる場合を、図９の（Ｃ）及び（Ｄ）はＶＢＶバッフ
ァのオーバーフロウが起きる場合を示している。この図
９でも前記図７と同様に、バッファ占有量を示す折れ線
の傾きはビット・レートを表し、当該折れ線で垂直に下
がっている部分は各ピクチャ再生のためにビデオデコー
ダが引き出すビット量を表している。また、図中ＩはＩ
ピクチャを、図中ＰはＰピクチャを、図中ＢはＢピクチ
ャを示し、さらに図中ＳＰはスプライス・ポイントを、
図中ｔｃはスプライス・ポイントでトランスポート・ス
トリームを接続したときに本来必要とされる目標のバッ
ファ占有量を、図中ｉｇは入力ギャップを、図中ｉｏは
入力オーバラップをそれぞれ示している。

【００４９】この図９から判るように、ピクチャ・ヘッ
ダのｖｂｖ＿ｄｅｌａｙを毎回見に行っていない受信デ
コーダでは、初期状態（シーケンス・スタート・コード
があったとき）のみｖｂｖ＿ｄｅｌａｙでＶＢＶバッフ
ァからのデータ引き抜き動作を行うため、図９の（Ａ）
に示すポイントｐｏ_Aではアンダーフロウが起きてＶＢ
Ｖバッファが破綻し、図６の（Ｃ）に示すポイントｐｏ
_Bではオーバーフロウが起きてＶＢＶバッファが破綻す
る。すなわち、図９の（Ａ）及び（Ｂ）の例ではＶＢＶ
スプライス・ポイントの映像素材の繋ぎ目の次のピクチ
ャ引き出しで、アンダーフロウが起こり、ＶＢＶバッフ
ァの破綻となる。また、図９の（Ｃ）及び（Ｄ）の例で
はＶＢＶスプライス・ポイントの映像素材の繋ぎ目の次
のピクチャ引き出しでオーバーフロウが起こり、ＶＢＶ
バッファの破綻となる。

【００５０】上記図８と図９の何れの場合も、受信デコ
ーダのＶＬＤ（Variable Length Decodding）で矛盾が
生じ、デコーダ動作が次のシーケンス・ヘッダが見つか
るまでストップすることになる。

【００５１】そこで、本発明は上述したことを考慮して
なされたものであり、映像素材同士を接続したとして
も、ＶＢＶバッファが破綻することなく、また繋ぎ目の
連続性を保つことができ、復号化の際のピクチャがフリ
ーズになることをも防止できる映像素材供給装置及び方
法を提供することを目的とする。

【００５２】

【課題を解決するための手段】本発明の映像素材供給装
置及び方法は、映像素材を圧縮符号化し、仮想的なバッ
ファ検証器の要求する条件を満たした符号化ビット・ス
トリームを生成すると共に、符号化ビット・ストリーム
を接続する際の接続点の情報を付加して供給するもので
あり、接続する側の映像素材の符号化ビット・ストリー
ムを仮想的なバッファ検証器に供給する際に、この仮想
的なバッファ検証器が空状態から満状態になるまでの所
定時間を調整することによって、仮想的なバッファ検証
器に所定量の余裕領域を設定することにより、上述した
課題を解決する。

【００５３】すなわち、本発明によれば、予め仮想的な
バッファ検証器に所定量の余裕領域を設けておくことに
より、映像素材の符号化ビット・ストリームを接続する
接続点で、仮想的なバッファ検証器がオーバーフロウす
ることを防止している。また、仮想的なバッファ検証器
がアンダーフロウすることを防止するために、バッファ
検証器の所定量の余裕領域はスタッフィングにより埋め
るようにしている。

【００５４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００５５】本発明の一実施の形態の映像素材供給装置
は、例えば前述したＭＰＥＧ２のような動画像圧縮符号
化方式にて放送番組などの映像素材のビデオ信号及びオ
ーディオ信号を圧縮符号化し、この圧縮符号化により得
られた符号化ビット・ストリームから上記ＭＰＥＧ２の
伝送形態のトランスポート・ストリームを生成して伝送
し、また、同じくＭＰＥＧ２のような動画像圧縮符号化
方式にてＣＭなどの映像素材のビデオ信号及びオーディ
オ信号を圧縮符号化し、この圧縮符号化により得られた
符号化ビット・ストリームからＭＰＥＧ２の伝送形態の
トランスポート・ストリームを生成し、例えば上記放送
番組等の映像素材のトランスポート・ストリームに上記
ＣＭなどの映像素材のトランスポート・ストリームを問
題なく挿入接続可能とするものである。なお、上記放送
番組などの映像素材のトランスポート・ストリームは例
えば放送局（本局）から提供され、上記ＣＭなどの映像
素材のトランスポート・ストリームは例えばネットワー
ク構成局が独自に作成し、当該ネットワーク構成局にお
いて上記本局からのトランスポート・ストリームに上記
ＣＭなどのトランスポート・ストリームを挿入して再伝
送（又は放送）される。なお、本発明の内容は、ＩＳＯ
１３８１８−２、ＩＳＯ１１１７２−２のＡｎｎｅｘ
Ｃの規定とＩＳＯ１３８１８−１のＡｎｎｅｘＬの規
定を実現するためのものである。

【００５６】図１には、上述したようなトランスポート
・ストリームの挿入接続を可能とする具体的構成例を示
す。なお、この図１の構成はＩＳＯ／ＩＥＣ１３８１８
−１を実現する簡略化した構成である。

【００５７】この図１において、エンコーダ８０側の端
子６０には前記映像素材のビデオデータが供給され、端
子６１には当該映像素材に関連するオーディオデータが
供給される。上記ビデオデータは、ビデオエンコーダ６
２に送られる。当該ビデオエンコーダ６２では、上記ビ
デオデータに対して例えば前記ＭＰＥＧ２方式を用いた
圧縮符号化を施す。このビデオエンコーダ６２での符号
化により得られた符号化ビット・ストリームがＭＰＥＧ
２に規定されているビデオ・エレメンタリ・ストリーム
（Video Elementary Stream、ＥＳ）である。また、上
記オーディオデータは、オーディオエンコーダ６３に送
られる。このオーディオエンコーダ６３では、上記オー
ディオデータに対してＭＰＥＧ２方式にて規定された圧
縮符号化（いわゆるＭＰＥＧオーディオ）を施す。この
オーディオエンコーダ６３での符号化により得られた符
号化ビット・ストリームがＭＰＥＧ２に規定されている
オーディオ・エレメンタリ・ストリーム（Audio Elemen
tary Stream、ＥＳ）である。

【００５８】上記ビデオエンコーダ６２から出力された
ビデオ・エレメンタリ・ストリームは、パケタイザ６４
に送られる。当該パケタイザ６４では、上記ビデオ・エ
レメンタリ・ストリームにヘッダなどを付けてパケット
化し、ビデオ・パケタイズド・エレメンタリ・ストリー
ム（Video Packetized Elementary Stream、ＰＥＳ）と
して出力する。また、上記オーディオエンコーダ６３か
ら出力されたオーディオ・エレメンタリ・ストリーム
は、パケタイザ６５に送られる。当該パケタイザ６５で
は、上記オーディオ・エレメンタリ・ストリームにヘッ
ダなどを付けてパケット化し、オーディオ・パケタイズ
ド・エレメンタリ・ストリーム（Video Packetized Ele
mentary Stream、ＰＥＳ）として出力する。

【００５９】上記パケタイザ６４からのビデオ・パケタ
イズド・エレメンタリ・ストリームと上記パケタイザ６
５からのオーディオ・パケタイズド・エレメンタリ・ス
トリームとは、トランスポート・ストリーム・マルチプ
レクサ（以下、ＴＳＭＵＸと呼ぶ）６６に送られる。当
該ＴＳＭＵＸ６６は、上記ビデオ・パケタイズド・エレ
メンタリ・ストリームとビデオ・パケタイズド・エレメ
ンタリ・ストリームとを受けて、それぞれ１８８バイト
のトランスポート・ストリーム・パケットを作り、ビデ
オとオーディオをマルチプレクス（多重化）してトラン
スポート・ストリーム（ＴＳ）を生成し、端子６７から
伝送メディアに出力する。なお、蓄積メディアに蓄積す
るときには、上記マルチプレクサにてプログラム・スト
リーム（ＰＳ）を生成して出力する。

【００６０】ここで、上記入力ビデオデータは、各ピク
チャが同じビット量を持つものであるが、上記ビデオエ
ンコーダ６２において上記入力ビデオデータをエンコー
ドすることにより、それぞれのピクチャはその冗長度に
応じて異なるビット量に変換圧縮される。この出力を受
けたパケタイザ６４は、時間軸上のビット量の変動を吸
収（平均化）してパケット化する。当該パケタイザ６４
からのビデオ・パケタイズド・エレメンタリ・ストリー
ムは上記ＴＳＭＵＸ６６にて伝送用のトランスポート・
ストリームになされ、固定ビット・レートで伝送メディ
アに伝送される。

【００６１】上記伝送メディアを介して伝送されたトラ
ンスポート・ストリームは、受信デコーダ９０側の端子
７０を介してトランスポート・ストリーム・デマルチプ
レクサ（以下、ＴＳＤＭＵＸと呼ぶ）７１に送られる。
当該ＴＳＤＭＵＸ７１は、上記トランスポート・ストリ
ームをビデオ・パケタイズド・エレメンタリ・ストリー
ムとビデオ・パケタイズド・エレメンタリ・ストリーム
とに分離する。

【００６２】上記ビデオ・パケタイズド・エレメンタリ
・ストリームはデパケタイザ７２に送られる。当該デパ
ケタイザ７２では、ビデオ・パケタイズド・エレメンタ
リ・ストリームから上記ビデオ・エレメンタリ・ストリ
ームを生成する。また、上記オーディオ・パケタイズド
・エレメンタリ・ストリームはデパケタイザ７３に送ら
れる。当該デパケタイザ７３では、オーディオ・パケタ
イズド・エレメンタリ・ストリームから上記オーディオ
・エレメンタリ・ストリームを生成する。

【００６３】上記ビデオ・エレメンタリ・ストリームは
ビデオデコーダ７４に送られ、ここでビデオデータに復
号される。また、オーディオ・エレメンタリ・ストリー
ムはオーディオデコーダ７５に送られ、ここでオーディ
オデータに復号される。上記復号されたビデオデータ
は、端子７６から出力されて例えばビデオモニタに送ら
れ、上記復号されたオーディオデータは、端子７７から
出力されて例えばスピーカなどに送られる。

【００６４】ここで、上記ビデオデコーダ７４では、固
定レートで到達したストリームから、再生ピクチャ毎の
可変ビット量の引き出しを行うための制御を、前記ＭＰ
＠ＭＬの場合１．７５ＭビットのＶＢＶバッファで行う
ようにしている。

【００６５】したがって、当該図１の構成においては、
エンコーダ側でこのＶＢＶバッファをオーバーフロウ又
はアンダーフロウさせないように、それぞれのピクチャ
のビット発生量をコントロールしなければならない。な
お、エンコーダ８０でのオーバーフロウはデコーダ９０
でのアンダーフロウになり、エンコーダ８０でのアンダ
ーフロウはデコーダ９０でのオーバーフロウとなる。

【００６６】図１の構成において、例えば前述したよう
に放送番組等の映像素材のトランスポート・ストリーム
へ、ＣＭなどの映像素材のトランスポート・ストリーム
を連続して接続することを実現するためには、ＶＢＶバ
ッファにおいて次の２つの条件を満たすことが必要であ
る。すなわち受信デコーダのＶＢＶバッファを破綻させ
ないことと、トランスポート・ストリームの繋ぎ目の前
後でプレゼンテーション・タイムが連続であることであ
る。本発明構成例は、この２つの条件を、リアルタイム
のエンコードにて実現可能としている。

【００６７】ここで、受信デコーダでは、入力データは
一定の傾き（すなわちビット・レート）でＶＢＶバッフ
ァを満たすことが規定されている。このため、ＶＢＶバ
ッファのオーバーフロウに対しては、ピクチャのビット
発生後に、その傾きに応じたスタッフィングを用いて対
処することが可能である。一方、ピクチャのビット発生
量オーバーによって引き起こされるアンダーフロウに対
しては対処の仕様がない。したがって、エンコーダにお
けるＶＢＶバッファのコントロールは、受信デコーダの
ＶＢＶバッファをフルにする方向で行うようにする。

【００６８】このことを、図２及び図３を用いて説明す
る。なお、図２には、一定レートで到達するトランスポ
ート・ストリーム（ＴＳ）とＶＢＶバッファとの関係、
及び一定間隔で到達する入力ビデオデータ（ピクチャ
順）とトランスポート・ストリーム（ＴＳ）との関係を
示している。すなわち、入力ビデオデータはそれぞれの
ピクチャの情報量に応じたビット量に圧縮され、異なる
パケット数のトランスポート・ストリーム（ＴＳ）にな
される。このトランスポート・ストリーム（ＴＳ）を連
続に並べることによって一定伝送レートで伝送路にデー
タが送られることになる。また、図２の（Ａ）には映像
素材として２つのプログラムＰｒｏ１，Ｐｒｏ２を用い
たときの受信デコーダ側でのＶＢＶバッファのバッファ
占有量の変化を示し、図２の（Ｂ）には上記プログラム
Ｐｒｏ１の各ピクチャを符号化するエンコーダ側でのピ
クチャの入力順とトランスポート・パケットの伝送順、
並びに上記プログラムＰｒｏ１にプログラムＰｒｏ２を
接続する際の接続点にスタッフィング（stuffing）され
るパケットｓｓと、プログラムＰｒｏ２の各ピクチャの
入力順とトランスポート・パケットの伝送順を示してい
る。さらに、図２の（Ｃ）にはプログラムＰｒｏ１にプ
ログラムＰｒｏ２を接続した状態の各ピクチャの入力順
とトランスポート・パケットの伝送順を示し、図２の
（Ｄ）にはプログラムＰｒｏ１とプログラムＰｒｏ２を
接続する接続点におけるＶＢＶバッファのバッファ占有
量がコントロールされる様子を拡大して示している。ま
た、図３の（Ａ）には図２同様に映像素材として２つの
プログラムＰｒｏ１，Ｐｒｏ２を用いたときの受信デコ
ーダ側でのＶＢＶバッファのバッファ占有量の変化を示
し、図３の（Ｂ）には上記プログラムＰｒｏ１の各ピク
チャを符号化するエンコーダ側でのピクチャの入力順と
トランスポート・パケットの伝送順、並びに上記プログ
ラムＰｒｏ１にプログラムＰｒｏ２を接続する際の接続
点で当該プログラムＰｒｏ１にスキップド・マクロブロ
ック（Skipped Macroblock）が導入される各パケットｓ
ｋｍと、その後に接続されるプログラムＰｒｏ２の各ピ
クチャの入力順とトランスポート・パケットの伝送順を
示している。さらに、図３の（Ｃ）にはプログラムＰｒ
ｏ１にプログラムＰｒｏ２を接続した状態の各ピクチャ
の入力順とトランスポート・パケットの伝送順を示して
いる。なお、これら図２及び図３において、バッファ占
有量を示す折れ線の傾きはビット・レートを表し、当該
折れ線で垂直に下がっている部分は各ピクチャ再生のた
めにビデオデコーダが引き出すビット量を表している。
その引き出すタイミングが前記プレゼンテーション・タ
イムである。また、図中ＩはＩピクチャを、図中ＰはＰ
ピクチャを、図中ＢはＢピクチャを示している。さら
に、図中ＳＰはスプライス・ポイントを示しているが、
説明を分かりやすくするため、図中ＳＰ（ＶＢＶ）にて
示すＶＢＶバッファ上でのスプライス・ポイントと、図
中ＳＰ（ＴＳ）にて示すトランスポート・ストリーム上
でのスプライス・ポイントとは、それぞれ繋ぎ目を示し
ている。また、図中ｔｃはスプライス・ポイントでトラ
ンスポート・ストリームを接続したときに本来必要とさ
れる目標のバッファ占有量（target occupancy）を、図
中ｓｔはスタッフィングがなされたパケットを示してい
る。

【００６９】これら図２及び図３において、先ず、前記
図１のエンコーダ８０のビデオエンコーダ６２は、伝送
する符号化ビット・ストリームのビット・レートからＶ
ＢＶバッファの傾きを計算し、１プレゼンテーション・
タイムでＶＢＶバッファに蓄積されるビット量（図２の
図中ｂ₀に相当する量）を求める。

【００７０】ここで、通常のＶＢＶバッファのコントロ
ールは、映像素材の頭でＶＢＶバッファをフルの状態に
するようｖｂｖ＿ｄｅｌａｙを設定するように規定され
ている。これはＶＢＶバッファを最も有効に使う手法で
ある。したがって、目標のバッファ占有量は、ＶＢＶバ
ッファのフルサイズ（vbv_buffer_size_value）から上
記１プレゼンテーション・タイムでＶＢＶバッファに蓄
積されるビット量（図２の図中ｂ₀に相当する量）を引
いた値、すなわち、（目標のバッファ占有量）＝（vbv_buffer_size_value
−ｂ₀）となる。

【００７１】また、上記ビデオエンコーダ６２では、ス
プライスする映像素材においては、ｖｂｖ＿ｄｅｌａｙ
を調整して、ＶＢＶバッファのスプライス・ポイント
（ｐ₁）でＶＢＶバッファに、ある一定以上の余裕領
域、例えば１プレゼンテーション・タイム分の余裕領域
（以下、スプライジング・バッファ・ルームｓｒと呼
ぶ）を作るようにする。このスプライジング・バッファ
・ルームｓｒは、ＶＢＶバッファ上では図２の図中ｂ_r
で示すデータ量に相当する。

【００７２】ここで例えば、上記スプライス・ポイント
（ｐ₁）点でのスプライスする映像素材のバッファ位置
をｂ₁とするとき、上記余裕領域に相当するｂ_rは、上記
目標のバッファ占有量から上記ｂ₁を引いた値、すなわ
ち、ｂ_r＝目標のバッファ占有量−ｂ₁ となる。

【００７３】上述したようなことをふまえて、ビデオエ
ンコーダ６２では、上記目標のバッファ占有量になるよ
うに、通常のＶＢＶバッファ・コントロールを行うよう
にしている。なお、通常のＶＢＶバッファ・コントロー
ルとはオーバーフロウよりのバッファ・コントロールを
行うということである。

【００７４】ここで、ビデオエンコーダ６２では、図２
示すように、ＶＢＶバッファ・コントロールの結果得ら
れたＶＢＶスプライス・ポイントのバッファの位置から
ｂ₁までのギャップ（スプライジング・バッファ・ルー
ムｓｒの余り）については、スタッフィングによって埋
めるようにしている。

【００７５】また、ビデオエンコーダ６２では、図３に
示すように、ＶＢＶバッファ・コントロールで、最後の
ピクチャをエンコードしているとき、スプライジング・
バッファ・ルームｓｒを越えてしまうような場合には、
当該越えてしまう分についてＭＰＥＧにて規定されてい
るスキップド・マクロブロックを導入し、ＶＢＶバッフ
ァのアンダーフロウ（受信デコーダ側ではオーバーフロ
ウ）破綻を回避するようにする。なお、このスキップド
・マクロブロックについては、ＩＳＯ／ＩＥＣ１３８１
８−２７．６．６に規定されている。

【００７６】以上の手法を用いることにより、ＶＢＶバ
ッファの破綻は防止でき、また、プレゼンテーション・
タイムも連続させることが可能となる。したがって、本
発明構成例によれば、２つのプログラムを連続に接続す
ることが可能である。

【００７７】次に、上述したことを図１のビデオエンコ
ーダ６２にて行うためのフローチャートを、図４及び図
５に示す。なお、図４には上記スタッフィング又はスキ
ップド・マクロブロックの何れを用いるようにするかの
判断のフローチャートを示し、図５には実際のＶＢＶバ
ッファにおけるデータ量制御のフローチャートを示す。

【００７８】先ず、図４において、ステップＳＴ１では
初期化としてＶＢＶバッファ・サイズをセットし、また
ビット・レートをセットする。このとき、ＶＢＶバッフ
ァ・サイズとビット・レートの情報（vbv_buffer_siz
e、bit_rate_value）は、前記シーケンス・ヘッダを生
成するシーケンス・ヘッダ・ジェネレータに送られるこ
とになる。なお、このシーケンス・ヘッダ・ジェネレー
タはビデオエンコーダ６２内に設けられるものである。

【００７９】次に、ステップＳＴ２では、ｖｂｖ＿ｄｅ
ｌａｙをセットする。このｖｂｖ＿ｄｅｌａｙは、前記
ピクチャ・ヘッダを生成するピクチャ・ヘッダ・ジェネ
レータに送られることになる。なお、このピクチャ・ヘ
ッダ・ジェネレータはビデオエンコーダ６２内に設けら
れるものである。

【００８０】ステップＳＴ３では、レートコントロール
を行う。具体的には、ビデオエンコーダ６２内におい
て、ビットカウンタからビット量の情報を受け取り、こ
のビット量情報に基づいて制御する量子化精度情報（Ｑ
インデクス：Ｑ index）を量子化器へ送ることでレート
コントロールを行う。

【００８１】次のステップＳＴ４では、ＶＢＶバッファ
がオーバーフロウする（この場合、受信デコーダ側では
ＶＢＶバッファがアンダーフロウする）か否かを判断
し、オーバーフロウすると判断したときにはステップＳ
Ｔ５にてスタッフィングを行い、オーバーフロウしない
と判断したときには、ステップＳＴ６の判断を行う。ス
テップＳＴ６では、ＶＢＶバッファがアンダーフロウす
る（この場合、受信デコーダ側ではＶＢＶバッファがオ
ーバーフロウする）か否かを判断し、アンダーフロウす
ると判断したときにはステップＳＴ７にてスキップド・
マクロブロックの処理を行い、アンダーフロウしないと
判断したときには処理を終了する。

【００８２】また、図５では、先ずステップＳＴ１０に
おいて初期化を行い、次のステップＳＴ１１ではピクチ
ャにおいて目標となるビット量をセットする。このと
き、スプライス・ポイントから目標のバッファ占有量を
セットし、このバッファ占有量と後述するステップＳＴ
１３にて取得したピクチャのビット量とから、上記ピク
チャの目標ビット量をセットする。

【００８３】ステップＳＴ１２では、上記セットされた
ピクチャの目標ビット量から、量子化器への量子化ステ
ップサイズをセットする。具体的には、量子化ステップ
サイズを示す量子化精度情報（Ｑインデクス：Ｑ inde
x）を量子化器へ送る。

【００８４】次のステップＳＴ１３では、例えばビット
カウンタからビット量を受け取ることにより、ピクチャ
を符号化したときのビット量を取得する。この取得した
ビット量は、ステップＳＴ１１に送られ、したがって、
ステップＳＴ１１では当該ステップＳＴ１３にて取得し
たビット量からピクチャの目標ビット量をセットする。

【００８５】以上説明したように、本発明構成例におい
ては、スプライスする側の映像素材のｖｂｖ＿ｄｅｌａ
ｙの調整を行うことによって、ＶＢＶスプライス・ポイ
ントでＶＢＶバッファにスプライジング・バッファ・ル
ームを作り、スプライス・ポイントのＶＢＶバッファを
ビット・レートから計算して１プレゼンテーション・タ
イム分を残す値に目標のバッファ占有量を設定してい
る。これらスプライジング・バッファ・ルームとプレゼ
ンテーション・タイムによるｖｂｖ＿ｄｅｌａｙの調整
により、ＶＢＶスプライス・ポイントにギャップが生じ
るようなときには、当該ギャップを埋めるためにスタッ
フィングを行って、ＶＢＶバッファの破綻を防ぐように
している。また、スプライス・ポイントのピクチャのビ
ット発生量が、スプライスする側で余裕をとったバッフ
ァサイズを越えるときには、スキップドマクロブロック
（ＩＳＯ／ＩＥＣ１３８１８−２７．６．６）を導入
してＶＢＶバッファの破綻を防ぐようにしている。

【００８６】すなわち、本発明構成例によれば、受信デ
コーダ９０のＶＢＶバッファを破綻させず、さらにトラ
ンスポート・ストリームの繋ぎ目の前後でプレゼンテー
ション・タイムが連続であることを常に実現できる。ま
た、本発明構成例によれば、ＶＢＶバッファのコントロ
ールが目標のバッファ占有量からある範囲で外れること
を想定して、スプライスする側のｖｂｖ＿ｄｅｌａｙを
調整し、スプライジング・バッファ・ルームｓｒを設
け、ＶＢＶスプライス・ポイントでのＶＢＶバッファに
余裕を持たせることによって、ＭＰＥＧ符号化ストリー
ム上で画像品質を損なわずシームレスなスプライスを行
える確率を大幅に向上することが可能となっている。さ
らに、仮に通常のバッファ制御において、上記スプライ
ジング・バッファ・ルームを越えてしまうビット発生量
が発生したとしても、僅かな画質劣化は伴うもののスキ
ップド・マクロブロックを導入することでシームレスな
接続が可能になっている。したがって、本発明構成例に
よれば、ＭＰＥＧ符号化ストリーム上のシームレスなス
プライスがリアルタイムのエンコードにて実現すること
ができ、接続後のストリームで受信デコーダが正常に動
作することを保証できる。

【００８７】

【発明の効果】本発明においては、接続する側の映像素
材の符号化ビット・ストリームを仮想的なバッファ検証
器に供給する際に、この仮想的なバッファ検証器が空状
態から満状態になるまでの所定時間を調整することによ
って、仮想的なバッファ検証器に所定量の余裕領域を設
定することにより、映像素材同士を接続したとしても、
ＶＢＶバッファが破綻することなく、また繋ぎ目の連続
性を保つことができ、復号化の際のピクチャがフリーズ
になることをも防止できる。

【図面の簡単な説明】

【図１】本発明の映像素材供給装置が適用されるシステ
ム構成を示すブロック回路図である。

【図２】スプライスする側のｖｂｖ＿ｄｅｌａｙの制御
と、ＶＢＶバッファのギャップをスタッフィングによっ
て埋めるようにする例を説明するための図である。

【図３】スキップド・マクロブロックを導入してＶＢＶ
バッファのアンダーフロウ（受信デコーダ側ではオーバ
ーフロウ）を防止する例を説明するための図である。

【図４】スタッフィング又はスキップド・マクロブロッ
クの何れを用いるようにするかの判断のフローチャート
を示す。

【図５】実際にＶＢＶバッファのデータ量制御のフロー
チャートを示す。

【図６】ＭＰＥＧ２のトランスポート・ストリームのデ
ータ構造を示す図である。

【図７】プログラムの接続時に、ＶＢＶバッファのバッ
ファ占有量が理想的状態となる場合についての説明に用
いる図である。

【図８】フリーズ及び表示同期乱れが起きる場合の説明
に用いる図である。

【図９】ＶＢＶバッファにオーバーフロウ又はアンダー
フロウが発生する場合の説明に用いる図である。

【符号の説明】

６２ビデオエンコーダ、６３オーディオエンコー
ダ、６４，６５パケタイザ、６６ＴＳＭＵＸ、
７１ＴＳＤＭＵＸ、７２，７３デパケタイザ、
７４ビデオデコーダ、７５オーディオデコー
ダ、８０エンコーダ、９０受信デコーダ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年７月２４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正内容】

【０００４】ここで、上記ＭＰＥＧ２の出力ストリー
ムには、２種類の方式があり、一つはプログラム・スト
リーム（ＭＰＥＧ２−ＰＳ、ＰＳ：Program Stream）と
呼ばれ、ＭＰＥＧ１と同様に蓄積メディア（strage med
ia）を対象にした方式である。もう一つは、トランスポ
ート・ストリーム（ＭＰＥＧ２−ＴＳ、ＴＳ：Transpor
t Stream）と呼ばれ、伝送媒体（伝送メディア）を対象
にした方式である。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正内容】

【０００５】このＭＰＥＧ２システムによれば、複数
のプログラムを１本のストリーム（データ列）にできる
ため、テレビ放送などにも対応でき、プログラム編成の
自由度が高く、種々のアプリケーションのための付加機
能をもっている。これら機能を実現するためのものとし
ては、例えば、ランダム・アクセスを容易にするための
ディレクトリ情報や、個別のストリーム毎の種別を表す
種別情報などがある。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】タイム・スタンプとは、各アクセス・ユ
ニット毎に付けられる復号再生処理の時刻管理のタグで
あり、２種類のタイム・スタンプがある。一つは、ＰＴ
Ｓ（Presentation Time Stamp）と呼ばれる再生出力の
時刻管理情報で、他方はＤＴＳ（Decoding Time Stam
p）と呼ばれる復号の時刻管理情報である。これらのタ
イム・スタンプは、あるパケットの中にアクセス・ユニ
ットの先頭がある場合には、パケット・ヘッダに付加す
る。ただし、パケットの中にアクセス・ユニットの先頭
がない場合には、パケット・ヘッダにタイム・スタンプ
は付加しないこととする。また、パケットの中に２つ以
上のアクセス・ユニットの先頭があっても、最初のアク
セス・ユニットに対応するタイム・スタンプだけをパケ
ット・ヘッダに付加する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】当該ＭＰＥＧ２のストリームには、前述
したように、ＰＳ（プログラム・ストリーム）と共に、
トランスポート・ストリーム（ＴＳ）と呼ばれるマルチ
プログラム対応の多重・分離方式の２種類の方式があ
る。トランスポート・パケットのヘッダ部分には、パケ
ット・データの内容識別情報があり、それによって目的
とするプログラム再生に必要なパケットをＤＭＵＸ（分
離器）を通じて取り出して復号することになる。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００２６

【補正方法】変更

【補正内容】

【００２６】上記同期バイト部には、復号器がトラン
スポート・パケットの先頭を検出するための８ビットの
同期信号が配置される。誤り表示（エラー・インジケー
タ）部には、このパケット中のビット・エラーの有無を
示す１ビットが配置され、ユニット開始表示部には、新
たなＰＥＳパケットが当該トランスポート・パケットの
ペイロード（実効的なパケット・データ）から始まるこ
とを示す１ビットが配置される。トランスポート・パケ
ット・プライオリティ（パケット優先度）部には、この
パケットの重要度を示す１ビットが配置され、ＰＩＤ
（Packet Identification、パケットの種別）部には、
該当パケットの個別ストリームの属性を示す１３ビット
のストリーム識別情報が配置される。スクランブル制御
部には、このパケットのペイロードのスクランブルの有
無，種別を示す２ビットが配置され、アダプテーション
・フィールド制御部には、このパケットでのアダプテー
ション・フィールドの有無及びペイロードの有無を示す
２ビットが配置される。巡回カウンタ部には、同じＰＩ
Ｄをもつパケットが途中で一部棄却されたかどうかを検
出するための情報が配置され、４ビットの巡回カウンタ
情報を連続性によって検出するようになされている。ア
ダプテーション・フィールド部には、個別ストリームに
関する付加情報やスタッフィング・バイト（無効データ
・バイト）をオプションで入れることができる。このこ
とから、個別ストリームの動的な状態変化の情報を伝送
することができる。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正内容】

【００２８】上記アダプテーション・フィールド長部
には、当該アダプテーション・フィールド部の長さを示
す８ビットが配置され、不連続インジケータ（不連続表
示）部には、次の同じＰＩＤのパケットで、システム・
クロックがリセットされ、新たな内容になることを示す
１ビットが配置される。ランダム・アクセス表示部は、
ビデオのシーケンス・ヘッダまたはオーディオのフレー
ムの始まりを示し、ランダム・アクセスのエントリー・
ポイントであることを示す１ビットが配置される。スト
リーム・プライオリティ（優先）・表示部は、この個別
ストリームの重要部分が、当該パケットのペイロードに
あることを示す１ビットが配置される。例えばビデオの
場合はイントラ符号化部分がこれに相当する。オプショ
ナル・フィールド部は、図６の（Ｄ）に示すように、４
２ビットのＰＣＲ（Program Clock Reference）部、４
２ビットのＯＰＣＲ（Original PCR）部、８ビットのス
プライス・カウントダウン部、トランスポート・プライ
ベート・データ長とデータ部、アダプテーション・フィ
ールド拡張部とからなる。上記スプライス・カウントダ
ウン部には、編集可能な点（スプライス・ポイント、Ｓ
Ｐ：Splice Point）までの同一のＰＩＤのトランスポー
ト・パケットの数を示す８ビットが配置される。この機
能によって、例えば伝送中継点でのコマーシャル挿入
（ストリームの一部入れ替え）などが可能となる。スタ
ッフィング・バイト部には、８×Ｍビットのスタッフィ
ング・バイトを配置可能となっている。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００５３

【補正方法】変更

【補正内容】

【００５３】すなわち、本発明によれば、予め仮想的
なバッファ検証器に所定量の余裕領域を設けておくこと
により、映像素材の符号化ビット・ストリームを接続す
る接続点で、仮想的なバッファ検証器がアンダーフロウ
することを防止している。また、仮想的なバッファ検証
器がオーバーフロウすることを防止するために、バッフ
ァ検証器の所定量の余裕領域はスタッフィングにより埋
めるようにしている。

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

Claims

【特許請求の範囲】

【請求項１】映像素材を圧縮符号化し、仮想的なバッ
ファ検証器の要求する条件を満たした符号化ビット・ス
トリームを生成すると共に、当該符号化ビット・ストリ
ームを接続する際の接続点の情報を付加して供給する映
像素材供給装置において、接続する側の映像素材の符号化ビット・ストリームを圧
縮符号化して上記仮想的なバッファ検証器に供給する際
に、当該仮想的なバッファ検証器が空状態から満状態に
なるまでの所定時間を調整することによって、上記仮想
的なバッファ検証器に所定量の余裕領域を設定する圧縮
符号化手段を有することを特徴とする映像素材供給装
置。
【請求項２】上記圧縮符号化手段は、上記接続点での
仮想的なバッファ検証器のバッファ占有量を、圧縮符号
化した符号化ビット・ストリームのビット・レートから
計算し、上記映像素材が表示される際の１表示時間単位
分を残す値に、上記仮想的なバッファ検証器の目標バッ
ファ占有量を設定することを特徴とする請求項１記載の
映像素材供給装置。
【請求項３】上記仮想的なバッファ検証器に設定した
上記所定量の余裕領域と上記映像素材が表示される際の
表示時間単位とに基づいて上記所定時間を調整すること
により、上記接続点での仮想的なバッファ検証器に生じ
たギャップを、スタッフィングにより埋めるスタッフィ
ング手段を設けることを特徴とする請求項１記載の映像
素材供給装置。
【請求項４】上記圧縮符号化手段は、上記接続点での
ビット発生量が、接続する側の映像素材において上記仮
想的なバッファ検証器に設定した上記所定量の余裕領域
を越えるとき、当該越える分をスキップすることを特徴
とする請求項１記載の映像素材供給装置。
【請求項５】上記圧縮符号化手段は、上記映像素材を
ＭＰＥＧ２方式にて圧縮符号化することを特徴とする請
求項１記載の映像素材供給装置。
【請求項６】上記圧縮符号化手段により生成された符
号化ビット・ストリームから、上記ＭＰＥＧ２方式の伝
送形態のビット・ストリームを生成する伝送形態ビット
・ストリーム生成手段を備えることを特徴とする請求項
５記載の映像素材供給装置。
【請求項７】映像素材を圧縮符号化し、仮想的なバッ
ファ検証器の要求する条件を満たした符号化ビット・ス
トリームを生成すると共に、当該符号化ビット・ストリ
ームを接続する際の接続点の情報を付加して供給する映
像素材供給方法において、接続する側の映像素材の符号化ビット・ストリームを圧
縮符号化して上記仮想的なバッファ検証器に供給する際
に、当該仮想的なバッファ検証器が空状態から満状態に
なるまでの所定時間を調整することによって、上記仮想
的なバッファ検証器に所定量の余裕領域を設定すること
を特徴とする映像素材供給方法。
【請求項８】上記接続点での仮想的なバッファ検証器
のバッファ占有量を、圧縮符号化した符号化ビット・ス
トリームのビット・レートから計算し、上記映像素材が
表示される際の１表示時間単位分を残す値に、上記仮想
的なバッファ検証器の目標バッファ占有量を設定するこ
とを特徴とする請求項７記載の映像素材供給方法。
【請求項９】上記仮想的なバッファ検証器に設定した
上記所定量の余裕領域と上記映像素材が表示される際の
表示時間単位とに基づいて上記所定時間を調整すること
により、上記接続点での仮想的なバッファ検証器に生じ
たギャップを、スタッフィングにより埋めることを特徴
とする請求項７記載の映像素材供給方法。
【請求項１０】上記接続点でのビット発生量が、接続
する側の映像素材において上記仮想的なバッファ検証器
に設定した上記所定量の余裕領域を越えるとき、当該越
える分をスキップすることを特徴とする請求項７記載の
映像素材供給方法。
【請求項１１】上記映像素材をＭＰＥＧ２方式にて圧
縮符号化することを特徴とする請求項７記載の映像素材
供給方法。
【請求項１２】上記圧縮符号化により生成された符号
化ビット・ストリームから、上記ＭＰＥＧ２方式の伝送
形態のビット・ストリームを生成することを特徴とする
請求項１１記載の映像素材供給方法。