JP3668556B2 - ディジタル信号符号化方法 - Google Patents
ディジタル信号符号化方法 Download PDFInfo
- Publication number
- JP3668556B2 JP3668556B2 JP15253496A JP15253496A JP3668556B2 JP 3668556 B2 JP3668556 B2 JP 3668556B2 JP 15253496 A JP15253496 A JP 15253496A JP 15253496 A JP15253496 A JP 15253496A JP 3668556 B2 JP3668556 B2 JP 3668556B2
- Authority
- JP
- Japan
- Prior art keywords
- buffer
- bit stream
- encoding
- encoded
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 10
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 3
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64746—Control signals issued by the network directed to the server or the client
- H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像信号及び音響信号等を、例えば光磁気ディスクや磁気テープ等の記録媒体に記録し、これを再生してディスプレイに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等、動画像信号及び音響信号等を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合等に用いて好適なディジタル信号符号化方法に関する。
【０００２】
【従来の技術】
近年において、例えば、画像信号や音響信号を、所定の標準規格の圧縮方式を用いて圧縮してディジタルのビットストリームデータを生成し、必要に応じてこれらを多重化して伝送することが行われる。
【０００３】
上記標準規格の具体例としては、ＭＰＥＧ（Moving Picture Coding Experts Group ）規格を挙げることができる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の蓄積用動画像符号化の検討組織の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【０００４】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、画像（フレーム又はフィールド）単位で、画像の時間および空間方向の相関を利用して、圧縮符号化を行うものである。
【０００５】
このような画像信号を圧縮符号化して、ディジタルの符号化ビットストリームを生成し、記録媒体あるいは伝送媒体などのメディアを介して、得られたビットストリームを復号するために用いられる装置全体の概略構成を、図５に示している。
【０００６】
この図５において、入力端子１０１に供給された画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１０２に送られて圧縮符号化される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１０３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ１０３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。また、この符号量の調節によって、送信バッファ１０３の出力段からは、安定したビットレートでのビットストリームが出力される。
【０００７】
出力された符号化ビットストリームは、伝送媒体や蓄積媒体等のメディア１０５を介して、復号側に送られる。復号側では、符号化と全く逆の操作を行う。すなわち、一定レートで送られてきたビットストリームを受信バッファ１０６が受け取り、復号装置１０７が受信バッファ１０６から符号化単位である符号化画像データ（アクセスユニット：ＡＵ）単位で読み出しを行う。従って、受信バッファ１０６からの読み出しは間欠的になる。この読み出された画像データは、復号装置１０７によって元の画像データに復元され、出力端子１０８より取り出される。
【０００８】
次に、図６は、上記図５の復号側の受信バッファ（デコーダバッファ）１０６の動作を説明するための図である。この図６は、受信バッファ１０６に入力された画像ビットストリームの占有率を図示したものである。この受信バッファ１０６には、一定レートで画像データが入力され、この一定レートの入力が右上がりの直線で示されている。それぞれの画像データＰ1,Ｐ2,Ｐ3,…は、基本的には、予め決められた各々の復号時刻ｔ1,ｔ2,ｔ3,…に、符号化単位（アクセスユニット単位：ＡＵ単位）でバッファから引き抜かれる。このため、バッファ占有量は、図６に示すように鋸歯状の軌跡を描くことになる。
【０００９】
このようなデコーダバッファをオーバーフローやアンダーフローさせないように符号化する、という内容が、上記規格ISO11172-2又はISO13818-2のAnnex C に規定されるＶＢＶ（Video Buffer Verifier） の規定である。この内容は、ビットストリームが上記ＭＰＥＧの条件を満足していると認定されるための必要条件となる。
【００１０】
【発明が解決しようとする課題】
ところで、上述したようなＭＰＥＧ１（ISO11172-2）、ＭＰＥＧ２（ISO13818-2）の規格に基づいて符号化された画像信号を複数扱う場合に、別々の系で独立に符号化されたビットストリームを結合することは、一般的に困難である。特に、結合点において、連続して画像が静止（フリーズ）せずに結合される、いわゆるシームレスな結合というのは、何ら制限を加えないで生成したビットストリームでは殆ど不可能である。
【００１１】
図７は、単純に２つのビットストリームを結合した例を示している。この図７の例においては、時間的に前の第１のビットストリームＢＳ１の表示終了の直後に、次の第２のビットストリームＢＳ２の復号を開始した場合を示している。一般にビットストリームの先頭では、バッファにある程度のデータを蓄積してから復号を開始するためのスタートアップディレイという待ち時間が必要である。このため、結合点Ｊでは、このディレイの分、次の復号画像の復号／表示が遅れることになり、表示フレームが数フレーム分静止（フリーズ）するという現象が生じる。従って、このような場合、いわゆるシームレスな再生が行えない。なお、この図７において、図中の時点ｘ１でデータ供給が停止して、結合点Ｊで第１のビットストリームＢＳ１の最後のピクチャが引き抜かれ、時点ｘ２でフレームをフリーズ（静止）してビットストリームを結合し、次の時点ｘ３で第２のビットストリームＢＳ２の最初のピクチャが引き抜かれている。ここで、上記第２のビットストリームＢＳ２のスタートアップディレイは、図６、図７から明らかなように、第２のビットストリームＢＳ２の最初のピクチャに対するＶＢＶ_delayに相当し、ＶＢＶ_delayとは、後述するように、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier）の規定により、デコーダ側のバッファにおいて引き抜かれるピクチャに対して必要とされるバッファ蓄積量を時間で示したものである。
【００１２】
次に、図８は、上記図７と同様なビットストリームをシームレスに再生するために、上記スタートアップディレイの分だけバッファへのデータ入力を前倒しした例を示している。この図８の例では、シームレスな再生を優先したため、時間的に後のビットストリームＢＳ2 の先頭の画像の復号が、時間的に前のビットストリームＢＳ1 の最後の画像の復号（図８中の結合点Ｊ）から、１／ＦＲ分（ただし、ＦＲはフレームレート）の時間後（図８中の時点ｘ2） に復号されるようになっている。この場合、ビットストリームＢＳ1 の最後の画像（結合点Ｊで引き抜かれるピクチャ）の復号より前（図８中の時点ｘ1） に、ビットストリームＢＳ2 がバッファに入力されるために、ビットストリームＢＳ1 の最後の画像の復号時（結合点Ｊ）に、デコーダバッファの占有量がオーバーフローを引き起こすことになる。
【００１３】
すなわち、従来の符号化方法で符号化された画像信号のビットストリームをシームレスに結合することは、一般的にほぼ不可能であった。
【００１４】
本発明は、上述したような実情に鑑みてなされたものであり、２つの画像信号のビットストリームを結合する場合に、デコーダバッファの占有量がオーバーフローやアンダーフローすることなく、また静止画を挟むことなくシームレスに結合が行えるようなディジタル信号符号化方法の提供を目的とするものである。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、ディジタル信号を符号化するディジタル信号符号化方法において、圧縮符号化された複数のビットストリームを結合する場合、時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、上記制限開始時刻は、符号化ビットレートをＲＢ とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）であり、上記第１の制限は、上記受信バッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ 以下とすることを特徴としている。
【００１６】
ここで、上記第２のビットストリームの先頭での送信バッファのバッファ占有量に対して、上記第２のビットストリームの最初の画像のＶＢＶバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整することが好ましい。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２０】
図１は、本発明の実施の形態を説明するための図である。この図１に示す実施の形態においては、入力端子１１に供給された第１の画像信号を符号化装置１０で符号化して得られた第１のビットストリームの後に、入力端子２１に供給された第２の画像信号を符号化装置２０で符号化して得られた第２のビットストリームを結合する場合を想定している。
【００２１】
図１の符号化装置１０の入力端子１１に供給された第１の画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１２に送られて圧縮符号化され、第１のビットストリームとして取り出される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１３を設けて、このバッファの占有量を符号化部１２にフィードバックさせることによって、送信バッファ１３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、上記第１の画像信号を符号化して得られる第１のビットストリームの終端付近のデコーダバッファ占有量に対して制限を設けて符号化しており、特に、第１のビットストリームの後に連結される第２のビットストリームのスタートアップに必要とされるデコーダバッファ量を確保するための制限を、第１のビットストリームの終端付近のバッファ占有量に対して設けている。この制限については、端子１４からの制御信号に応じて施されるものであるが、その内容については図２を参照しながら後述する。
【００２２】
また、符号化装置２０の入力端子２１に供給された第２の画像信号は、上述と同様にＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部２２に送られて圧縮符号化され、第２のビットストリームとされるが、出力段に送信バッファ２３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ２３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、第２のビットストリームの先頭付近のバッファ占有量に対して制限を設けており、特に、上記第２のビットストリームのスタートアップに必要とされるバッファ量を確保するための制限を、第２のビットストリームの先頭付近のバッファ占有量に対して設けている。この制限については、端子２４からの制御信号に応じて施されるものであるが、その内容については図３を参照しながら後述する。
【００２３】
これらの符号化装置１０からの第１のビットストリーム及び符号化装置２０からの第２のビットストリームは、ビットストリーム結合部３０において第１のビットストリームの後に第２のビットストリームの順に結合され、出力端子３６より取り出される。この結合については、図４を参照しながら後述する。
【００２４】
すなわち、結合部３０で結合する第１、第２のビットストリームの時間的に前の第１のビットストリームの終端近傍でのバッファ占有量にある制限を設けて符号化装置１０で符号化しておき、なおかつ時間的に後ろの第２のビットストリームの先頭部分でのバッファ占有量にある制限を設けて符号化装置２０で符号化しておくことによって、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier） の規定を守り、かつシームレスに、すなわち画像の表示がフリーズ等を伴わず連続して行えるように結合するわけである。
【００２５】
これは、結合点においてシームレスな結合を行った場合、上述した従来例に説明したようなデコーダバッファのオーバーフローが起きる可能性があるため、シームレス結合に必要なスタートアップに必要とされるバッファ量を予め見込んで、結合点の前後における符号化制御を行うものである。
【００２６】
具体的には、結合点Ｊの前に位置する第１のビットストリームＢＳ1 の終わり付近のビットレートを、図２に示すように制限する。ここで、予め決められた、連結される後ろの第２のビットストリームをシームレスに連結した場合のスタートアップに必要なバッファ量をαとする。このバッファ量αは、現実の運用において適当な値を設定する。符号化ビットレートをＲB で表し、バッファの全容量をＢＦとし、最後の画像のバッファからの引き抜き時刻をＴとする。
【００２７】
この場合、結合点Ｊの時刻をＴとすると、バッファ占有量の制限としては、
Ｔ−（α／ＲＢ ）
の時刻から開始され、この時刻をｔ＝０として、時間が進む方向を正とし、バッファの占有量はｔの関数として表されるため、これをＢＯ(t) とすると、
ＢＯ(t)＝ＢＦ−ＲＢ ×ｔ
となるような制限を加えて、結合よりも時間的に前のビットストリームの終端近傍を符号化する。これが結合点の前における第１のビットストリームＢＳ１ への制限となる。図１においては、端子１４からの制御信号が符号化部１２に与えられることにより、ビットストリームの終端付近の符号化の際に、上述したような制限が加えられる。
【００２８】
同様に、結合点Ｊの後ろに位置する第２のビットストリームＢＳ２の先頭付近のビットレートを、図３に示すように制限する。最初のフレームの表示時刻の１／ＲＦ前のバッファ占有量が上記αより小さいように、スタートアップ時のビットレートを制限しておくわけである。すなわち、後ろの第２のビットストリームＢＳ２の先頭のピクチャのバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとした場合に、（Ｔ’−１／ＲＦ）の時刻におけるバッファ占有量βが、予め決められた第２のビットストリームＢＳ２をシームレスに連結した場合のスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて、後ろの第２のビットストリームＢＳ２の先頭部分を符号化する。図１においては、端子２４からの制御信号が符号化部２２に与えられることにより、ビットストリームの先頭付近の符号化の際に、上述したような制限が加えられる。このとき、上述したように図１の送信バッファ２３のバッファ占有量を符号化部２２にフィードバックさせることによって、送信バッファ２３に対して上記制限をオーバーフローさせないように符号化部２２での画像の符号量を調整するものである。
【００２９】
この図３中のＶＢＶ_delayとは、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier）の規定により、デコーダ側のバッファにおいて引き抜かれるピクチャに対して必要とされるバッファ蓄積量を時間で示したものであり、デコーダにビットストリームが供給が開始されてＶＢＶ_delayの期間が経過した時刻（Ｔ’）に、最初の表示単位のピクチャがバッファから引き抜かれ、復号される。
【００３０】
以上の図２、図３と共に説明したような制限が加えられて符号化された第１、第２のビットストリームを、図１のビットストリーム結合部３０に送って結合する場合の具体例について、図４を参照しながら説明する。
【００３１】
図４は、上述した条件に従ってエンコードしたものを結合した具体例を示している。この場合、前の第１のビットストリームＢＳ1 の最後の部分では、上記αの分のバッファ占有量と、これを時間換算したα／ＲB の分のスタートアップディレイをマージンとして持っているために、後ろの第２のビットストリームＢＳ2 を結合しても、バッファのオーバーフローを引き起こすことはない。また、実際の結合では、前の第１のビットストリームＢＳ1 の最後の部分のsequence_end_code （シーケンスエンドコード）を削除し、削除されたsequence_end_code と（α−β）の分については、ビット充填（bit stuffing）を行うことで、整合性の保たれた結合が可能となる。
【００３２】
すなわち、第１のビットストリームＢＳ1 の最後のレートコントロールを、上記αを用いたオーバーフローレベルＢＯ(t) に抑え込むように第１の符号化装置１０で符号化し、第２のビットストリームＢＳ2 の先頭で、時刻（Ｔ’−１／ＲF ）でのバッファ占有量βが上記αより小さくなる（β＜α）ように第２の符号化装置２０で符号化することにより、シームレスな結合を行ってもバッファがオーバーフローしないことが保証され、αとβとの差分及び上記削除された第１のビットストリームＢＳ1 び終端の部分のsequence_end_code については、無効データ（例えば０等）を充填することで、ＭＰＥＧのＶＢＶ（Video Buffer Verifier） の規定の整合性を保ったままでビットストリームの結合を実現している。
【００３３】
ここで、図１のビットストリーム結合部３０においては、符号化装置１０からの第１のビットストリームＢＳ1 の最後の部分のsequence_end_code をデマルチプレクサ３１で検出してＣＰＵ３５に送っており、符号化装置２０からの第２のビットストリームＢＳ2 の先頭の部分のsequence_start_code （シーケンススタートコード）をデマルチプレクサ３２で検出してＣＰＵ３５に送っている。これらのデマルチプレクサ３１、３２からの第１、第２のビットストリームＢＳ1 、ＢＳ2 は、切換スイッチ３４の被選択端子ａ，ｂにそれぞれ送られており、切換スイッチ３４の第３の被選択端子ｃには、ビット充填回路３３からの充填用ビットが供給されている。この切換スイッチ３４は、ＣＰＵ３５からの制御信号により切換制御されており、ＣＰＵ３５は、デマルチプレクサ３１、３２からの第１のビットストリームＢＳ1 の最後の部分のsequence_end_code や、第２のビットストリームＢＳ2 の先頭の部分のsequence_start_code に基づいて、切換スイッチ３４を被選択端子ａからｃを介してｂに順次切換接続することにより、第１のビットストリームＢＳ1 の最後の部分のsequence_end_code を削除すると共に、このsequence_end_code と上記α−βの分を、ビット充填回路３３からの充填ビット（スタッフィングビット）ＳＴで補充して、第２のビットストリームＢＳ2 に連結している。切換スイッチ３４からの出力ビットストリームは、出力端子３６を介して取り出される。
【００３４】
ところで、以上は符号化装置１０から出力された第１のビットストリームの後に符号化装置２０から出力された第２のビットストリームを連結した場合の例であるが、符号化装置２０から出力されたビットストリームの後に符号化装置１０から出力されたビットストリームを結合する場合には、符号化装置２０から出力されるビットストリームの終端付近で上記バッファ量αに基づくオーバーフローレベルＢＯ(t) に抑え込むように符号化装置２０での符号化を制限し、符号化装置１０から出力されるビットストリームの先頭で、時刻（Ｔ’−１／ＲF ）での上記バッファ占有量βが上記αより小さくなる（β＜α）ように符号化装置１０での符号化を制限すればよい。この場合には、ビットストリーム結合部３０は、デマルチプレクサ３２が符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を検出してＣＰＵ３５に送り、デマルチプレクサ３１が符号化装置１０から出力されたビットストリームの先頭の部分のsequence_start_code を検出してＣＰＵ３５に送ることになる。これらの情報に基づいて、ＣＰＵ３５は、切換スイッチ３４の被選択端子ｂからｃを経てａの順に切換制御し、符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を削除して、ビット充填回路３３からの充填ビットをこのsequence_end_code と（α−β）の分だけ充填した後に、符号化装置１０から出力されたビットストリームを連結して、出力端子３６に送る。
【００３５】
また、符号化装置１０から出力される１つのビットストリームについて、当該ビットストリームの先頭部分に上記図３の制限を加えた符号化を施し、該ビットストリームの終端部分に上記図２の制限を加えた符号化を施すことにより、当該ビットストリームの前後にそれぞれ他のビットストリームを結合することができるようになる。
【００３６】
上述したような図１の構成が適用されるシステムの具体例としては、例えば放送衛星等を介してメインの放送局とローカルの放送局とが結ばれて成るような放送ネットワークを挙げることができる。この放送ネットワークにおいて、メインの放送局からの番組を符号化装置１０で符号化して各ローカル局に提供し、各ローカル局では、それぞれの地域毎のローカルニュースやＣＭ等を符号化装置２０で符号化したものを結合して出力端子３６より取り出し、それぞれの地域内に送出する。このとき、メインの局からの放送番組のビットストリームの終端部分については、バッファ占有量が上記図２と共に説明したＢＯ(t)＝ＢＦ−ＲB ｔ を越えない制限が加えられた符号化が施されており、この後に結合されるローカル局からの信号のビットストリームの先頭部分については、上記図３と共に説明したように、上記時刻（Ｔ’−１／ＲF ）でのバッファ占有量βが上記バッファ量αを越えない（β＜α）ような制限が加えられた符号化が施されており、これらが結合部３０でビット充填を含めてシームレスに結合されて得られたビットストリームについては、デコード時にバッファの破綻がない、すなわちバッファのオーバーフローやアンダーフローが生じない。
【００３７】
以上説明したような実施の形態によれば、画像信号を上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを結合する場合に、上記ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続して行えるようなシームレスに結合することがができる。
【００３８】
【発明の効果】
本発明によれば、複数のビットストリームを結合する場合に、結合点の前の第１のビットストリームの終端付近のデコーダバッファ占有量に対して、第１の所定の制限を設けて符号化し、また、結合点の後の第２のビットストリームの先頭付近のデコーダバッファ占有量に対して、第２の所定の制限を設けて符号化しているため、シームレスな結合をバッファの破綻無く行うことができる。
【００３９】
ここで、第１、第２の制限は、第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限であり、このような制限を加えて符号化された第１、第２のビットストリームを結合することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを、ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続してビットストリームの結合が行える。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するための２系統の符号化装置からのビットストリームを結合するシステムの概略構成を示すブロック図である。
【図２】本発明の実施の形態における結合点の前の第１のビットストリームの符号化の際の制限を説明するための図である。
【図３】本発明の実施の形態における結合点の後の第２のビットストリームの符号化の際の制限を説明するための図である。
【図４】本発明の実施の形態における第１のビットストリームと第２のビットストリームとの結合を説明するための図である。
【図５】画像信号符号化装置及び復号装置から成るシステムの概略構成を示すブロック図である。
【図６】受信バッファ（デコーダバッファ）のバッファ占有量の変化を示す図である。
【図７】２つのビットストリームのフレームのフリーズ（静止）を伴う結合の例を説明するための図である。
【図８】２つのビットストリームをシームレスに結合する場合の例を説明するための図である。
【符号の説明】
１０，２０ 符号化装置、 １２，２２ 符号化部、 １３，２３ 送信バッファ、 ３０ ビットストリーム結合部、 ３１，３２ デマルチプレクサ、 ３３ ビット充填回路、 ３４ 切換スイッチ、 ３５ ＣＰＵ
【発明の属する技術分野】
本発明は、動画像信号及び音響信号等を、例えば光磁気ディスクや磁気テープ等の記録媒体に記録し、これを再生してディスプレイに表示したり、テレビ会議システム、テレビ電話システム、放送用機器等、動画像信号及び音響信号等を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合等に用いて好適なディジタル信号符号化方法に関する。
【０００２】
【従来の技術】
近年において、例えば、画像信号や音響信号を、所定の標準規格の圧縮方式を用いて圧縮してディジタルのビットストリームデータを生成し、必要に応じてこれらを多重化して伝送することが行われる。
【０００３】
上記標準規格の具体例としては、ＭＰＥＧ（Moving Picture Coding Experts Group ）規格を挙げることができる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の蓄積用動画像符号化の検討組織の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【０００４】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、画像（フレーム又はフィールド）単位で、画像の時間および空間方向の相関を利用して、圧縮符号化を行うものである。
【０００５】
このような画像信号を圧縮符号化して、ディジタルの符号化ビットストリームを生成し、記録媒体あるいは伝送媒体などのメディアを介して、得られたビットストリームを復号するために用いられる装置全体の概略構成を、図５に示している。
【０００６】
この図５において、入力端子１０１に供給された画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１０２に送られて圧縮符号化される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１０３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ１０３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。また、この符号量の調節によって、送信バッファ１０３の出力段からは、安定したビットレートでのビットストリームが出力される。
【０００７】
出力された符号化ビットストリームは、伝送媒体や蓄積媒体等のメディア１０５を介して、復号側に送られる。復号側では、符号化と全く逆の操作を行う。すなわち、一定レートで送られてきたビットストリームを受信バッファ１０６が受け取り、復号装置１０７が受信バッファ１０６から符号化単位である符号化画像データ（アクセスユニット：ＡＵ）単位で読み出しを行う。従って、受信バッファ１０６からの読み出しは間欠的になる。この読み出された画像データは、復号装置１０７によって元の画像データに復元され、出力端子１０８より取り出される。
【０００８】
次に、図６は、上記図５の復号側の受信バッファ（デコーダバッファ）１０６の動作を説明するための図である。この図６は、受信バッファ１０６に入力された画像ビットストリームの占有率を図示したものである。この受信バッファ１０６には、一定レートで画像データが入力され、この一定レートの入力が右上がりの直線で示されている。それぞれの画像データＰ1,Ｐ2,Ｐ3,…は、基本的には、予め決められた各々の復号時刻ｔ1,ｔ2,ｔ3,…に、符号化単位（アクセスユニット単位：ＡＵ単位）でバッファから引き抜かれる。このため、バッファ占有量は、図６に示すように鋸歯状の軌跡を描くことになる。
【０００９】
このようなデコーダバッファをオーバーフローやアンダーフローさせないように符号化する、という内容が、上記規格ISO11172-2又はISO13818-2のAnnex C に規定されるＶＢＶ（Video Buffer Verifier） の規定である。この内容は、ビットストリームが上記ＭＰＥＧの条件を満足していると認定されるための必要条件となる。
【００１０】
【発明が解決しようとする課題】
ところで、上述したようなＭＰＥＧ１（ISO11172-2）、ＭＰＥＧ２（ISO13818-2）の規格に基づいて符号化された画像信号を複数扱う場合に、別々の系で独立に符号化されたビットストリームを結合することは、一般的に困難である。特に、結合点において、連続して画像が静止（フリーズ）せずに結合される、いわゆるシームレスな結合というのは、何ら制限を加えないで生成したビットストリームでは殆ど不可能である。
【００１１】
図７は、単純に２つのビットストリームを結合した例を示している。この図７の例においては、時間的に前の第１のビットストリームＢＳ１の表示終了の直後に、次の第２のビットストリームＢＳ２の復号を開始した場合を示している。一般にビットストリームの先頭では、バッファにある程度のデータを蓄積してから復号を開始するためのスタートアップディレイという待ち時間が必要である。このため、結合点Ｊでは、このディレイの分、次の復号画像の復号／表示が遅れることになり、表示フレームが数フレーム分静止（フリーズ）するという現象が生じる。従って、このような場合、いわゆるシームレスな再生が行えない。なお、この図７において、図中の時点ｘ１でデータ供給が停止して、結合点Ｊで第１のビットストリームＢＳ１の最後のピクチャが引き抜かれ、時点ｘ２でフレームをフリーズ（静止）してビットストリームを結合し、次の時点ｘ３で第２のビットストリームＢＳ２の最初のピクチャが引き抜かれている。ここで、上記第２のビットストリームＢＳ２のスタートアップディレイは、図６、図７から明らかなように、第２のビットストリームＢＳ２の最初のピクチャに対するＶＢＶ_delayに相当し、ＶＢＶ_delayとは、後述するように、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier）の規定により、デコーダ側のバッファにおいて引き抜かれるピクチャに対して必要とされるバッファ蓄積量を時間で示したものである。
【００１２】
次に、図８は、上記図７と同様なビットストリームをシームレスに再生するために、上記スタートアップディレイの分だけバッファへのデータ入力を前倒しした例を示している。この図８の例では、シームレスな再生を優先したため、時間的に後のビットストリームＢＳ2 の先頭の画像の復号が、時間的に前のビットストリームＢＳ1 の最後の画像の復号（図８中の結合点Ｊ）から、１／ＦＲ分（ただし、ＦＲはフレームレート）の時間後（図８中の時点ｘ2） に復号されるようになっている。この場合、ビットストリームＢＳ1 の最後の画像（結合点Ｊで引き抜かれるピクチャ）の復号より前（図８中の時点ｘ1） に、ビットストリームＢＳ2 がバッファに入力されるために、ビットストリームＢＳ1 の最後の画像の復号時（結合点Ｊ）に、デコーダバッファの占有量がオーバーフローを引き起こすことになる。
【００１３】
すなわち、従来の符号化方法で符号化された画像信号のビットストリームをシームレスに結合することは、一般的にほぼ不可能であった。
【００１４】
本発明は、上述したような実情に鑑みてなされたものであり、２つの画像信号のビットストリームを結合する場合に、デコーダバッファの占有量がオーバーフローやアンダーフローすることなく、また静止画を挟むことなくシームレスに結合が行えるようなディジタル信号符号化方法の提供を目的とするものである。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、ディジタル信号を符号化するディジタル信号符号化方法において、圧縮符号化された複数のビットストリームを結合する場合、時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、上記制限開始時刻は、符号化ビットレートをＲＢ とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）であり、上記第１の制限は、上記受信バッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ 以下とすることを特徴としている。
【００１６】
ここで、上記第２のビットストリームの先頭での送信バッファのバッファ占有量に対して、上記第２のビットストリームの最初の画像のＶＢＶバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整することが好ましい。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２０】
図１は、本発明の実施の形態を説明するための図である。この図１に示す実施の形態においては、入力端子１１に供給された第１の画像信号を符号化装置１０で符号化して得られた第１のビットストリームの後に、入力端子２１に供給された第２の画像信号を符号化装置２０で符号化して得られた第２のビットストリームを結合する場合を想定している。
【００２１】
図１の符号化装置１０の入力端子１１に供給された第１の画像信号は、上述したいわゆるＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部１２に送られて圧縮符号化され、第１のビットストリームとして取り出される。この場合に、各画像が圧縮の単位となるが、この圧縮符号化された画像データの大きさは一定ではないので、出力段に送信バッファ１３を設けて、このバッファの占有量を符号化部１２にフィードバックさせることによって、送信バッファ１３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、上記第１の画像信号を符号化して得られる第１のビットストリームの終端付近のデコーダバッファ占有量に対して制限を設けて符号化しており、特に、第１のビットストリームの後に連結される第２のビットストリームのスタートアップに必要とされるデコーダバッファ量を確保するための制限を、第１のビットストリームの終端付近のバッファ占有量に対して設けている。この制限については、端子１４からの制御信号に応じて施されるものであるが、その内容については図２を参照しながら後述する。
【００２２】
また、符号化装置２０の入力端子２１に供給された第２の画像信号は、上述と同様にＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号化部２２に送られて圧縮符号化され、第２のビットストリームとされるが、出力段に送信バッファ２３を設けて、このバッファの占有量を符号化装置にフィードバックさせることによって、送信バッファ２３をオーバーフロー／アンダーフローさせないように画像の符号量を調整している。このとき、第２のビットストリームの先頭付近のバッファ占有量に対して制限を設けており、特に、上記第２のビットストリームのスタートアップに必要とされるバッファ量を確保するための制限を、第２のビットストリームの先頭付近のバッファ占有量に対して設けている。この制限については、端子２４からの制御信号に応じて施されるものであるが、その内容については図３を参照しながら後述する。
【００２３】
これらの符号化装置１０からの第１のビットストリーム及び符号化装置２０からの第２のビットストリームは、ビットストリーム結合部３０において第１のビットストリームの後に第２のビットストリームの順に結合され、出力端子３６より取り出される。この結合については、図４を参照しながら後述する。
【００２４】
すなわち、結合部３０で結合する第１、第２のビットストリームの時間的に前の第１のビットストリームの終端近傍でのバッファ占有量にある制限を設けて符号化装置１０で符号化しておき、なおかつ時間的に後ろの第２のビットストリームの先頭部分でのバッファ占有量にある制限を設けて符号化装置２０で符号化しておくことによって、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier） の規定を守り、かつシームレスに、すなわち画像の表示がフリーズ等を伴わず連続して行えるように結合するわけである。
【００２５】
これは、結合点においてシームレスな結合を行った場合、上述した従来例に説明したようなデコーダバッファのオーバーフローが起きる可能性があるため、シームレス結合に必要なスタートアップに必要とされるバッファ量を予め見込んで、結合点の前後における符号化制御を行うものである。
【００２６】
具体的には、結合点Ｊの前に位置する第１のビットストリームＢＳ1 の終わり付近のビットレートを、図２に示すように制限する。ここで、予め決められた、連結される後ろの第２のビットストリームをシームレスに連結した場合のスタートアップに必要なバッファ量をαとする。このバッファ量αは、現実の運用において適当な値を設定する。符号化ビットレートをＲB で表し、バッファの全容量をＢＦとし、最後の画像のバッファからの引き抜き時刻をＴとする。
【００２７】
この場合、結合点Ｊの時刻をＴとすると、バッファ占有量の制限としては、
Ｔ−（α／ＲＢ ）
の時刻から開始され、この時刻をｔ＝０として、時間が進む方向を正とし、バッファの占有量はｔの関数として表されるため、これをＢＯ(t) とすると、
ＢＯ(t)＝ＢＦ−ＲＢ ×ｔ
となるような制限を加えて、結合よりも時間的に前のビットストリームの終端近傍を符号化する。これが結合点の前における第１のビットストリームＢＳ１ への制限となる。図１においては、端子１４からの制御信号が符号化部１２に与えられることにより、ビットストリームの終端付近の符号化の際に、上述したような制限が加えられる。
【００２８】
同様に、結合点Ｊの後ろに位置する第２のビットストリームＢＳ２の先頭付近のビットレートを、図３に示すように制限する。最初のフレームの表示時刻の１／ＲＦ前のバッファ占有量が上記αより小さいように、スタートアップ時のビットレートを制限しておくわけである。すなわち、後ろの第２のビットストリームＢＳ２の先頭のピクチャのバッファからの引き抜き時刻をＴ’とし、フレームレートをＲＦとした場合に、（Ｔ’−１／ＲＦ）の時刻におけるバッファ占有量βが、予め決められた第２のビットストリームＢＳ２をシームレスに連結した場合のスタートアップに必要なバッファ量αに対して、β＜αとなるような制限を加えて、後ろの第２のビットストリームＢＳ２の先頭部分を符号化する。図１においては、端子２４からの制御信号が符号化部２２に与えられることにより、ビットストリームの先頭付近の符号化の際に、上述したような制限が加えられる。このとき、上述したように図１の送信バッファ２３のバッファ占有量を符号化部２２にフィードバックさせることによって、送信バッファ２３に対して上記制限をオーバーフローさせないように符号化部２２での画像の符号量を調整するものである。
【００２９】
この図３中のＶＢＶ_delayとは、上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video Buffer Verifier）の規定により、デコーダ側のバッファにおいて引き抜かれるピクチャに対して必要とされるバッファ蓄積量を時間で示したものであり、デコーダにビットストリームが供給が開始されてＶＢＶ_delayの期間が経過した時刻（Ｔ’）に、最初の表示単位のピクチャがバッファから引き抜かれ、復号される。
【００３０】
以上の図２、図３と共に説明したような制限が加えられて符号化された第１、第２のビットストリームを、図１のビットストリーム結合部３０に送って結合する場合の具体例について、図４を参照しながら説明する。
【００３１】
図４は、上述した条件に従ってエンコードしたものを結合した具体例を示している。この場合、前の第１のビットストリームＢＳ1 の最後の部分では、上記αの分のバッファ占有量と、これを時間換算したα／ＲB の分のスタートアップディレイをマージンとして持っているために、後ろの第２のビットストリームＢＳ2 を結合しても、バッファのオーバーフローを引き起こすことはない。また、実際の結合では、前の第１のビットストリームＢＳ1 の最後の部分のsequence_end_code （シーケンスエンドコード）を削除し、削除されたsequence_end_code と（α−β）の分については、ビット充填（bit stuffing）を行うことで、整合性の保たれた結合が可能となる。
【００３２】
すなわち、第１のビットストリームＢＳ1 の最後のレートコントロールを、上記αを用いたオーバーフローレベルＢＯ(t) に抑え込むように第１の符号化装置１０で符号化し、第２のビットストリームＢＳ2 の先頭で、時刻（Ｔ’−１／ＲF ）でのバッファ占有量βが上記αより小さくなる（β＜α）ように第２の符号化装置２０で符号化することにより、シームレスな結合を行ってもバッファがオーバーフローしないことが保証され、αとβとの差分及び上記削除された第１のビットストリームＢＳ1 び終端の部分のsequence_end_code については、無効データ（例えば０等）を充填することで、ＭＰＥＧのＶＢＶ（Video Buffer Verifier） の規定の整合性を保ったままでビットストリームの結合を実現している。
【００３３】
ここで、図１のビットストリーム結合部３０においては、符号化装置１０からの第１のビットストリームＢＳ1 の最後の部分のsequence_end_code をデマルチプレクサ３１で検出してＣＰＵ３５に送っており、符号化装置２０からの第２のビットストリームＢＳ2 の先頭の部分のsequence_start_code （シーケンススタートコード）をデマルチプレクサ３２で検出してＣＰＵ３５に送っている。これらのデマルチプレクサ３１、３２からの第１、第２のビットストリームＢＳ1 、ＢＳ2 は、切換スイッチ３４の被選択端子ａ，ｂにそれぞれ送られており、切換スイッチ３４の第３の被選択端子ｃには、ビット充填回路３３からの充填用ビットが供給されている。この切換スイッチ３４は、ＣＰＵ３５からの制御信号により切換制御されており、ＣＰＵ３５は、デマルチプレクサ３１、３２からの第１のビットストリームＢＳ1 の最後の部分のsequence_end_code や、第２のビットストリームＢＳ2 の先頭の部分のsequence_start_code に基づいて、切換スイッチ３４を被選択端子ａからｃを介してｂに順次切換接続することにより、第１のビットストリームＢＳ1 の最後の部分のsequence_end_code を削除すると共に、このsequence_end_code と上記α−βの分を、ビット充填回路３３からの充填ビット（スタッフィングビット）ＳＴで補充して、第２のビットストリームＢＳ2 に連結している。切換スイッチ３４からの出力ビットストリームは、出力端子３６を介して取り出される。
【００３４】
ところで、以上は符号化装置１０から出力された第１のビットストリームの後に符号化装置２０から出力された第２のビットストリームを連結した場合の例であるが、符号化装置２０から出力されたビットストリームの後に符号化装置１０から出力されたビットストリームを結合する場合には、符号化装置２０から出力されるビットストリームの終端付近で上記バッファ量αに基づくオーバーフローレベルＢＯ(t) に抑え込むように符号化装置２０での符号化を制限し、符号化装置１０から出力されるビットストリームの先頭で、時刻（Ｔ’−１／ＲF ）での上記バッファ占有量βが上記αより小さくなる（β＜α）ように符号化装置１０での符号化を制限すればよい。この場合には、ビットストリーム結合部３０は、デマルチプレクサ３２が符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を検出してＣＰＵ３５に送り、デマルチプレクサ３１が符号化装置１０から出力されたビットストリームの先頭の部分のsequence_start_code を検出してＣＰＵ３５に送ることになる。これらの情報に基づいて、ＣＰＵ３５は、切換スイッチ３４の被選択端子ｂからｃを経てａの順に切換制御し、符号化装置２０から出力されたビットストリームの終端の部分のsequence_end_code を削除して、ビット充填回路３３からの充填ビットをこのsequence_end_code と（α−β）の分だけ充填した後に、符号化装置１０から出力されたビットストリームを連結して、出力端子３６に送る。
【００３５】
また、符号化装置１０から出力される１つのビットストリームについて、当該ビットストリームの先頭部分に上記図３の制限を加えた符号化を施し、該ビットストリームの終端部分に上記図２の制限を加えた符号化を施すことにより、当該ビットストリームの前後にそれぞれ他のビットストリームを結合することができるようになる。
【００３６】
上述したような図１の構成が適用されるシステムの具体例としては、例えば放送衛星等を介してメインの放送局とローカルの放送局とが結ばれて成るような放送ネットワークを挙げることができる。この放送ネットワークにおいて、メインの放送局からの番組を符号化装置１０で符号化して各ローカル局に提供し、各ローカル局では、それぞれの地域毎のローカルニュースやＣＭ等を符号化装置２０で符号化したものを結合して出力端子３６より取り出し、それぞれの地域内に送出する。このとき、メインの局からの放送番組のビットストリームの終端部分については、バッファ占有量が上記図２と共に説明したＢＯ(t)＝ＢＦ−ＲB ｔ を越えない制限が加えられた符号化が施されており、この後に結合されるローカル局からの信号のビットストリームの先頭部分については、上記図３と共に説明したように、上記時刻（Ｔ’−１／ＲF ）でのバッファ占有量βが上記バッファ量αを越えない（β＜α）ような制限が加えられた符号化が施されており、これらが結合部３０でビット充填を含めてシームレスに結合されて得られたビットストリームについては、デコード時にバッファの破綻がない、すなわちバッファのオーバーフローやアンダーフローが生じない。
【００３７】
以上説明したような実施の形態によれば、画像信号を上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを結合する場合に、上記ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続して行えるようなシームレスに結合することがができる。
【００３８】
【発明の効果】
本発明によれば、複数のビットストリームを結合する場合に、結合点の前の第１のビットストリームの終端付近のデコーダバッファ占有量に対して、第１の所定の制限を設けて符号化し、また、結合点の後の第２のビットストリームの先頭付近のデコーダバッファ占有量に対して、第２の所定の制限を設けて符号化しているため、シームレスな結合をバッファの破綻無く行うことができる。
【００３９】
ここで、第１、第２の制限は、第２のビットストリームのスタートアップに必要なデコーダバッファ量を確保するための制限であり、このような制限を加えて符号化された第１、第２のビットストリームを結合することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）を用いて圧縮符号化された２本のビデオのビットストリームを、ＶＢＶ（Video Buffer Verifier） の規定を守り、かつ画像の表示がフリーズ（静止）などを伴わずに連続してビットストリームの結合が行える。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するための２系統の符号化装置からのビットストリームを結合するシステムの概略構成を示すブロック図である。
【図２】本発明の実施の形態における結合点の前の第１のビットストリームの符号化の際の制限を説明するための図である。
【図３】本発明の実施の形態における結合点の後の第２のビットストリームの符号化の際の制限を説明するための図である。
【図４】本発明の実施の形態における第１のビットストリームと第２のビットストリームとの結合を説明するための図である。
【図５】画像信号符号化装置及び復号装置から成るシステムの概略構成を示すブロック図である。
【図６】受信バッファ（デコーダバッファ）のバッファ占有量の変化を示す図である。
【図７】２つのビットストリームのフレームのフリーズ（静止）を伴う結合の例を説明するための図である。
【図８】２つのビットストリームをシームレスに結合する場合の例を説明するための図である。
【符号の説明】
１０，２０ 符号化装置、 １２，２２ 符号化部、 １３，２３ 送信バッファ、 ３０ ビットストリーム結合部、 ３１，３２ デマルチプレクサ、 ３３ ビット充填回路、 ３４ 切換スイッチ、 ３５ ＣＰＵ
Claims (2)
- ディジタル信号を符号化するディジタル信号符号化方法において、
圧縮符号化された複数のビットストリームを結合する場合、
時間的に前となる第１のビットストリームの制限開始時刻から終端までの送信バッファに設定されるデコーダバッファ占有量に第１の制限を設け、上記バッファ占有量を符号化部にフィードバックすることにより上記第１の制限を守るように該符号化部で符号化される画像の符号量を調整するようにし、
上記第１のビットストリームに結合される時間的に後の符号化された第２のビットストリームの最初のＶＢＶ_delayに必要な上記デコーダバッファのバッファ占有量を１フレーム後に確保するためのバッファ量をαとし、
上記制限開始時刻は、符号化ビットレートをＲＢ とし、上記第１のビットストリームの最後の画像の上記送信バッファからの引き抜き時刻をＴとするとき、Ｔ−（α／ＲＢ）であり、
上記第１の制限は、上記デコーダバッファの全容量をＢＦとするとき、上記第１のビットストリームの制限開始時刻をｔ＝０とするときの終端までの上記送信バッファのバッファ占有量の制限値ＢＯ(t) として、ＢＯ(t)＝ＢＦ−ＲＢ×ｔ 以下とする
ことを特徴とするディジタル信号符号化方法。 - 上記第２のビットストリームの先頭での送信バッファに設定される上記デコーダバッファ占有量に対して、上記第２のビットストリームの最初の画像のデコーダバッファからの引き抜き時刻の１フレーム前のバッファ占有量を上記αより少ないβとする第２の制限を設け、上記送信バッファのバッファ占有量を符号化部にフィードバックすることにより上記第２の制限を守るように該符号化部で符号化される画像の符号量を調整することを特徴とする請求項１記載のディジタル信号符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15253496A JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
| US08/896,511 US6532242B1 (en) | 1996-06-13 | 1997-06-11 | Method for encoding, editing and transmitting digital signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15253496A JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005069728A Division JP4371066B2 (ja) | 2005-03-11 | 2005-03-11 | 編集装置及び編集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09331524A JPH09331524A (ja) | 1997-12-22 |
| JP3668556B2 true JP3668556B2 (ja) | 2005-07-06 |
Family
ID=15542551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15253496A Expired - Fee Related JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6532242B1 (ja) |
| JP (1) | JP3668556B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2331111T3 (es) * | 2000-11-29 | 2009-12-22 | British Telecommunications Public Limited Company | Transmision y recepcion de datos en tiempo real. |
| CA2457051A1 (en) * | 2001-09-21 | 2003-03-27 | British Telecommunications Public Limited Company | Data communications method and system using buffer size to calculate transmission rate for congestion control |
| JP3586235B2 (ja) | 2001-11-09 | 2004-11-10 | 株式会社東芝 | Ｍｐｅｇストリームデータ記録装置、ｍｐｅｇストリームデータ記録方法、及びｍｐｅｇストリームデータ編集方法 |
| DE60222581T2 (de) * | 2001-11-30 | 2008-06-19 | British Telecommunications Public Ltd. Co. | Datenübertragung |
| KR100475412B1 (ko) * | 2002-03-11 | 2005-03-10 | 주식회사 럭스퍼트 | 상부 펌핑방식의 광소자 |
| EP1359722A1 (en) * | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
| CA2479585A1 (en) * | 2002-03-27 | 2003-10-09 | Timothy Ralph Jebb | Data structure for data streaming system |
| GB0306296D0 (en) * | 2003-03-19 | 2003-04-23 | British Telecomm | Data transmission |
| JP4423301B2 (ja) | 2005-01-18 | 2010-03-03 | 三菱電機株式会社 | 多重化装置及び送受信装置 |
| JP4492484B2 (ja) | 2005-08-22 | 2010-06-30 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| JP2008136110A (ja) * | 2006-11-29 | 2008-06-12 | Sanyo Electric Co Ltd | 映像信号処理回路 |
| CN102318345B (zh) * | 2009-02-27 | 2014-07-30 | 富士通株式会社 | 动态图像编码装置、动态图像编码方法 |
| WO2015133325A1 (ja) * | 2014-03-07 | 2015-09-11 | ソニー株式会社 | 画像符号化装置および方法、並びに、画像処理装置および方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Industrial Co., Ltd. | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
| GB9424436D0 (en) * | 1994-12-02 | 1995-01-18 | Philips Electronics | Video editing buffer management |
| GB9424429D0 (en) * | 1994-12-02 | 1995-01-18 | Philips Electronics Uk Ltd | Audio/video timing discrepancy management |
| US5859660A (en) * | 1996-02-29 | 1999-01-12 | Perkins; Michael G. | Non-seamless splicing of audio-video transport streams |
-
1996
- 1996-06-13 JP JP15253496A patent/JP3668556B2/ja not_active Expired - Fee Related
-
1997
- 1997-06-11 US US08/896,511 patent/US6532242B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6532242B1 (en) | 2003-03-11 |
| JPH09331524A (ja) | 1997-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6154496A (en) | Video buffer for seamless splicing of MPEG streams | |
| JP4232209B2 (ja) | 圧縮画像データの編集装置及び圧縮画像データの編集方法 | |
| KR100574186B1 (ko) | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 | |
| EP0913058B1 (en) | Video signal compression | |
| JPH11511605A (ja) | ビットレートを低減された信号間のスイッチング方法 | |
| JP2002510947A (ja) | 圧縮ビデオ・データのバースト状データ伝送 | |
| US7072571B2 (en) | Data reproduction transmission apparatus and data reproduction transmission method | |
| KR20040054615A (ko) | 디지털 비디오 디코더에서 심리스 스트림 스위칭을제공하는 시스템 및 데이터 포맷 | |
| JP3668556B2 (ja) | ディジタル信号符号化方法 | |
| CA2303149C (en) | Seamless splicing of compressed video programs | |
| US6940901B2 (en) | Apparatus and method for information processing | |
| JP3203168B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| US7403563B2 (en) | Image decoding method and apparatus, and television receiver utilizing the same | |
| EP0871337A2 (en) | Method and apparatus for modifying a digital data stream | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| JP3649266B2 (ja) | データ多重化装置および方法、並びに記録媒体 | |
| JP3338425B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| JP4371066B2 (ja) | 編集装置及び編集方法 | |
| JPH11177921A (ja) | ディジタルデータ編集方法、ディジタルデータ編集装置 | |
| JPH08163558A (ja) | 画像復号装置 | |
| JP2000287172A (ja) | 画像データ処理装置 | |
| JP2002077827A (ja) | データ配信装置及び方法、データ配信システム | |
| JP3594017B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
| JP3568503B2 (ja) | Ｍｐｅｇビデオデコーダ | |
| JPH10178586A (ja) | 編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041022 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041117 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |