JP2001157161A - 画像編集装置、画像編集方法及びプログラム記録媒体 - Google Patents
画像編集装置、画像編集方法及びプログラム記録媒体Info
- Publication number
- JP2001157161A JP2001157161A JP33511399A JP33511399A JP2001157161A JP 2001157161 A JP2001157161 A JP 2001157161A JP 33511399 A JP33511399 A JP 33511399A JP 33511399 A JP33511399 A JP 33511399A JP 2001157161 A JP2001157161 A JP 2001157161A
- Authority
- JP
- Japan
- Prior art keywords
- time
- bit stream
- compressed bit
- editing
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
いで編集すると、任意の圧縮データを切り張りすると符
号量の連続性が保持されないために復号器のバッファを
破綻させる。 【解決手段】 入力されてくる所定の前記圧縮ビットス
トリームにおける時刻T1からT2の区間を復号し、そ
の復号された画像を第1の編集を行ってまたは編集をお
こなわずに符号化する際、その符号化を実施して得られ
てくる圧縮ビットストリームを再度復号する場合、前記
T2時刻においてVBV値が所定のV2になるように、
符号量を調整する画像編集方法であって、前記T1時刻
におけるVBV値はVxとすることを前提とし、前記V
2は、前記入力されてくる圧縮ビットストリームをその
まま復号した場合の前記T2時刻におけるVBV値であ
る。
Description
ータを編集する画像編集方法、画像編集装置及びプログ
ラム記録媒体に関するものである。
ータを編集する際、従来は、まず、圧縮されている画像
データをすべて復号し、次に復号した画像に対して編集
を行い、編集した画像を再びMPEG2形式で圧縮符号
化していた。
から数えて100フレームから250フレームまでの画
像にテロップをいれる場合を説明する。この場合、圧縮
されているAVデータが全部で3000フレームあると
すると、3000フレームすべてのAVデータを復号す
る。そして、復号した画像のうち先頭から数えて100
フレームから250フレームまでの画像にテロップを挿
入する。テロップの挿入が完了したら、再び3000フ
レームすべてのAVデータをMPEG2形式で圧縮符号
化する。
れているデータを編集する場合、データを全て復号化し
た後、編集を行い、再び圧縮符号化をおこなうので、復
号化ー再符号化の過程で画質劣化をまぬがれない。
復号しないで編集する場合、可変長符号化されている圧
縮データに対しては、圧縮データを任意の時刻で切り離
すことは困難である。
復号しないで編集する場合、フレーム間符号化されてい
る圧縮データに対しては、圧縮データは前後のフレーム
に依存関係があるので、任意の時刻で切り離すのは困難
である。
復号しないで編集する場合、圧縮データは連続性を重視
して符号量制御されており、任意の圧縮データを切り張
りすると符号量の連続性が保持されないために復号器の
バッファを破綻させる。
る場合、データを全て復号化した後、編集を行い、再び
圧縮符号化を行うので、復号化ー再符号化の過程で画質
劣化が生じるという課題を考慮し、圧縮されているデー
タを編集しても、画質劣化が少ない画像編集方法、画像
編集装置及びプログラム記録媒体を提供することを目的
とするものである。
ータを全て復号しないで編集する場合、可変長符号化さ
れている圧縮データに対しては、圧縮データを任意の時
刻で切り離すことは困難であるという課題を考慮し、可
変長符号化されている圧縮データを任意の時刻で容易に
切り離すことが出来る画像編集方法、画像編集装置及び
プログラム記録媒体を提供することを目的とするもので
ある。
ータを全て復号しないで編集する場合、フレーム間符号
化されている圧縮データに対しては、任意の時刻で切り
離すのは困難であるという課題を考慮し、フレーム間符
号化されている圧縮データを任意の時刻で容易に切り離
すことが出来る画像編集方法、画像編集装置及びプログ
ラム記録媒体を提供することを目的とするものである。
ータを全て復号しないで編集する場合、任意の圧縮デー
タを切り張りすると符号量の連続性が保持されないため
に復号器のバッファを破綻させるという課題を考慮し、
任意の圧縮データを切り張りしても、復号器のバッファ
を破綻させない画像編集方法、画像編集装置及びプログ
ラム記録媒体を提供することを目的とするものである。
ために、第1の本発明(請求項1に対応)は、圧縮ビッ
トストリームを読み込む入力手段と、前記入力されてく
る圧縮ビットストリームにおける時刻T1からT2の区
間を復号し、その復号された画像を第1の編集を行って
または編集をおこなわずに符号化する際、その符号化を
実施して得られてくる圧縮ビットストリームを再度復号
する場合、前記T2時刻においてVideo Buff
ering Verifierの値(以下、VBV値と
呼ぶ)が所定のV2になるように、符号量を調整する編
集調整手段と、前記編集調整手段で出力された前記圧縮
ビットストリームを出力する出力手段とを備え、前記T
1時刻におけるVBV値はVxとすることを前提とし、
前記V2は、前記入力されてくる圧縮ビットストリーム
をそのまま復号した場合の前記T2時刻におけるVBV
値であることを特徴とする画像編集装置である。
は、前記第1の編集は、前記T1時刻から前記T2時刻
の全部に渡りまたは一部のみに行われることを特徴とす
る第1の本発明に記載の画像編集装置である。
は、前記Vxは、前記圧縮ビットストリームに合体され
るべき別の圧縮ビットストリームの最後尾におけるVB
V値であり、すなわち前記別の圧縮ビットストリームを
そのまま復号した場合の最後尾におけるVBV値である
ことを特徴とする第1の本発明に記載の画像編集装置で
ある。
は、前記編集調整手段が、前記T1時刻から前記T2時
刻の間に前記第1の編集を行う場合、前記Vxは、前記
入力されてくる圧縮ビットストリームの前記T1時刻に
おけるVBV値であり、つまり前記入力されてくる圧縮
ビットストリームを前記T1時刻まで復号した際のVB
V値であることを特徴とする第1の本発明に記載の画像
編集装置である。
は、前記編集調整手段は、前記入力されてくる圧縮ビッ
トストリームに対して前記T1時刻よりも前のT0時刻
と前記T1時刻との間の所定区間について復号して、そ
の復号データに対して第2の編集を行い符号化し、前記
Vxは、その第2の編集後符号化した圧縮ビットストリ
ームを復号した場合の前記T1時刻におけるVBV値と
することを特徴とする第1の本発明に記載の画像編集装
置である。
は、前記第2の編集は、他の圧縮ビットストリームの映
像から前記入力された圧縮ビットストリームの映像に徐
々に切り替えるトランジッション編集であり、前記T0
時刻より前のデータは、前記入力された圧縮ビットスト
リームの前記T0時刻より前の部分を用いず、それに替
えて前記他の圧縮ビットストリームの前記トランジッシ
ョン編集に用いた部分より前の部分を用いることを特徴
とする第5の本発明に記載の画像編集装置である。
は、前記第1の編集は、前記T1時刻から前記T2時刻
の一部で行われ、前記復号は、その編集にかかわる部分
に対して行うことを特徴とする第2の本発明に記載の画
像編集装置である。
は、前記第1の編集は、テロップを挿入することであ
り、前記復号する部分は、マクロブロック単位であり、
テロップが挿入されるマクロブロックのみならず、その
マクロブロックを動きベクトルとして参照するマクロブ
ロックも復号することを特徴とする第7の本発明に記載
の画像編集装置である。
は、前記VBV値を調整する区間は、再符号化する際、
復号前の符号化パラメータをそのまま利用して再符号化
することを特徴とする第1〜8の本発明のいずれかに記
載の画像編集装置である。
応)は、前記符号量の調整は、量子化レベルの調整で行
うことを特徴とする第1〜9の本発明のいずれかに記載
の画像編集装置である。
応)は、前記符号量の調整は、DCT係数を選択するこ
とによって行うことを特徴とする第1〜10の本発明の
いずれかに記載の画像編集装置である。
応)は、前記符号量の調整は、ダミーデータを利用して
行うことを特徴とする第1〜11の本発明のいずれかに
記載の画像編集装置である。
応)は、前記V2は、前記T2時刻のVBV値に替え
て、そのT2時刻よりも所定時刻だけ前または後ろのV
BV値でもよいことを特徴とする第1〜12の本発明の
いずれかに記載の画像編集装置である。
応)は、前記Vxは、前記別の圧縮ビットストリームを
復号した場合の最後尾におけるVBV値であることに替
えて、その最後尾から所定量だけ前または後ろにおける
VBV値でもよいことを特徴とする第3の本発明に記載
の画像編集装置である。
応)は、前記Vxは、前記入力されてくる圧縮ビットス
トリームの前記T1時刻におけるVBV値であることに
替えて、前記入力されてくる圧縮ビットストリームの前
記T1時刻より所定量だけ前または後ろにおけるVBV
値でもよいことを特徴とする第4の本発明に記載の画像
編集装置である。
応)は、前記Vxは、前記第2の編集後符号化したデー
タを復号した場合の前記T1時刻におけるVBV値であ
ることに替えて、前記第2の編集後符号化したデータを
復号した場合の前記T1時刻より所定量だけ前における
VBV値でもよいことを特徴とする第5の本発明に記載
の画像編集装置である。
応)は、圧縮ビットストリームを読み込む入力手段と、
読み込まれた第1の圧縮ビットストリームと第2の圧縮
ビットストリームを合体させる場合、前記第1の圧縮ビ
ットストリームの前半部分と前記第2の圧縮ビットスト
リームの後半部分を合体させる際、前記第1の圧縮ビッ
トストリームの前半部分に前記第1の圧縮ビットストリ
ームの後半部分に依存するフレームがある場合は、前記
第1の圧縮ビットストリームの後半のフレームを用い
て、前記後半部分に依存するフレームを復号して再符号
化し、前記第2の圧縮ビットストリームの後半部分に前
記第2の圧縮ビットストリームの前半部分に依存するフ
レームがある場合は、前記第2の圧縮ビットストリーム
の前半のフレームを用いて、前記前半部分に依存するフ
レームを復号して再符号化する編集手段と、前記合体さ
れた圧縮ビットストリームを出力する出力手段とを備え
たことを特徴とする画像編集装置である。
応)は、入力されてくる所定の前記圧縮ビットストリー
ムにおける時刻T1からT2の区間を復号し、その復号
された画像を第1の編集を行ってまたは編集をおこなわ
ずに符号化する際、その符号化を実施して得られてくる
圧縮ビットストリームを再度復号する場合、前記T2時
刻においてVBV値が所定のV2になるように、符号量
を調整する画像編集方法であって、前記T1時刻におけ
るVBV値はVxとすることを前提とし、前記V2は、
前記入力されてくる圧縮ビットストリームをそのまま復
号した場合の前記T2時刻におけるVBV値であること
を特徴とする画像編集方法である。
応)は、第1の圧縮ビットストリームと第2の圧縮ビッ
トストリームを合体させる場合、前記第1の圧縮ビット
ストリームの前半部分と前記第2の圧縮ビットストリー
ムの後半部分を合体させる際、前記第1の圧縮ビットス
トリームの前半部分に前記第1の圧縮ビットストリーム
の後半部分に依存するフレームがある場合は、前記第1
の圧縮ビットストリームの後半のフレームを用いて、前
記後半部分に依存するフレームを復号して再符号化し、
前記第2の圧縮ビットストリームの後半部分に前記第2
の圧縮ビットストリームの前半部分に依存するフレーム
がある場合は、前記第2の圧縮ビットストリームの前半
のフレームを用いて、前記前半部分に依存するフレーム
を復号して再符号化することを特徴とする画像編集方法
である。
応)は、第1〜17の本発明のいずれかに記載の画像編
集装置の全部または一部の手段の全部または一部の機能
をコンピュータにより実行させるためのプログラムおよ
び/またはデータを記録したプログラム記録媒体であっ
て、コンピュータにより読み取り可能であることを特徴
とするプログラム記録媒体である。
応)は、第18または19の本発明のいずれかに記載の
画像編集方法の全部または一部のステップの全部または
一部の動作をコンピュータにより実行させるためのプロ
グラムおよび/またはデータを記録したプログラム記録
媒体であって、コンピュータで読み取り可能であること
を特徴とするプログラム記録媒体である。
て図面を参照して説明する。
HDD3からMPEG2トランスポートストリームの形
式の二つの圧縮ストリームを読み込み、最初の圧縮スト
リームの後半をカットし、二つめの圧縮ストリームの前
半をカットし、残った部分を結合して1本の圧縮ストリ
ームを作成する場合について説明する。
ック図を示す。
段8、編集区間読み取り手段9、IEEE1394I/
F10、復号化手段11、編集手段12、D/A変換1
3、符号化手段14、合成手段15から構成される。
94バス5とモニタ6が接続されている。
B2、HDD3、VCR4が接続されている。
94ー1995準拠のバスである。
に対してどのような編集を施すか、またどの部分に編集
を施すかを決定するためのグラフィックスユーザインタ
ーフェースである。
されているデータに対してどのような編集を施すか、ま
たどの部分に編集を施すかをGUI7を操作することに
よって、設定する手段である。
縮符号化されているデータのうち、編集する区間のデー
タを読み取る手段である。
1394バス5を介して、STB2、HDD3、VCR
4とコマンドやデータをやり取りするIEEE1394
ー1995準拠のインターフェースである。
を復号化する手段である。
間のデータに編集を施す手段である。
GUI画面や編集されたデータをアナログ信号に変換す
る手段である。
れたデータの部分を符号量を調整しながら再符号化する
手段である。
とそれ以外の部分のデータを結合する手段である。
は、デマルチプレクサ16、トランスポートバッファ1
7a〜e、多重バッファ18a〜18e、エレメンタリ
ーバッファ19a〜e、デコーダ20a〜e、再配列バ
ッファ21a〜e、切替スイッチ22a〜eから構成さ
れる。
ンスポートストリームのトランスポートパケットに付さ
れているPIDによってトランスポートストリームを分
離する手段である。
12バイトのサイズを有しており、デマルチプレクサ1
6で分離されたバースト的で高速のデータストリームを
バッファリングする手段である。多重バッファ18a〜
eは、4msの多重ジッタとPESオーバヘッド分のバ
ッファを行い、次段のエレメンタリーストリームバッフ
ァ19a〜eへのデータ転送速度の整合性がとれるよう
にするための手段である。
〜eは、後述するVBV(Video Bufferi
ng Verifier)バッファの機能を持つバッフ
ァである。
ーストリームを伸長する手段である。
またはPフレームの表示を遅らせるためのバッファであ
る。切替スイッチ22a〜eは、復号されたフレームを
表示される時間順に並び替えて出力する手段である。
〜eは、それぞれ可変長復号化23、逆量子化24、逆
DCT25、加算器26、フォーマット変換27、ビデ
オメモリ28、動き補償予測29から構成される。
化情報を復号し、符号化モード、動きベクトル、量子化
情報及び量子化DCT係数を分離する手段である。
化DCT係数からDCT係数を復元する手段である。
素空間のデータに変換する手段である。
きはそのまま出力し、動き補償予測モードのときは動き
補償予測されたブロックデータを加算して出力する手段
である。
ータを処理する空間解像度に変換する手段である。
いて、その後の復号処理で参照画像として用いる必要が
あるために、一時的に記憶しておくメモリである。
クトルから動き補償予測を行う手段である。
は、フォーマット変換30、画面並べ替え31、加算器
32、DCT33、量子化34、可変長符号化35、バ
ッファ36、逆量子化37、逆DCT38、加算器3
9、ビデオメモリ40、動き補償予測41、切替スイッ
チ42、レート制御43、無効データ挿入44、DCT
係数除去45から構成される。
空間解像度に変換する手段である。
に合わせて画面を並べ替える手段である。
合、マクロブロックビデオデータと参照画面から動き予
測によって得られるマクロブロックビデオデータとの差
分をとり、イントラ符号化モードの場合、マクロブロッ
クビデオデータを出力する手段である。
ク単位でDCT変換を行い、空間周波数領域に変換する
手段である。
をターゲットビットや視覚特性に応じて量子化し、低周
波成分から順にスキャンして1次元情報に変換する手段
である。
ベクトルなどのマクロブロック符号化情報と量子化DC
T係数を、それぞれ出現頻度が高いデータにより短いコ
ードを割り当てる可変長符号により符号化する手段であ
る。
タを一時的に蓄積するバッファである。
子化DCT係数を逆量子化する手段である。
DCT係数に逆DCT変換を行い、画素空間のデータに
変換する手段である。
のデータを参照画面として保持する手段である。
測を行う手段である。
配分を行い、後述するVBVバッファを用いたレート制
御を行い、視覚特性を利用した適応量子化を行う手段で
ある。
タに無効データを挿入し、符号量を増加させる手段であ
る。
タのDCT係数の高周波成分を除去し、符号量を減少さ
せる手段である。
いるデータを記憶するハードディスクである。VCR4
は、MPEG2圧縮符号化されているデータを記録する
ビデオカセットレコーダである。
波を受信したり、HDD3やVCR4に記録されている
MPEG2圧縮符号化されているデータを表示する手段
である。図5に示すように、STB2は、チューナ4
7、デスクランブラ48、IEEE1394I/F4
9、復号化手段50、D/A変換13から構成される。
また、STB2には、アンテナ46、モニタ6、IEE
E1394バス5が接続されている。
放送波を受信し、復調する手段である。デスクランブラ
48は、復調したデータのスクランブルを解読する手段
である。IEEE1394I/F49は、画像編集装置
1、HDD3、VCR4とデータやコマンドのやりとり
をするIEEE1394ー1995準拠のインターフェ
ースである。復号化手段50は、MPEG2トランスポ
ートストリームを復号化する手段である。D/A変換1
3は、復号されたデータをアナログ信号に変換する手段
である。
マルチプレクサ16、トランスポートバッファ17f、
多重バッファ18f、エレメンタリーストリームバッフ
ァ19f、デコーダ20f、再配列バッファ21f、切
替スイッチ22fから構成される。
ンスポートストリームのトランスポートパケットに付さ
れているPIDによってトランスポートストリームを分
離する手段である。トランスポートバッファ17fは、
512バイトのサイズを有しており、デマルチプレクサ
16で分離されたバースト的で高速のデータストリーム
をバッファリングする手段である。多重バッファ18f
は、4msの多重ジッタとPESオーバヘッド分のバッ
ファを行い、次段のエレメンタリーストリームバッファ
19a〜eへのデータ転送速度の整合性がとれるように
するための手段である。エレメンタリーストリームバッ
ファ19fは、VBV(Video Bufferin
g Verifier)バッファの機能を持つバッファ
である。
ームを伸長する手段である。
はPフレームの表示を遅らせるためのバッファである。
切替スイッチ22fは、復号されたフレームを表示され
る時間順に並び替えて出力する手段である。
ダ20fは、それぞれ可変長復号化23、逆量子化2
4、逆DCT25、加算器26、フォーマット変換2
7、ビデオメモリ28、動き補償予測29から構成され
る。
に変換する手段である。モニタ6は、アナログ信号の映
像を表示する手段である。
明する。
8に示すようにMPEG2トランスポートストリームの
形式の圧縮ストリームA60の前半部分と圧縮ストリー
ムB61の後半部分を結合して1本の圧縮ストリームC
62を生成する場合について説明する。
で作成されたGUI画面を見ながら、まず、編集する対
象の設定を行う。すなわち、読み込むべき圧縮ストリー
ムを指定する。この指定は、読み込み先の装置とその装
置に格納されているデータのファイル名を指定すること
によって行う。
指定され、ファイル名として圧縮ストリームA60と圧
縮ストリームB61が指定されたとする。
リームA60と圧縮ストリームB61をHDD3から読
み取るように編集区間読み取り手段9に指示する。編集
区間読み取り手段9は、IEEE1394I/F10を
介して、圧縮ストリームA60と圧縮ストリームB61
をHDD3から読み取る。読み取ったデータは、編集設
定手段8から復号化手段11に渡され、復号される。G
UI7は、復号されたデータを用いてGUI画面を作成
する。D/A変換13は、この画面をアナログ信号に変
換し、モニタ6はアナログ信号を表示する。
て、圧縮ストリームA60と圧縮ストリームB61をど
のように編集するかの設定を行う。今、図8に示すよう
に、圧縮ストリームA60の先頭から100フレームま
でを残し、101フレーム以降を除去し、また圧縮スト
リームB61の先頭を時刻0として、先頭から再生した
場合に時刻T1に再生される部分を境界として、それ以
前の部分を削除し、それ以降の部分を残す。そして、圧
縮ストリームA60の先頭から100フレームまでの部
分の終端に圧縮フレームB61の時刻T1以降の部分を
結合し、1本の圧縮ストリームC62を生成する処理を
行うよう設定したとする。
の時刻T1以降の部分からIフレームが2フレーム現れ
る程度経過した時刻T2の部分までを読み取るよう指示
する。
圧縮ストリームB61の時刻T1から時刻T2までの部
分を読み取り、復号化手段11に出力する。
ルチプレクサ16は、読み取られた圧縮ストリームB6
1をPIDを識別することによって、分離する。圧縮ス
トリームB61は、トランスポートバッファ17aに出
力される。
トリームB61のトランスポートパケットをバッファリ
ングしているときは、一定の転送レートでそのトランス
ポートパケットを多重バッファ18aに出力する。多重
バッファ18aは、4msの多重ジッタとエレメンタリ
ーストリームのオーバーヘッド分のバッファを行い、次
段のエレメンタリーストリームバッファへのデータ転送
速度の整合性が取れるように機能する。エレメンタリー
ストリームバッファ19aは、1フレーム分のデータを
デコーダ20aに供給する。
ームバッファ19aから1フレーム分のデータが送られ
てくると、デコーダ20の可変長復号化23は、マクロ
ブロック符号化情報を復号し、符号化モード、動きベク
トル、量子化情報及び量子化DCT係数を分離する。次
に、逆量子化24は、復号された8×8の量子化DCT
係数からDCT係数を復元する。逆DCT25は、逆D
CT変換を行い、画素空間のデータに変換する。加算器
26は、イントラ符号化モードのときはそのまま出力
し、動き補償予測モードのときは動き補償予測されたブ
ロックデータを加算して出力する。フォーマット変換2
7は、復号化されたデータを処理する空間解像度に変換
する。
参照画像として用いるために、I,Pフレームを一時的
に記憶しておく。動き補償予測29は、予測モード、動
きベクトルから動き補償予測を行う。
列バッファ21aと切替スイッチ22aで、Iフレーム
またはPフレームの表示を遅らせ、Bフレームと順番を
入れ替えて正しい表示順に並べ替えられて、出力され
る。
時刻T1から時刻T2の部分が読み込まれ、復号され
る。
から時刻T2までの部分に圧縮ストリームの時刻T1か
ら時刻T2までの部分以外のフレームに依存するフレー
ムがある場合がある。すなわち、時刻T1から時刻T2
までの部分のPまたはBフレームで、時刻T1から時刻
T2までの部分以外のIまたはPフレームを参照して符
号化されたフレームがある場合がある。
は、時刻T1から時刻T2までの部分の範囲を広げて、
圧縮ストリームB61の時刻T1から時刻T2までの部
分のPまたはBフレームが依存する、時刻T1から時刻
T2までの部分以外のPまたはIフレームをも含む区間
のデータを読み込む。そして、復号化手段11は、時刻
T1から時刻T2までの部分を復号する際に、範囲を広
げた区間のデータを復号する。さらに、時刻T1から時
刻T2までの部分のフレームのうち、時刻T1以前の部
分のフレームに依存するフレームについては、再符号化
時にIフレームに変換する。
T2までの部分は、編集手段12を経由して、符号化手
段14に渡される。
ムA60の先頭から100フレームまでのデータを再生
した場合の101フレーム目のデータを再生する直前の
VBV値を調べる。そして、圧縮ストリームA60の先
頭から101フレームのデータを再生する直前のVBV
値がVxであったとする。さらに、圧縮ストリームB6
1を先頭から時刻T2までを再生した場合のVBV値が
V2であったとする。そうすると、符号化手段14は圧
縮ストリームB61の時刻T1から時刻T2の部分を再
符号化する際に、次のように符号化量を調整する。すな
わち、時刻T1における圧縮ストリームB61のVBV
値がVxであることを前提として、時刻T2の部分のV
BV値がV2となるように符号化量を調整する。
ために、STB2がデータを読み込み、モニタに映像を
表示する場合の動作を説明する。その後、再び符号化手
段14が、時刻T1における圧縮ストリームB61のV
BV値がVxであることを前提として、時刻T2の部分
のVBV値がV2となるように符号化量を調整する動作
について説明する。
EEE1394バス5を介して、VCR4から圧縮スト
リームを順次読み込む。復号手段50は、読み込まれた
圧縮ストリームを順次入力し、復号を行う。
50のデマルチプレクサ16は、MPEG2トランスポ
ートストリームのトランスポートパケットに付されてい
るPIDによってトランスポートストリームを分離す
る。トランスポートバッファ17fは、512バイトの
サイズを有しており、デマルチプレクサ16で分離され
たバースト的で高速のデータストリームをバッファリン
グする。多重バッファ18fは、4msの多重ジッタと
PESオーバヘッド分のバッファを行い、次段のエレメ
ンタリーバッファ19fへのデータ転送速度の整合性が
とれるようにする。エレメンタリーバッファ19fは、
VBV(Video BufferingVerifi
er)バッファの機能を持つ。
ームを伸長する。すなわち、図3に示すように、可変長
復号化23は、マクロブロック符号化情報を復号し、符
号化モード、動きベクトル、量子化情報及び量子化DC
T係数を分離する。
化DCT係数からDCT係数を復元する。
素空間のデータに変換する。
きはそのまま出力し、動き補償予測モードのときは動き
補償予測されたブロックデータを加算して出力する。
ータを処理する空間解像度に変換する。
いて、その後の復号処理で参照画像として用いる必要が
あるために、一時的に記憶しておく。
クトルから動き補償予測を行う。
IフレームまたはPフレームをバッファリングする。切
替スイッチ22fは、再配列バッファ21に格納されて
いるIフレームまたはPフレームの出力と復号されたB
フレームの出力とを切り替えて、表示される時間順に並
び替えて出力する。
たデータはD/A変換13でアナログ信号に変換され
て、モニタ6に出力される。このようにしてモニタ6
は、映像を表示する。
50のエレメンタリーバッファ19fの蓄積量を縦軸に
とり、時間を横軸にとってグラフにして表したものであ
る。以下エレメンタリーバッファ19fの蓄積量をVB
V値と呼ぶことにする。図7から明らかなように、この
VBV値は、最大値とゼロの中間の値をとりながら変化
している。STB2などの通常の装置が圧縮ストリーム
を再生する場合、図7のグラフのように、VBV値はア
ンダーフロー及びオーバーフローしないように、符号化
の際に符号化量が調整されている。
トリームも、STB2などの通常の装置が再生した場
合、VBV値のオーバーフロー及びアンダーフローが生
じないように符号化量を調整する必要がある。
ロー及びアンダーフローさせないように、符号化手段1
4は、以下のようにして符号化量の調整を行う。
14のフォーマット変換30は、符号化で用いる空間解
像度に変換する。画面並べ替え31は、I、B、Pフレ
ームに合わせて画面を並べ替える。加算器32は、動き
補償予測モードの場合、マクロブロックビデオデータと
参照画面から動き予測によって得られるマクロブロック
ビデオデータとの差分をとり、イントラ符号化モードの
場合、マクロブロックビデオデータを出力する。
ク単位でDCT変換を行い、空間周波数領域に変換す
る。
をターゲットビットや視覚特性に応じて量子化し、低周
波成分から順にスキャンして1次元情報に変換する。
ベクトルなどのマクロブロック符号化情報と量子化DC
T係数を、それぞれ出現頻度が高いデータにより短いコ
ードを割り当てる可変長符号により符号化する。
タを一時的に蓄積する。
化37は、IまたはPフレームの量子化DCT係数を逆
量子化する。次に、逆DCT38は、逆量子化された8
×8のDCT係数に逆DCT変換を行い、画素空間のデ
ータに変換する。ビデオメモリ40は、変換された画素
空間のデータを参照画面として保持する。そして、動き
補償予測41は、参照画面から動き予測を行う。
のビット配分を行い、VBVバッファを用いたレート制
御を行い、視覚特性を利用した適応量子化を行う。すな
わち、時刻T1の部分のデータのVBV値がVxである
ことを前提として、時刻T2におけるVBV値がV2と
なるように、符号量を調整する。まず、量子化34が量
子化を行う量子化幅を調整する。さらにDCT係数除去
45にDCT係数のうち高周波成分を取り除くように指
示する。これを受けてDCT係数除去45は、高周波成
分を除去する。最後に、時刻T2におけるVBV値がV
2より小さくなる場合には、レート制御43は、無効デ
ータ挿入44に無効データを挿入するよう指示する。こ
れを受けて無効データ挿入44は、時刻T2におけるV
BV値がV2になるように無効データを挿入する。
V値の調整を行う。
から時刻T2までのデータを合成手段15に出力する。
合成手段15は、圧縮ストリームA60の100フレー
ムまでのデータに圧縮ストリームB61の時刻T1から
時刻T2までの再符号化され符号量が調整されたデータ
を結合し、さらにその後に圧縮ストリームの時刻T2以
降のデータを結合し、圧縮ストリームC62として、V
CR4に記録する。
レームまでのフレームで、101フレーム以降のフレー
ムに依存するフレームがある場合がある。すなわち、圧
縮ストリームA60のBフレームで、101フレーム以
降のIまたはPフレームに依存するフレームがある場合
がある。このような場合、編集区間読み取り手段9は、
101フレーム以降の依存先のIまたはPフレームを含
む部分までを読み込む。そして復号化手段11は、依存
先のIまたはPフレームを復号し、復号したフレームを
参照して、101フレーム以降に依存するフレームを復
号する。さらに符号化手段14は、101フレーム以降
に依存するフレームをIフレームに変換して再符号化す
る。このように、合成手段15は、圧縮ストリームA6
0に修正を施した圧縮ストリームを合成すればよい。
ストリームC62を読み取ってモニタ6に表示した場
合、VBV値はアンダーフローもしないしオーバーフロ
ーもせず、正常に再生表示することが出来る。
を結合する際に、Iフレームが2フレーム現れる区間の
み復号し、この部分を再符号化する際に符号量の調整を
行った。このように、データの一部のみ再符号化するだ
けで、再生する時にVBV値がアンダーフローもオーバ
ーフローもしないように再生表示出来る圧縮ストリーム
を生成することが出来る。
が圧縮ストリームB61の時刻T1からT2の部分を再
符号化する際に、動き予測を行い、動きベクトルを新た
に求めてて符号化するとして説明したが、これに限らな
い。符号化手段14が圧縮ストリームB61の時刻T1
からT2の部分を再符号化する際、復号する前の動きベ
クトルをそのまま利用して、再符号化しても構わない。
このようにすれば、ハードウェア規模を削減することが
出来、さらに画質劣化を防止することが出来る。また、
動きベクトル以外の符号化パラメータについても、復号
前のものをそのまま利用しても構わない。
トリームを読み込み、一方の前半部分と他方の後半部分
を結合して1つの圧縮ストリームを生成するとして説明
したが、これに限らない。2つの圧縮ストリームを読み
込み、一方の後ろに他方をそのまま結合する編集でも同
等の効果が得られる。
トリームをHDD4から読み込み、一方の前半部分と他
方の後半部分を結合して生成した圧縮ストリームをVC
R4に記録するとして説明したがこれにかぎらない。再
びHDD3に記録してもかまわない。
トリームA60を復号した場合の最後尾におけるVBV
値として説明したが、これに限らない。Vxを圧縮スト
リームを復号した場合の最後尾から所定量だけ前または
後ろのVBV値でも構わない。
態について説明する。
リームを読み込み、特殊効果を施す場合について説明す
る。
実施の形態の画像編集装置1の構成は、第1の実施の形
態と同一であるので、記述を省略する。
も第1の実施の形態と同一であるので、記述を省略す
る。
明する。
9に示すように圧縮ストリームD63の先頭から再生し
た場合に時刻T1に再生される部分と、時刻T2に再生
される部分との区間に特殊効果を施して、圧縮ストリー
ムD’’65を生成する場合について説明する。
で作成されたGUI画面を見ながら、まず、編集する対
象の設定を行う。すなわち、読み込むべき圧縮ストリー
ムを指定する。この指定は、読み込み先の装置とその装
置に格納されているデータのファイル名を指定すること
によって行う。
指定され、ファイル名として圧縮ストリームD63が指
定されたとする。
リームD63をHDD3から読み取るように編集区間読
み取り手段9に指示する。編集区間読み取り手段9はI
EEE1394I/F10を介して、圧縮ストリームD
63をHDD3から読み取る。読み取ったデータは、編
集設定手段8から復号化手段11に渡され、復号され
る。GUI7は、復号されたデータを用いてGUI画面
を作成する。D/A変換13は、この画面をアナログ信
号に変換し、モニタ6はアナログ信号を表示する。
て、圧縮ストリームD63をどのように編集するかの設
定を行う。今、図9に示すように、圧縮ストリームD6
3の先頭を時刻0として、先頭から再生した場合に時刻
T1に再生される部分から、時刻T2に再生される部分
までに特殊効果を施す処理を行うように設定したとす
る。
リームD63の時刻T1の部分から時刻T2の部分まで
を読み取るよう指示する。
圧縮ストリームD63の時刻T1から時刻T2までの部
分を読み取り、復号化手段11に出力する。
の時刻T1の部分から時刻T2の部分までを復号する。
なお、復号化手段11の動作は第1の実施の形態と同様
であるので記述を省略する。
T2までの部分は、順次編集手段12に渡される。
時刻T1から時刻T2までの部分に特殊効果を施す。特
殊効果の例としては、例えば画像を変形させたり、文字
を挿入するなどの処理がある。この結果圧縮ストリーム
D’64の時刻T1から時刻T2までの部分が得られ
る。
ムD63の先頭から時刻T1までの部分を連続して再生
した場合の時刻T1の部分のVBV値を調べる。さら
に、圧縮ストリームD63の先頭から時刻T2までの部
分を連続して再生した場合の時刻T2の部分のVBV値
を調べる。このようにして調べた時刻T1におけるVB
V値がVxであり、時刻T2におけるVBV値がV2で
あったとする。
た圧縮ビットストリームD’64は、圧縮ストリームD
63とは時刻T1から時刻T2の部分が異なっている。
従って、圧縮ストリームD’64を単純に符号化したも
のを再生すると、時刻T2においてVBV値はV2には
ならない。
D’64の時刻T1から時刻T2の部分を再符号化する
際に、次のように符号化量を調整する。すなわち、時刻
T1における圧縮ストリームD’64のVBV値がVx
であることを前提として、時刻T2の部分のVBV値が
V2となるように符号化量を調整する。符号化手段14
が符号化量を調整する方法は第1の実施の形態と同一で
あるので、記述を省略する。
から時刻T2までのデータを合成手段15に出力する。
合成手段15は、圧縮ストリームD63の時刻T1まで
の部分に編集され符号量が調整されたデータを結合し、
さらにその後に圧縮ストリームD63の時刻T2以降の
データを結合し、圧縮ストリームD’’65として、V
CR4に記録する。
ストリームD’’65を読み取ってモニタ6に表示した
場合、VBV値はアンダーフローもしないしオーバーフ
ローもせず、正常に再生表示することが出来る。
に編集する区間のみ復号した後、特殊効果を施し、復号
された部分を再符号化する際に符号量の調整を行った。
このように、編集する部分を含む部分のみ再符号化する
だけで、再生する時にVBV値がアンダーフローもオー
バーフローもしないように再生表示出来る圧縮ストリー
ムを生成することが出来る。また、圧縮ストリームの一
部のみを再符号化しただけなので、画質劣化が少ない。
また、可変長符号化されている圧縮データを任意の時刻
で容易に切り離すことが出来、フレーム間符号化されて
いる圧縮データを任意の時刻で容易に切り離すことが出
来る。
をHDD3から読み込み特殊効果を施した後、VCR4
に記録するとして説明したが、これに限らない。圧縮ス
トリームをHDD3から読み込み特殊効果を施した後、
再びHDD3に記録しても構わない。
集後符号化したデータを復号した場合の時刻T1におけ
るVBV値であるとして説明したが、これに限らない。
Vxとして編集後符号化したデータを復号した場合の時
刻T1時刻より所定量だけ前または後ろにおけるVBV
値を用いても構わない。
態について説明する。
様にHDD3から圧縮ストリームを読み込み、特殊効果
を施す場合について説明する。
実施の形態の画像編集装置1の構成は、第1の実施の形
態と同一であるので、記述を省略する。
も第1の実施の形態と同一であるので、記述を省略す
る。
明する。
10に示すように圧縮ストリームE66の先頭から再生
した場合に時刻T0に再生される部分と、時刻T1に再
生される部分との区間に特殊効果を施して、圧縮ストリ
ームE’’68を生成する場合について説明する。
で作成されたGUI画面を見ながら、まず、編集する対
象の設定を行う。すなわち、読み込むべき圧縮ストリー
ムを指定する。この指定は、読み込み先の装置とその装
置に格納されているデータのファイル名を指定すること
によって行う。
指定され、ファイル名として圧縮ストリームE66が指
定されたとする。
リームE66をHDD3から読み取るように編集区間読
み取り手段9に指示する。編集区間読み取り手段9はI
EEE1394I/F10を介して、圧縮ストリームE
66をHDD3から読み取る。読み取ったデータは、編
集設定手段8から復号化手段11に渡され、復号され
る。GUI7は、復号されたデータを用いてGUI画面
を作成する。D/A変換13は、この画面をアナログ信
号に変換し、モニタ6はアナログ信号を表示する。
て、圧縮ストリームE66をどのように編集するかの設
定を行う。今、図10に示すように、圧縮ストリームE
66の先頭を時刻0として、先頭から再生した場合に時
刻T0に再生される部分から、時刻T1に再生される部
分までに特殊効果を施す処理を行うように設定したとす
る。
の時刻T0の部分から時刻T1の部分に加えてさらに時
刻T1の部分からIフレームが2フレーム現れるだけ経
過した時刻T2までを読み取るよう指示する。
圧縮ストリームE66の時刻T0から時刻T2までの部
分を読み取り、復号化手段11に出力する。
の時刻T0の部分から時刻T2の部分までを復号する。
なお、復号化手段11の動作は第1の実施の形態と同様
であるので記述を省略する。
T2までの部分は、順次編集手段12に渡される。
時刻T0から時刻T1までの部分に特殊効果を施す。特
殊効果の例としては、例えば画像を変形させたり、文字
を挿入するなどの処理がある。この結果圧縮ストリーム
E66は、時刻T0から時刻T1までの部分に処理を加
えられた圧縮ストリームE’67の時刻T0から時刻T
1の部分が得られる。
ムE’67の先頭から時刻T1までの部分を連続して再
生した場合の時刻T1の部分のVBV値を調べる。すな
わち、時刻T0までの部分を再生した後、連続して特殊
効果が施された後の時刻T0から時刻T1までの部分を
再生した場合の、時刻T2におけるVBV値を調べる。
このようにして調べた時刻T1におけるVBV値がVx
であったとする。さらに、特殊効果が施される前の圧縮
ストリームである圧縮ストリームE66を先頭から再生
した場合の、時刻T2におけるVBV値がV2であった
とする。
た圧縮ビットストリームE’67は、圧縮ストリームE
66とは時刻T0から時刻T1の部分が異なっている。
従って、圧縮ストリームE’67を単純に符号化したも
のを再生すると、時刻T2においてVBV値はV2には
ならない。
E’67の時刻T1から時刻T2の部分を再符号化する
際に、次のように符号化量を調整する。すなわち、時刻
T1における圧縮ストリームE’67のVBV値がVx
であることを前提として、時刻T2の部分のVBV値が
V2となるように符号化量を調整する。符号化手段14
が符号化量を調整する方法は第1の実施の形態と同一で
あるので、記述を省略する。
から時刻T2までのデータを合成手段15に出力する。
合成手段15は、圧縮ストリームE66の時刻T0まで
の部分に編集され符号量が調整されたデータを結合し、
さらにその後に圧縮ストリームE66の時刻T2以降の
データを結合し、圧縮ストリームE’’68として、V
CR4に記録する。
ストリームE’’68を読み取ってモニタ6に表示した
場合、VBV値はアンダーフローもしないしオーバーフ
ローもせず、正常に再生表示することが出来る。
に編集する区間とVBV値を調整する区間を復号した
後、特殊効果を施し、復号された部分を再符号化する際
にVBV値を調整する区間で符号量の調整を行った。こ
のように、編集する部分とVBV値を調整する部分のみ
を再符号化するだけで、再生する時にVBV値がアンダ
ーフローもオーバーフローもしないように再生表示出来
る圧縮ストリームを生成することが出来る。
をHDD3から読み込み特殊効果を施した後、VCR4
に記録するとして説明したが、これに限らない。圧縮ス
トリームをHDD3から読み込み特殊効果を施した後、
再びHDD3に記録しても構わない。
符号化したデータを復号した場合の時刻T1におけるV
BV値であるとして説明したが、これに限らない。編集
後符号化したデータを復号した場合の時T1より所定量
だけ前におけるVBV値を用いても構わない。
態について説明する。
縮ストリームを読み込み、一方の映像から他方の映像へ
徐々に移り変わっていくトランジッション編集を施す場
合について説明する。
実施の形態の画像編集装置1の構成は、第1の実施の形
態と同一であるので、記述を省略する。
も第1の実施の形態と同一であるので、記述を省略す
る。
明する。
11に示すように圧縮ストリームG70の先頭から再生
した場合に時刻T0に再生される部分と、時刻T1に再
生される部分との区間に圧縮ストリームF69の映像か
ら徐々に圧縮ストリームG70の映像へと移り変わって
いくトランジッション編集を施して、圧縮ストリームH
71を生成する場合について説明する。
で作成されたGUI画面を見ながら、まず、編集する対
象の設定を行う。すなわち、読み込むべき圧縮ストリー
ムを指定する。この指定は、読み込み先の装置とその装
置に格納されているデータのファイル名を指定すること
によって行う。
指定され、ファイル名として圧縮ストリームF69、圧
縮ストリームG70が指定されたとする。
リームF69、圧縮ストリームG70をHDD3から読
み取るように編集区間読み取り手段9に指示する。編集
区間読み取り手段9はIEEE1394I/F10を介
して、圧縮ストリームF69、圧縮ストリームG70を
HDD3から読み取る。読み取ったデータは、編集設定
手段8から復号化手段11に渡され、復号される。GU
I7は、復号されたデータを用いてGUI画面を作成す
る。D/A変換13は、この画面をアナログ信号に変換
し、モニタ6はアナログ信号を表示する。
て、圧縮ストリームF69,圧縮ストリームG70をど
のように編集するかの設定を行う。今、図11に示すよ
うに、圧縮ストリームG70の先頭を時刻0として、先
頭から再生した場合に時刻T0に再生される部分から、
時刻T1に再生される部分までに圧縮ストリームF69
の映像から徐々に圧縮ストリームG70の映像へと移り
変わっていくトランジッション編集を施して、圧縮スト
リームH71を生成するよう設定したとする。圧縮スト
リームH71の前半部分は、圧縮ストリームF69であ
り、後半部分は圧縮ストリームG70である。
の編集済み区間は、圧縮ストリームG70の編集区間と
対応し、また圧縮ストリームF69の編集区間と対応す
る。また圧縮ストリームH71のVBV整合済み区間は
圧縮ストリームG70のVBV整合区間に対応する。
の時刻T0の部分から時刻T1の部分に加えてさらに時
刻T1の部分からIフレームが2フレーム分現れるだけ
経過した時刻T2までを読み取るよう指示する。さら
に、圧縮ストリームG70の時刻T0の部分から時刻T
1の部分と合成される圧縮ストリームF69の編集区間
を読み取るよう指示する。
圧縮ストリームG70の時刻T0から時刻T2までの部
分を読み取り、復号化手段11に出力する。また、圧縮
ストリームG70と合成される圧縮ストリームF69の
編集区間を読み取り、復号化手段11に出力する。
の時刻T0の部分から時刻T2の部分までを復号する。
また、圧縮ストリームF69の編集区間を復号する。な
お、復号化手段11の動作は第1の実施の形態と同様で
あるので記述を省略する。
ストリームG70の時刻T0から時刻T2までの部分に
圧縮ストリームの時刻T0から時刻T2までの部分以外
のフレームに依存するフレームがある場合がある。すな
わち、時刻T0から時刻T2までの部分のPまたはBフ
レームで、時刻T0から時刻T2までの部分以外のIま
たはPフレームを参照して符号化されたフレームがある
場合がある。
は、時刻T0から時刻T2までの部分の範囲を広げて、
圧縮ストリームG70の時刻T0から時刻T2までの部
分のPまたはBフレームが依存する、時刻T0から時刻
T2までの部分以外のPまたはIフレームをも含む区間
のデータを読み込む。そして、復号化手段11は、時刻
T0から時刻T2までの部分を復号する際に、範囲を広
げた区間のデータを復号する。さらに、時刻T0から時
刻T2までの部分のフレームのうち、時刻T0以前の部
分のフレームに依存するフレームについては、再符号化
時にIフレームに変換する。
T2までの部分と圧縮ストリームF69の編集区間の部
分は、順次編集手段12に渡される。
時刻T0から時刻T1までの部分にトランジッション編
集を施す。すなわち、時刻T0では圧縮ストリームF6
9の映像を表示し、時刻T1に近づくにつれて圧縮スト
リームG70の映像に重みをおいて表示するようにす
る。そして時刻T1では、圧縮ストリームG70の映像
を表示するように合成する。この結果圧縮ストリームG
70は、時刻T0から時刻T1までの部分に処理を加え
られ、圧縮ストリームH71の編集済み区間の部分が得
られる。圧縮ストリームH71は、トランジッション編
集後の圧縮ストリームであり、先頭から編集済み区間ま
では、圧縮ストリームF69であり、編集済み区間は上
記のように圧縮ストリームF69から圧縮ストリームG
70に徐々に移り変わっていく部分であり、編集済み区
間以降は、圧縮ストリームG70である。
ムH71の先頭から編集済み区間の最後までの部分を連
続して再生した場合の編集済み区間の最後の部分のVB
V値を調べる。このようにして調べた編集済み区間の最
後の部分のVBV値がVxであったとする。さらに、特
殊効果が施される前の圧縮ストリームである圧縮ストリ
ームG70を先頭から再生した場合の、VBV整合済み
区間の最後におけるVBV値がV2であったとする。
た圧縮ビットストリームH71は、圧縮ストリームG7
0とは編集済み区間の最後までの部分が異なっている。
従って、圧縮ストリームH71を単純に符号化したもの
を再生すると、VBV整合済み区間の最後においてVB
V値はV2にはならない。
H71のVBV整合済み区間を再符号化する際に、次の
ように符号化量を調整する。すなわち、VBV整合済み
区間の先頭のVBV値がVxであることを前提として、
VBV整合済み区間の部分のVBV値がV2となるよう
に符号化量を調整する。符号化手段14が符号化量を調
整する方法は第1の実施の形態と同一であるので、記述
を省略する。このような符号化量を行う際に同時に編集
済み区間の部分も符号化する。
合済み区間のデータを合成手段15に出力する。合成手
段15は、圧縮ストリームH71の編集済み区間の前に
圧縮ストリームF69の前半部分を結合し、VBV整合
区間の後ろに圧縮ストリームG70の後半部分を結合
し、圧縮ストリームH71として、VCR4に記録す
る。
の最後までのフレームで、編集区間以降のフレームに依
存するフレームがある場合がある。すなわち、圧縮スト
リームF69のBフレームで、編集区間以降のIまたは
Pフレームに依存するフレームがある場合がある。この
ような場合、編集区間読み取り手段9は、編集区間以降
の依存先のIまたはPフレームを含む部分までを読み込
む。そして復号化手段11は、依存先のIまたはPフレ
ームを復号し、復号したフレームを参照して、編集区間
以降に依存するフレームを復号する。さらに符号化手段
14は、編集区間以降にあるフレームに依存するフレー
ムをIフレームに変換して再符号化する。このように、
合成手段15は、圧縮ストリームF69に修正を施した
圧縮ストリームを合成すればよい。
ストリームH71を読み取ってモニタ6に表示した場
合、VBV値はアンダーフローもしないしオーバーフロ
ーもせず、正常に再生表示することが出来る。
にトランジッション編集を行い、トランジッション編集
する区間とVBV値を調整する区間を復号した後、トラ
ンジッション編集を施し、復号された部分を再符号化す
る際にVBV値を調整する区間で符号量の調整を行っ
た。このように、編集する部分とVBV値を調整する部
分のみを再符号化するだけで、再生する時にVBV値が
アンダーフローもオーバーフローもしないように再生表
示出来る圧縮ストリームを生成することが出来る。
をHDD3から読み込み特殊効果を施した後、VCR4
に記録するとして説明したが、これに限らない。圧縮ス
トリームをHDD3から読み込み特殊効果を施した後、
再びHDD3に記録しても構わない。
態について説明する。
リームを読み込み、テロップを合成する場合について説
明する。
の画像編集装置52を示す。本実施の形態の画像編集装
置52が、切替スイッチ51を備えている点が第1の実
施の形態との相違点である。
段9で読み取られた圧縮ストリームからテロップが含ま
れるマクロブロックを検出して、そのマクロブロックと
そのマクロブロックを動きベクトルとして参照するマク
ロブロックを復号化手段11に送り、テロップが含まれ
ないマクロブロックを復号化手段11を経由せず、直接
編集手段12に送る手段である。
は、第1の実施の形態と同一であるので、記述を省略す
る。
明する。
図13(a)に示すように圧縮ストリームI72の先頭
から再生した場合に時刻T1に再生される部分と、時刻
T2に再生される部分との区間にテロップを挿入して、
圧縮ストリームI’73を生成する場合について説明す
る。
で作成されたGUI画面を見ながら、まず、編集する対
象の設定を行う。すなわち、読み込むべき圧縮ストリー
ムを指定する。この指定は、読み込み先の装置とその装
置に格納されているデータのファイル名を指定すること
によって行う。
指定され、ファイル名として圧縮ストリームI72が指
定されたとする。
リームI72をHDD3から読み取るように編集区間読
み取り手段9に指示する。編集区間読み取り手段9はI
EEE1394I/F10を介して、圧縮ストリームI
72をHDD3から読み取る。読み取ったデータは、編
集設定手段8から復号化手段11に渡され、復号され
る。GUI7は、復号されたデータを用いてGUI画面
を作成する。D/A変換13は、この画面をアナログ信
号に変換し、モニタ6はアナログ信号を表示する。
て、圧縮ストリームD63をどのように編集するかの設
定を行う。今、図13に示すように、圧縮ストリームI
72の先頭を時刻0として、先頭から再生した場合に時
刻T1に再生される部分から、時刻T2に再生される部
分までにテロップを挿入する処理を行うように設定した
とする。
の時刻T1の部分から時刻T2の部分までを読み取るよ
う指示する。
圧縮ストリームD63の時刻T1から時刻T2までの部
分を読み取り、切替スイッチ51に出力する。切替スイ
ッチ51は、図13の(b)に示すように、テロップ7
4が含まれるマクロブロック75を検出して、そのマク
ロブロックとそのマクロブロックを動きベクトルとして
参照するマクロブロックを復号化手段11に出力する。
また、図13の(b)に示すように、テロップ74が含
まれないマクロブロック76を検出して、そのマクロブ
ロックを復号化手段11を経由せず、直接編集手段12
に出力する。
の時刻T1の部分から時刻T2の部分までのうち入力さ
れたマクロブロックを復号する。なお、復号化手段11
の動作は第1の実施の形態と同様であるので記述を省略
する。
T2までの部分のうち復号化手段11に入力されたマク
ロブロックは復号され、編集手段12に渡される。
時刻T1から時刻T2までの部分にテロップを挿入す
る。テロップが含まれるマクロブロックは復号されてい
るので、復号されているマクロブロック毎にテロップを
挿入する。この結果圧縮ストリームI’73の時刻T1
から時刻T2までの部分が得られる。
ムI63の先頭から時刻T1までの部分を連続して再生
した場合の時刻T1の部分のVBV値を調べる。圧縮ス
トリームい72の先頭から時刻T2までの部分を連続し
て再生した場合の時刻T2の部分のVBV値を調べる。
このようにして調べた時刻T1におけるVBV値がVx
であり、時刻T2におけるVBV値がV2であったとす
る。
た圧縮ビットストリームI’73は、圧縮ストリームい
72とは時刻T1から時刻T2の部分にテロップが挿入
され異なっている。従って、圧縮ストリームI’73を
単純に符号化したものを再生すると、時刻T2において
VBV値はV2にはならない。
I’73の時刻T1から時刻T2の部分のうちテロップ
が挿入されたマクロブロックを再符号化する際に、次の
ように符号化量を調整する。すなわち、時刻T1におけ
る圧縮ストリームI’73のVBV値がVxであること
を前提として、時刻T2の部分のVBV値がV2となる
ように符号化量を調整する。符号化手段14が符号化量
を調整する方法は、マクロブロック単位で符号化量を調
整することを除いて第1の実施の形態と同一であるの
で、記述を省略する。
から時刻T2までのデータを合成手段15に出力する。
合成手段15は、圧縮ストリームI72の時刻T1まで
の部分に編集され符号量が調整されたデータを結合し、
さらにその後に圧縮ストリームI72の時刻T2以降の
データを結合し、圧縮ストリームI’73Dとして、V
CR4に記録する。
ストリームI’73を読み取ってモニタ6に表示した場
合、VBV値はアンダーフローもしないしオーバーフロ
ーもせず、正常に再生表示することが出来る。
に編集する区間のテロップを含むマクロブロックとその
マクロブロックを動きベクトルとして参照するマクロブ
ロックのみ復号した後、テロップを挿入し、復号された
マクロブロックを再符号化する際に符号量の調整を行っ
た。このように、テロップを含むマクロブロックのみ再
符号化するだけで、再生する時にVBV値がアンダーフ
ローもオーバーフローもしないように再生表示出来る圧
縮ストリームを生成することが出来る。
/F10、編集区間読み取り手段9は本発明の入力手段
の例であり、本実施の形態の復号化手段11、編集手段
12、符号化手段14、合成手段15は本発明の編集調
整手段の例であり、本実施の形態の合成手段15、編集
区間読み取り手段9、IEEE1394I/F10は本
発明の出力手段の例である。また本実施の形態の復号化
手段11、編集手段12、符号化手段14は本発明の編
集手段の例である。
ムをHDD3から読み込み特殊効果を施した後、VCR
4に記録するとして説明したが、これに限らない。圧縮
ストリームをHDD3から読み込み特殊効果を施した
後、再びHDD3に記録しても構わない。
BV値がV2として説明したが、これに限らず、V2と
して時刻T2より所定の時間だけ前または後ろのVBV
値を用いても構わない。
画像編集を組み合わせて複数回画像編集を行っても構わ
ない。
ムがMPEG2トランスポートストリームの形式である
として説明したが、これに限らない。MPEG2プログ
ラムストリーム、MPEG1形式のストリームなど、要
するに画像データを圧縮している形式でありさえすれば
よい。
本発明の圧縮ビットストリームの例である。
は一部の手段の全部または一部の機能をハードウェアに
よって実現しても構わないし、コンピュータのプログラ
ムによってソフトウェア的に実現しても構わない。
は一部のステップの全部または一部の動作をハードウェ
アによって実現しても構わないし、コンピュータのプロ
グラムによってソフトウェア的に実現しても構わない。
は一部の手段の全部または一部の機能をコンピュータに
より実行させるためのプログラムおよび/またはデータ
を記録したプログラム記録媒体であって、コンピュータ
により読み取り可能であり、読み取られた前記プログラ
ムおよび/またはデータが前記コンピュータと協動して
前記機能を実行することを特徴とするプログラム記録媒
体も本発明に属する。
は一部のステップの全部または一部の動作をコンピュー
タにより実行させるためのプログラムおよび/またはデ
ータを記録したプログラム記録媒体であって、コンピュ
ータにより読み取り可能であり、読み取られた前記プロ
グラムおよび/またはデータが前記コンピュータと協動
して前記機能を実行することを特徴とするプログラム記
録媒体も本発明に属する。
に、本発明は、圧縮されているデータを編集しても、画
質劣化が少ない画像編集方法、画像編集装置及びプログ
ラム記録媒体を提供することが出来る。
圧縮データを任意の時刻で容易に切り離すことが出来る
画像編集方法、画像編集装置及びプログラム記録媒体を
提供することが出来る。
いる圧縮データを任意の時刻で容易に切り離すことが出
来る画像編集方法、画像編集装置及びプログラム記録媒
体を提供することが出来る。
張りしても、復号器のバッファを破綻させない画像編集
方法、画像編集装置及びプログラム記録媒体を提供する
ことが出来る。
集装置の構成を示すブロック図
手段の構成を示すブロック図
ダの構成を示すブロック図
手段の構成を示すブロック図
の構成を示すブロック図
手段の構成を示すブロック図
値の時間変化を示す図
ームの編集を説明する図
ームの編集を説明する図
リームの編集を説明する図
リームの編集を説明する図
装置の構成を示すブロック図
リームの編集を説明する図
Claims (21)
- 【請求項1】 圧縮ビットストリームを読み込む入力手
段と、 前記入力されてくる圧縮ビットストリームにおける時刻
T1からT2の区間を復号し、その復号された画像を第
1の編集を行ってまたは編集をおこなわずに符号化する
際、 その符号化を実施して得られてくる圧縮ビットストリー
ムを再度復号する場合、前記T2時刻においてVide
o Buffering Verifierの値(以
下、VBV値と呼ぶ)が所定のV2になるように、 符号量を調整する編集調整手段と、 前記編集調整手段で出力された前記圧縮ビットストリー
ムを出力する出力手段とを備え、 前記T1時刻におけるVBV値はVxとすることを前提
とし、 前記V2は、前記入力されてくる圧縮ビットストリーム
をそのまま復号した場合の前記T2時刻におけるVBV
値であることを特徴とする画像編集装置。 - 【請求項2】 前記第1の編集は、前記T1時刻から前
記T2時刻の全部に渡りまたは一部のみに行われること
を特徴とする請求項1記載の画像編集装置。 - 【請求項3】 前記Vxは、前記圧縮ビットストリーム
に合体されるべき別の圧縮ビットストリームの最後尾に
おけるVBV値であり、すなわち前記別の圧縮ビットス
トリームをそのまま復号した場合の最後尾におけるVB
V値であることを特徴とする請求項1記載の画像編集装
置。 - 【請求項4】 前記編集調整手段が、前記T1時刻から
前記T2時刻の間に前記第1の編集を行う場合、 前記Vxは、前記入力されてくる圧縮ビットストリーム
の前記T1時刻におけるVBV値であり、つまり前記入
力されてくる圧縮ビットストリームを前記T1時刻まで
復号した際のVBV値であることを特徴とする請求項1
記載の画像編集装置。 - 【請求項5】 前記編集調整手段は、前記入力されてく
る圧縮ビットストリームに対して前記T1時刻よりも前
のT0時刻と前記T1時刻との間の所定区間について復
号して、その復号データに対して第2の編集を行い符号
化し、 前記Vxは、その第2の編集後符号化した圧縮ビットス
トリームを復号した場合の前記T1時刻におけるVBV
値とすることを特徴とする請求項1記載の画像編集装
置。 - 【請求項6】 前記第2の編集は、他の圧縮ビットスト
リームの映像から前記入力された圧縮ビットストリーム
の映像に徐々に切り替えるトランジッション編集であ
り、前記T0時刻より前のデータは、前記入力された圧
縮ビットストリームの前記T0時刻より前の部分を用い
ず、それに替えて前記他の圧縮ビットストリームの前記
トランジッション編集に用いた部分より前の部分を用い
ることを特徴とする請求項5記載の画像編集装置。 - 【請求項7】 前記第1の編集は、前記T1時刻から前
記T2時刻の一部で行われ、 前記復号は、その編集にかかわる部分に対して行うこと
を特徴とする請求項2記載の画像編集装置。 - 【請求項8】 前記第1の編集は、テロップを挿入する
ことであり、 前記復号する部分は、マクロブロック単位であり、テロ
ップが挿入されるマクロブロックのみならず、そのマク
ロブロックを動きベクトルとして参照するマクロブロッ
クも復号することを特徴とする請求項7記載の画像編集
装置。 - 【請求項9】 前記VBV値を調整する区間は、再符号
化する際、復号前の符号化パラメータをそのまま利用し
て再符号化することを特徴とする請求項1〜8のいずれ
かに記載の画像編集装置。 - 【請求項10】 前記符号量の調整は、量子化レベルの
調整で行うことを特徴とする請求項1〜9のいずれかに
記載の画像編集装置。 - 【請求項11】 前記符号量の調整は、DCT係数を選
択することによって行うことを特徴とする請求項1〜1
0のいずれかに記載の画像編集装置。 - 【請求項12】 前記符号量の調整は、ダミーデータを
利用して行うことを特徴とする請求項1〜11のいずれ
かに記載の画像編集装置。 - 【請求項13】 前記V2は、前記T2時刻のVBV値
に替えて、そのT2時刻よりも所定時刻だけ前または後
ろのVBV値でもよいことを特徴とする請求項1〜12
のいずれかに記載の画像編集装置。 - 【請求項14】 前記Vxは、前記別の圧縮ビットスト
リームを復号した場合の最後尾におけるVBV値である
ことに替えて、その最後尾から所定量だけ前または後ろ
におけるVBV値でもよいことを特徴とする請求項3記
載の画像編集装置。 - 【請求項15】 前記Vxは、前記入力されてくる圧縮
ビットストリームの前記T1時刻におけるVBV値であ
ることに替えて、前記入力されてくる圧縮ビットストリ
ームの前記T1時刻より所定量だけ前または後ろにおけ
るVBV値でもよいことを特徴とする請求項4記載の画
像編集装置。 - 【請求項16】 前記Vxは、前記第2の編集後符号化
したデータを復号した場合の前記T1時刻におけるVB
V値であることに替えて、前記第2の編集後符号化した
データを復号した場合の前記T1時刻より所定量だけ前
におけるVBV値でもよいことを特徴とする請求項5記
載の画像編集装置。 - 【請求項17】 圧縮ビットストリームを読み込む入力
手段と、 読み込まれた第1の圧縮ビットストリームと第2の圧縮
ビットストリームを合体させる場合、前記第1の圧縮ビ
ットストリームの前半部分と前記第2の圧縮ビットスト
リームの後半部分を合体させる際、 前記第1の圧縮ビットストリームの前半部分に前記第1
の圧縮ビットストリームの後半部分に依存するフレーム
がある場合は、前記第1の圧縮ビットストリームの後半
のフレームを用いて、前記後半部分に依存するフレーム
を復号して再符号化し、 前記第2の圧縮ビットストリームの後半部分に前記第2
の圧縮ビットストリームの前半部分に依存するフレーム
がある場合は、前記第2の圧縮ビットストリームの前半
のフレームを用いて、前記前半部分に依存するフレーム
を復号して再符号化する編集手段と、 前記合体された圧縮ビットストリームを出力する出力手
段とを備えたことを特徴とする画像編集装置。 - 【請求項18】 入力されてくる所定の前記圧縮ビット
ストリームにおける時刻T1からT2の区間を復号し、
その復号された画像を第1の編集を行ってまたは編集を
おこなわずに符号化する際、 その符号化を実施して得られてくる圧縮ビットストリー
ムを再度復号する場合、前記T2時刻においてVBV値
が所定のV2になるように、 符号量を調整する画像編集方法であって、 前記T1時刻におけるVBV値はVxとすることを前提
とし、 前記V2は、前記入力されてくる圧縮ビットストリーム
をそのまま復号した場合の前記T2時刻におけるVBV
値であることを特徴とする画像編集方法。 - 【請求項19】 第1の圧縮ビットストリームと第2の
圧縮ビットストリームを合体させる場合、前記第1の圧
縮ビットストリームの前半部分と前記第2の圧縮ビット
ストリームの後半部分を合体させる際、 前記第1の圧縮ビットストリームの前半部分に前記第1
の圧縮ビットストリームの後半部分に依存するフレーム
がある場合は、前記第1の圧縮ビットストリームの後半
のフレームを用いて、前記後半部分に依存するフレーム
を復号して再符号化し、 前記第2の圧縮ビットストリームの後半部分に前記第2
の圧縮ビットストリームの前半部分に依存するフレーム
がある場合は、前記第2の圧縮ビットストリームの前半
のフレームを用いて、前記前半部分に依存するフレーム
を復号して再符号化することを特徴とする画像編集方
法。 - 【請求項20】 請求項1〜17のいずれかに記載の画
像編集装置の全部または一部の手段の全部または一部の
機能をコンピュータにより実行させるためのプログラム
および/またはデータを記録したプログラム記録媒体で
あって、 コンピュータにより読み取り可能であることを特徴とす
るプログラム記録媒体。 - 【請求項21】 請求項18または19のいずれかに記
載の画像編集方法の全部または一部のステップの全部ま
たは一部の動作をコンピュータにより実行させるための
プログラムおよび/またはデータを記録したプログラム
記録媒体であって、 コンピュータで読み取り可能であることを特徴とするプ
ログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33511399A JP2001157161A (ja) | 1999-11-25 | 1999-11-25 | 画像編集装置、画像編集方法及びプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33511399A JP2001157161A (ja) | 1999-11-25 | 1999-11-25 | 画像編集装置、画像編集方法及びプログラム記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001157161A true JP2001157161A (ja) | 2001-06-08 |
Family
ID=18284925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33511399A Pending JP2001157161A (ja) | 1999-11-25 | 1999-11-25 | 画像編集装置、画像編集方法及びプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001157161A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008007756A1 (en) * | 2006-07-13 | 2008-01-17 | Sony Corporation | Video signal processing device, video signal processing method, video signal encoding device, video signal encoding method, and program |
JP2009005371A (ja) * | 2001-06-15 | 2009-01-08 | Sharp Corp | データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体 |
JP2010028409A (ja) * | 2008-07-18 | 2010-02-04 | Hitachi Kokusai Electric Inc | 画像圧縮装置 |
-
1999
- 1999-11-25 JP JP33511399A patent/JP2001157161A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009005371A (ja) * | 2001-06-15 | 2009-01-08 | Sharp Corp | データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体 |
US7653285B2 (en) | 2001-06-15 | 2010-01-26 | Sharp Kabushiki Kaisha | Data recording method, data editing method, and data decoding method, and apparatus and recording medium therefor |
US8306405B2 (en) | 2001-06-15 | 2012-11-06 | Sharp Kabushiki Kaisha | Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor |
WO2008007756A1 (en) * | 2006-07-13 | 2008-01-17 | Sony Corporation | Video signal processing device, video signal processing method, video signal encoding device, video signal encoding method, and program |
US8320744B2 (en) | 2006-07-13 | 2012-11-27 | Sony Corporation | Video signal processing device, video signal processing method, video signal encoding device, video signal encoding method, and program |
JP2010028409A (ja) * | 2008-07-18 | 2010-02-04 | Hitachi Kokusai Electric Inc | 画像圧縮装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH10145798A (ja) | デジタル符号化信号処理方式 | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
US7424203B2 (en) | Data reproduction transmission apparatus and data reproduction transmission method | |
JPH11285002A (ja) | 動画像符号化装置及び動画像符号化方法 | |
US20020037161A1 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
JP3300561B2 (ja) | 可変レート圧縮装置及び可変レート伸長装置 | |
JP3748234B2 (ja) | Mpegデータ記録方法 | |
JP2000244872A (ja) | トランスコーダ装置 | |
JPH08251582A (ja) | 符号化データ編集装置 | |
JP3897684B2 (ja) | 画像記録方式 | |
JP2001157161A (ja) | 画像編集装置、画像編集方法及びプログラム記録媒体 | |
JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
JP4320509B2 (ja) | 映像再符号化装置および方法 | |
JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
JP4193224B2 (ja) | 動画像符号化装置及び方法並びに動画像復号装置及び方法 | |
JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
JP3748243B2 (ja) | Mpegデータ記録装置 | |
JPH10191355A (ja) | 映像信号切換装置およびその方法 | |
JP3277447B2 (ja) | データ記録方法およびその装置 | |
JP4217504B2 (ja) | 画像再生方式及び方法 | |
JP3748241B2 (ja) | Mpegデータ記録方法 | |
JP3748240B2 (ja) | Mpegデータ記録方法 | |
JP3748242B2 (ja) | Mpegデータ記録方法 | |
JP3748245B2 (ja) | Mpegデータ記録装置 | |
JP2002112183A (ja) | Mpeg画像データ記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050802 |