JP2005057657A

JP2005057657A - 画像処理装置

Info

Publication number: JP2005057657A
Application number: JP2003288867A
Authority: JP
Inventors: Yoshiki Ishii; 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2005-03-03
Also published as: CN1581956A; US20050031304A1; US7738769B2; CN1311685C

Abstract

【課題】リアルタイムビデオエフェクト機能を搭載しない再生機においても、ビデオ遷移効果を付けた再生を可能とする。
【解決手段】複数の映像トラックからなる映像データを処理する装置であって、前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える。
【選択図】図７

Description

本発明は画像処理装置に関し、特には画像信号の再生手順の制御に関する。

近年、デジタルＶＴＲやＤＶＤプレーヤなど、デジタル動画像信号を扱う機器が普及し、またＡＶ機器やコンピュータ機器の進歩により動画像の編集がスタジオのみならず家庭においても行われるようになってきた。動画像の編集においてはプレイリストと呼ばれる再生記述データを作成して複数の動画間の切り替えや、ビデオエフェクト処理を再生時にリアルタイムに行うことにより、動画編集のための時間を大幅に削減したシステムも開発されている。このようなムービーフォーマットとしてはＡｐｐｌｅ社のＱｕｉｃｋＴｉｍｅ形式などが知られている。ＱｕｉｃｋＴｉｍｅは複数のビデオ、オーディオトラックを扱うことができ、トラック間にビデオの遷移効果を設定することも可能である。

図１５はこのようなマルチトラックのプレイリストに対しワイプによる遷移効果を再生時のリアルタイムエフェクトとして設定した場合のトラックイメージの図である。

ＶｉｄｅｏＴｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、ＶｉｄｅｏＴｒａｃｋ−２には３秒〜７秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。ＶｉｄｅｏＴｒａｃｋ−２の再生指定時間がＶｉｄｅｏＴｒａｃｋ−１の終了時間に対し１秒前にずれているのは、この１秒間にＶｉｄｅｏＴｒａｃｋ−１とＶｉｄｅｏＴｒａｃｋ−２の間でワイプエフェクトによる遷移効果がなされるためのオーバーラップによるものである。

ＥｆｆｅｃｔＴｒａｃｋはこれら二つのトラックについてエフェクトの適用を制御するためのデータである。この例ではＥｆｆｅｃｔＴｒａｃｋは三つのブロックにわかれ、それぞれ０〜３秒はＶｉｄｅｏＴｒａｃｋ−１をそのまま、３〜４秒はＶｉｄｅｏＴｒａｃｋ−１とＶｉｄｅｏＴｒａｃｋ−２の間で遷移効果を適用し、４〜７秒はＶｉｄｅｏＴｒａｃｋ−２をそのまま再生する。

このプレイリストのデータツリー構造を示したものが図１６である。

３００はプレイリストファイル全体を示し、１００はその中の管理情報を示す。管理情報中でトラックは１１０、１２０、１４０で表され、それぞれ１１１、１２１、１４１で示されるトラックＩＤと、１１３、１２３、１４３で示されるプレイリストデータを持っている。トラック内のコンテンツは１１５、１２５、１４５で示され、それぞれ実際のムービーテイクファイルへの参照情報である参照テーブル１１６、１２６または、エフェクト記述ファイルへの参照情報１４６及び、コンテンツの内容を示すコンテンツデータ情報１１７、１２７、１４７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１１８、１２８、１４８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１１９、１２９、１４９からなる。

２００はエフェクト記述ファイルであり、処理記述ブロック２０１、２０２、２０３からなる。

図１７に実際のデータ例を示す。

１７（ａ）は図１６の参照テーブル１１６、１２６、１４６であり、ＶｉｄｅｏＴｒａｃｋ−１の参照テーブル１１６ではＭｏｖｉｅＡ．ｍｐｇが、ＶｉｄｅｏＴｒａｃｋ−２の参照テーブル１２６ではＭｏｖｉｅＢ．ｍｐｇが、ＥｆｆｅｃｔＴｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが記述されている。

図１７（ｂ）はプレイリストデータであり、ＶｉｄｅｏＴｒａｃｋ−１では先頭から４秒間の再生が、ＶｉｄｅｏＴｒａｃｋ−２では３秒間のブランクの後、先頭から４秒間の再生が、ＥｆｆｅｃｔＴｒａｃｋでは先頭から７秒間の再生が設定されている。これによって図１５で説明した合計７秒のプレイリスト再生が行われる。

図１７（ｃ）はコンテンツ管理データであり、ＶｉｄｅｏＴｒａｃｋ−１のコンテンツ管理データ１１８ではコンテンツＩＤとしてＡ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、ＶｉｄｅｏＴｒａｃｋ−２のコンテンツ管理データ１２８ではコンテンツＩＤとしてＢ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、ＥｆｆｅｃｔＴｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が設定されている。

Ｅ−１は図１５で説明した０〜３秒、４〜７秒のエフェクト無しの部分に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが設定されている。Ｅ−２は図１５の３〜４秒に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、リアルタイムエフェクト処理を行うためＥｆｆｅｃｔ＿Ｏｎが設定されている。

図１７（ｄ）は図１６のブロック管理データ１１９、１２９、１４９であり、ＶｉｄｅｏＴｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＶｉｄｅｏＴｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＥｆｆｅｃｔＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。これは、図１５においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの二つのデータブロックからなり、それらが順番に再生されることを記述している。

図１８はエフェクト記述データ２００のデータ例を示す。Ｅｆｆｅｃｔトラックの１〜３のデータブロックについて、ブロック１はＮｏＥｆｆｅｃｔでソースがＶｉｄｅｏＴｒａｃｋ−１である。ブロック２はエフェクトタイプＷｉｐｅでソースがＶｉｄｅｏＴｒａｃｋ−１，ＶｉｄｅｏＴｒａｃｋ−２であり、リアルタイムエフェクトの種類を指定している。ブロック３はＮｏＥｆｆｅｃｔでソースがＶｉｄｅｏＴｒａｃｋ−２である。

このような再生時のビデオエフェクトは高い再生機性能を要求し、特に遷移効果のように同時に複数の映像トラックを再生しながらエフェクト処理を行うことは困難である。これに対し、特許文献１においては、ＳＭＩＬのような再生記述言語においてエフェクト部分のみを事前にレンダリングした動画ファイルを再生時に挟み込む記述方法が提案され、これにより、能力の低い再生機においても高度なエフェクト付きの再生が行える。
特開２００２−２１８３８５号

しかし、前記特許文献１の詳細仕様は単一の映像トラックを主体とするデータ構造に基づいてなされており、ＱｕｉｃｋＴｉｍｅのように複数の映像トラックを持った動画フォーマットにおいて前記発明をそのまま適用することは困難であった。

本発明はこのような問題を解決し、能力の低い装置であっても、高度な加工処理を施した複数の映像トラックからなる画像データを再生することを可能とすることを目的とする。

前述の目的を達成するため、本発明においては、複数の映像トラックからなる映像データを処理する装置であって、前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える構成とした。

リアルタイムビデオエフェクト機能を搭載しない再生機においても、ビデオ遷移効果を付けた再生が可能である。

以下、図面を参照して本発明の実施形態を詳細に説明する。尚、以下の実施形態では専ら動画像信号の処理について説明するが、音声信号についても同様に扱うことが可能である。

図１は本発明が適用される編集装置の構成を示す図である。

図１において、ドライブコントローラ１０９は、システムコントローラ１０８の要求によりドライブサーボ回路１１０に信号を入力し、ディスクＩ／Ｆ１０１の光ピックアップ、モータを制御することによってディスクＤからのデータ読み出しを制御する。

ディスクＩ／Ｆ１０１によってディスクＤから読み取られたデータは、誤り訂正処理回路１０２で媒体の欠陥もしくは記録再生時の誤りが訂正される。ファイル管理回路１０３は誤り訂正後のデータ列から各種のデータを検出し、画像データをビデオ復号回路１０４に出力すると共に、管理データなどをシステムコントローラ１０８に出力する。また、プレイリストデータをプレイリスト処理回路１１１に出力する。

システムコントローラ１０８ディスクＤからのデータ読み出しを制御することによって目的の記録データを得る。

１１２は編集操作入力回路であり、モニタ１０７に表示された動画データのサムネイル等を用いて、編集の為の操作画面を操作する。システムコントローラ１０８は、入力された編集指示に基づきプレイリスト処理回路１１１を制御し、編集結果であるところのプレイリストを含むプレイリストデータを作成する。既存のプレイリストファイルを編集する場合、プレイリスト処理回路１１１には復号されたプレイリストデータがファイル管理回路１０３より出力され、システムコントローラ１０８によって編集操作による変更が加えられたのち、プレイリストデータが作成される。ファイル管理回路１０３はこのプレイリストデータをファイル形式に変換して誤り訂正処理回路１０２に出力し、ディスクＩ／Ｆ１０１によってディスクＤに記録する。

１０２は誤り訂正処理回路であり、デジタルデータの誤り訂正を行うためのパリティデータを付加する。ドライブコントローラ１０９は、システムコントローラ１０８からの要求でドライブサーボ回路１１０に信号を出力することにより、ディスクＩ／Ｆ１０１の光ピックアップ、モータを制御する。

ビデオ復号回路１０４は、動画データの実体からなるところのムービーテイクファイルから読み出された、符号化ビデオデータを復号し、ビデオエフェクト回路１０５、モニタ１０７に供給する。ビデオエフェクト回路１０５は単一または複数のビデオトラックからの動画データに対してビデオエフェクト処理（加工処理）を施し、ビデオ符号化回路１０６に出力する。ビデオ符号化回路１０６はエフェクト回路１０５からの画像データを符号化し、ファイル管理回路１０３に出力する。ファイル管理回路１０３は、このビデオ符号化回路１０６から出力されたエフェクト処理済みの符号化データを、ビデオエフェクト部分の動画データからなるムービーテイクファイルであるところの、レンダリングクリップファイルとして誤り訂正処理回路１０２に出力し、ディスクＩ／Ｆ１０１によりディスクＤに記録する。

次に、プレイリストファイルとレンダリングクリップの例を用いて本形態の処理を説明する。

図２は二つの動画からなる単純なプレイリストによる編集画面の例である。

２０１はストーリーボードであり、再生順に従って動画ファイルのサムネイルが表示される。２０２、２０３は各々１番目の動画ファイルＭｏｖｉｅＡ．ｍｐｇ、２番目の動画ファイルＭｏｖｉｅＢ．ｍｐｇのサムネイルである。２０４、２０５は動画間の遷移効果を設定するための入力ボックスであり、この例は遷移効果が設定されていない状態を示している。

このプレイリストをトラックイメージで示したものが図３である。ＶｉｄｅｏＴｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、ＶｉｄｅｏＴｒａｃｋ−２には４秒〜８秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。このデータについてプレイリスト再生を行うと０秒〜４秒までＭｏｖｉｅＡ．ｍｐｇが再生され、４秒〜８秒までＭｏｖｉｅＢ．ｍｐｇが再生される。

このプレイリストのデータツリー構造を示したものが図４である。３００はプレイリストファイル全体を示し、１００はその中の管理情報を示す。管理情報中でトラックは１１０、１２０で表され、それぞれ１１１、１２１で示されるトラックＩＤと、１１３、１２３で示されるプレイリストデータを持っている。トラック内のコンテンツは１１５、１２５で示され、それぞれ実際のムービーテイクファイルへの参照情報である参照テーブル１１６、１２６及び、コンテンツの内容を示すコンテンツデータ情報１１７、１２７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１１８、１２８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１１９、１２９からなる。

図５に実際のデータ例を示す。

図５（ａ）は図４の参照テーブル１１６、１２６であり、ＶｉｄｅｏＴｒａｃｋ−１の参照テーブル１１６ではＭｏｖｉｅＡ．ｍｐｇが、ＶｉｄｅｏＴｒａｃｋ−２の参照テーブル１２６ではＭｏｖｉｅＢ．ｍｐｇが、設定されている。図５（ｂ）は図４のプレイリストデータ１１３、１２３であり、ＶｉｄｅｏＴｒａｃｋ−１のプレイリストデータ１１３では先頭から４秒間の再生が、ＶｉｄｅｏＴｒａｃｋ−２のプレイリストデータ１２３では４秒間のブランクの後、先頭から４秒間の再生が設定されている。これによって図３で説明した合計８秒のプレイリスト再生が行われる。

５（ｃ）は図４のコンテンツ管理データ１１８、１２８であり、ＶｉｄｅｏＴｒａｃｋ−１のコンテンツ管理データ１１８ではコンテンツＩＤとしてＡ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、ＶｉｄｅｏＴｒａｃｋ−２のコンテンツ管理データ１２８ではコンテンツＩＤとしてＢ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定されている。

図５（ｄ）は図４のブロック管理データ１１９、１２９であり、ＶｉｄｅｏＴｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＶｉｄｅｏＴｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが各々設定されている。これは図３においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの八つのデータブロックからなりそれらが順番に再生されることを記述している。

図６は図３の単純なプレイリストに対し、ワイプによる遷移効果を設定した図である。６０１はストーリーボードであり、再生順に従って動画ファイルのサムネイルが表示される。６０２、６０３は各々１番目の動画ファイルＭｏｖｉｅＡ．ｍｐｇ、２番目の動画ファイルＭｏｖｉｅＢ．ｍｐｇのサムネイルである。６０４、６０５は動画間の遷移効果を設定するための入力ボックスであり、６０４に遷移効果としてワイプエフェクトが設定されている。

このプレイリストをトラックイメージで示したものが図７である。

ＶｉｄｅｏＴｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、ＶｉｄｅｏＴｒａｃｋ−２には３秒〜７秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。ＶｉｄｅｏＴｒａｃｋ−２の再生指定時間が図３に対して１秒前にずれているのは、この１秒間にＶｉｄｅｏＴｒａｃｋ−１とＶｉｄｅｏＴｒａｃｋ−２の間でワイプエフェクトによる遷移効果がなされるためのオーバーラップによるものである。図７では後続の動画がＶｉｄｅｏＴｒａｃｋ−２の一つであるためＭｏｖｉｅＢ．ｍｐｇのみずらされているが、さらに後続する動画がある場合、以後のプレイリスト部分についても同様のシフトがなされる。

この後続データのシフトは、動画間の遷移効果など、時間的オーバーラップを必要とする特定のビデオエフェクトについて必要なものであり、単一動画に対するフェードイン、フェードアウトや、カラーエフェクトなど、オーバーラップが発生しないエフェクトでは必要ない。

ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋはエフェクトの追加によって新たに生成された、エフェクト適用部分を抽出したムービーテイクファイルであるところのレンダリングクリップを指定するためのトラックである。このトラックにはＭｏｖｉｅＡ．ｍｐｇの末尾１秒とＭｏｖｉｅＢ．ｍｐｇの先頭１秒をソースとしてワイプエフェクトをかけた動画像から生成された１秒分のムービーテイクファイルＲｎｄＣ．ｍｐｇが設定されている。ＥｆｆｅｃｔＴｒａｃｋはこれら三つのトラックからなる三つのブロックについてエフェクトの適用を制御するデータであり、本形態の特徴であるところのレンダリングクリップに関する情報を保持している。

Ｓｈｆｔは遷移効果の追加によるオーバーラップ分として後続動画であるところのＭｏｖｉｅＢ．ｍｐｇを１秒前にシフトした履歴を保持するデータであり、エフェクトトラックのコンテンツ管理データに記録される。

前述のようにオーバーラップを必要としないエフェクトの場合は後続動画データのシフトは発生せず、したがってＳｈｆｔ＝０となる。

Ｉｎ、Ｏｕｔはそれぞれレンダリングクリップ内での実際の遷移効果開始位置と終了位置を示し、エフェクトトラックのコンテンツ管理データに記録される。また、レンダリングクリップの再生を制御する再生フラグも同様に記録され、Ｓｗ＝Ｏｎの場合は再生時にレンダリングクリップの期間、オリジナルのビデオトラックＶｉｄｅｏＴｒａｃｋ−１、ＶｉｄｅｏＴｒａｃｋ−２に優先してＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋが再生される。この例ではプレイリスト再生から３秒まではＭｏｖｉｅＡ．ｍｐｇが、３秒〜４秒の期間はレンダリングクリップの再生フラグによりＲｎｄＣ．ｍｐｇが、４秒〜７秒まではＭｏｖｉｅＢ．ｍｐｇが再生される。

ＥｆｆｅｃｔトラックのコンテンツとＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのデータブロックを対応付ける情報はＢｌｋ情報としてエフェクトトラックのコンテンツ管理データに記録され、ここではＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのブロック１〜２がＥｆｆｅｃｔＴｒａｃｋのコンテンツであることが記録されている。

この情報はＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋに複数箇所のレンダリングクリップが割り当てられているとき、プレイリスト上のエフェクトブロックとレンダリングクリップを対応付けるために用いられる。

レンダリングクリップのエフェクト内容を示す情報はＥｆｆｅｃｔ記述データに記録され、ここではＷｉｐｅエフェクトであることが記録されている。このエフェクト内容情報は例えば、ストーリーボード編集画面の例である図６の６０４において遷移効果がＷｉｐｅであることを表示するために用いられる。

以上のレンダリングクリップによる処理を行うためのフラグもＥｆｆｅｃｔＴｒａｃｋのコンテンツ管理情報にＲｅ＿Ｏｎとして記録される。レンダリングクリップが存在しない場合、Ｒｅ＿Ｏｆｆが設定され、以上の処理はスキップされる。

このプレイリストのデータツリー構造を示したものが図８である。

図４に対し、グレイのデータ構造が追加、変更される。図３と同一のデータ構造については説明を省略する。レンダリングクリップトラック、エフェクトトラックは１３０、１４０で表され、それぞれ１３１、１４１で示されるトラックＩＤと、エフェクトトラックについては１４３で示されるプレイリストデータを持っている。トラック内のコンテンツは１３５、１４５で示され、それぞれ実際のムービーテイクファイルおよびエフェクト記述ファイルへの参照情報である参照テーブル１３６、１４６及び、コンテンツの内容を示すコンテンツデータ情報１３７、１４７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１３８、１４８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１３９、１４９からなる。２００はエフェクト記述ファイルであり、処理記述ブロック２０１、２０２、２０３からなる。

図９に実際のデータ例を示す。

図９（ａ）は図８の参照テーブル１３６、１４６であり、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋの参照テーブル１３６ではＲｎｄＣ．ｍｐｇが、ＥｆｆｅｃｔＴｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが追加されている。図９（ｂ）はプレイリストデータであり、ＶｉｄｅｏＴｒａｃｋ−１では先頭から４秒間の再生が、ＶｉｄｅｏＴｒａｃｋ−２では３秒間のブランクの後、先頭から４秒間の再生が、ＥｆｆｅｃｔＴｒａｃｋでは先頭から７秒間の再生が設定されている。これによって図７で説明した合計７秒のプレイリスト再生が行われる。図９（ｃ）はコンテンツ管理データであり、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのコンテンツ管理データ１３８ではコンテンツＩＤとしてＲ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、ＥｆｆｅｃｔＴｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が、またエフェクト及びレンダリングクリップの制御パラメータが設定されている。

Ｅ−１は図７で説明した０〜３秒、４〜７秒のエフェクト無しの部分に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが、レンダリングクリップ有無を示すフラグとして、Ｒｃ＿Ｏｆｆが設定されている。Ｅ−２は図７の３〜４秒に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、レンダリングクリップを持つためＲｃ＿Ｏｎが設定されている。

図７で説明したレンダリングクリップの各パラメータは、このコンテンツとして記録され、Ｓｗ＝Ｏｎ，Ｉｎ＝３，Ｏｕｔ＝４，Ｓｈｆｔ＝１，Ｂｌｋ＝１−２、また参照トラックＩＤとしてＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋが設定されている。各パラメータの意味については図７での説明と重複するため省略する。

図９（ｄ）は図８のブロック管理データ１１９、１２９、１３９、１４９であり、ＶｉｄｅｏＴｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＶｉｄｅｏＴｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのブロック管理データ１３９ではＩＤがＲ−１のコンテンツについてデータブロック１〜２の再生時間テーブルが、ＥｆｆｅｃｔＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。

これは図７においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの２つのデータブロックからなり、それらが順番に再生されることを記述している。

図１０は図８のエフェクト記述データ２００のデータ例を示す。Ｅｆｆｅｃｔトラックの１〜３のデータブロックについて、ブロック１はＮｏＥｆｆｅｃｔでソースがＶｉｄｅｏＴｒａｃｋ−１である。ブロック２はエフェクトタイプＷｉｐｅでソースがＶｉｄｅｏＴｒａｃｋ−１，ＶｉｄｅｏＴｒａｃｋ−２であり、レンダリングクリップに対応している。前述のようにここに記述されたエフェクトタイプによって、編集画面に遷移効果の種類などを表示することが可能である。ブロック３はＮｏＥｆｆｅｃｔでソースがＶｉｄｅｏＴｒａｃｋ−２である。

図１１は、この様に生成されたレンダリングクリップを含む各種のファイルが記録され、プレイリストによる再生が可能な再生装置の概略構成を示す図である。

ドライブコントローラ１１１０は、システムコントローラ１１１１の要求によりドライブサーボ回路１１０９に信号を入力し、ディスクＩ／Ｆ１１０１の光ピックアップ、モータを制御することによってディスクＤからのデータ読み出しを制御する。ディスクＤから読み取られたデータは誤り訂正復号化回路１１０２誤りが訂正される。ファイル管理回路１１０３は誤り訂正後のデータ列から各種のデータを検出する。

操作部１１１２によりプレイリスト再生が指示されると、システムコントローラはドライブコントローラ１１１０を制御してディスクＤからプレイリストファイルの再生を指示する。プレイリスト処理回路１１０６はファイル管理回路１１０３から出力されたプレイリストファイルを解析し、読み出すべきデータストリームを決定してシステムコントローラ１１１１に供給する。この際、レンダリングクリップ検出回路１１０７によってレンダリングクリップが有ること、すなわちＲｃ＿Ｏｎが検出された場合は、図７によって説明したレンダリングクリップ再生処理に移行する。

再生フラグ検出回路１１０８によってＳｗ＝Ｏｎが検出されレンダリングクリップの再生が有効化された場合、システムコントローラ１１１１は元のデータトラックに代えてＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋを再生するようドライブコントローラ１１１０を制御する。ビデオ復号化回路１１０４はプレイリストに従って読み出された動画ストリームデータを復号し、ビデオ出力回路１１０５を経て出力する。

図１２はＲｃ＿ＯｎとＳｗフラグによる再生トラックの制御動作を示すフローチャートである。

ステップ１２０１においてＲｃ＿Ｏｎが判定され、レンダリングクリップ有りの場合次の再生フラグ判定処理に進む、レンダリングクリップ無しの場合は、ステップ１２０４において通常のプレイリスト再生が行われる。ステップ１２０２は再生フラグ判定で、Ｓｗ＝Ｏｎの場合１２０３のＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋ再生を、Ｓｗ＝Ｏｆｆの場合１２０４の通常トラック再生を行う。ステップ１２０５で後続のデータブロック有りの場合は１２０６で再生対象を次のデータブロックに進め、ステップ１２０１から上記処理を繰り返す。

この様に、本形態によれば、複数のトラックからなる映像データに対して各種のエフェクト処理を施したものをプレイリスト再生する場合であっても、既にエフェクト処理を施したレンダリングクリップを作成し、このレンダリングクリップを再生することで高度なエフェクト処理を実現することが可能となった。

図１３は実際のエフェクトのＩｎ，Ｏｕｔ点とレンダリングクリップの開始、終了点が等しくない場合の例である。

このような状況は例えばＭＰＥＧ２のＧＯＰのように、再生があるまとまった時間単位でしか行えないような場合に、任意長さの遷移効果をつけるためにエフェクト適用区間を含み、かつ再生データ境界に適合した長さのレンダリングクリップを作成する必要があるからである。

ＶｉｄｅｏＴｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、ＶｉｄｅｏＴｒａｃｋ−２には２．５秒〜６．５秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。ＶｉｄｅｏＴｒａｃｋ−２の再生指定時間が図３に対して１．５秒前にずれているのは、１秒間のＶｉｄｅｏＴｒａｃｋ−１とＶｉｄｅｏＴｒａｃｋ−２の間のワイプエフェクトによる遷移効果と、データブロック境界のためののりしろデータを含んだオーバーラップのためである。のりしろデータは元データトラックの映像データをそのまま用いる。

ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋにおいてはＩｎ＝２．７，Ｏｕｔ＝３．７で示される実際のエフェクト適用区間を含み、かつ前後の動画データをブロック境界に整合するところまで含んだレンダリングクリップが設定されている。

Ｓｈｆｔは遷移効果の追加によるオーバーラップ分として後続動画であるところのＭｏｖｉｅＢ．ｍｐｇを１．５秒前にシフトした履歴を保持するデータであり、エフェクトトラックのコンテンツ管理データに記録される。

Ｉｎ、Ｏｕｔはそれぞれレンダリングクリップ内での実際の遷移効果開始位置と終了位置を示し、エフェクトトラックのコンテンツ管理データに記録される。前述のように、再生ブロック境界整合ののりしろ部分のため、Ｉｎ，Ｏｕｔはレンダリングクリップの開始終了点と一致していない。

レンダリングクリップの再生を制御する再生フラグもエフェクトトラックのコンテンツ管理データに記録され、Ｓｗ＝Ｏｎの場合は再生時にレンダリングクリップの期間、オリジナルのビデオトラックＶｉｄｅｏＴｒａｃｋ−１、ＶｉｄｅｏＴｒａｃｋ−２に優先してＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋが再生される。この例ではプレイリスト再生から２．５秒まではＭｏｖｉｅＡ．ｍｐｇが、２．５秒〜４秒の期間はレンダリングクリップの再生フラグによりＲｎｄＣ．ｍｐｇが、４秒〜７秒まではＭｏｖｉｅＢ．ｍｐｇが再生される。

ＥｆｆｅｃｔトラックのコンテンツとＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのデータブロックを対応付ける情報はＢｌｋ情報としてエフェクトトラックのコンテンツ管理データに記録され、ここではＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのブロック１〜３がＥｆｆｅｃｔＴｒａｃｋのコンテンツであることが記録されている。

このプレイリストのデータツリー構造は図８と同一となるため説明を省略する。

図１４に実際のデータ例を示す。

図１４（ａ）は図８の参照テーブル１３６、１４６であり、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋの参照テーブル１３６ではＲｎｄＣ．ｍｐｇが、ＥｆｆｅｃｔＴｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが追加されている。図１４（ｂ）はプレイリストデータであり、ＶｉｄｅｏＴｒａｃｋ−１では先頭から４秒間の再生が、ＶｉｄｅｏＴｒａｃｋ−２では２．５秒間のブランクの後、先頭から４秒間の再生が、ＥｆｆｅｃｔＴｒａｃｋでは先頭から６．５秒間の再生が設定されている。これによって図１３で説明した合計６．５秒のプレイリスト再生が行われる。

図１４（ｃ）はコンテンツ管理データであり、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのコンテンツ管理データ１３８ではコンテンツＩＤとしてＲ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、ＥｆｆｅｃｔＴｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が、またエフェクト及びレンダリングクリップの制御パラメータが設定されている。

Ｅ−１は図１３で説明した０〜２．５秒、４〜６．５秒のエフェクト無しの部分に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが、レンダリングクリップ有無を示すフラグとして、Ｒｃ＿Ｏｆｆが設定されている。Ｅ−２は図１３の２．５〜４秒に対応するＥｆｆｅｃｔＴｒａｃｋコンテンツを示しており、レンダリングクリップを持つためＲｃ＿Ｏｎが設定されている。

図１３で説明したレンダリングクリップの各パラメータは、このコンテンツとして記録され、Ｓｗ＝Ｏｎ，Ｉｎ＝２．７，Ｏｕｔ＝３．７，Ｓｈｆｔ＝１．５，Ｂｌｋ＝１−３、また参照トラックＩＤとしてＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋが設定されている。各パラメータの意味については図１３での説明と重複するため省略する。

図１４（ｄ）は図８のブロック管理データ１１９、１２９、１３９、１４９であり、ＶｉｄｅｏＴｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＶｉｄｅｏＴｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、ＲｅｎｄｅｒｉｎｇＣｌｉｐＴｒａｃｋのブロック管理データ１３９ではＩＤがＲ−１のコンテンツについてデータブロック１〜３の再生時間テーブルが、ＥｆｆｅｃｔＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。これは図１３においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの３つのデータブロックからなり、それらが順番に再生されることを記述している。

この様に、画像データの符号化処理単位と記録媒体からの再生単位とが一致しない場合であっても、レンダリングクリップ内でエフェクト処置されている区間を示すデータを一緒に記録しておくことにより、任意の時間だけエフェクト処理を施すことが可能となる。

本発明が適用された画像処理装置を示す図である。ストーリーボード編集画面を示す図である。プレイリスト再生を示す図である。プレイリストデータのツリー構造を示す図である。プレイリストデータのデータ例を示す図である。エフェクト付きのストーリーボード編集画面を示す図である。エフェクト付きのプレイリスト再生を示す図である。プレイリストデータのツリー構造を示す図である。プレイリストデータのデータ例を示す図である。エフェクト記述データ例を示す図である。再生装置を示す図である。プレイリスト再生処理を示すフローチャートである。データブロック境界を整合させたエフェクト付きのプレイリスト再生を示す図である。データブロック境界を整合させたエフェクト付きのプレイリストデータのデータ例を示す図である。従来のリアルタイムエフェクトによるプレイリスト再生を示す図である。従来のプレイリストデータのツリー構造を示す図である。従来のプレイリストデータの例を示す図である。従来のエフェクト記述データを示す図である。

Claims

複数の映像トラックからなる映像データを処理する装置であって、
前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、
前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える画像処理装置。
前記プレイリストは前記複数の映像トラックと前記加工データとを扱う複数のトラック情報を含むことを特徴とする請求項１記載の画像処理装置。
前記プレイリスト処理手段は、前記加工データに対して施した加工処理の種類を示す加工タイプ情報を生成することを特徴とする請求項１記載の画像処理装置。
前記プレイリスト処理手段は複数の前記加工データ毎に前記加工タイプ情報を生成することを特徴とする請求項３記載の画像処理装置。
前記プレイリスト処理手段は、前記加工データのうち実際に加工処理が施されている区間を示す区間情報を生成することを特徴とする請求項１記載の画像処理装置。
前記プレイリスト処理手段は、複数の前記加工データ毎に前記区間情報を生成することを特徴とする請求項５記載の画像処理装置。
前記映像データは符号化されており、前記加工データ生成手段は前記符号化の単位毎に前記加工処理を施す区間を決定することを特徴とする請求項５記載の画像処理装置。
前記プレイリスト処理手段は、前記加工データの生成に伴って再生時間変更した前記複数の映像トラックの再生時間変化量を示す時間情報を生成することを特徴とする請求項１記載の画像処理装置。
前記プレイリスト処理手段は更に、前記加工データを再生すべきか否かを示す制御フラグを生成することを特徴とする請求項１記載の画像処理装置。
前記加工データと前記プレイリストデータとを前記映像データが記録されている記録媒体に対して記録する記録手段を備えたことを特徴とする請求項１から９記載の画像処理装置。
請求項１０記載の画像処理装置により加工データとプレイリストデータとが記録された記録媒体から映像データを再生する装置であって、
前記記録媒体からデータを再生する再生手段と、
前記プレイリストデータにしたがって前記再生手段による前記映像データの再生手順を制御する制御手段とを備えたことを特徴とする再生装置。
前記制御手段は、前記加工データの再生を行うか否かを示す制御フラグがオンであった場合前記加工データを再生し、前記制御フラグがオフであった場合には前記加工データの再生を禁止するよう前記再生手段を制御することを特徴とする請求項１１記載の再生装置。
複数の映像トラックからなる映像データを処理する方法であって、
前記複数の映像トラックの一部を加工することにより新たに加工データを生成すると共に、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成する画像処理方法。