JP3976979B2

JP3976979B2 - 画像編集装置

Info

Publication number: JP3976979B2
Application number: JP2000042697A
Authority: JP
Inventors: 慶一日比; 正宏塩井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-02-21
Filing date: 2000-02-21
Publication date: 2007-09-19
Anticipated expiration: 2020-02-21
Also published as: JP2001238169A

Description

【０００１】
【発明の属する技術分野】
この発明は、音声および動画像などのマルチメディア情報を記録した動画像ファイルの編集装置に関し、より特定的には、動画像データを符号化して記録メディアに格納した動画像ファイルに対する時間的な編集処理、特にファイルの分割編集を行なうための画像編集装置に関する。
【０００２】
【従来の技術】
画像処理技術の発展と、パーソナルコンピュータ（以下、単にＰＣとも称する）の性能向上によって、家庭のＰＣでも手軽にマルチメディア情報が扱えるようになってきた。このため、音声および動画像等のマルチメディア情報を、たとえばＤＯＳファイル形式などに従った通常のＰＣ上のファイルとして記録しかつ利用できることが求められている。マルチメディア情報をＰＣ上でのファイルとして記録、管理することによって、ワープロや表計算等の他のアプリケーションのファイルと同様に手軽に取扱うことが可能となる。
【０００３】
動画像を記録したファイルが簡単に利用できるようになると、動画像ファイルに対する編集機能を提供する必要が生じる。動画像の編集としては、ファイルの分割、ファイルの結合、ファイルの一部分だけを抜き出すトリミング等の時間的な編集が主である。これらの中で、動画像の撮影時に余分に記録した部分をカットしたり、注目したい部分だけを抽出するための分割編集は、特に重要な機能である。なお、トリミングは、２回ファイル分割を組合せれば実現できるため、機能的にはファイルの分割と同様の処理で実行できる。
【０００４】
しかしながら、動画像データは、そのデータ量が多いため、ファイルに記録する際には符号化による情報量の圧縮を行なう必要がある。このため、ファイルの分割編集処理も単純に実行することができない。一般に、動画像データの符号化においては、フレーム／フィールド間予測を用いて、画面間で変化があった情報のみを抽出して利用している。したがって、ある画面に対しては、予測の際に参照した以前の画面からの差分情報のみが符号化データとしてファイルに記録されている。このため、動画像ファイルに対して分割などの編集を行なうと、分割した後半のファイルに含まれる画面に対する予測の参照画面がなくなり、正常な画像を復元できなくなってしまうというケースが生じるおそれがある。
【０００５】
図８は、動画像データの符号化における画面間の予測処理を説明する図である。
【０００６】
図８を参照して、符号化された動画像データの各画面は、他の画面からの予測を用いない画面内符号化画面（図中Ｉで表記し、以下イントラ符号化画面とも称する）と、１つ前の画面を参照して予測符号化された画面間符号化画面（図中においてＰで表記）とから構成されている。ここで、たとえば（ａ）に示すように、画面間符号化画面である画面６２の直前で動画像データを分割する場合について説明する。画面６２は、画面６１からの予測を用いて符号化が行なわれている。
【０００７】
このとき、（ｂ）に示す分割後の動画像データにおいては、画面６２が先頭に位置することとなるため、画面６２が予測の際に参照していた画面６１が存在しなくなり、画面６２を正しく復号することができなくなってしまう。
【０００８】
従来の画像編集装置においては、このような問題が生じるのを避けるために、以前の画面からの予測を用いずに符号化されている、イントラ符号化画面の直前においてのみ分割編集が行なわれることとしていた。すなわち、図８の例でいえば、イントラ符号化画面である画面６３の直前においてのみ分割が可能である。
【０００９】
図９は、従来の画像編集装置において動画像データを分割した場合におけるファイル内のデータパケットの書換を説明する図である。
【００１０】
詳細は後ほど説明するが、１画面に対応する動画像符号化データ（ＶＯＰ）および音声符号化データは複数個に分割され、分割されたそれぞれのデータはデータパケットを構成する。図９においては、イントラ符号化画面の動画像符号化データＩ−ＶＯＰ６は、Ｉ−ＩＶＯＰ６−１、Ｉ−ＶＯＰ６−２およびＩ−ＶＯＰ６−３の３つに分割されて、データパケットに格納されている。
【００１１】
ここで、Ｉ−ＶＯＰ６に対応するイントラ符号化画面の直前で動画像ファイルを分割する場合においては、これ以前の動画像符号化データおよび音声符号化データは不要である。そこで、先頭の符号化データＩ−ＶＯＰ６−１が格納されているデータパケットの中で、Ｉ−ＶＯＰ６−１より前に位置するデータを破棄し、当該Ｉ−ＶＯＰ６−１の符号化データを前に詰める。
【００１２】
したがって、データパケット２０１中に格納されていた１つ前の画面間符号化画面に対応する動画像データＰ−ＶＯＰ５−２は破棄され、分割前のデータパケット２０１に対応する分割後のデータパケット２０２においては、Ｉ−ＶＯＰ６−１の符号化データが前に詰められ、空いた部分にはパケットデータ長を一定とするためのダミーのデータバイトであるパディング情報が埋められる。
【００１３】
このように、分割後の先頭パケットである２０２は書換られるが、その後に続くデータパケット２０３および２０５についてはパケットデータの書換は不要である。
【００１４】
このように、動画像ファイルの分割位置をイントラ符号化画面の直前に限定し、動画像符号化データ自体を操作して分割処理を行なう画像編集装置としては、たとえば特開平８−１４９４０８号公報に開示された動画編集方法および装置がある。当該編集装置においては、ＭＰＥＧ−１、ＭＰＥＧ−２などで採用されるＧＯＰ（グループ・オブ・ピクチャ）単位で分割編集を行なうこととしている。
【００１５】
一般に、ＧＯＰの最初の画面はイントラ符号化画面となるように構成されているため、ＧＯＰ単位で分割編集を行なうこととすれば、分割後の先頭の画面においては、正しい復号データを得ることが可能である。
【００１６】
図１０は、従来の技術の画像編集装置２００の構成を説明する概略ブロック図である。
【００１７】
図１０を参照して、画像編集装置２００は、編集の対象となる動画像ファイルデータパケットを動画像符号化データと音声符号化データとに分解するパケット分解部５１と、分解されたパケットデータのうち動画像符号化データを編集するための、符号化データ分割部５２、符号化データ再構成部５５、符号化データ解析制御部５７、ダミー符号化データ作成部５３およびスタッフィング符号化データ作成部５４と、分割後の動画像符号化データと音声符号化データとを動画像ファイルデータパケットに再構成するためのパケット再構成部５６とを備える。
【００１８】
パケット分解部５１は、動画像データのパケットファイルを分割して、音声符号化データおよび動画像符号化データを取り出して出力する。
【００１９】
符号化データ分解部５２は、動画像符号化データを分割位置がＧＯＰの先頭となるように分割する。
【００２０】
しかし、ＭＰＥＧ−１やＭＰＥＧ−２の場合、ＧＯＰの中には、先頭のイントラ符号化画面の直後の双方向の予想画面など、時間的に前に位置するＧＯＰ内の画面を参照している画面も存在する。このように、分割後に予測参照画面がなくなった画面の符号化データが含まれていた場合には、ダミー符号化データ作成部５３において、画面間で全く変化がなかったことを示すダミーの符号化データを作成する。そして、符号化データ再構成部５５において、当該符号化データをダミー符号化データに置き換える。このような置き換えを行なったとしても、その影響としては、ＧＯＰ先頭画面と同一の画面が数画面分の時間続けて表示されるだけであり、視覚的に異常な画面が表示されることはない。
【００２１】
さらに、従来の画像編集装置２００においては、分割編集が行なわれた動画像符号化データを復号する際に、デコーダのバッファ状態が、分割以前の動画像符号化データに対するバッファ状態と同一となるようにスタッフィング符号化データ作成部５４でスタッフィングデータを生成して、符号発生量が予定より少ない場合には、アンダーフローを防ぐために動画像符号化データに挿入するように、再構成処理を行なう。
【００２２】
符号化データ解析制御部５７は、編集制御情報に応じて、動画像符号化データの分割位置がＧＯＰの先頭となるように制御して、符号化データ分割部５２における分割位置を指定する。
【００２３】
パケット再構成部５６は、符号化データ再構成部５５から出力された分割後の動画像符号化データとこれに対応する音声符号化データとを併せて動画像ファイルデータパケットを再構成する。
【００２４】
パケット再構成部５６は、分割後のデータパケットを出力する。符号化データ解析制御部５７は、たとえば外部からの分割位置指示情報を含む編集制御情報を受けて動画像符号化データの分割処理を制御する。符号化データ分割部５２は、符号化データ解析制御部５７に制御されて、指示された位置において動画像符号化データを分割する。
【００２５】
符号化データ解析制御部５７は、編集制御情報に従って、符号化データ分割部５２における分割位置の制御、符号化データ再構成部５５におけるダミー符号化データへの置き換え、スタッフィングデータの挿入量の制御などを行なう。こうして、再構成された動画像符号化データは、パケット再構成部５６において、動画像ファイルに格納するための音声符号化データとの多重化処理を行なって、分割後のデータパケットを構成して出力する。
【００２６】
また、動画像ファイルに予めスタッフィングデータを埋込んでおくのではなく、動画像ファイルを読出して再生する時点でデコーダのバッファ状態を調整する方法として、特開平７−１８４１７６号公報に開示された技術も存在する。当該公報においては記録された動画像符号化データを読出して、受信端末へ送出する際に、受信端末のデコーダバッファがオーバーフローやアンダーフローを起こさないように、画像データの情報量を監視しながらフィルビットを挿入してデータ量を調整する蓄積画像再生装置が開示されている。
【００２７】
さらに、その他の従来技術として特開平７−１８４１８９号公報において、端末から受信した動画像符号化データを記録する際に、先頭画面をイントラ符号化することによって、任意の画面を先頭として記録できるようにした映像情報蓄積制御装置が開示されている。
【００２８】
【発明が解決しようとする課題】
しかしながら、これらの従来技術においては、分割位置をイントラ符号化画面やＧＯＰの境界部分だけに制限するため、ユーザがファイルの分割位置を自由に選択することができず、記録した動画像のシーンに応じた自由な分割編集を行なうことができない。
【００２９】
また、イントラ符号化画面が挿入される間隔や位置は、エンコーダが適当に選択して決定するものであり、ユーザが見たいシーンの開始位置等の動画像の内容を反映したものとはなっていない。
【００３０】
特に、動画像が数ｋｂｉｔ／ｓ〜数百ｋｂｉｔ／ｓのような低レートで符号化されている場合には、情報量を削減するためのコマ落し処理や、イントラ符号化によるデータ量の増加を回避するためにイントラ符号化画面に挿入間隔を数秒〜十数秒と長く確保する必要があるため、分割の許容位置が極度に制限されることとなる。したがって、ユーザが所望の画面位置で動画像ファイルを分割することができないという問題が生じる。
【００３１】
また、動画像符号化データの構造上は、無理に画面間予測符号化画面の位置で分割することも可能であるが、このように分割した動画像符号化データを再生すると、画面間予測における参照画像が存在しなくなる。このため、次のイントラ符号化画面を復号して正しい予測参照画面が得られるまでは、正常な復号画像を得ることができない。したがって、正常な復号画像を得るには次のイントラ符号化画面まで待たなければならないため、表示される動画像としては、前述のようにイントラ符号化画面の位置で分割した場合と同様になってしまう。
【００３２】
さらに、分割した先頭画面を単にイントラ符号化画面に再符号化するだけでは、分割処理前の画面間予測符号化に比べてデータ量が増加してしまうため、バッファのオーバーフローもしくはアンダーフローが生じて、デコーダが正常に動作できなくなってしまう可能性がある。
【００３３】
そこで、スタッフィングの挿入処理などを行なうために、従来の画像編集装置２００などのように符号化データを直接操作すると、再構成後の動画像符号化データをファイル構造に従うように再度フォーマットしてからファイルに書込む処理が必要となり、ファイル全体の書換処理が必要となる。これにより、動画像カメラなど、処理操作の制約が大きい小型携帯機上での編集処理や、長時間の動画像ファイルのように非常に大きなサイズのファイルを処理する場合などには、ファイル読み書きの負荷が大きいため処理時間も非常に長くなってしまう。したがって、このような分割方法を実現することは非常に困難となる。特に、上述したように再符号化によってデータ量が増える場合には、スタッフィングの挿入だけで対応することは不可能である。
【００３４】
さらに、スタッフィング、フィルビットなどの挿入処理においては、挿入すべきデータ量を決定するために、デコーダバッファの状態を推定する処理が必要となる。この推定処理においては、動画像ファイル内の符号化データのビットフレーム、フレームレートおよび符号化方式などの条件をすべて考慮して、デコーダの振る舞いを想定する必要があるため、ファイル内部の符号化データの詳細な解析が必要である。このような推定処理は複雑であるだけでなく、既知の符号化方式以外の任意の符号化方式には対応できないため自由度を欠く結果になるという問題点があった。
【００３５】
本発明はこのような問題点を解決するためになされたものであって、この発明の目的は、大幅なデータパケットの書換を伴わずに、比較的簡単な処理によって自由な時間位置で動画像ファイルの分割編集が可能な画像編集装置を提供することである。
【００３６】
【課題を解決するための手段】
請求項１記載の画像編集装置は、動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、動画像符号化データを復号して動画像データを出力するための復号処理手段と、データパケットの分割編集処理を制御する分割編集制御手段と、分割編集後に先頭となる動画像の画面である先頭画面に対応する動画像データを復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して動画像符号化データを出力する分割画面再符号化手段と、分割編集処理後のデータパケットのうちの、再符号化された動画像符号化データが格納されるデータパケットについてデータパケットの送出時刻を示すタイムスタンプ値を再符号化された動画像符号化データのデータ量に応じて更新する一方で、再符号化に関連しない動画像符号化データから構成されるデータパケットについてはタイムスタンプ値を更新しないタイムスタンプ値更新手段と、動画像符号化データおよびタイムスタンプ値を結合して、データパケットを生成するパケット再構成手段とを備える。
【００３７】
請求項２記載の画像編集装置は、請求項１記載の画像編集装置であって、分割画面再符号化手段とパケット再構成手段との間に配置されるデータ切換回路をさらに備え、データ切換回路は、分割編集制御手段に制御されて、分割画面再符号化手段の出力する動画像符号化データおよび復号処理手段で復号される前の動画像符号化データのいずれか一方をパケット再構成手段に与える。
【００３８】
請求項３記載の画像編集装置は、請求項２記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データが分割編集処理前において時間的に前の画面からの予測を用いるモードで符号化されている場合においては、分割編集処理後のデータパケットのうちの先頭画面に対応する動画像符号化データを分割画面再符号化手段の出力する動画像符号化データを用いて生成する。
【００３９】
請求項４記載の画像編集装置は、請求項２記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データが分割編集処理前において時間的に前の画面からの予測を用いないモードで符号化されている場合においては、分割編集処理後のデータパケットのうちの先頭画面に対応する動画像符号化データを復号処理手段で復号される前の動画像符号化データをそのまま用いて生成する。
【００４０】
請求項５記載の画像編集装置は、請求項１記載の画像編集装置であって、分割編集制御手段は、分割編集処理前において先頭画面に対応する動画像符号化データを含まないデータパケットに対しては内容の書換を指示しない。
【００４１】
請求項６記載の画像編集装置は、請求項１記載の画像編集装置であって、タイムスタンプ値更新手段は、再符号化された動画像符号化データのデータ量と、動画像符号化データの伝送ビットレートとに基いて、タイムスタンプ値を更新する。
【００４２】
請求項７記載の画像編集装置は、請求項６記載の画像編集装置であって、タイムスタンプ値更新手段は、再符号化された動画像符号化データのデータ量から、再符号化された動画像符号化データの復号後におけるデコーダのバッファ量が分割処理編集前での先頭画面の復号後におけるデコーダのバッファ量と等しくなるような、先頭画面の再生時におけるデコーダのバッファ量を推定し、推定されたバッファ量および動画像符号化データの伝送ビットレートに基いて、デコーダにおいてオーバーフローもしくはアンダーフローが生じないようにタイムスタンプ値を設定する。
【００４３】
請求項８記載の画像編集装置は、請求項６記載の画像編集装置であって、タイムスタンプ値更新手段は、先頭画面に対応する動画像符号化データの再符号化に伴うデータ量増加分に対応する時間分だけ、先頭画面に対応する動画像符号化データを先行して送出するようにタイムスタンプ値を設定する。
【００４５】
請求項９記載の画像編集装置は、請求項６記載の画像編集装置であって、パケット再構成手段は、先頭画面に対応する動画像符号化データを含まないデータパケットに対しては、分割編集処理前のタイムスタンプ値をそのまま用いて分割編集処理後のデータパケットを生成する。
【００４６】
請求項１０記載の画像編集装置は、動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、動画像符号化データを復号して動画像データを出力するための復号処理手段と、データパケットの分割編集処理を制御する分割編集制御手段と、分割編集後に先頭となる動画像の画面である先頭画面に対応する動画像データを復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して動画像符号化データを出力する分割画面再符号化手段と、動画像符号化データと再生時におけるデータパケットの送出時刻を示すタイムスタンプ値とを結合して、分割編集処理後のデータパケットを生成するパケット再構成手段とを備え、タイムスタンプ値は、分割編集処理後のデータパケットのうちの、再符号化された動画像符号化データが格納されるデータパケットでは再符号化された動画像符号化データのデータ量に応じて更新される一方で、再符号化に関連しない動画像符号化データから構成されるデータパケットについては非更新とされる。そして、画像編集装置は、複数のセクタに分割された記憶媒体を有するファイル記憶部と、複数のセクタに格納されたデータから動画像ファイルを構成するための管理情報を制御するファイル管理部と、ファイル記憶部にデータを書込むためのファイル書込部とをさらに備え、ファイル書込部は、分割編集処理に伴って必要となる、動画像符号化データに関するデータ書換をセクタ単位ごとに実行し、データ書換が不要であるセクタの格納データは、分割編集処理前と同じ内容に維持される。
【００４７】
請求項１１記載の画像編集装置は、請求項１０記載の画像編集装置であって、ファイル管理部は、分割編集処理に伴って動画像ファイルについてのセクタの構成が変化した場合においては、管理情報を更新する。
【００４８】
【発明の実施の形態】
以下において、本発明の実施の形態について図面を参照して詳しく説明する。
【００４９】
図１は、本発明に従う画像編集装置における動画像データの分割処理の概要を説明する図である。
【００５０】
図１を参照して、図８の場合と同様に、イントラ符号化画面はＩ、予測符号化を伴う画面間符号化画面はＰで表記される。既に説明したように、（ａ）に示すようにイントラ符号化画面６１を参照して予測符号化される画面間符号化画面６２の直前で動画像ファイルを分割すると、（ｂ）に示すように、画面６２の予測参照画面が存在しなくなるため、画面６２を正しく復号することができなくなってしまう。
【００５１】
そこで、本発明に従う画像編集装置においては、（ｃ）に示すように、分割処理において、分割の先頭となる画面６２を一旦復号して、復号画像データ６２ｄを得る。ここで、画面６２を復号するためには、動画像符号化データを先頭から順次復号していくか、もしくは画面６２の直前にある単独で復号可能なイントラ符号化画面（図１中の画面５９）から始めて、画面６２まで復号していけばよい。
【００５２】
次に、画像データに復元された画面６２ｄを以前の画面からの予測を用いないようにイントラ符号化画面に再符号化する。このような一連の動作によって、画面内符号化されたイントラ符号化画面６４の動画像符号化データが得られる。画面６４に続く画面６５については、再符号化された画面６４を参照して予測が行なわれるため、元の画面間予測を反映した符号化データのままでよい。
【００５３】
図２は、本発明に従う画像編集装置１００の構成を示す概略ブロック図である。
【００５４】
図２を参照して、画像編集装置１００は、動画像ファイルを格納するファイル記憶部２１と、ファイル記憶部２１の記憶領域の管理および動画像ファイルに対するアクセスの制御等を行なうファイル管理部２２と、動画像ファイルを再生する場合において、動画像ファイルの読出および動画像ファイルの内容の解読を実行するファイル読出部２７およびファイル解読部２８と、動画像データの分割編集を行なうための分割編集処理ブロック４０と、動画像ファイルに対する分割編集処理等のユーザ指示を処理するためのユーザ入力処理部２６と、音声符号化データおよび動画像符号化データの復号結果をもとに音声および動画像をそれぞれ出力するための音声出力部５２および動画像出力部５５とを備える。
【００５５】
分割編集処理ブロック４０は、ファイル解読部２８から出力されたデータパケットを音声符号化データと動画像符号化データとに分割するパケット分解部２９と、パケット分解部２９より出力された動画像符号化データを復号化するための動画像データ復号化部３０と、ユーザ入力処理部２６に入力されたユーザからの分割位置指定などの編集制御情報および動画像データ復号化部３０の出力を受けて分割編集処理を行なうファイル分割処理部２５とを含む。
【００５６】
動画像ファイルを再生する場合においては、ファイル記憶部２１に格納されている動画像ファイルは、ファイル管理部２２の制御に基づいてァイル読出部２７によって読出される。ファイル解読部２８は、動画像ファイルの内容を解読して属性・制御情報等を読取るとともに、マルチメディア情報の本体であるデータパケットを取り出して出力する。なお、動画像ファイルの構成については、後程詳細に説明する。
【００５７】
さらに、パケット分解部２９は、ファイル解読部２８からデータパケットを受取り、多重化されている音声符号化データおよび動画像符号化データを分離してそれぞれ出力する。音声符号化データは、音声データ復号部５０に送られて復号処理を施され、音声データが復元されて音声出力部５２から出力される。動画像符号化データは、動画像データ復号化部３０に送られて復号処理を施され、動画像データが復元されて動画像出力部５５から出力されて表示される。
【００５８】
画像編集装置１００は、さらに分割編集処理を実行した後に、分割編集後の動画像ファイルを生成するファイル生成部２４と、ファイル生成部２４によって生成された分割編集後の動画像ファイルをファイル記憶部に書込むためのファイル書込部２３とをさらに備える。
【００５９】
動画像ファイルに対して分割編集処理を行なう場合には、ユーザ入力処理部２６において分割する位置の指定等のユーザからの指示が処理され、編集制御情報としてファイル分割処理部２５へ送出される。
【００６０】
ファイル分割処理部２５には、編集制御情報、動画像符号化データ、および音声符号化データが入力されて、分割編集作業によって再構成されたデータパケットが出力される。ファイル分割処理部２５から出力される編集後のデータパケットは、ファイル生成部２４において、ヘッダ情報およびフッタ制御情報等の必要な情報が付加される。このように、定められた形式に従って構成された動画像ファイルは、ファイル書込部２３によってファイル管理部２２を介してファイル記憶部２１に格納される。
【００６１】
図３は、分割編集処理部２５の構成を詳細に説明するブロック図である。
図３を参照して、動画像データ復号化部３０によって復号化された動画像データを再符号化する分割画面再符号化部３１と、編集制御情報に基づいて分割編集処理を制御するための動画像分割制御部３３と、動画像分割制御部３３に制御されて、動画像データ復号化部３０および分割画面再符号化部３１をバイパスするための経路を設定するためのマルチプレクサ３５と、マルチプレクサ３５を介して分割画面再符号化部３１およびパケット分解部２９のいずれか一方から動画像符号化データを受け、さらにパケット分解部２９から音声符号化データを受けて分割編集後のデータパケットを生成するパケット再構成部３２とを含む。
【００６２】
パケット分解部２９は、動画像ファイルのデータパケットを受けて、音声符号化データと動画像符号化データとに分解して出力する。音声符号化データは、パケット再構成部３２に対して出力される。動画像データはファイル分割処理部２５および動画像データ復号化部３０に対して送出される。さらに、パケット分解部２９は、データパケットからタイムスタンプ値ＴＳを抽出して動画像分割制御部３３に与える。タイムスタンプ値ＴＳについては、後程詳細に説明する。
【００６３】
動画像分割制御部３３は、入力された編集制御情報に従って、分割画面再符号化部３１で再符号化する画面の指定および動画像データ復号化部３０において復号される画面の指定等の制御を実行する。
【００６４】
動画像分割制御部３３は、各画面を再符号化する必要があるかどうかに応じて、マルチプレクサ３５の出力を切換える。
【００６５】
すなわち、分割後の先頭画面について、図１中の（ｃ）で説明したように再符号化が必要な場合においては、マルチプレクサ３５は、先頭画面に対応する動画像符号化データを動画像データ復号化部３０で復号化した後に分割画面再符号化部３１によって再符号化してパケット再構成部３２に送出する。
【００６６】
一方、分割後の先頭画面について再符号化が必要でない場合においては、先頭画面に対応するデータパケットに対して内容を書換る必要がないので、マルチプレクサ３５は、パケット分解部２９が出力した動画像データを、動画像データ復号化部３０および分割画面再符号化部３１をバイパスして直接パケット再構成部３２に送出する。このとき、同時に動画像データ復号化部３０および分割画面再符号化部３１の少なくとも一方を非動作状態とすれば、消費電力の削減が可能である。
【００６７】
また、分割後の先頭画面以外の画面に対応するデータパケットについては、内容の書換が不要であるので、マルチプレクサ３５は、パケット分解部２９が出力した動画像データを、動画像データ復号化部３０および分割画面再符号化部３１をバイパスして直接パケット再構成部３２に送出する。同様に、このとき動画像データ復号化部３０および分割画面再符号化部３１の少なくとも一方を非動作状態とすれば、消費電力の削減が可能である。
【００６８】
このような構成とすることにより、分割編集時において、再符号化の必要の有無を動画像分割制御部３３において編集制御情報等をもとに判断することによって、分割後のデータパケットを構成する動画像データを適切に切換えることが可能となる。
【００６９】
動画像分割制御部３３は、分割後の先頭画面を再符号化した場合に、再符号化された動画像符号化データを格納するデータパケットのタイムスタンプ値を更新するためのタイムスタンプ値更新回路３４を含む。タイムスタンプ値更新回路３４は、分割画面再符号化部３１によって得られる再符号化画面の符号化データ量ＢＬ、分割編集前のタイムスタンプ値ＴＳ、動画像符号化データの伝送ビットレートＢＲおよび分割後の先頭画面のタイプに基づいたタイムスタンプ値更新の必要の有無判断ＦＬに応じて、必要に応じてタイムスタンプ値を更新しパケット再構成部３２に送出する。
【００７０】
パケット再構成部３２は、タイムスタンプ値更新回路３４から出力されるタイムスタンプ値、パケット分解部２９から送信される音声符号化データおよび、マルチプレクサ３５を介して出力される動画像符号化データを受けて、分割編集後のデータパケットを再構成してファイル生成部２４に送出する。
【００７１】
次に、画像編集装置１００において分割編集を行なう際の一連の処理について説明する。ユーザは、適当なユーザインターフェイスによって、選択した動画像ファイルに対して分割したい位置を決定して指定する。この分割時の情報はユーザ入力処理部２６で処理されて、編集制御情報としてファイル分割処理部２５内の動画像分割制御部３３へ送出される。
【００７２】
動画像分割制御部３３は、分割位置の画面が画面間予測を用いて符号化されている場合には、再符号化が必要と判定し、動画像データ復号部３０によって復号された動画像データを分割画面再符号化部３１においてイントラモードで再符号化するように指示する。マルチプレクサ３５は、分割画面再符号化部３１の出力をパケット再構成部３２に送出する。
【００７３】
ここで、たとえば、ユーザインターフェイス上、動画像ファイルを再生して復元された動画像データを表示しながら、ユーザが分割位置の表示を指定するような場合には、ユーザにこのような情報を提示するために既に分割位置の画面の動画像データが得られているため、その動画像データを分割画面再符号化部３１で入力すればよく、このような画面を改めて復号する必要はない。
【００７４】
一方、画像編集装置１００に対して、動画像ファイルの分割位置が、タイムコード、画面番号、動画像ファイル中のデータ位置等で指定される場合においては、動画像データ復号化部３０において、分割位置の画面を復号することが必要である。画面間予測を用いて符号化されている当該画面を復号する際においては、直前の画面内符号化画面など単独で復号化可能な画面から各画面を順次復号していくことによってこの画面を復号することができる。
【００７５】
パケット再構成部３２は、再符号化した画面に対する元の動画像符号化データを再符号化後の動画像符号化データで置き換える処理、分割処理以前の符号化データの廃棄処理等を行なって分割編集後の動画像ファイルのデータパケットを作成する。また、再符号化が実行された画面以外の画面に対応する動画像符号化データを格納するデータパケットに対しては、内容の書換は実行されない。
【００７６】
再符号化に伴って作成された分割編集後のデータパケットに対しては、タイムスタンプ値更新回路３４によって設定された送出タイムスタンプ値が各データパケットに付与される。再符号化に関連しない動画像符号化データのみから構成されるデータパケットについては、タイムスタンプ値の更新は行なわれない。
【００７７】
図４は、本発明の画像編集装置１００で取扱われる動画像ファイルの構成例を説明する図である。
【００７８】
音声動画像などのマルチメディア情報は、ある単位ごとに１つの完結したファイルとして、それぞれ独立に格納されている。図４（ｄ）に示されるように、動画像ファイル中には、当該ファイル内のマルチメディア情報全体の属性および性質等を示すヘッダ制御情報およびフッタ制御情報と、マルチメディアのデータ本体とを含み、これらは１つのファイル中で分類されて独立的に格納されている。ヘッダ制御情報中には、たとえば、下記のような動画像ファイルに含まれるマルチメディア情報全体に関する制御情報を含む。
【００７９】
・ファイルを特定するためのファイル識別子（ファイルＩＤ）、
・マルチメディアデータ本体の長さ、
・全体の再生にかかる時間、
・平均／最大ビットレート、
・データ本体に含まれるメディアの種別と数、
また、ヘッダ制御情報には、下記のような動画像に関する制御情報も含まれている。
【００８０】
・映像の画面再生／解像度、
・符号化方式（たとえば、ＩＴＵ−ＴＨ．２６１，Ｈ．２６２，Ｈ．２６３，Ｈ．２６Ｌ、ＩＳＯ標準１１１７２（ＭＰＥＧ−１），１３８１８（ＭＰＥＧ−２），１４６９６（ＭＰＥＧ−４）の識別など）、
・符号化方式におけるパラメータ（プロファイル、レベル、オプションモードの選択など）、
さらには、ヘッダ制御情報もしくはフッタ制御情報として、ランダムアクセス可能な位置を指定するためのインデックス情報や、時間的に連続するマルチメディア情報の適当な位置を指定して記憶しておくためのマーカ情報など、マルチメディア情報の位置を記録しておくための情報も含まれる。
【００８１】
インデックス情報は、動画像符号化データを参照する場合において、画面内符号化画面などを指定して、ランダムアクセスの際にアクセス位置の決定および高速再生などのマルチメディア情報をとびとびに再生する場合の再生対象とする情報の決定等に利用される。
【００８２】
動画像ファイルのデータ本体は、図４（ｃ）に示すように、データパケットと呼ばれる適当な大きさのパケットに分割されて、パケット化された情報として格納されている。したがって、動画像ファイルのデータ本体は、データパケットの列で構成されている。
【００８３】
ここで、図４（ａ）の動画像符号化データおよび図４（ｂ）の示す音声符号化データを多重化して、図４（ｃ）のデータパケット列を構成する場合について説明する。
【００８４】
図４（ｃ）の例は、１つのデータパケット中に音声および動画像等の複数のメディアを多重化して格納する場合の例を示す。
【００８５】
図４（ｂ）に示されるように、音声符号化データは、連続する１つのデータ列である。実際には、音声符号化データは、音声フレームと呼ばれる符号化処理単位ごとの符号化データで構成されているが、一般にその長さはデータパケット長に比べて非常に短いため、連続するデータ列と考えることができる。
【００８６】
この音声符号化データは、音声パケットという適当な値に分割されて、データパケットに格納される。音声パケットの長さは、パケット化遅延時間、伝送遅延時間およびパケット化効率を考慮して決定される。固定ビットレートの音声符号化データに対しては、遅延時間を一定にするために、通常は固定長の音声パケットが用いられる。
【００８７】
一方、図４（ａ）の各画面の動画像符号化データは、さらに分割されてデータパケットに格納される。なお、これらの動画像符号化データは、ＭＰＥＧ−４ビデオ符号化方式を利用する場合は、ＶＯＰ（Video Object Plane）とも呼ばれる。
【００８８】
これにより、図４（ｃ）に示すように、データパケットの内部には、音声符号化データと動画像符号化データとが多重化されて格納される。ここで、データパケットの長さは、固定長もしくは可変長のいずれでもよい。固定長の場合、パケットの長さは、たとえば、記録メディアのセクタ長、デコード長、トラック長、下位プロトコルのＰＤＵ（ＳＤＵ）長、送信／受信バッファサイズなどのシステム的な条件、あるいは時間あたりのデータ量（ビットレート）が一定の場合、データパケット送出間隔などの時間的な条件などに応じて定められる。データパケットの長さが可変長の場合においては、パケット化の単位は、各メディアの符号化データの性質に応じて決定することができる。
【００８９】
データパケットには、パケット長や内部に多重化されているデータ数などの制御情報を示したパケットヘッダが付加される。このパケットヘッダには、動画像ファイルを読出して再生する際に、当該データパケットを送出すべき時刻を記したタイムスタンプ値ＴＳを付加しておく。このように送出時刻を記録しておくことによって、動画像ファイルを記憶しているサーバが、ユーザからのアクセスによって動画像ファイルのデータをネットワーク経由で送信する場合に、サーバは各データパケットのタイムスタンプ値を参照して指定された時刻に送出するだけでよいため、サーバの負担が軽減でき非常に有効である。このようなマルチメディア情報の送出形態はストリーミング転送（ストリーミングタブ）と呼ばれており、一般的に採用されている。
【００９０】
上述の例においては、１つのデータパケットの中に複数の符号化データを多重化する場合について説明したが、１つのデータパケットに、１つのメディア復号化データ、すなわち図４に示される音声パケットあるいは動画像符号化データを分割した一部分のみが含まれるようにデータパケットを構成することもできる。この場合においても、データパケットのパケットヘッダに送出時刻を示すタイムスタンプ値を付加しておけば、サーバにおいて上記と同様な処理だけでストリーミング転送が実現できる。
【００９１】
図５は、分割編集処理時のパケット再構成を説明する図である。
なお、データパケット以外のヘッダ制御情報およびフッタ制御情報については、動画像ファイルの長さ、データパケット数および再生時間等、動画像ファイル全体に関する情報が書かれているため、分割によってその内容を変更することが必要となる。このため、図２に示されるファイル生成部２４において、新たにヘッダ制御情報およびフッタ制御情報を生成するか、分割前の動画像ファイルの当該情報を複製して、必要な部分を変更する処理が行なわれる。
【００９２】
ここで、タイムスタンプ値の初期値（たとえば０秒）が、予め規定されているシステムにおいては、動画像ファイルを再生する際に、初期値の時刻から先頭のデータパケットのタイムスタンプ値で示された時刻まで待つこととなる。この待ち時間を避けるためには、分割後の動画像ファイルのヘッダ制御情報に、タイムスタンプオフセット値を付与しておけばよい。具体的には、タイムスタンプ値のオフセット値として、分割した動画像ファイルの先頭データパケットの送出時刻スタンプ値を指定すればよい。
【００９３】
このように、本発明の画像編集装置１００において、分割編集処理の際に書換の必要がないデータパケットの送出時刻タイムスタンプ値は元のままにしておく場合であっても、分割後の動画像ファイルの再生時にヘッダ制御情報で指定したオフセット値をすべてのタイムスタンプ値から減算するか、時刻の初期値をオフセット値に合わせることによって待たずに再生を開始することが可能となる。
【００９４】
上述したように、動画像ファイルのデータパケットには音声符号化データおよび動画像符号化データが多重化されて格納されており、先頭には送出時刻タイムスタンプを含んだパケットヘッダ１６が付加されている。
【００９５】
ここで、図５に示した分割位置、すなわち動画像符号化データＰ−ＶＯＰ６に対応する画面間符号化画面の直前で分割する場面について説明する。
【００９６】
元の動画像ファイルにおいては、動画像符号化データＰ−ＶＯＰ６は、Ｐ−ＶＯＰ６−１およびＰ−ＶＯＰ６−２の２つに分割されて、データパケット２１１および２１２にそれぞれ格納されている。ここで、動画像符号化データＰ−ＶＯＰ６に対応する画面は画面間予測符号化されているため、動画像ファイルを分割する際に動画像符号化データＰ−ＶＯＰ６を一旦復号し、イントラモードで再符号化して、イントラ符号化画面に対応する動画像符号化データＩ−ＶＯＰ６を得る。
【００９７】
動画像符号化データＰ−ＶＯＰ６−２が格納されていたデータパケット２１２に対しては、音声符号化データ１４はそのままで、動画像符号化データＩ−ＶＯＰ６の最後から、動画像符号化データＰ−ＶＯＰ６−２に相当する長さの動画像符号化データＩ−ＶＯＰ６−３（符号１ｃ）を切出して、前記のＰ−ＶＯＰ６−２を置き換えてデータパケットを構成する。
【００９８】
次の画面に対応する動画像符号化データＰ−ＶＯＰ７−１が格納されたデータパケット２１３以降のデータパケットについては、動画像符号化データおよび音声符号化データなどの変更が必要なく、データパケット自体の書換が不要であるため、そのままで分割した動画像ファイルのデータパケットとすることができる。
【００９９】
次に、動画像符号化データＰ−ＶＯＰ６−１が格納されていたデータパケット２１１については、分割位置の直前の画面に対応する動画像符号化データＰ−ＶＯＰ５の一部であるＰ−ＶＯＰ５−２、および動画像符号化データＰ−ＶＯＰ６に先行する音声符号化データ１２を破棄する。この結果、データパケット２１１は空になるので、イントラ符号化画面の動画像符号化データＩ−ＶＯＰ６のうち、Ｉ−ＶＯＰ６−３（１ｃ）として分割した部分の前の動画像符号化データをＩ−ＶＯＰ６−２として、データパケット２１１に格納する。
【０１００】
さらに、動画像符号化データＩ−ＶＯＰ６の残っている部分を、Ｉ−ＶＯＰ６−１として新たなデータパケット２１０に格納する。
【０１０１】
このとき、データパケット２１０のうち埋まらずに残った空きの部分にはパディングデータ１９を埋める。なお、ここではＩ−ＶＯＰ６−１の後にパディング１９を詰める例を説明したが、これに限定されず、Ｉ−ＶＯＰ６−１でデータパケット全体を占めるようにして、Ｉ−ＶＯＰ６−２の符号化データの後にパディングを埋めるようにしてもよいし、Ｉ−ＶＯＰ６−１およびＩ−ＶＯＰ６−２の双方ともに後にパディングを詰めるようにしてもよい。
【０１０２】
また、データパケット２１２において、Ｐ−ＶＯＰ６−２の後に、次の画面に対応する動画像符号化データＰ−ＶＯＰ７−１が含まれていた場合においても、同様にデータパケット２１２内でＰ−ＶＯＰ６−２に相当する部分のみを画面Ｐ−ＶＯＰ６から分割した符号化データで置き換えるようにしてデータパケットを再構成することができる。
【０１０３】
各データパケットのパケットヘッダ１ａおよび１ｂ中において指定される送出タイムスタンプ値ＴＳは、イントラ符号化モードで再符号化したために増加したデータ量（Ｐ−ＶＯＰ−６からＩ−ＶＯＰ−６の増加量）を考慮し、このデータ量の増加によって再生時にデコーダバッファのオーバーフロー／アンダーフローが生じないように決定される。
【０１０４】
図５において、Ｐ−ＶＯＰ６−３を格納したデータパケット２１２のタイムスタンプ値は分割前のままの値であるＴ６とされ、データパケット２１１のパケットヘッダ１ａには上記Ｔ６に先行する時刻Ｔ５′が付加され、およびデータパケット２１０のパケットヘッダ１ｂには上記時刻Ｔ５′にさらに先行する時刻Ｔ４′が付加される。
【０１０５】
このようなタイムスタンプ値の設定は図３中のタイムスタンプ値更新回路３４によって実行される。
【０１０６】
図６は、タイムスタンプ値更新回路３４におけるタイムスタンプ値の設定方法を説明する図である。
【０１０７】
図６（ａ）には、動画像ファイル分割前の画面Ｐ０〜Ｐ５の処理に伴なうデコーダバッファ量の推移が示される。図６（ａ）を参照して、横軸は時間経過を示し、縦軸の上半分（正方向）は、デコーダのバッファ量を示す。縦軸の下半分（負方向）には、対応するエンコーダのバッファ量が参考のために示される。グラフの傾きは、動画像符号化データの伝送ビットレートＢＲに相当する。
【０１０８】
ここでは、固定ビットレートを前提とするため、グラフの傾きは一定となる。デコーダにおいては、一定のビットレートによって動画像符号化データが入力されるため、それに従ってバッファ量が増加する。たとえば、画面Ｐ０の復号時刻ｔ０になると、画面Ｐ０を復号するために、画面Ｐ０の復号化データをバッファから読出すため、画面Ｐ０の符号化データ量分だけバッファ量が減少する。デコーダのバッファ量は、一定の割合による増加と、画面の復号タイミングにおける１画面分の符号化データの減少との繰返しである。
【０１０９】
ここで、画面Ｐ２に注目すると、画面Ｐ２の符号化データの先頭がデコーダバッファに入力される時点は、図示するようにグラフの傾きを延長し、横軸と交わった時刻ｔ１で示される。また、画面Ｐ２を復号した時点におけるデコーダのバッファ量はＢｅで示される。
【０１１０】
すなわち、復号化データが一定のビットレートで入力されるとき、画面Ｐ２の符号化データの先頭が入力される時刻ｔ１と、画面Ｐ２が復号される時刻ｔ２との差に応じて、Ｐ２復号後のバッファ量Ｂｅは決定される。このバッファ量Ｂｅは、符号化の規格によっては符号化データ中に予め情報として含まれているため、この情報を利用することができる。また、符号化データ中に当該情報が含まれていない場合でも、伝送ビットレートＢＲと当該画面の表示時刻から予測計算を行なうことも可能である。
【０１１１】
図６（ｂ）は、本発明の画像編集装置において分割位置の画面Ｐ２を再符号化した後におけるデコーダバッファ量およびこれに対応するエンコーダバッファ量を示す。横軸および縦軸の表示は、図６（ａ）と同様であるので説明は繰り返さない。
【０１１２】
図６（ｂ）を参照して、分割位置の画面Ｐ２はイントラモードで再符号化されるので、符号化データ量が増加している。本発明の画像編集装置においては、画面Ｐ２を復号した後（時刻ｔ４）のデコーダバッファ量が、分割処理を実行する前のバッファ量、ずなわち図６（ａ）中の時刻ｔ２におけるバッファ量Ｂｅと等しくなるように、再符号化した画面Ｐ２の符号化データの送出開始時刻ｔ３を調整する。
【０１１３】
これにより、デコーダのバッファ量の推移が分割処理を実行する前と等しくなるようにする。つまり、バッファ量Ｂｅに画面Ｐ２の再符号化後の符号化データ量Ｂ２を加えた位置から、伝送ビットレートＢＲで決まる傾きに従って直線を引いたときの横軸との交点、すなわち時刻ｔ３に画面Ｐ２の復号化データの先頭が送出されるように送出時刻タイムスタンプ値が指定される。
【０１１４】
これは、再符号化後の画面Ｐ２の符号化データ量に応じて、画面Ｐ２復号後のバッファ量Ｂｅと、伝送ビットレートＢＲによって決まるグラフの傾きとから画面Ｐ２が復号される時刻と画面Ｐ２の符号化データ先頭の入力時刻との差分を求めて、時刻ｔ３を決定していることとなる。すなわち、再符号化された動画像符号化データを格納するデータパケットのタイムスタンプ値は、当該再符号化に伴う符号化データ量の増加分に応じて設定される時間分だけ、当該データパケットの送出時刻が早くなるように更新される。
【０１１５】
たとえば、図５に示すようにデータパケットの書換を行なう場合（図６（ｂ）の画面Ｐ２が図５の画面Ｉ−ＶＯＰ６に相当する）においては、分割後の先頭データパケット２１０のパケットヘッダ１ｂの送出時刻タイムスタンプ値Ｔ４′には、上記の時刻ｔ３に対応する値が指定される。
【０１１６】
このようにして、分割後の動画像ファイルの先頭データパケットに対する送出時刻タイムスタンプ値が決定されれば、この先頭データパケット以外で再符号化された動画像符号化データが格納されるデータパケットに対しては、動画像符号化データが一定ビットレートＢＲで送出されるようにタイムスタンプ値を決定すればよい。
【０１１７】
つまり、次のデータパケット２１１のパケットヘッダ１ａに格納される送出時刻タイムスタンプ値Ｔ５′には、データパケット２１１に格納される動画像符号化データＩ−ＶＯＰ６−２の先頭を送出すべき時刻が、同様に図６（ｂ）のグラフから求められ、対応する値が指定される。
【０１１８】
次に、動画像ファイルと、記憶媒体上での物理的なデータ配置との関係の例について説明し、本発明の分割処理において分割位置以外では物理的なデータの書換が不要であることについて説明する。
【０１１９】
図７は、本発明に従う画像編集装置１００で取扱われる動画像ファイルデータの記憶媒体上での物理的な配置および管理の一例を示す図である。
【０１２０】
図７を参照して、動画像ファイルのデータ自体は、たとえばファイル記憶部２１中の記憶媒体１２１上において、物理的フォーマットに従ったセクタと呼ばれる、領域単位（図７中における符号１〜２０）で格納および管理されている。
【０１２１】
ばらばらのセクタに記録されたデータは、ＦＡＴ（File Allocation Table）と呼ばれる管理情報によって、これらのセクタをどのような順序で連結してファイルが構成されているかが示される。本発明の画像編集装置１００において、動画像ファイルの分割処理を行なう場合においては、分割位置の再構成されたデータパケットが格納されているセクタの内容が書換られる。その他の書換が不要なデータパケットが格納されているセクタに関しては、分割後のファイルでもそのまま利用できる。
【０１２２】
また、本発明の分割編集処理に伴なう再符号化によって、動画像符号化データ量が増加して新規にデータパケットを作成する必要が生じ、元のセクタに収まりきらなくなった場合には、新たな空きセクタを利用して、当該空きセクタにデータパケットを書込む。
【０１２３】
このようにして書換たセクタを、新たにデータを書込んだセクタおよび書換なかったセクタ等と連結して分割後の動画像ファイルを構成するようにＦＡＴの内容が変更される。したがって、分割編集処理に際して変更が不要であったデータパケットが格納されているセクタに対しては、物理的な書換が完全に不要となる。
【０１２４】
上述の説明においては、主に元の動画像ファイル自体を分割編集して、分割後に新たな動画像ファイルを作成する場合について述べてきたが、元の動画像ファイルはそのまま残しておいて、その一部分を分割した動画像ファイルを新たに作成する場合も同様である。この場合には、書換が不要であるデータパケットは、当該データパケットごともしくはデータパケットが格納されたセクタごとに単にコピーを行なえばよい。このようなデータをコピーする処理は、図２中のファイル管理部２２もしくはファイル読込部２７、ファイル書込部２３における処理によって簡単に実行させることが可能である。
【０１２５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１２６】
【発明の効果】
本発明の画像編集装置によれば、分割編集後の先頭画面をイントラモードで再符号化するため、ユーザが動画像ファイルを自由な位置で分割できることになる。この結果、動画像の内容に応じて分割位置が決定できるため、ユーザが見たいシーンが始まる瞬間などユーザの所望の位置で分割編集を行なうことができ、編集の自由度を向上させることができる。このように、編集の自由度が増すと、符号化時に後の編集時における利便性を考慮する必要がなくなるので、イントラ符号化画面の挿入位置および間隔などの符号化パラメータの選択の自由度も向上する。また、動画像ファイルのうち不要な部分を削除するために分割編集を行なう場合には、細かな単位で分割して削除できるので、記録媒体の利用効率を向上させることができる。これらの効果を享受するために必要となる処理量は、先頭画面１画面のみの再符号化であり、非常に少なくてすむ。
【０１２７】
本発明の画像編集装置によれば、動画像ファイルの分割処理は、動画像符号化データに対して直接行なわれるのではなく、所定のファイルフォーマットに従ったデータパケットに対して実行される。したがって、分割編集個所に位置する再符号化の対象画面の符号化データが格納されたデータパケットだけを書き換えればよいため、ファイル全体の書換処理が不要となり処理を簡単かつ高速に実行できる。この結果、たとえば、カメラなどの簡単な小型機器を用いる場合、長時間の動画像ファイルを編集する場合や、アクセス速度が遅い蓄積媒体を用いる場合等においても、短時間で容易に分割編集処理を行なうことが可能となる。この効果は、元の動画像ファイルは残してその一部分を分割した動画像ファイルを新たに作成する場合においても享受される。すなわち、書換が不要なデータパケットに対しては単純なコピー処理だけを行なえばよいため、非常に簡単な処理で分割した動画像ファイルを新たに作成できる。
【０１２８】
さらに、先頭画面の再符号化に伴うデータ量の増大に対応して、データパケットの送出時刻を示すタイムスタンプ値を制御するので、画像データの情報量を監視しながらスタッフィングを挿入する等の面倒なデータ操作を行なうことなく再生時のデコーダバッファ量を制御して、オーバフローやアンダフローの発生を回避することができる。タイムスタンプ値の制御に必要とされる処理は非常に簡単であり、柔軟な制御を実行できる。
【０１２９】
また、タイムスタンプ値は、分割した動画像ファイル中に予め記録しておくため、動画像ファイルを読み出して送出する際にフィルビット挿入等の処理が不要であり、処理を簡単に実行できる。これにより、サーバから動画像ファイルを同時に受信できる収容ユーザ数の増加や、動画像配信サーバに必要とされる処理量の低減を実現することができる。
【図面の簡単な説明】
【図１】本発明に従う画像編集装置における動画像データの分割処理の概要を説明する図である。
【図２】本発明の実施の形態に従う画像編集装置１００の構成を示す概略ブロック図である。
【図３】ファイル分割処理部２５の構成を詳細に説明するためのブロック図である。
【図４】本発明に従う画像編集装置で取扱われる動画像ファイルの構成例を示す図である。
【図５】分割編集処理時のパケット再構成を説明する図である。
【図６】タイムスタンプ値更新回路３４によるタイムスタンプ値の設定方法を説明する図である。
【図７】本発明の画像編集装置で取扱われる動画像ファイルデータの記憶媒体上における物理的な配置および管理の一例を示す図である。
【図８】動画像データの符号化における画面間の予測処理を説明する図である。
【図９】従来の画像編集装置において動画像データを分割した場合におけるファイル内のデータパケットの書換を説明する図である。
【図１０】従来の画像編集装置２００の構成を説明する概略ブロック図である。
【符号の説明】
２５ファイル分割処理部、２９パケット分解部、３０動画像データ復号化部、３１分割画面再符号化部、３２パケット再構成部、３３動画像分割制御部、３４タイムスタンプ値構成回路。

Claims

動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、
前記動画像符号化データを復号して動画像データを出力するための復号処理手段と、
前記データパケットの分割編集処理を制御する分割編集制御手段と、
前記分割編集後に先頭となる動画像の画面である先頭画面に対応する前記動画像データを前記復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して前記動画像符号化データを出力する分割画面再符号化手段と、
前記分割編集処理後のデータパケットのうちの、前記再符号化された動画像符号化データが格納されるデータパケットについて該データパケットの送出時刻を示すタイムスタンプ値を前記再符号化された動画像符号化データのデータ量に応じて更新する一方で、前記再符号化に関連しない動画像符号化データから構成されるデータパケットについては前記タイムスタンプ値を更新しないタイムスタンプ値更新手段と、
前記動画像符号化データと、前記タイムスタンプ値とを結合して、データパケットを生成するパケット再構成手段とを備える、画像編集装置。
前記分割画面再符号化手段と前記パケット再構成手段との間に配置されるデータ切換回路をさらに備え、
前記データ切換回路は、前記分割編集制御手段に制御されて、前記分割画面再符号化手段の出力する動画像符号化データおよび前記復号処理手段で復号される前の動画像符号化データのいずれか一方を前記パケット再構成手段に与える、請求項１記載の画像編集装置。
前記パケット再構成手段は、前記先頭画面に対応する動画像符号化データが前記分割編集処理前において前記時間的に前の画面からの予測を用いるモードで符号化されている場合においては、前記分割編集処理後のデータパケットのうちの前記先頭画面に対応する動画像符号化データを前記分割画面再符号化手段の出力する動画像符号化データを用いて生成する、請求項２記載の画像編集装置。
前記パケット再構成手段は、前記先頭画面に対応する動画像符号化データが、前記分割編集処理前において前記時間的に前の画面からの予測を用いないモードで符号化されている場合においては、前記分割編集処理後のデータパケットのうちの前記先頭画面に対応する動画像符号化データを前記復号処理手段で復号される前の動画像符号化データをそのまま用いて生成する、請求項２記載の画像編集装置。
前記分割編集制御手段は、前記分割編集処理前において先頭画面に対応する動画像符号化データを含まないデータパケットに対しては内容の書換を指示しない、請求項１記載の画像編集装置。
前記タイムスタンプ値更新手段は、前記再符号化された動画像符号化データのデータ量と、前記動画像符号化データの伝送ビットレートとに基いて、前記タイムスタンプ値を更新する、請求項１記載の画像編集装置。
前記タイムスタンプ値更新手段は、前記再符号化された動画像符号化データのデータ量から、前記再符号化された動画像符号化データの復号後におけるデコーダのバッファ量が分割処理編集前での前記先頭画面の復号後におけるデコーダのバッファ量と等しくなるような、前記先頭画面の再生時におけるデコーダのバッファ量を推定し、推定された前記バッファ量および前記動画像符号化データの伝送ビットレートに基いて、前記デコーダにおいてオーバーフローもしくはアンダーフローが生じないように前記タイムスタンプ値を設定する、請求項６記載の画像編集装置。
前記タイムスタンプ値更新手段は、前記先頭画面に対応する動画像符号化データの前記再符号化に伴うデータ量増加分に対応する時間分だけ、前記先頭画面に対応する動画像符号化データを先行して送出するように前記タイムスタンプ値を設定する、請求項６記載の画像編集装置。
前記パケット再構成手段は、前記先頭画面に対応する動画像符号化データを含まないデータパケットに対しては、前記分割編集処理前のタイムスタンプ値をそのまま用いて前記分割編集処理後のデータパケットを生成する、請求項６記載の画像編集装置。
動画像符号化データを格納する複数のデータパケットから構成される動画像ファイルを分割編集するための画像編集装置であって、
前記動画像符号化データを復号して動画像データを出力するための復号処理手段と、
前記データパケットの分割編集処理を制御する分割編集制御手段と、
前記分割編集後に先頭となる動画像の画面である先頭画面に対応する前記動画像データを前記復号処理手段から受けて、時間的に前の画面からの予測を用いないモードで再符号化して前記動画像符号化データを出力する分割画面再符号化手段と、
前記動画像符号化データと、再生時におけるデータパケットの送出時刻を示すタイムスタンプ値とを結合して、前記分割編集処理後のデータパケットを生成するパケット再構成手段とを備え、
前記タイムスタンプ値は、前記分割編集処理後のデータパケットのうちの、前記再符号化された動画像符号化データが格納されるデータパケットでは前記再符号化された動画像符号化データのデータ量に応じて更新される一方で、前記再符号化に関連しない動画像符号化データから構成されるデータパケットについては非更新とされ、
前記画像編集装置は、
複数のセクタに分割された記憶媒体を有するファイル記憶部と、
前記複数のセクタに格納されたデータから前記動画像ファイルを構成するための管理情報を制御するファイル管理部と、
前記ファイル記憶部にデータを書込むためのファイル書込部とをさらに備え、
前記ファイル書込部は、前記分割編集処理に伴って必要となる、前記動画像符号化データに関するデータ書換を前記セクタ単位ごとに実行し、
前記データ書換が不要である前記セクタの格納データは、前記分割編集処理の前と同じ内容に維持される、画像編集装置。
前記ファイル管理部は、前記分割編集処理に伴って前記動画像ファイルについての前記セクタの構成が変化した場合においては、前記管理情報を更新する、請求項１０記載の画像編集装置。