JP2003092760A - 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム - Google Patents

Abstract

(57)【要約】 【課題】 配信対象のフレームレートに適合したフレー
ムレートで、圧縮符号化画像信号を配信することを可能
にする。 【解決手段】 圧縮符号化画像信号の１フレーム群の中
には、単一のキーフレームＫ、並びにこれに後続するフ
レームP-GOBおよびフレームＰが含まれる。各フレームP
-GOBは、フレーム内圧縮された画像ブロックを、キーＧ
ＯＢとして有する。複数のフレームP-GOBに配分されて
いる１フレーム分のキーＧＯＢを参照して、キーフレー
ムＫがフレーム間圧縮符号化される。各フレームP-GOB
のキーＧＯＢ以外の部分、および各フレームＰは、キー
フレームＫを参照してフレーム間あっ週符号化される。
フレームＰを間引く前の圧縮符号化画像信号は、フレー
ムレートの高い配信対象へ配信され、間引いた後の圧縮
符号化画像信号は、フレームレートの低い配信対象と配
信される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を圧縮符号
化する画像圧縮符号化方法、圧縮符号化した動画像を配
信する画像配信方法、およびそれらのプログラムに関
し、特に監視映像などの時間的変化が少ない動画像に適
した画像圧縮符号化方法、画像配信方法、およびそれら
のプログラムに関する。

【０００２】

【従来の技術】動画像の圧縮符号化方法には、ＤＣＴ
（Discrete Cosine Transform；離散コサイン変換）と
動き補償予測符号化を組み合わせた方法が一般的であ
り、この方法はＭＰＥＧ（Moving Picture Experts Gro
up）方式でも採用されている。通常、ＤＣＴは空間方向
の冗長性を低下させるべくフレーム（静止画像）内の情
報だけで符号化するフレーム内符号化に適用される。ま
た動き補償予測符号化（フレーム間符号化）は時間方向
の冗長性を低下させるべく、符号化対象フレームを他の
時刻のフレームから予測し、その符号化対象フレームと
予測したフレームとの差分信号に対してＤＣＴや量子化
などを施すものである。この場合、差分を小さく抑える
ため、符号化対象フレームは時間的に隣接するフレーム
から予測されることが多い。このようなフレーム内符号
化や動き補償予測符号化の処理は、フレームを複数分割
したブロックを基本処理単位として行われる。

【０００３】しかしながら、監視映像などの時間的な変
化が圧倒的に少ない動画像では、入力フレームを周期的
に参照画像（以下、キーフレームと呼ぶ。）に設定し、
このキーフレームと入力フレームとの間の差分信号をと
る差分符号化方式を用いても、両フレーム間の差分量は
小さいと考えられる。この方式は、前述の隣接フレーム
を用いた動き補償予測符号化と比べると、計算負荷の軽
減や、フレームの欠落によるエラーに対する耐性などの
利点をもつ。図１５を参照しつつ従来の差分符号化方式
の概略を説明する。撮像センサから順次出力される複数
のフレームｆ１，ｆ２，…が符号化器に順次入力すると
する。図１５に示すようにフレームｆｎ（ｎ＝１，２，
…）が入力すると（ＳＴ１００）、ステップＳＴ１０１
で当該入力フレームｆｎがキーフレームか否かが条件判
定される。フレームｆｎがキーフレームである場合、ス
テップＳＴ１０２でフレーム内符号化処理が実行され
る。すなわち、当該フレームｆｎをブロックに分割して
各ブロック毎にＤＣＴを施し、その変換係数が算出され
る。次いで、その変換係数を量子化した量子化係数が出
力される。次にステップＳＴ１０３でその量子化係数を
可変長符号化（エントロピ符号化）した符号化データが
生成されビットストリームにされて出力される。また前
記ステップＳＴ１０２で算出された量子化係数は、ステ
ップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を
施された後にキーフレームメモリ１００に記憶される。

【０００４】次に、ステップＳＴ１００で次のフレーム
ｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１
でフレームｆｍがキーフレームか否かが条件判定され、
フレームｆｍがキーフレームで無い場合はステップＳＴ
１０５に処理が移行し、キーフレームメモリ１００に記
憶したキーフレームｆｎとフレームｆｍとの間でブロッ
ク単位で画素値の差分値が算出される。次いで、ステッ
プＳＴ１０６でその差分値が所定範囲内か否かが判定さ
れ、その差分値が所定範囲内にある場合はステップＳＴ
１０７でフレーム間符号化、すなわちキーフレームと入
力フレームｆｍとの間の差分信号に対してＤＣＴおよび
量子化が施される。他方、その差分値が所定範囲を超え
る場合はステップＳＴ１０８でフレーム内符号化が実行
される。このようにステップＳＴ１０７，ＳＴ１０８で
算出した量子化係数は、ステップＳＴ１０３で可変長符
号化されビットストリームに変換後、出力される。

【０００５】このようなビットストリームの復号化処理
の例を図１６を参照しつつ以下に説明する。上記ビット
ストリームが入力すると（ＳＴ１１０）、このビットス
トリームから圧縮符号化信号が取り出され可変長復号化
されて上記量子化係数が得られる。次いで、ステップＳ
Ｔ１１１において、その量子化係数が上記圧縮符号化処
理のステップＳＴ１０２でフレーム内符号化されていた
場合、その復号化（フレーム内復号化）を施されてキー
フレームメモリ１０１に蓄積され、その量子化係数が上
記ステップＳＴ１０８でフレーム内符号化されていた場
合はその復号化が施される。他方、その量子化係数が上
記ステップＳＴ１０７でフレーム間符号化されていた場
合は、キーフレームメモリ１０１に蓄積したキーフレー
ムを参照してその復号化（フレーム間復号化）を施され
る。そして、このようにフレーム内またはフレーム間復
号化された復号化画像が出力される（ＳＴ１１２）。

【０００６】

【発明が解決しようとする課題】しかしながら、上記差
分符号化方式では、キーフレームと時間的に離間したフ
レームとの差分符号化を行うため、キーフレームの画質
が動画像全体の画質に直接関係することから、キーフレ
ームは高画質のものでなければならず、キーフレームに
対してはフレーム内の情報のみで圧縮符号化を行うフレ
ーム内符号化が施される。この結果、動画像の符号化処
理量はキーフレームの符号化時に急激に増大し、キーフ
レームの圧縮符号化データの伝送が遅延したり間欠した
りする問題が生じていた。特に動画像をネットワークを
通じてリアルタイムに伝送し再生（ストリーミング）す
る場合は、復号化した動画像の再生速度の変化や画像の
間欠が著しく生じることがあった。

【０００７】このような問題に鑑みて本発明が解決しよ
うとするところは、キーフレームの符号化処理量の急激
な増大を抑制し、その符号化処理量を時間的に平坦化し
且つ動画像の画質を良好にし得る動画像の圧縮符号化方
法を想定し、当該圧縮符号化方法にもとづいて生成され
る圧縮符号化画像信号を、配信対象に適合したフレーム
レートで配信することを可能にする画像圧縮符号化方
法、画像配信方法、およびそれらのプログラムを提供す
る点にある。

【０００８】

【課題を解決するための手段】本発明のうち第１の態様
にかかるものは、順次入力される複数のフレームからな
る画像信号を圧縮符号化する画像圧縮符号化方法であっ
て、(a)前記複数のフレームの中からキーフレームを指
定し圧縮符号化すると共に、圧縮符号化したキーフレー
ムを復号化することにより第１の参照フレームとして記
憶する工程と、(b)前記キーフレームの後に入力するフ
レームを、第１種フレームと第２種フレームとのいずれ
かに振り分ける工程と、(c)入力する前記フレームが前
記第１種フレームであるときに、当該第１種フレームに
対する処理を行う工程を備えている。

【０００９】当該工程(c)は、(c-1)前記第１種フレーム
を複数のブロック領域に分割し且つ前記各ブロック領域
の中から特定領域を指定する工程と、(c-2)前記特定領
域に対してフレーム内符号化を実行すると共に、当該フ
レーム内符号化がなされた前記特定領域を復号化して記
憶する工程と、(c-3)記憶している前記第１の参照フレ
ームを参照することにより、前記工程(c-1)で分割した
前記特定領域を除く前記各ブロック領域に対してフレー
ム間符号化を実行する工程と、を有する工程と、を備え
ている。

【００１０】上記方法は、さらに、(d)入力する前記フ
レームが前記第２種フレームであるときに、記憶してい
る前記第１の参照フレームを参照することにより、前記
第２種フレームに対してフレーム間符号化を実行する工
程と、(e)前記工程(b)〜(d)を繰り返し実行するととも
に、前記工程(c)を実行するごとに記憶した前記特定領
域を、第２の参照フレームとして１フレーム分蓄積する
工程と、(f)前記工程(a)〜(e)を繰り返し実行するとと
もに、前記工程(a)で前記第１の参照フレームを記憶す
るごとに、すでに記憶している前記第１の参照フレーム
を更新し、かつ前記工程(e)で前記第２の参照フレーム
としての蓄積を行うごとに、すでに記憶している前記第
２の参照フレームを更新する工程と、(g)前記工程(d)に
よって圧縮符号化されたフレームのうち、少なくとも一
部のフレームについて間引きを行う工程と、を備えてい
る。しかも、前記工程(a)は、(a-1)指定した前記キーフ
レームに対して、記憶している前記第２の参照フレーム
を参照することにより、フレーム間符号化を実行する工
程、を備えている。

【００１１】本発明のうち第２の態様にかかるものは、
第１の態様にかかる画像圧縮符号化方法において、(h)
前記工程(a),(c),および(d)の各々で圧縮符号化された
信号を記憶媒体へ記憶する工程、をさらに備え、前記工
程(g)は、前記記憶媒体から前記信号を読出し、読み出
した当該信号から前記間引きを行う。

【００１２】本発明のうち第３の態様にかかるものは、
第１配信対象及びそれよりもフレームレートの低い第２
配信対象の各々へ、圧縮符号化画像信号を配信する画像
配信方法であって、(A)第１の態様にかかる画像圧縮符
号化方法を実行する工程と、(B)前記工程(A)の中の前記
工程(a),(c),および(d)の各々で圧縮符号化された信号
を、前記圧縮符号化画像信号として前記第１配信対象へ
配信する工程と、(C)前記工程(A)の中の前記工程(a),
(c),および(d)の各々で圧縮符号化され、かつ前記工程
(g)で間引きが行われた後の信号を、前記圧縮符号化画
像信号として前記第２配信対象へ配信する工程と、を備
え、前記工程(A)において、前記工程(g)は、前記工程
(d)によって圧縮符号化されたフレームのうち、すべて
のフレームについて間引きを行い、前記工程(b)は、前
記工程(B)および(C)が前記圧縮符号化画像信号を配信す
るフレームレートが、前記第１および第２配信対象の各
々のフレームレートに適合するように、前記第２種フレ
ームの比率を設定する。

【００１３】本発明のうち第４の態様にかかるものは、
第１配信対象及びそれよりもフレームレートの低い第２
配信対象の各々へ、圧縮符号化画像信号を配信する画像
配信方法であって、(A)第２の態様にかかる画像圧縮符
号化方法を実行する工程と、(B)前記工程(A)の中の前記
工程(a),(c),および(d)の各々で圧縮符号化された前記
信号を、前記記憶媒体から読出し、前記圧縮符号化画像
信号として前記第１配信対象へ配信する工程と、(C)前
記記憶媒体から読出され、かつ前記工程(g)で間引きが
行われた後の信号を、前記圧縮符号化画像信号として前
記第２配信対象へ配信する工程と、を備え、前記工程
(A)において、前記工程(g)は、前記工程(d)によって圧
縮符号化されたフレームのうち、すべてのフレームにつ
いて間引きを行い、前記工程(b)は、前記工程(B)および
(C)が前記圧縮符号化画像信号を配信するフレームレー
トが、前記第１および第２配信対象の各々のフレームレ
ートに適合するように、前記第２種フレームの比率を設
定する。

【００１４】本発明のうち第５の態様にかかるものは、
フレームレートが変動する配信対象へ、圧縮符号化画像
信号を配信する画像配信方法であって、(A)第１の態様
にかかる画像圧縮符号化方法を実行する工程と、(B)前
記工程(A)の中の前記工程(a),(c),および(d)の各々で圧
縮符号化され、かつ前記工程(g)で間引きが行われた後
の信号を、前記圧縮符号化画像信号として前記配信対象
へ配信する工程と、を備え、前記工程(A)において、前
記工程(B)が前記圧縮符号化画像信号を配信するフレー
ムレートが、前記配信対象の前記フレームレートに適合
するように、前記工程(b)が振り分ける第２種フレーム
の比率と、前記工程(g)が行う前記間引きの比率と、の
少なくとも一方が設定される。

【００１５】本発明のうち第６の態様にかかるものは、
フレームレートが変動する配信対象へ、圧縮符号化画像
信号を配信する画像配信方法であって、(A)第２の態様
にかかる画像圧縮符号化方法を実行する工程と、(B)前
記記憶媒体から読出され、かつ前記工程(g)で間引きが
行われた後の信号を、前記圧縮符号化画像信号として前
記配信対象へ配信する工程と、を備え、前記工程(A)に
おいて、前記工程(B)が前記圧縮符号化画像信号を配信
するフレームレートが、前記配信対象の前記フレームレ
ートに適合するように、前記工程(b)が振り分ける第２
種フレームの比率と、前記工程(g)が行う前記間引きの
比率と、の少なくとも一方が設定される。

【００１６】本発明のうち第７の態様にかかるものは、
第１ないし第６のいずれかの態様にかかる方法をコンピ
ュータ上で実現するために、前記各工程をコンピュータ
に実行させるためのプログラムである。

【００１７】

【発明の実施の形態】Ａ．本発明が前提とする基本発
明． はじめに、本発明の前提として想定される基本発明の二
つの実施の形態について説明する。これらの実施の形態
は、それぞれ実施の形態１および２として記載する。

【００１８】実施の形態１．図１〜図３は、基本発明の
実施の形態１に係る圧縮符号化方法を実現するためのフ
ローチャートである。このフローチャートを参照しつつ
本実施の形態１に係る圧縮符号化方法を以下に詳説す
る。

【００１９】ＣＣＤ（電荷結合素子）センサやＣＭＯＳ
センサなどの撮像センサで時間軸に沿って順次撮像した
複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，
…が本実施の形態１に係る符号化器に入力する（ＳＴ
１）。尚、特定領域メモリ２にはフレームｆ１が入力す
る前に、後に詳述するフレーム１枚分のキーＧＯＢから
なる参照フレームｆ０が格納されており、この参照フレ
ームｆ０は後述する実施の形態２に係る復号化器の特定
領域メモリ１１に圧縮伝送後、復号化されて格納されて
いる。本実施の形態１の符号化器は入力フレームｆ１，
ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを
指定しており、入力フレームｆ１がキーフレームであ
る。

【００２０】先ずステップＳＴ２でそのフレームｆ１は
キーフレームか否かを条件判定される。フレームｆ１は
キーフレームであるからステップＳＴ３に処理が移行
し、図２に示すようにステップＳＴ４で特定領域メモリ
２に格納した参照フレームｆ０と入力フレームｆ１との
間で画素値の差分値と、その差分値の絶対値和（差分絶
対値和）Ｓが算出され、次いでステップＳＴ５で差分絶
対値和が閾値以下か否かが条件判定される。例えば、そ
の差分値をΔＰ_i（ｉ：各画素に対応する番号）で表現
する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ₁｜＋｜ΔＰ₂｜
＋…＋｜ΔＰ_n｜（ｎ：画素数）で表現される。差分絶
対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間
の時間的な変化が小さいとして入力フレームｆ１はフレ
ームｆ０を用いたフレーム間符号化を施される（ＳＴ
６）。具体的には入力フレームｆ１とフレームｆ０との
間の差分信号に対してＤＣＴ（離散コサイン変換）など
の直交変換を施し、その変換係数を量子化した量子化係
数が算出される。また、このようなフレーム間符号化処
理は８×８画素や１６×１６画素などのサイズをもつブ
ロック単位で実行される。これ以後の処理も同様であ
る。尚、本実施の形態では変換方式としてＤＣＴなどの
直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散
ウェーブレット変換）を採用してもよい。この場合、フ
レーム間符号化処理は上記ブロック単位で行う代わり
に、実行メモリ容量などを考慮してフレーム単位、もし
くはフレームをタイルと称する複数の領域に分割し各タ
イル単位で実行されてもよい。

【００２１】他方、ステップＳＴ５において上記ステッ
プＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合
はステップＳＴ７に処理が移行し、入力フレームｆ１は
フレーム内の情報だけで符号化するフレーム内符号化が
施される。具体的にはフレームｆ１の画素値に対してＤ
ＣＴなどの直交変換を施し、その変換係数を量子化した
量子化係数が算出される。

【００２２】尚、フレームの圧縮率を高める観点から、
上記フレーム内符号化（ＳＴ７）またはフレーム間符号
化（ＳＴ６）を実行する前に入力フレームに対して色空
間変換が施される。例えば、原信号が「Ｒ（赤色成
分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲ
ＧＢ空間からなる場合は、これをＮＴＳＣ（National T
elevision System Committee）方式などで採用されてい
るＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを
使用すればよい。例えば、ＹＣ_bＣ_r座標系を使用した場
合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号
Ｃ_b，Ｃ_rとからなるＹＣ _bＣ_r成分の座標系へと変換され
る。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が
小さいため、画像サイズを圧縮できる。

【００２３】次に図１に示すようにステップＳＴ１９に
処理が移行し、上記ステップＳＴ６，ＳＴ７で算出され
た量子化係数はハフマン符号化などを含むエントロピ符
号化を施され、その後フレームの画像サイズや量子化ビ
ット数などの画像情報や、量子化テーブルや各ブロック
領域の符号化方法（フレーム内符号化、フレーム間符号
化）などの圧縮情報と共に多重化されてビットストリー
ムとして出力される。また、上記ステップＳＴ６，ＳＴ
７で算出された量子化係数はステップＳＴ８で局部復号
化（逆量子化および逆ＤＣＴなどの逆直交変換）され、
キーフレームメモリ１に格納される。よって、キーフレ
ームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化
（ＳＴ８）を通じて量子化誤差を含んで変化したキーフ
レームが格納される。これにより、そのキーフレームの
画像は後述する復号化器で復号化（フレーム間復号化）
の際に参照されるキーフレームの画像と同一となり、復
号化する動画像の画質を劣化させることが無くなる。以
上で入力フレームｆ１（キーフレーム）に対する圧縮符
号化処理が終了する。

【００２４】次に、上記フレームｆ１に続いてフレーム
ｆ２が符号化器に入力すると、ステップＳＴ２でそのフ
レームｆ２がキーフレームか否かが条件判定される。フ
レームｆ２はキーフレームでは無いからステップＳＴ９
に処理が移行し、フレームｆ２は複数のブロック領域
（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップ
ＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数ま
たは複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指
定される。図４（ａ）に４個のＧＯＢに分割されたフレ
ームｆ２を模式的に示す。フレームｆ２は垂直方向に十
数画素〜数十画素単位で４個のＧＯＢに分割されてお
り、その第１段目ＧＯＢがキーＧＯＢに指定されてい
る。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続
いて符号化器に順次入力するフレームｆ３〜ｆ５も複数
のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、
フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段
目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示
すようにこのようなフレームｆ１〜ｆ５は時間軸に沿っ
て配列している。

【００２５】次にステップＳＴ１１に処理が移行し、以
後、フレームｆ２はＧＯＢを更に８×８画素または１６
×１６画素程度の基本処理単位に分割したブロック毎に
順次処理される。ステップＳＴ１１では処理対象である
ブロックがキーＧＯＢに属するか否かが条件判定され
る。当該ブロックがキーＧＯＢに属する場合、ステップ
ＳＴ１２で当該ブロックは上記フレーム内符号化を施さ
れた後に、ステップＳＴ１９でエントロピ符号化され上
記画像情報および上記圧縮情報と共に多重化されてビッ
トストリームとなって出力される。またステップＳＴ１
２でブロックをフレーム内符号化して出力される量子化
係数は、ステップＳＴ１３で局部復号化（逆量子化およ
び逆ＤＣＴなどの逆直交変換）を施された後に特定領域
メモリ２に蓄積される。

【００２６】他方、上記ステップＳＴ１１でブロックが
キーＧＯＢに属しない場合はステップＳＴ１４のサブル
ーチンに処理が移行し、図３に示すようにステップＳＴ
１５で入力フレームの当該ブロックとキーフレームメモ
リ１に格納されたキーフレームとの差分値と、差分絶対
値和Ｓとが算出される。次いでステップＳＴ１６でその
差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、
その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１
７に処理が移行し、当該ブロックはキーフレームメモリ
１に格納したキーフレームを参照して上記フレーム間符
号化を施される。他方、その差分絶対値和Ｓが閾値を超
えている場合はステップＳＴ１８に処理が移行し、当該
ブロックは上記フレーム内符号化を施される。このよう
に上記ステップＳＴ１７，ＳＴ１８で符号化された量子
化係数は、図１に示すステップＳＴ１９で可変長符号化
（エントロピ符号化）と上記多重化処理を施されビット
ストリームとなって出力される。以上で入力フレームｆ
２に対する圧縮符号化処理が終了する。

【００２７】次に上記フレームｆ２に続いて符号化器に
入力するフレームｆ３，ｆ４，…も、キーフレームが入
力する迄はフレームｆ２の場合と同様に処理される。よ
って、上記ステップＳＴ１３で復号化されたキーＧＯＢ
１〜４が特定領域メモリ２にフレーム１枚分蓄積され、
図５に模式的に図示するようにキーＧＯＢ１〜４は特定
領域メモリ２で参照フレームＡに合成される。この参照
フレームＡは、後に入力するキーフレームを上記ステッ
プＳＴ３のサブルーチンでフレーム間符号化する際に利
用される。

【００２８】このように本実施の形態１に係る圧縮符号
化方法では、上記ステップＳＴ３で特定領域メモリ２に
蓄積した参照フレームとの差分の大小によりフレーム内
符号化とフレーム間符号化とを選択的に実行しており、
また上記ステップＳＴ９，ＳＴ１０で入力フレームを複
数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿
った複数のフレームにフレーム１枚分のキーＧＯＢを分
散させ、これら各キーＧＯＢがフレーム内符号化され
る。このためフレーム内符号化処理量が時間的に分散さ
れることとなり、圧縮符号化処理量の急激な増大が抑え
られて符号化処理量が時間的に平坦化し、伝送先におい
て動画像の再生速度が変化せず良質の動画像を圧縮伝送
できるという効果が得られる。特にインターネットなど
の帯域幅が制限された伝送路ではその効果が発揮され
る。

【００２９】また特定領域メモリ２では複数のフレーム
に分散された上記キーＧＯＢが蓄積され、これらキーＧ
ＯＢからなる参照フレームＡが構成される。この参照フ
レームＡは異なる時刻のキーＧＯＢの集積体である。本
実施の形態１ではこの参照フレームＡとキーフレームと
の差分の大小によりフレーム内符号化とフレーム間符号
化とが選択的に実行される。このため、異なる時刻のキ
ーＧＯＢからなる参照フレームＡを用いることに起因す
るＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮
伝送することが可能となる。

【００３０】実施の形態２．次に、基本発明の実施の形
態２に係る復号化方法を以下に詳説する。図６は、本実
施の形態２に係る復号化方法を実現するためのフローチ
ャートである。

【００３１】上記実施の形態１で符号化した圧縮画像デ
ータはビットストリームとなって本実施の形態２に係る
復号化器に入力する（ＳＴ２０）。その圧縮画像データ
はそのビットストリームから分離された後にステップＳ
Ｔ２１で復号化される。すなわち、上記符号化器から本
実施の形態２に係る復号化器に上記フレームｆ１，ｆ
２，…の圧縮データが順次入力するから、ステップＳＴ
２１でキーフレームｆ１の圧縮データに対して、上記実
施の形態１のステップＳＴ３のフレーム内符号化あるい
はフレーム間符号化の復号化処理が８×８画素や１６×
１６画素程度のブロック単位で施される。キーフレーム
ｆ１の圧縮データを復号化する際、予め特定領域メモリ
１１に格納した参照フレームｆ０が利用される。また復
号化したキーフレームｆ１は、キーフレームメモリ１０
に格納される。

【００３２】また、キーフレームの圧縮データに続いて
復号化器に入力するフレームｆ２，ｆ３，…の圧縮デー
タに対して、上記実施の形態１のステップＳＴ１２，Ｓ
Ｔ１４〜ＳＴ１８におけるフレーム内符号化あるいはフ
レーム間符号化の復号化処理が上記ブロック単位で施さ
れる。フレーム間符号化の復号化処理を行う際は、キー
フレームメモリ１０に格納したキーフレームｆ１が利用
される。またフレームｆ２，ｆ３，…が復号化される
際、基本処理単位であるブロックがキーＧＯＢに属する
場合は当該ブロックは特定領域メモリ１１に蓄積され
る。フレーム１枚分のキーＧＯＢが蓄積されると、これ
らキーＧＯＢからなる参照フレームＡが合成され、後に
復号化器に入力するキーフレームの圧縮データを復号化
する際に利用される。例えば、図４（ａ）〜（ｄ）に示
したフレームｆ２〜ｆ５の圧縮データが復号化器に入力
する場合、各キーＧＯＢを構成するブロックの圧縮デー
タはフレーム内復号化を施された後に特定領域メモリ１
１に順次蓄積され、参照フレームＡを再構成する。

【００３３】このようにステップＳＴ２１で復号化した
フレーム群ｆ１，ｆ２，…をそのまま動画像表示した場
合、上記符号化器でフレーム内符号化したＧＯＢとフレ
ーム間符号化したＧＯＢとの間で動画像の画質の差が顕
れやすく、特にフレーム内符号化したキーＧＯＢが動画
像中に判然と観られる場合がある。かかる場合を防ぐべ
く、本実施の形態２は図６に示すステップＳＴ２２にお
いて、上記ステップＳＴ２１で復号化したキーＧＯＢの
みを再び符号化した後に復号化するキーＧＯＢ再量子化
処理を備えることが特徴である。

【００３４】図７は、キーＧＯＢ再量子化処理を示すフ
ローチャートである。図７に示すように、先ず８×８画
素または１６×１６画素程度のブロックが入力する（Ｓ
Ｔ３０）。次にそのブロックはステップＳＴ３１でキー
ＧＯＢに属するか否かを条件判定され、当該ブロックが
キーＧＯＢに属しない場合は当該ブロックは再量子化さ
れず、キーＧＯＢ再量子化処理は終了し、図６に示すス
テップＳＴ２３に処理が移行する。他方、当該ブロック
がキーＧＯＢに属する場合はステップＳＴ３２に処理が
移行し、キーフレームメモリ１０に蓄積されたキーフレ
ームと当該ブロックとの画素値の差分値と、その差分値
の差分絶対値和Ｓとが算出される。次いでステップＳＴ
３３で、その差分絶対値和Ｓが閾値以下か否かの条件判
定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該
ブロックは再量子化されず、キーＧＯＢ再量子化処理は
終了し、図６に示すステップＳＴ２３に処理が移行す
る。

【００３５】他方、上記ステップＳＴ３３で差分絶対値
和Ｓが閾値以下であると判定された場合はステップＳＴ
３４以後に処理が移行する。先ずステップＳＴ３４にお
いて、当該ブロックとキーフレームとの差分信号を変換
符号化し、次いでステップＳＴ３５でその変換係数を量
子化する。これらステップＳＴ３３〜ＳＴ３５の処理
は、上記符号化器で行った差分絶対値和Ｓによる符号化
方法（フレーム間符号化、フレーム内符号化）の判定処
理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化
処理（ＳＴ１７）と同じものである。その後、ステップ
ＳＴ３６でその量子化係数を逆量子化し、次いでステッ
プＳＴ３７で上記ステップＳＴ３４の変換符号化の復号
化（逆ＤＣＴなどの逆直交変換）を実行する。この結
果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上
記符号化器でキーＧＯＢ以外のブロック領域をフレーム
間符号化した後に復号化器でその符号化信号を復号化し
た時と同様に量子化誤差を含む不可逆の差分信号が得ら
れる。次に、ステップＳＴ３８でキーフレームメモリ１
０に格納したキーフレームを用いてその差分信号からブ
ロックが再構成され出力される。

【００３６】以上のキーＧＯＢ再量子化処理を施された
ブロックは、図６に示すステップＳＴ２３においてフレ
ーム（復号化画像）に合成された後に出力される。以上
のキーＧＯＢ再量子化工程を図４に示したフレームｆ２
〜ｆ５を例に挙げて説明すると、図８に模式的に示すよ
うに、上記ステップＳＴ２１で復号化されたフレームｆ
２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格
納したキーフレームとの差分をとられる。次に上記ステ
ップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下
か否か、すなわちフレーム間符号化するか否かの判定が
なされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢ
に対してフレーム間符号化（変換符号化および量子化）
が施され、次いでそのフレーム間符号化の復号化（逆量
子化および逆変換復号化）が施されることで、上記フレ
ームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成
される。

【００３７】このように本実施の形態２によれば、上記
実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１
７）と同様の手順で、キーＧＯＢとキーフレームとの差
が小ならば当該キーＧＯＢとキーフレームとの差分信号
に対して圧縮符号化を施した後に、その復号化を施しキ
ーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ
以外のブロック領域をフレーム間符号化した後に復号化
器でその符号化信号を復号化した時と同様に、キーＧＯ
Ｂにフレーム間符号化およびその復号化に伴う誤差が混
入される。よって、復号化した動画像を表示する際にキ
ーＧＯＢが動画像中で目立つことが無く、その動画像を
観る人に違和感を与えることが無いという効果が得られ
る。

【００３８】Ｂ．本発明の実施の形態． つぎに、上記した基本発明を前提とする本発明の実施の
形態について説明する。

【００３９】（画像配信装置の概略）図９は、本発明の
実施の形態による画像配信システムの構成を示すブロッ
ク図である。この画像配信システム１２０は、画像配信
装置２０、通信回線４０、および端末装置３０を備えて
いる。画像配信装置２０は、図１に示した実施の形態１
による圧縮符号化方法を実行し、ビットストリームの形
式で圧縮符号化画像信号を通信回線４０へ出力する。通
信回線４０の一例は、ＬＡＮあるいはインタネット等の
ネットワークである。端末装置３０は、通信回線４０へ
接続されることにより、画像配信装置２０が時間に沿っ
て出力する圧縮符号化画像信号を、端末装置３０のユー
ザが指定する任意の時点から受信し、かつ復号化するよ
うに構成されている。

【００４０】なお本明細書では、基本発明による符号化
方法および復号化方法を、「ＳＲＶＣ(Super Real Vide
o Codec)方式」と仮称する。また、画像配信装置２０に
接続される通信回線４０および端末装置３０の双方を含
めて、画像配信装置２０の「配信対象」と仮称する。し
たがって、配信対象のフレームレート（単位時間当たり
のフレーム数）は、通信回線４０とそれに接続される端
末装置３０との双方のフレームレートによって規定され
る。画像配信装置２０は、配信対象のフレームレートに
適合したフレームレートで、圧縮符号化画像信号を配信
する必要がある。

【００４１】図１０が示すように、画像配信装置２０が
出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号で
は、一つのキーフレームＫからつぎのキーフレームＫの
直前のフレームまでが、一つのフレーム群を構成する。
一つのフレーム群には、キーフレームＫおよびこれに後
続する複数の第１種フレームP-GOBが含まれる。フレー
ムP-GOBとは、図４に例示したように、フレーム内の特
定領域であるキーＧＯＢを有するフレームであり、「キ
ーＧＯＢありＰピクチャ」とも仮称する。フレームP-GO
Bのうち、キーＧＯＢ（特定領域）を除いた領域である
非特定領域（例えば、図４においてＧＯＢと記載される
領域）は、同一のフレーム群に属するキーフレームＫを
参照フレーム（「第１の参照フレーム」とも称する）と
してフレーム間符号化されている。

【００４２】したがってフレームP-GOBは、同一のフレ
ーム群に属するキーフレームＫとの差分画像であり、当
該キーフレームＫに依存している。また、フレームP-GO
Bに含まれるキーＧＯＢは、つぎのフレーム群に属する
キーフレームＫのフレーム間符号化のために参照フレー
ムＡ（「第２の参照フレーム」とも称する）として用い
られ、当該キーフレームＫは、これらキーＧＯＢの１フ
レーム分の集合との差分画像となっている。すなわち、
キーフレームＫは前のフレーム群に属するフレームP-GO
Bに依存している。

【００４３】以上のように、ＳＲＶＣ方式にもとづく圧
縮符号化画像信号では、すべてのキーフレームＫおよび
フレームP-GOBは、互いに補完関係にある。したがっ
て、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、一
連のキーフレームＫおよびフレームP-GOBのうちのいず
れの１フレームをも捨てることなく、配信対象へ配信さ
れなければならない。このため、圧縮符号化画像信号を
フレームレートの高い配信対象と低い配信対象とに配信
する場合、あるいは、通信回線４０の帯域変動等の要因
によりフレームレートが変動する配信対象へ配信する場
合に、これらの配信対象のフレームレートに適合した配
信を、一連のキーフレームＫおよびフレームP-GOBの一
部を間引くことによって実現することはできない。

【００４４】これに対して、図１０が示すように、フレ
ーム群の中には、第２種フレームＰを挿入することが可
能である。フレームＰは、キーＧＯＢを含まず、同一の
フレーム群に属するキーフレームＫを参照フレームとし
て、フレーム全体にわたってフレーム間符号化されたフ
レームである。フレームＰは、「キーＧＯＢなしＰピク
チャ」とも仮称する。すなわち、フレームＰはフレーム
P-GOBと同様に、同一のフレーム群に属するキーフレー
ムＫとの差分画像であり、当該キーフレームＫに依存し
ている。しかしながら、フレームＰはフレームP-GOBと
は異なり、つぎのフレーム群に属するキーフレームＫの
フレーム間符号化のために参照フレームとして用いられ
ることはない。すなわち、フレームＰには、他のフレー
ムが従属することはない。

【００４５】したがって、圧縮符号化画像信号にフレー
ムＰを含めておき、フレームＰのみを間引くことで、配
信対象に適合したフレームレートでの配信が可能とな
る。以下に、画像配信装置２０について、その構成およ
び動作手順について詳細に説明する。

【００４６】（画像配信装置の構成）図１１は、画像配
信装置２０の構成を示すブロック図である。この画像配
信装置２０は、画像配信装置の本体部をなす画像信号処
理装置２１と、カメラ２２とを備えている。画像信号処
理装置２１は、ビデオデコーダ２３、圧縮部２４、画像
記録部２５、インタフェース２６、制御部２７、ワーク
メモリ２９、およびこれらを互いに接続するバスライン
２８を備えている。

【００４７】カメラ２２で撮像することにより得られる
画像信号は、ビデオデコーダ２３によって、アナログ形
式からデジタル形式へ変換される。ビデオデコーダ２３
が出力するデジタル形式の画像信号は、圧縮部２４によ
って圧縮符号化される。

【００４８】ワークメモリ２９は、圧縮符号化処理の過
程で一時的に画像信号を保持するためのメモリであり、
図１に示したキーブロックメモリ（特定領域メモリ）２
およびキーフレームメモリ１を含んでいる。圧縮部２４
が出力する圧縮符号化画像信号は、画像記録部２５へス
トアされるか、あるいはそれと同時に、インタフェース
２６へ送られる。インタフェース２６は、外部の通信回
線４０へ接続されることにより、圧縮部２４が出力する
圧縮符号化画像信号、または画像記録部２５にストアさ
れている圧縮符号化画像信号を、通信回線４０へ送出す
る。

【００４９】制御部２７は、例えばプログラム（ソフト
ウェア）にもとづいて動作するＣＰＵ（コンピュータ）
で構成され、各要素２３〜２６，２９を制御する機能を
果たしている。制御部２７がＣＰＵで形成される場合に
は、画像記録部２５はＣＰＵの動作を規定するプログラ
ムを格納するメモリとしても機能する。圧縮部２４は、
例えば画像信号の圧縮をハードウェアのみで実行する半
導体チップ（ＬＳＩ）で構成される。画像信号処理装置
２１に含まれる要素２３〜２７，２９は、それらのいく
つか、あるいは一つ一つが単一の半導体チップ（ＬＳＩ
またはシステムＬＳＩ）で構成されても良く、全体が単
一の半導体チップ（システムＬＳＩ）で構成されても良
い。

【００５０】以上のように、画像配信装置２０では、カ
メラ１から入力される画像信号に同期して、すなわちリ
アルタイムで、圧縮符号化画像信号を通信回線４０へ出
力することが可能なように構成されている。また、圧縮
符号化画像信号をストアする画像記録部２５が備わるの
で、目的および条件に応じて、圧縮符号化画像信号の配
信だけでなく記録をも行うことができる。さらに、リア
ルタイムでの配信に代えて、記録された圧縮符号化画像
信号を画像記録部２５から読出し、インタフェース２６
を通じて通信回線４０へ送出することも可能である。

【００５１】（画像配信装置の動作）図１２は画像配信
装置２０の動作手順を示すフローチャートである。この
処理は、ステップＳＴ４０〜４４が付加されている点に
おいて、図１に示した基本的な処理とは特徴的に異なっ
ている。図１２の処理のうち、例えば、ステップＳＴ１
からステップＳＴ１９へ至る処理は圧縮部２４で実行さ
れ、ステップＳＴ４０，４３，４４の処理は制御部２７
で実行される。

【００５２】ステップＳＴ２において、入力されたフレ
ームがキーフレームＫではないと判定されると、当該フ
レームが、キーＧＯＢありＰピクチャであるか否か、す
なわちフレームP-GOBであるか否かが判定される（ステ
ップＳＴ４１）。入力されたフレームがフレームP-GOB
であると判定されると、図１のステップＳＴ９以下と同
様の処理が行われる。一方、入力されたフレームがフレ
ームP-GOBでない、すなわちフレームＰであると判定さ
れると、ステップＳＴ４２の処理が行われた後に、処理
はステップＳＴ１９へ移行する。ステップＳＴ４２で
は、ステップＳＴ１４と同じ処理、すなわち図３の処理
が、フレーム全体にわたって実行される。ステップＳＴ
４２によるフレーム間符号化では、ステップＳＴ１４と
同様に、キーフレームメモリ１に格納されているキーフ
レームが参照される。

【００５３】このように、入力されたフレームが、ステ
ップＳＴ２およびステップＳＴ４１を通じて、キーフレ
ームＫ、フレームP-GOB、およびフレームＰのいずれか
に振り分けられ、それぞれに応じた圧縮符号化処理が施
される。３種のフレームへの振り分けは、振り分けの比
率に関してあらかじめ設定された固定値、あるいはステ
ップＳＴ４０において設定される可変値にもとづいて行
われる。ステップＳＴ４０では、例えばオペレータの入
力操作、あるいは配信対象のフレームレートにもとづい
て、振り分けの比率が設定される。振り分けの比率は、
例えば１フレーム群に挿入すべきフレームＰの枚数を設
定することによっても、定めることができる。

【００５４】ビットストリームの形式で出力された圧縮
符号化画像信号のうち、ステップＳＴ４２を通じて圧縮
符号化されたフレームＰの一部ないしすべてを間引する
工程（ステップＳＴ４４）が、ステップＳＴ１９の後に
付加されている。これにより、間引き後の圧縮符号化画
像信号をビットストリームとして出力することが可能と
なっている。また、ステップＳＴ４４で得られる間引き
後の圧縮符号化画像信号と、ステップＳＴ１９で得られ
る間引き前の圧縮符号化画像信号とを、二つのビットス
トリームとして同時に出力してもよい。ビットストリー
ムの出力先は、例えば、インタフェース２６または画像
記録部２５である。

【００５５】間引きは、間引きの比率に関してあらかじ
め設定された固定値、あるいはステップＳＴ４３におい
て設定される可変値にもとづいて行われる。ステップＳ
Ｔ４３では、例えばオペレータの入力操作、あるいは配
信対象のフレームレートにもとづいて、間引きの比率が
設定される。間引きの比率は、例えば１フレーム群に挿
入されたフレームＰのうち、間引くべきフレームの枚
数、すなわち間引き数を設定することによっても、定め
ることができる。

【００５６】画像配信装置２０は、図１２の処理を、各
フレームに対して連続的に行うものであり、例えばステ
ップＳＴ１９の処理が一つのフレームに対して行われて
いるときに、つぎのフレームに対してステップＳＴ１の
処理が同時に行われることも有り得る。すなわち好まし
くは、画像配信装置２０は入力された画像信号に対する
処理を、パイプライン処理の形式で実行する。このこと
は、図１および図６に示した処理においても同様であ
る。図１、図６、および図１２は、画像信号に対して行
われるパイプライン処理について、任意の１フレームに
着目して、当該フレームに対する処理の流れを示したも
のである。一つのフレームに対する処理の終了時点とつ
ぎのフレームに対する開始時点との間の時間的前後関係
を限定しなければ、図１、図６、および図１２の処理
は、１フレーム毎に反復的に実行されると、一般に表現
することが可能である。

【００５７】ステップＳＴ１９とＳＴ４４との間に、間
引き前の圧縮符号化画像信号を画像記録部２５へストア
する工程を挿入しても良い。すなわち、間引き前の圧縮
符号化画像信号のビットストリームを、画像記録部２５
へ入力することにより一旦記録し、その後に読み出して
間引きを行うように、図１２の処理を構成することも可
能である。読み出された間引き前の圧縮符号化画像信号
と、その後に間引かれた圧縮符号化画像信号とを、二つ
のビットストリームとして同時に出力することも可能で
ある。ビットストリームの出力先は、例えばインタフェ
ース２６である。読み出す時期は、例えばオペレータの
入力操作、あるいは端末装置３０からの配信要求にもと
づいて設定される。

【００５８】（振り分けと間引きの条件設定）つぎに、
フレームの振り分け、および間引きの条件に関する好ま
しい例について説明する。図１３はその第１の例を示す
動作説明図である。この例は、圧縮符号化画像信号をフ
レームレートの高い第１配信対象と低い第２配信対象と
に配信するのに適している。第１配信対象には、間引き
前の圧縮符号化画像信号が配信され、第２配信対象に
は、すべてのフレームＰが間引かれた圧縮符号化画像信
号が配信される。フレームの振り分けの比率は、配信さ
れる圧縮符号化画像信号のフレームレートが、第１およ
び第２配信対象のフレームレートに適合するように設定
される。図１３が示すように、第１および第２配信対象
のフレームレートの比率が、約５：１である場合には、
フレームP-GOBに対するフレームＰの比率を４に設定す
るとよい。その結果、第２配信対象には、第１配信対象
の約５分の１のフレームレートで、圧縮符号化画像信号
が配信される。

【００５９】図１４は、第２の例を示す動作説明図であ
る。この例は、通信回線４０の帯域変動等の要因により
フレームレートが変動する配信対象へ、圧縮符号化画像
信号を配信するのに適している。例えば、配信を行って
いる中で通信回線４０の帯域変動があって、圧縮符号化
画像信号の配信が滞った場合に、間引きの比率を高める
ことにより、配信のフレームレートを、配信対象の低下
したフレームレートに適合させることが可能である。す
べてのフレームＰを間引いても、なお適合させることが
できない場合には、フレームＰの挿入数を高めるとよ
い。図１４が示すように、配信の滞りがあれば、フレー
ムＰの挿入数を高めてゆき、それにより配信のフレーム
レートを低下させることができる。その結果、滞りが解
消されれば、挿入数は元の値（すなわち初期設定値）に
戻される。

【００６０】なお、上記第１および第２のいずれの例に
おいても、図１２に関連して既に述べたように、配信す
べき圧縮符号化画像信号として、カメラ２２で撮像され
圧縮部２４で圧縮符号化されたままのリアルタイムの画
像信号と、圧縮符号化後に画像記録部２５に一旦蓄積さ
れた画像信号との、いずれをも用いることが可能であ
る。

【００６１】

【発明の効果】本発明のうち第１の態様にかかる方法で
は、互いに従属関係を持つように圧縮符号化されるキー
フレームと第１種フレームとの他に、他のフレームが自
身に従属することのないように圧縮符号化される第２種
フレームが割り当てられるとともに、圧縮符号化後に、
第２種フレームの少なくとも一部が間引かれる。このた
め、第２種フレームを割り当てる比率と、圧縮符号化後
に第２種フレームを間引く比率との、少なくとも一方を
調節することにより、様々なフレームレートをもつ圧縮
符号化後の画像信号を得ることができる。

【００６２】本発明のうち第２の態様にかかる方法で
は、圧縮符号化された信号を記憶媒体へ記憶しておき、
読み出した信号に対して間引きが行われる。このため、
様々なフレームレートをもつ圧縮符号化後の画像信号
を、圧縮符号化よりも後の任意の時点で得ることができ
る。

【００６３】本発明のうち第３の態様にかかる方法で
は、第１の態様にかかる方法を用いるとともに、フレー
ムレートの異なる二つの配信対象に適合するように第２
種フレームの振り分けの比率が設定され、間引き前と間
引き後の圧縮符号化画像信号が、それぞれ二つの配信対
象へ配信される。このため、二つの配信対象に適合した
フレームレートで、圧縮符号化画像信号を配信すること
ができる。

【００６４】本発明のうち第４の態様にかかる方法で
は、第２の態様にかかる方法を用いるので、すでに蓄積
されている圧縮符号化画像信号を、任意の時点、例えば
配信要求があったときに、配信対象に適合したフレーム
レートで配信することができる。

【００６５】本発明のうち第５の態様にかかる方法で
は、第１の態様にかかる方法を用いるとともに、配信対
象の変動するフレームレートに適合するように、第２種
フレームの振り分けの比率と間引き率との、少なくとも
一方が設定される。このため、フレームレートの変動に
適応しつつ、圧縮符号化画像信号を配信することができ
る。

【００６６】本発明のうち第６の態様にかかる方法で
は、第２の態様にかかる方法を用いるので、すでに蓄積
されている圧縮符号化画像信号を、任意の時点、例えば
配信要求があったときに、配信対象のフレームレートの
変動に適応しつつ、配信することができる。

【００６７】本発明のうち第７の態様にかかるプログラ
ムでは、コンピュータに搭載することにより、第１ない
し第６の態様の各々にかかる方法を実行することができ
る。

【図面の簡単な説明】

【図１】本発明の前提となる基本発明の実施の形態１に
係る符号化方法を実現するフローチャートである。

【図２】実施の形態１に係る符号化方法を実現するフロ
ーチャートである。

【図３】実施の形態１に係る符号化方法を実現するフロ
ーチャートである。

【図４】４つのブロック領域に分割された各フレームを
示す説明図である。

【図５】実施の形態１に係る符号化方法を説明するため
の模式図である。

【図６】本発明の前提となる基本発明の実施の形態２に
係る復号化方法を実現するフローチャートである。

【図７】実施の形態２に係る再量子化処理を説明するた
めのフローチャートである。

【図８】実施の形態２に係る復号化方法を説明するため
の模式図である。

【図９】本発明の実施の形態に係る画像配信システムの
構成を示すブロック図である。

【図１０】図９の画像配信装置が出力する圧縮符号化画
像信号の一例を示すデータ構造図である。

【図１１】図９の画像配信装置の構成を示すブロック図
である。

【図１２】図１１の画像配信装置の動作手順を示すフロ
ーチャートである。

【図１３】図１１の画像配信装置の動作の第１例を示す
動作説明図である。

【図１４】図１１の画像配信装置の動作の第２例を示す
動作説明図である。

【図１５】従来の符号化方法を説明するためのフローチ
ャートである。

【図１６】従来の復号化方法を説明するためのフローチ
ャートである。

【符号の説明】

１ キーフレームメモリ ２ 特定領域メモリ １０ キーフレームメモリ １１ 特定領域メモリ Ａ 参照フレーム ｆ１，Ｋ キーフレーム Ｋｅｙ−ＧＯＢ 特定領域 Ｐ−ＧＯＢ 第１種フレーム Ｐ 第２種フレーム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 真人 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 (72)発明者 田中 秀和 大阪市淀川区宮原４丁目１番６号 株式会 社メガチップス内 Ｆターム(参考） 5C054 AA01 AA05 CA04 CC03 EA01 EA03 EG06 HA18 5C059 KK22 LB07 MA00 MA04 MA05 MA23 MA24 MC11 MC38 ME02 PP04 PP16 SS08 TA07 TA23 TA71 TB04 TB08 TC08 TC37 TD05 TD12 UA02 UA05 UA33 UA38 5C064 BB05 BC16 BC20 BD08

Claims (7)

【特許請求の範囲】
1. 【請求項１】 順次入力される複数のフレームからなる
   画像信号を圧縮符号化する画像圧縮符号化方法であっ
   て、 (a)前記複数のフレームの中からキーフレームを指定し
   圧縮符号化すると共に、圧縮符号化したキーフレームを
   復号化することにより第１の参照フレームとして記憶す
   る工程と、 (b)前記キーフレームの後に入力するフレームを、第１
   種フレームと第２種フレームとのいずれかに振り分ける
   工程と、 (c)入力する前記フレームが前記第１種フレームである
   ときに、当該第１種フレームに対する処理を行う工程で
   あって、 (c-1)前記第１種フレームを複数のブロック領域に分割
   し且つ前記各ブロック領域の中から特定領域を指定する
   工程と、 (c-2)前記特定領域に対してフレーム内符号化を実行す
   ると共に、当該フレーム内符号化がなされた前記特定領
   域を復号化して記憶する工程と、 (c-3)記憶している前記第１の参照フレームを参照する
   ことにより、前記工程(c-1)で分割した前記特定領域を
   除く前記各ブロック領域に対してフレーム間符号化を実
   行する工程と、を有する工程と、 (d)入力する前記フレームが前記第２種フレームである
   ときに、記憶している前記第１の参照フレームを参照す
   ることにより、前記第２種フレームに対してフレーム間
   符号化を実行する工程と、 (e)前記工程(b)〜(d)を繰り返し実行するとともに、前
   記工程(c)を実行するごとに記憶した前記特定領域を、
   第２の参照フレームとして１フレーム分蓄積する工程
   と、 (f)前記工程(a)〜(e)を繰り返し実行するとともに、前
   記工程(a)で前記第１の参照フレームを記憶するごと
   に、すでに記憶している前記第１の参照フレームを更新
   し、かつ前記工程(e)で前記第２の参照フレームとして
   の蓄積を行うごとに、すでに記憶している前記第２の参
   照フレームを更新する工程と、 (g)前記工程(d)によって圧縮符号化されたフレームのう
   ち、少なくとも一部のフレームについて間引きを行う工
   程と、を備え、 前記工程(a)が、 (a-1)指定した前記キーフレームに対して、記憶してい
   る前記第２の参照フレームを参照することにより、フレ
   ーム間符号化を実行する工程、を備える、画像圧縮符号
   化方法。
2. 【請求項２】 (h)前記工程(a),(c),および(d)の各々で
   圧縮符号化された信号を記憶媒体へ記憶する工程、をさ
   らに備え、 前記工程(g)は、前記記憶媒体から前記信号を読出し、
   読み出した当該信号から前記間引きを行う、請求項１に
   記載の画像圧縮符号化方法。
3. 【請求項３】 第１配信対象及びそれよりもフレームレ
   ートの低い第２配信対象の各々へ、圧縮符号化画像信号
   を配信する画像配信方法であって、 (A)請求項１に記載の画像圧縮符号化方法を実行する工
   程と、 (B)前記工程(A)の中の前記工程(a),(c),および(d)の各
   々で圧縮符号化された信号を、前記圧縮符号化画像信号
   として前記第１配信対象へ配信する工程と、 (C)前記工程(A)の中の前記工程(a),(c),および(d)の各
   々で圧縮符号化され、かつ前記工程(g)で間引きが行わ
   れた後の信号を、前記圧縮符号化画像信号として前記第
   ２配信対象へ配信する工程と、を備え、 前記工程(A)において、 前記工程(g)は、前記工程(d)によって圧縮符号化された
   フレームのうち、すべてのフレームについて間引きを行
   い、 前記工程(b)は、前記工程(B)および(C)が前記圧縮符号
   化画像信号を配信するフレームレートが、前記第１およ
   び第２配信対象の各々のフレームレートに適合するよう
   に、前記第２種フレームの比率を設定する、画像配信方
   法。
4. 【請求項４】 第１配信対象及びそれよりもフレームレ
   ートの低い第２配信対象の各々へ、圧縮符号化画像信号
   を配信する画像配信方法であって、 (A)請求項２に記載の画像圧縮符号化方法を実行する工
   程と、 (B)前記工程(A)の中の前記工程(a),(c),および(d)の各
   々で圧縮符号化された前記信号を、前記記憶媒体から読
   出し、前記圧縮符号化画像信号として前記第１配信対象
   へ配信する工程と、 (C)前記記憶媒体から読出され、かつ前記工程(g)で間引
   きが行われた後の信号を、前記圧縮符号化画像信号とし
   て前記第２配信対象へ配信する工程と、を備え、 前記工程(A)において、 前記工程(g)は、前記工程(d)によって圧縮符号化された
   フレームのうち、すべてのフレームについて間引きを行
   い、 前記工程(b)は、前記工程(B)および(C)が前記圧縮符号
   化画像信号を配信するフレームレートが、前記第１およ
   び第２配信対象の各々のフレームレートに適合するよう
   に、前記第２種フレームの比率を設定する、画像配信方
   法。
5. 【請求項５】 フレームレートが変動する配信対象へ、
   圧縮符号化画像信号を配信する画像配信方法であって、 (A)請求項１に記載の画像圧縮符号化方法を実行する工
   程と、 (B)前記工程(A)の中の前記工程(a),(c),および(d)の各
   々で圧縮符号化され、かつ前記工程(g)で間引きが行わ
   れた後の信号を、前記圧縮符号化画像信号として前記配
   信対象へ配信する工程と、を備え、 前記工程(A)において、 前記工程(B)が前記圧縮符号化画像信号を配信するフレ
   ームレートが、前記配信対象の前記フレームレートに適
   合するように、前記工程(b)が振り分ける第２種フレー
   ムの比率と、前記工程(g)が行う前記間引きの比率と、
   の少なくとも一方が設定される、画像配信方法。
6. 【請求項６】 フレームレートが変動する配信対象へ、
   圧縮符号化画像信号を配信する画像配信方法であって、 (A)請求項２に記載の画像圧縮符号化方法を実行する工
   程と、 (B)前記記憶媒体から読出され、かつ前記工程(g)で間引
   きが行われた後の信号を、前記圧縮符号化画像信号とし
   て前記配信対象へ配信する工程と、を備え、前記工程
   (A)において、 前記工程(B)が前記圧縮符号化画像信号を配信するフレ
   ームレートが、前記配信対象の前記フレームレートに適
   合するように、前記工程(b)が振り分ける第２種フレー
   ムの比率と、前記工程(g)が行う前記間引きの比率と、
   の少なくとも一方が設定される、画像配信方法。
7. 【請求項７】 請求項１ないし請求項６のいずれかに記
   載の方法をコンピュータ上で実現するために、前記各工
   程をコンピュータに実行させるためのプログラム。