JPH08154249A - 画像再生装置及び画像再生方式 - Google Patents

Abstract

(57)【要約】 【目的】 複数チャネルの符号化データを同時に復号す
る際の復号化負荷の軽減を図る。 【構成】 各チャネルの位相差を検出する検出手段と、
各チャネルの転送タイミングを調整する調整手段と、上
記検出手段の検出出力に基づいて上記調整手段を制御す
るようにして各チャネル間の位相を適当に制御し得るよ
うに構成した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像再生装置及び画像再
生方式に関し、特に複数チャンネルの圧縮画像データを
同期して復号する装置及び方式に関するものである。

【０００２】

【従来の技術】最近の高能率動画符号化方式としてＭＰ
ＥＧ( Motion Picture Image CodingExpert Group) が
知られている。

【０００３】この方式に基づく符号化方式は、ＤＣＴ、
適応量子化及び可変長符号化(VLC)を基本とし、フレー
ム（フィールド）相関が高い等の動画の特長に着目して
動き補償付フレーム（又はフィールド）間予測符号化を
適応的に組み合わせた符号化方式である。

【０００４】すなわち、この符号化方式においては、図
７に示すように動画を構成する各フレームをＩ(Intra)
フレーム、Ｐ(Prediction)フレーム、Ｂ(Bidirectinal
perdiction) フレームに分類し、各フレーム毎に異なる
符号化を行うことによって全体として高能率に圧縮し得
るようにしたものであり、Ｉフレームについては該フレ
ーム内で上述のＤＣＴ等を用いた符号化を行う。

【０００５】また、Ｐフレームについては、時間的に先
行するＩフレームとの間でフレーム（又はフィールド）
間動き補償付予測符号化を行い、Ｂフレームについては
先行するＩフレーム又はＰフレーム及び後行するＩフレ
ーム又はＰフレームとの間でフレーム（又はフィール
ド）間動き補償付予測符号化を行う。

【０００６】

【発明が解決しようとしている課題】ところで、上述の
ようなＭＰＥＧで符号化された画像データは各フレーム
毎に符号化の方法及びデータ量が異なるため、復号する
際の複雑さや消費電力等が各フレーム毎に異なるととも
に、復号した際の各画像の画像品位も各フレーム毎に異
なる。

【０００７】また、最近のマルチメディア化に伴ない、
例えば同一画面内に複数種の画像データを同時に表示す
るために複数チャンネルの符号化画像データを同時に復
号する必要が生ずる場合がある。

【０００８】このため、例えば２チャンネルの画像デー
タを同時に復号して同一の画面に表示しようとした場合
には、各チャンネルのＩ、Ｐ、Ｂの組み合わせによって
消費電力等が大幅に変動するとともに、単一画面上の画
像品位も局部的に異なってしまうという問題が生ずる。

【０００９】

【課題を解決するための手段】本発明は上述のような実
情に鑑みてなされたものであり、複数チャンネルの符号
化データを同時に復号する場合に上述のような問題が発
生しないようにした画像再生装置、及び画像再生方式を
提供することを目的とする。

【００１０】本発明は、この目的を達成するために符号
化された画像データ間の位相差を検出する検出手段と、
上記画像データを復号する復号化手段と、上記画像デー
タの転送タイミングを規制する規制手段と、上記検出手
段の検出結果に基づいて上記規制手段を制御する制御手
段とを備えたことを特徴とする画像再生装置を提供する
ものである。

【００１１】また、本発明は、この目的を達成するため
に符号化された画像データ間の位相差を検出し、この検
出結果に基づいて複数チャンネルの画像データ間の転送
タイミングを制御することを特徴とする画像再生方式を
提供するものである。

【００１２】

【実施例】以下、本発明に係る好適な実施例を各要素毎
に図を用いて順次説明する。

【００１３】（システム）図１は本実施例のシステム全
体を示すブロック図である。

【００１４】図１において、１０１はＡＴＭ（非同期転
送モード）にてＪＰＥＧやＭＰＥＧ等の各種方式にて符
号化処理された画像データ等の各種符号化データを転送
するＡＴＭネットワーク、１０３はＡＴＭ以外のモード
にてデータを転送するイーサネット等を用いたローカル
エリアネットワーク（ＬＡＮ）、１０５はＡＴＭネット
ワークに接続され、画像データの圧縮、伸長機能を有す
るファクシミリ装置、１０７は内部にぺージメモリを有
し、受信した圧縮データから伸長した画像データに基づ
いた像形成を行うカラープリンタである。

【００１５】１０９はカラーリーダ、カラープリンタを
含むカラー複写機であって、カラーリーダで読み取った
原稿の画像データを例えばＪＰＥＧ方式に基づいて圧縮
する圧縮回路、圧縮された画像データが書き込まれるぺ
ージメモリ、ぺージメモリに書き込まれた圧縮画像デー
タを読み出してプリンタに供給するために伸長する伸長
回路を含む。

【００１６】１１１はＡＴＭネットワークを介して入力
される画像データを一旦蓄えるファイルサーバー、１１
３はこのファイルサーバーにデータを入出力するための
ワークステーション、１１５はＡＴＭネットワークと接
続されるＰＣ（パソコン）であり、このパソコン１１５
は上述のローカルエリアネットワークとの間でＭＰＥＧ
データやＪＰＥＧデータの授受を行ない、データの符号
化・復号化を行うとともに本発明における各種画像デー
タの編集等の各種処理を行う。

【００１７】また、このパソコン１１５は上記プリンタ
１０７等と上記ネットワーク回線１０３又は専用線を介
して接続されている。

【００１８】１１７は１１１と同様のサーバーであっ
て、前記サーバ１１１と同様の構成である。

【００１９】かかるサーバー１１７には前述のカラー複
写機１０９と同様のカラー複写機１１９と接続されてい
る。

【００２０】１２１はＡＴＭネットワークに接続されて
いるデジタルテレビであり、このデジタルテレビはＡＴ
Ｍネットワークを介して入力されるＭＰＥＧ或はＪＰＥ
Ｇ方式の符号化データを受信し、これを復号して可視像
としてＣＲＴディスプレイ装置に表示する。

【００２１】なお、かかるモニターはＦＬＣとよばれる
強誘電体液晶を用いたディスプレイ装置であってもよ
い。

【００２２】１２３はＡＴＭネットワークを介して入力
されたＭＰＥＧあるいはＪＰＥＧ圧縮画像データデータ
を受信するＶＴＲである。

【００２３】かかるＶＴＲ１２３はＡＴＭネットワーク
回線から入力されたＭＰＥＧあるいはＪＰＥＧ圧縮画像
データデータを圧縮された符号化データのまま記録する
か又は所定の信号処理を行ってテープに記録する。

【００２４】また、このＶＴＲ１２３は外部から受信し
た非圧縮データをＭＰＥＧあるいはＪＰＥＧ方式に基づ
いて圧縮してテープに記録するための画像データ圧縮器
を有している。

【００２５】１２７はＡＴＭネットワークにＭＰＥＧあ
るいはＪＰＥＧ圧縮画像データ方式にて圧縮されたデー
タを送出するＣＡＴＶ局である。

【００２６】このＣＡＴＶ局１２７は図示したようにＡ
ＴＭネットワーク回線を介して放送用のデータを出力す
る。

【００２７】１２９はＡＴＭネットワークに他のＡＴＭ
ネットワークを接続するためのルータである。

【００２８】１３１は他のローカルエリアネットワーク
と接続するためのルータである。

【００２９】また、ファクシミリ装置１０５とプリンタ
ー１０７とカラー複写機１１１とＡＴＭネットワークと
の間には不図示のＡＴＭネットワークスイッチが設けら
れている。

【００３０】（ＪＰＥＧデータ）次に、上記ネットワー
クにて伝送される各種データの内のＪＰＥＧデータにつ
いて説明する。

【００３１】このＪＰＥＧデータは、データの周波数特
性や人間の視覚特性を利用してカラー静止画の圧縮を行
うことを目的とした国際標準方式であるＣＣＩＴＴ／Ｉ
ＳＯのＪＰＥＧ方式に基づいて符号化されたデータであ
り、このデータは符号化データ及び各種マーカコードを
図２に示すようなイメージ／フレーム／スキャンの階層
構造として構成している。

【００３２】即ち、このＪＰＥＧデータはＳＯＩ(Start
Of Image)コード、フレーム、ＥＯＩ(End Of Image)コ
ードから構成され、上記フレームは階層符号化されたデ
ータの場合には各階層毎に複数のフレームから成り、階
層符号化されていない場合には単一のフレームにて構成
される。

【００３３】上記フレームはＳＯＦ(Start Of Frame)コ
ード、フレームヘッダ及びスキャンから構成され、上記
スキャンはＳＯＳ(Start Of Scan) コード、スキャンヘ
ッダ及び符号化データにて構成されている。

【００３４】なお、上記スキャンは、輝度データ（Ｙ）
と２つの色差データ(Cr、Cb) とを分けて符号化する場合
（ノンインタリーブさせる場合）には複数のスキャンか
ら構成され、各データを分けずに符号化する場合（イン
タリーブさせる場合）には単一のスキャンにて構成され
る。

【００３５】次に、上述のようなＪＰＥＧ方式における
基本的なベースライン・システムにおける符号化・復号
化のアルゴリズムについて図３及び図４を用いて説明す
る。

【００３６】まず、入力画像データはブロック化回路２
０１にて８画素×８画素のブロックに分割し、これをＤ
ＣＴ回路２０２にて２次元ＤＣＴ（離散コサイン変換）
することによって１種の直流成分(DC)と63種の交流成分
(AC)から成る水平／垂直の空間周波数成分（ＤＣＴ係
数）に変換する。

【００３７】これによって得られた各周波数成分は、量
子化器２０３にて各々所定の係数（量子化係数）にて除
されて量子化され、その後直流成分と交流成分とで異な
るアルゴリズムによって各々符号化処理される。

【００３８】なお、上記量子化係数は、一般に周波数成
分毎に異なる係数が用いられており、視覚上重要な低域
成分に対する量子化係数は高域成分に対する量子化係数
に比して小さく設定されている。

【００３９】これによって、比較的重要でない高域成分
についてはカットされることになり、全体としてデータ
量の削減が図られる。

【００４０】上記直流成分については隣接ブロックとの
相関が高いことを利用して、差分回路２０４にて先行す
るブロックにおける直流成分との差分が求められ、得ら
れた差分値をハフマン符号化器２０５にて１次元ハフマ
ン符号化して直流成分の符号化データとされる。

【００４１】一方、交流成分については、上述の６３種
の交流成分をスキャン回路２０６にて視覚的に重要な低
域側の周波数成分から順次ジグザグスキャンして１次元
の配列に変換し、判定器２０７にて各成分の値が「０
値」であるか０値以外の値（有効係数）であるか判定さ
れる。

【００４２】「０値」については、カウンタ２０８にて
０ランがカウントされ、有効係数についてはグループ化
回路２０９にてその値によってグループ化され、これら
によって得られたランレングスとグループ値との組み合
わせによりハフマン符号化器２１０にて２次元ハフマン
符号化が行われて交流成分の符号化データとされる。

【００４３】ここで、上述のハフマン符号は、生起確率
の高いもの（直流成分については上記差分値、交流成分
についてはランレングスと有効係数との組み合わせ）に
より短い符号長を割り当てることによって全体としての
データ量を削減する。

【００４４】また、生起確率が低いものについては所定
のコード（ＺＲＬコード）と組み合わせることによって
有限のコード数にて総てのパターンを表すことができ
る。

【００４５】ＪＰＥＧでは以上の処理を各ブロック単位
で行って１枚のカラー静止画の符号化を終了する。

【００４６】その後、上記各符号化データには、付加回
路２１１にて前述のマーカコード等が付加されて図３に
示したＪＰＥＧデータとされる。

【００４７】なお、上述の量子化係数やハフマンコード
は任意に設定することができるため、符号化に用いられ
た量子化係数やハフマンコードを表すデータが上記ＳＯ
Ｉコードの後に付加される。

【００４８】次に、復号化のアルゴルについて説明す
る。

【００４９】復号化のアルゴルは基本的に符号化アルゴ
リズムの逆であり、入力された符号化データはこのデー
タと共に送られたハフマンテーブルを用いて復号器２１
２にて復号され、直流成分については加算器２１３にて
先行ブロックの直流成分と加算されて元の直流成分とさ
れ、交流成分については復号化された各周波数成分を並
変え回路２１４にて元の２次元配列に変換する。

【００５０】その後、それらの周波数成分を逆量子化器
２１５にて逆量子化した後、逆ＤＣＴ回路２１６にて逆
ＤＣＴを行ってもとの画像データ（復号データ）に変換
される。

【００５１】ＪＰＥＧでは以上の処理を各ブロック単位
で行って１枚のカラー静止画の復号化を終了する。

【００５２】なお、以上のアルゴルはＪＰＥＧ方式の基
本的なものであるが、これに更に各種の階層符号化を取
り入れたエクステンド・システムがＪＰＥＧ方式として
認められており、この階層符号化を行った場合には上記
ＳＯＦコードによってその種類を表すようになってい
る。

【００５３】（ＭＰＥＧデータ）次に、上記ネットワー
クにて伝送される各種データの内のＭＰＥＧデータにつ
いて説明する。

【００５４】このＭＰＥＧデータは、動画像の高能率符
号化を行うことを目的とした国際標準であり、基本的に
は先のＪＰＥＧ方式と同様にデータの周波数特性や人間
の視覚特性を利用するが、更に動画像特有の時間軸方向
の冗長度を利用して一層の高能率符号化を行う方式であ
る。

【００５５】このＭＰＥＧ方式は、デジタルストレージ
メディア用に転送レートを最大１．５ＭｂｐｓとしたＭ
ＰＥＧ１と、伝送レートの上限をなくし双方向デジタル
マルチメディア機器、デジタルＶＴＲ、ＡＴＶ、光ファ
イバネットワーク等の全ての伝送系で用いられることを
企図したＭＰＥＧ２があるが、基本的なアルゴリズムは
ほぼ同様であるのでＭＰＥＧ１をベースとしてそのデー
タ構造及び符号化・復号化のアルゴルを説明する。

【００５６】なお、ＭＰＥＧ２では、使用可能な符号化
方法を複数のプロフィール（シンプル・プロフィール、
メイン・プロフィール、スケーラブル、空間スケーラブ
ル、ハイ）によって規定しているが、代表的なメイン・
プロフィールは基本的に１とほぼ同様である。

【００５７】まず、このＭＰＥＧによる高能率符号化方
式の原理について説明する。

【００５８】この高能率符号化方式においては、フレー
ム間の差分を取ることで時間軸方向の冗長度を落とし、
これによって得られた差分データをＤＣＴ及び可変長符
号化処理して空間方向の冗長度を落とすことによって全
体として高能率符号化を実現する。

【００５９】上記時間軸方向の冗長度については、動画
の場合には連続したフレームの相関が高いことに着目
し、符号化しようとするフレームと時間的に先行又は後
行するフレームとの差分を取ることによって冗長度を落
とすことが可能となる。

【００６０】そこで、ＭＰＥＧでは、図５に示すように
専らフレーム内で符号化する符合化モードで得られるイ
ントラ符号化画像の他に、時間的に先行するフレームと
の差分値を符号化する前方予測符号化画像（Ｐ−ピクチ
ャ）と、時間的に先行するフレーム又は後行するフレー
ムとの差分値或はそれら両フレームからの補間フレーム
との差分値の内最もデータ量が少ないものを符号化する
両方向予測符号化画像（Ｂ−ピクチャ）とを有し、これ
らの符合化モードによる各フレームを所定の順序で組み
合わせている。

【００６１】ＭＰＥＧにおいては、上述のＩ−ピクチ
ャ、Ｐ−ピクチャ、Ｂ−ピクチャを夫々１枚、４枚、１
０枚で１単位（ＧＯＰ）とし、先頭にＩ−ピクチャを配
し、２枚のＢ−ピクチャとＰ−ピクチャとを繰り返し配
する組み合わせを推奨しており、一定周期でＩ−ピクチ
ャを置くことによって逆再生等の特殊再生やこのＧＯＰ
を単位とした部分再生を可能とするとともにエラー伝播
の防止を図っている。

【００６２】なお、フレーム中で新たな物体が現れた場
合には、時間的に先行するフレームとの差分を取るより
も後行するフレームとの差分を取った方がその差分値が
少なくなる場合がある。

【００６３】そこで、ＭＰＥＧでは上述のような両方向
予測符号化を行い、より高能率な圧縮を行っている。

【００６４】また、ＭＰＥＧでは動き補償を行う。

【００６５】即ち、先の８画素×８画素のブロックを輝
度データについて４ブロック、色差データについて２ブ
ロック集めた所定ブロック（マクロブロック）単位で、
先行又は後行フレームの対応ブロック近傍のマクロブロ
ックとの差分をとり、一番差が少ないマクロブロックを
探索することによって動きベクトルを検出し、この動き
ベクトルをデータとして符号化する。

【００６６】復号の際には、この動きベクトルを用いて
先行又は後行フレームの対応マクロブロックデータを抽
出し、これによって動き補償を用いて符号化された符号
化データの復号を行なう。

【００６７】上述のような動き補償に際しては、時間的
に先行するフレームを一旦符号化した後、再度復号した
フレームを得て先行フレームとされ、このフレームにお
けるマクロブロックと符号化しようとするフレームのマ
クロブロックとを用いて動き補償が行なわれる。

【００６８】なお、ＭＰＥＧ１はフレーム間の動き補償
を行なうが、ＭＰＥＧ２においてはイールド間の動き補
償が行なわれる。

【００６９】上述のような動き補償によって得られた差
分データ及び動きベクトルは先に説明したようなＤＣＴ
変換及びハフマン符号化によって更に高能率符号化され
る。

【００７０】次に、このＭＰＥＧ方式のデータ構造につ
いて説明する。

【００７１】このデータ構造は、図６に示すようにビデ
オシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、
マクロブロック層、ブロック層から成る階層構造で構成
されている。

【００７２】以下、各層について図中下の層から順に説
明する。

【００７３】先ず、ブロック層は先のＪＰＥＧと同様に
輝度データ及び色差データ毎に８画素×８画素で各々構
成され、この単位毎にＤＣＴが行われる。

【００７４】上記マクロブロック層は、上述した８画素
×８画素のブロックを輝度データについては４ブロッ
ク、色差データについては各１ブロックまとめ、マクロ
ブロックヘッダを付したものであり、ＭＰＥＧ方式では
このマクロブロックを後述する動き補償及び符号化の単
位とする。

【００７５】また、上記マクロブロックヘッダは、各マ
クロブロック単位の動き補償及び量子化ステップの各デ
ータ、及び各マクロブロック内の６つＤＣＴブロック(Y
0,Y1,Y2,Y3,Cr,Cb) がデータを有するか否かのデータを
含む。

【００７６】上記スライス層は、画像の走査順に連なる
１以上のマクロブロック及びスライスヘッダで構成さ
れ、同一スライス層内の一連のマクロブロックにおける
量子化ステップを一定とすることができる。

【００７７】なお、上記スライスヘッダは各スライス層
内の量子化ステップに関するデータを有し、各マクロブ
ロックに固有の量子化ステップデータがない場合にはそ
のスライス層内の量子化ステップを一定とする。

【００７８】また、先頭のマクロブロックは直流成分の
差分値をリセットする。

【００７９】上記ピクチャ層は、上述のスライス層を１
フレーム単位で複数集めたものであり、ピクチャースタ
ートコード等からなるヘッダと、これに続く１つまたは
複数のスライス層とから構成される。

【００８０】また、上記ヘッダには画像の符号化モード
を示すコードや動き検出の精度（画素単位か半画素単位
か）を示すコードを含む。

【００８１】上記ＧＯＰ層は、グループスタートコード
やシーケンスの最初からの時間を示すタイムコード等の
ヘッダと、これに続く複数のＩフレーム、Ｂフレーム又
はＰフレームから構成される。

【００８２】上記ビデオシーケンス層は、シーケンスス
タートコードから始まってシーケンスエンドコードで終
了し、その間に画像サイズやアスペクト比等の復号に必
要な制御データ及び画像サイズ等が同じ複数のＧＯＰが
配列される。

【００８３】このようなデータ構造を持つＭＰＥＧ方式
は、その規格にてビットストリームが規定されている。

【００８４】次に、上述のようなＭＰＥＧデータを扱う
基本的な符号化装置及び復号化装置について図７及び図
８を用いて説明する。

【００８５】この符号化装置は、図７に示すようにグロ
ック化回路３０１、ＤＣＴ回路３０２、量子化器３０
３、可変長符号化器（ＶＬＣ）３０４、動き補償回路３
０５、動きベクトル検出器３０６、レート制御回路３０
７、局部復号器３０８、出力バッファ３０９等から概略
構成されている。

【００８６】また、この符号化装置において符号化の対
象とする画像サイズは図９に示すように１９２０画素×
１０８０画素のＨｉｇｈ（ＭＰＥＧ２におけるハイレベ
ルに対応する）、１４４０画素×１０８０画素のＨｉｇ
ｈ１４４０（ＭＰＥＧ２におけるハイ１４４０レベルに
対応する）、４：２：２又は４：２：０のＣＣＩＲ．６
０１対応画像（ＭＰＥＧ２におけるメインレベルに対応
する）、ＳＩＦ、ＣＩＦ、ＱＣＩＦフォーマットに対応
したものがあり、ＭＰＥＧ１及びＭＰＥＧ２のローレベ
ルでは上記ＳＩＦフォーマットの画像サイズを対象とし
ている。

【００８７】この符号化装置において、符号化すべき画
像データはブロック化回路３０１にて上述の８画素×８
画素のブロックとされ、スイッチ３１０を介してＤＣＴ
回路３０２に伝送される。

【００８８】上記スイッチ３１０は、入力画像データが
イントラフレーム（Ｉフレーム）かそれ以外のフレーム
（Ｐフレーム又はＢフレーム）であるかで切り換えられ
るものであり、イントラフレームの場合にはａ接点に接
続され、それ以外の場合にはｂ接点に接続される。

【００８９】イントラフレームの場合にはＤＣＴ回路３
０２にてＤＣＴされ、これによって得られたＤＣＴ係数
はは量子化器３０３にて量子化され、更に可変長符号化
器３０４にて符号化された後、一旦バッファ３０９に記
憶される。

【００９０】一方、イントラフレーム以外の場合には上
記スイッチ３１０は接点ｂに接続されて先に説明した動
き補償が行われる。

【００９１】即ち、３１１、３１２は局部復号器３０８
を構成する逆量子化器、逆ＤＣＴ回路であり、上記量子
化器３０３にて量子化されたデータはこの局部復号器３
０８にて元に戻される。

【００９２】また、３１３は加算器、３１４はイントラ
フレーム以外の場合のみ閉成されるスイッチ、３１６は
減算器であり、上述のように局部復号された画像データ
は、動きベクトル検出回路３０６にて検出された動きベ
クトルを参照して所定のフレーム（先行フレーム、後行
フレーム又はこれらの補間フレーム）における対応マク
ロブロックを出力する。

【００９３】この動き補償回路３０５の出力は上記減算
器３１６にて入力画像データと減算処理されて差分値が
得られ、この差分値は上述のＤＣＴ回路３０２、量子化
回路３０３及び可変長符号化器（ハフマン符号化器）３
０４にて符号化されて上記バッファ３０９に記憶され
る。

【００９４】なお、上記ハフマン符号化器は基本的には
先に説明したＪＰＥＧにおける符号化器と同様である
が、生起確率が低いものについては所定のコード（エス
ケープコード）を一位的に割り当てる点で異なる。

【００９５】なお、上記動きベクトル検出器３０６は、
これから符号化するフレームデータと、所定の参照フレ
ームデータとの比較を行って動きベクトルを得るもので
あり、この検出器３０６の検出力は上記動き補償回路３
０５に供給されて動き補償回路３０５が出力すべきマク
ロブロックを指定する。

【００９６】また、上記レート制御回路３０７は上記バ
ッファにおける符号化データの占有量に基づいて上記量
子化器３０３における量子化ステップを切り換えること
によって符号量制御を行う。

【００９７】最後に付加回路３１５にて先に示したよう
な各種ヘッダを符号化データに付加してＭＰＥＧ方式に
対応したＭＰＥＧデータとして送出する。

【００９８】一方、復号装置は、基本的には上述の符号
化の逆の動作を行うものであり、図８に示すように入力
バッファ４０１、可変長復号器（ＶＬＤ）４０２、逆量
子化器（ＩＱ）４０３、逆ＤＣＴ回路（ＩＤＣＴ）４０
４、動き補償回路４０５、出力バッファ４０６等から構
成されている。

【００９９】即ち、上記入力バッファ４０１から順次読
み出される符号化データは上記可変長復号器４０２、逆
量子化器４０３、逆ＤＣＴ回路４０４にて処理されて空
間領域のデータに変換される。

【０１００】また、４０７は上記逆ＤＣＴ回路４０４の
出力に動き補償回路４０５からの差分値を加算するため
の加算器であり、４０８は上記逆ＤＣＴ回路４０４の出
力または加算器４０７０の出力を選択するためのスイッ
チである。

【０１０１】このスイッチ４０８は、図示しないデータ
検出回路に検出された符号化識別符号に基づいてイント
ラフレームの場合には接点ａに接続され、イントラフレ
ーム以外の場合には接点ｂに接続される。

【０１０２】このように復号された復号データは上記出
力バッファ４０６にて一旦記憶され、更に元の空間配置
に復元されて１フレームの画像データとして出力され
る。

【０１０３】（ＡＴＭフォーマット）次に、ＡＴＭ通信
フォーマットについて説明する。

【０１０４】このＡＴＭ通信においては、図１０に示す
ように一連のビットストリームを複数の固定長パケット
に分割し、各パケットを複数（例えば４つ）のＡＴＭセ
ルにて構成する。

【０１０５】また、各ＡＴＭセルはパケットヘッダとデ
ータ用のペイロードとから構成され、一般的に上記ヘッ
ダは５バイト、データが４８バイトとされている。

【０１０６】このＡＴＭ通信は、ネットワークのビット
レートとは独立（非同期）でデータ伝送を行うことがで
き、単位時間当りの伝送セル数によって伝送レートを任
意に設定することができるため、種々のデータを混在し
て伝送する伝送系に適している。

【０１０７】（パソコン）次に、本実施例における画像
再生装置である図１に示したパソコンの構成について説
明する。

【０１０８】図１１は本実施例のパソコンの構成を示す
ものであり、この実施例においては先に説明したＭＰＥ
Ｇに基づいて圧縮された画像データを複数チャンネル
（２チャンネル）同時入力し、これらを合成してモニタ
やプリンタ等の出力機器に供給する装置である。

【０１０９】本実施例における１チャンネルの第１の画
像データはＭＰＥＧにて符号化された画像データを上述
のような複数のＡＴＭセルから成る固定長パケット化し
て伝送するようなＡＴＭ網１を介して音声データ等と共
に伝送されるものであり、この第１の画像データはシス
テムデコーダ、バッファ回路等から成る入力回路２にて
受信される。

【０１１０】また、第２チャンネルの第２の画像データ
は、後述するＣＤ−ＲＯＭ等を用いたデータ記憶装置５
０９から後述する所定のタイミングで再生されて音声デ
ータ等と共に上記入力回路２に供給されるものである。

【０１１１】一方、このパソコンは上述のような各種方
式に対応したデータを扱うとともに、種々の機能を有す
るために伝送されるデータのデータ量及び処理に要する
転送速度に応じて最適なデータバスを選択的に用いるマ
ルチバスシステムを備えており、本実施例においては１
６ｂｉｔデータバスD1、３２ｂｉｔデータバスD2、６４
ｂｉｔデータバスD3、拡張バスとして１２８ｂｉｔデー
タバスD4及びシステムバスSBを備えている。

【０１１２】さらに、このパソコンは機能拡張を可能と
するために後述する拡張ボードインタフェースを備えて
おり、このインターフェースに接続される各種拡張ボー
ドによって機能の拡張を図り得るようになっている。

【０１１３】以下、詳細に説明する。

【０１１４】５０１はネットワークインターフェースで
あり、このネットワークインターフェース５０１及びこ
のインターフェース内のＡＴＭコントローラ５０２を介
して上記各伝送チャンネルとの各種データの授受を行
う。

【０１１５】また、上記ＡＴＭコントローラ５０２は、
ＡＴＭスイッチとしての機能のみならず上述のＡＴＭ−
ＬＡＮにおけるふくそう制御等の各種通信制御を行う。

【０１１６】図中、５０３は全体の制御を行うＣＰＵで
あり、このＣＰＵ５０３はサブＣＰＵとして上記マルチ
バスシステムを構成するバスコントローラ５０４及びビ
ット変換器５０５を備えている。

【０１１７】このマルチバスシステムは、処理するデー
タ容量や処理速度に応じて上述のいずれかのデータバス
を適宜使い分けることによって必要とされる処理速度を
可能とする。

【０１１８】５０６はＲＯＭ、５０７はメモリコントロ
ーラであり、このメモリコントローラ５０７によってハ
ードディスク装置５０８ＡやＣＤ−ＲＯＭ５０８Ｂ等を
有する上記外部記憶装置５０９とデータの授受を行う。

【０１１９】５１０は編集コントローラであり、このコ
ントローラ５１０によって後述する画像編集時等におけ
る複数チャンネルデータ間の位相管理や輝度成分や色成
分の調整等を行う。

【０１２０】５１１はディスプレイコントローラであ
り、このディスプレイコントローラ５１１から送出され
る画像データはメモリ５１２を介してＣＲＴディスプレ
イ５１３やＦＬＣディスプレイ５１４に表示される。

【０１２１】また、このディスプレイコントローラ５１
２は表示デバイスの種類に応じて適宜処理を行う。

【０１２２】５１５はプリンタコントローラであり、こ
のプリンタコントローラ５１５はプリントする画像デー
タに応じて熱転写プリンタ５１６やＢＪ方式と熱転写方
式等の異なるプリンタ部を有するハイブリッドプリンタ
５１７を使い分ける。

【０１２３】なお、上記メモリ５１２をディスプレイ用
とプリンタ用とで共用するようにしてもよい。

【０１２４】５１８はデータの符号化／復号化を行うコ
ーデックであり、本実施例では先に説明したようなＪＰ
ＥＧ方式及びＭＰＥＧ方式に対応したコーデックを備え
ている。

【０１２５】５１９は上記拡張ボードインタフェースで
あり、このインターフェース５１９を介して各種の拡張
ボード５２０、５２１、５２２を接続することによって
パソコンの機能拡張を図るようになっている。

【０１２６】５２３はマウス／キーボードコントローラ
であり、このコントローラ５２３を介してキーボード５
２４及びマウス５２５が接続される。

【０１２７】５２６は音声処理部、５２７は音声スピー
カである。

【０１２８】一方、このパソコンはシステムポート５２
８を介して手書き入力機器５２９、音声マイク５３０、
ビデオカメラ２３１及びスキャナ５３２が接続される。

【０１２９】このような構成のパソコンは、上述のよう
なマルチデータバスD1、D2、D3、D4 、バスコントローラ５
０４及びビット変換器５０５からなるマルチバスシステ
ムを備えているため、データ量や処理に要する転送・処
理速度等に応じて最適なデータバスを選択的に使用す
る。

【０１３０】また、上記拡張ボードインターフェース５
１９に接続される拡張ボードによって機能の拡張を行う
ことができ、例えばコーデックの拡張ボードとして上述
の各プロフィールに対応した符号化・復号化を行なうボ
ードを接続することによってそれらの処理を発展的に可
能にすることができる。

【０１３１】（コーデック）次に、図１１のパソコンに
おけるコーデックの構成について説明する。

【０１３２】このコーデックは図１２に示すように、デ
ータバス６００、システムバス６０１に各々接続された
各種機能ブロックから構成されており、パソコン本体の
システムバスSB及び各データバスとマイコンインタフェ
ース６０２及びデータインターフェース６０３を介して
ＣＰＵ５０３及び編集コントローラ５１０等とデータ及
びコマンドの授受を行うようになっている。

【０１３３】図中６０４はコーデック全体の動作制御を
行うためのＣＰＵであり、このＣＰＵ６０４はＲＡＭ６
０５に予め記憶された編集等の各種プログラムに基づい
て符号化及び復号化処理を行なわせる。

【０１３４】また、６０６はコード検出器であり、入力
符号化データにおけるスタートコード（タイムコード）
やＩ、Ｐ、Ｂ等のピクチャタイプ、及び各種ヘッダ等の
制御コード及び符号化データを検出する。

【０１３５】このコード検出器６０６にて検出された各
コードは上記データバス或はシステムバスを介して上記
ＣＰＵ６０４に伝送されて動作制御させるとともにパラ
メータメモリ６０７にてメモリされて適宜所定のブロッ
クに伝送される。

【０１３６】また、図中６０８は動き予測ユニット、６
０９はレート制御ユニット、６１０は符号化バッファユ
ニット、６１１は復号化バッファユニットである。

【０１３７】上記符号化バッファユニット６１０を介し
て伝送される入力画像データ又は上記動き補償ユニット
６０８から伝送される動きベクトルデータ及び差分値
（被符号化データ）は、複数のＤＣＴ回路と逆ＤＣＴ回
路（ＩＤＣＴ）とからなる変換ユニット６１２、複数の
量子化回路（Ｑ）と逆量子化回路（ＩＱ）とからなる量
子化ユニット６１３及び複数の可変長符号化回路（ＶＬ
Ｃ）と可変長復号化回路（ＶＬＤ）とからなる可変長符
号化ユニット６１４にて順次処理されて符号化時出力バ
ッファとして機能する上記復号化バッファ６１１にメモ
リされ、上記ＣＰＵ６０４にて指示される所定のタイミ
ングで上記データバス及びインタフェース６０３を介し
て出力される。

【０１３８】なお、上記量子化ユニット６１３及び可変
長符号化ユニット６１４には量子化テーブル６１３Ａ及
びハフマンテーブル６１４Ａを備えており、これらユニ
ットにおける処理を行う上で必要な量子化ステップやハ
フマンコード等の各種パラメータが上記パラメータメモ
リ６０７より適宜これらメモリに転送されるようになっ
ている。

【０１３９】一方、上記復号化バッファ６１１を介して
伝送される符号化データ（被復号化データ）は変換ユニ
ット６１４、量子化ユニット６１３及び可変長符号化ユ
ニット６１２にて順次処理されて復号化時出力バッファ
として機能する上記符号化バッファ６１０にメモリさ
れ、上記ＣＰＵ６０４にて指示される所定のタイミング
で上記データバス及びインタフェース６０３を介して出
力される。

【０１４０】なお、上記上記符号化バッファ６１０は複
数画像の編集時に合成用のメモリとしても用いられる。

【０１４１】また、上記動き補償ユニット６０８は、符
号化時及び復号化時におけるＰフレーム及びＢフレーム
の動き補償をレファレンスバッファ６１５を用いて行う
ようになっており、本実施例においてこの動き補償ユニ
ット６０８はＪＰＥＧ符号化におけるＤＣ成分の差分値
を得るための動作に共用される。

【０１４２】さらに、６１６はバスアービタであり、パ
イプライン処理等における上記データバスの調停を行
う。

【０１４３】このようなコーデックは、パソコン本体の
ＣＰＵ５０３からの指示を受けて上記ＣＰＵ６０４にて
所定の各ユニットを動作させて符号化又は復号化を行
う。

【０１４４】また、このコーデックにおいては、同時に
複数系統の符号化、復号化を行う場合や、符号化と復号
化とを同時に並行処理する場合、或はパソコン本体にお
ける通信、ディスプレイ、プリントアウト等の各種処理
と符号化・復号化処理を平行して行う場合等、各種の処
理態様に応じて最適なシーケンスにて上記各ユニットへ
のデータ転送制御及び動作制御を行い、このシーケンス
に対応した動作プログラムは上記ＲＡＭ６０５に予め記
憶されている。

【０１４５】なお、このＲＡＭ６０５に記憶されたプロ
グラムは適宜更新することができるようになっている。

【０１４６】（編集動作）次に、このようなコーデック
システムにおける編集動作を説明する。

【０１４７】即ち、上記画像蓄積手段５０９の読み出し
動作は上記編集コントローラ５１０にてコントロールさ
れ、コーデック内の上記符号化バッファユニット６１０
及び復号化バッファユニット６１１は上記ＣＰＵ６０４
にて各々制御され、これらはキーボード５２４による操
作及び上記コード検出器６０６から供給される第１の画
像データの位相情報に応じて上記各回路のタイミング制
御を行う。

【０１４８】すなわち、上記ＣＰＵ６０４は、上記コー
ド検出器６０６にて復号された第１の画像データのＩフ
レームのスタートコード及び上記第２の画像データのＩ
フレームのスタートコードを受けて、これらの位相差
（時間差）に基づいて上記バッファユニットにおける出
力タイミングを制御する。

【０１４９】すなわち、各画像データのスタートコード
がずれている場合、すなわち図１３に示すように第１の
画像データがＩフレームの差異に第２の画像データがＰ
又はＢフレームであった場合には、このずれた状態で上
記各デコードにおける復号処理を行わせるとともに上記
バッファユニット６１０における出力タイミングを各画
像の位相が揃うように先行する画像データ（この場合に
は第１の画像データ）のタイミング制御を行う。

【０１５０】また、図１４に示すように各画像データの
スタートコードが一致している場合には、上記入力回路
２におけるバッファの出力タイミングを制御することに
よって各画像データの位相をずらし、このずれた状態で
上記各デコード５、６における復号処理を行わせるとと
もに上記合成回路２における出力タイミングを先行する
画像データを遅らせて各画像の位相が揃うように再度タ
イミング制御を行う。

【０１５１】さらに、本実施例においては上記コーデッ
ク内での位相調整で済む場合には上記ＣＰＵ６０６に位
相調整を行なわせるが、このコーデック内での位相調整
では間に合わない場合には上記編集コントローラ５１０
にて記憶手段５０９からのデータの読み出し動作そのも
のをコントロールするようになっている。

【０１５２】このように、本実施例においては復号処理
を行う場合には各チャンネルの画像データの位相をずら
してＩフレームどうしが重ならないようにすることによ
って消費電力を抑えることができる。

【０１５３】また、モニタ等に表示を行う場合にはＩフ
レームどうしを揃えるようにすることによって合成され
た各画像データの画像品位を同等にすることができ、全
体として画像品位の高い合成画像を得ることができる。

【０１５４】なお、上述の実施例ではＭＰＥＧで圧縮さ
れた画像データを合成する際の例を説明したが、本発明
はこれに限定されるものではなく、ＭＰＥＧデータとＪ
ＰＥＧデータ等の各種方式の符号化データ或はＪＰＥＧ
データ同士の画像合成にも適用できることは当然であ
る。

【０１５５】

【発明の効果】上述の説明から明らかなように、本発明
によれば複数チャンネルの画像データの位相のずれに基
づく種々の問題を解決することができ、復号処理の際の
電力変動を抑えることができるとともに、合成画像の画
像品位を向上することができる。

【図面の簡単な説明】

【図１】本発明の実施例のシステムを示す図である。

【図２】ＪＰＥＧのデータ構造を示す図である。

【図３】ＪＰＥＧのコーダを示す図である。

【図４】ＪＰＥＧのデコーダの構成を示す図である。

【図５】ＭＰＥＧの画像構造を示す図である。

【図６】ＭＰＥＧのデータ構造を示す図である。

【図７】ＭＰＥＧのコーダを示す図である。

【図８】ＭＰＥＧのデコーダを示す図である。

【図９】符号化の対象とする画像サイズを示す図であ
る。

【図１０】通信フォーマットを示す図である。

【図１１】パソコンの構成を示す図である。

【図１２】図１２におけるパソコンのコーデックの構成
を示す図である。

【図１３】本発明のタイミング制御状態を示すタイムチ
ャートである。

【図１４】本発明の他のタイミング制御状態を示すタイ
ムチャートである。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 5/92 Ｈ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 符号化された画像データ間の位相差を検
   出する検出手段と、 上記画像データを復号する復号化手段と、 上記画像データの転送タイミングを規制する規制手段
   と、 上記検出手段の検出結果に基づいて上記規制手段を制御
   する制御手段とを備えたことを特徴とする画像再生装
   置。
2. 【請求項２】 符号化された画像データ間の位相差を検
   出し、この検出結果に基づいて複数チャンネルの画像デ
   ータ間の転送タイミングを制御することを特徴とする画
   像再生方式。