[go: up one dir, main page]

JP3161017B2 - 動画像復号化装置 - Google Patents

動画像復号化装置

Info

Publication number
JP3161017B2
JP3161017B2 JP9674392A JP9674392A JP3161017B2 JP 3161017 B2 JP3161017 B2 JP 3161017B2 JP 9674392 A JP9674392 A JP 9674392A JP 9674392 A JP9674392 A JP 9674392A JP 3161017 B2 JP3161017 B2 JP 3161017B2
Authority
JP
Japan
Prior art keywords
moving
frame
image
input
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP9674392A
Other languages
English (en)
Other versions
JPH05292490A (ja
Inventor
隆一 岩村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9674392A priority Critical patent/JP3161017B2/ja
Priority to US08/047,109 priority patent/US5343250A/en
Priority to EP19930106072 priority patent/EP0566092B1/en
Priority to DE69319780T priority patent/DE69319780T2/de
Priority to KR1019930006283A priority patent/KR100275060B1/ko
Publication of JPH05292490A publication Critical patent/JPH05292490A/ja
Application granted granted Critical
Publication of JP3161017B2 publication Critical patent/JP3161017B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、動画像信号の復号化
装置に関し、特にMPEG(Moving PictureExperts Gr
oup)方式の復号化装置に関する。
【0002】
【従来の技術】MPEG方式による従来の複数動画像音
声復号化装置について説明する前に、一般的な符号化方
法、符号化装置について説明する。
【0003】まず、MPEG方式におけるフレーム間動
き予測方法について図15を用いて説明する。図15に
おいて、まずイントラ符号化フレームI0から前方予測
符号化フレームP0が予測される。次に、フレームI0
およびフレームP0から両方向予測符号化フレームB0
が予測され、同様に両方向予測符号化フレームB1もイ
ントラ符号化フレームI0および前方予測符号化フレー
ムP0から予測される。両方向予測符号化フレームB0
とB1の予測には、前方予測符号化フレームP0から予
測する前方予測、イントラ符号化フレームI0から予測
する後方予測、上述した両方から予測する内挿予測の3
通りがあり、データ圧縮に最も有利なものが選ばれる。
【0004】以下、イントラ符号化フレームをIフレー
ム、前方予測符号化フレームをPフレーム、両方向予測
符号化フレームをBフレームと称する。次に、MPEG
方式を用いた複数の動画像音声信号の圧縮符号化・復号
化装置の例を説明する。
【0005】図16は複数動画像音声符号化装置を示す
ブロック図である。図16の装置はそれぞれ3つの動画
像、音声を多重符号化するものである。
【0006】図16で、端子Taに入力されたデジタル
動画像信号V1は圧縮符号化器1およびバッファ2を経
て、多重化器13に入力される。端子Tb、Tcに入力
された動画像信号V2、V3もそれぞれ圧縮符号化器
3、5およびバッファ4、6を経て、多重化器13に入
力される。また、動画像信号V1の音声信号A1は端子
Tdより入力され、圧縮符号化器7とバッファ8を経
て、多重化器13に入力される。音声信号A2、A3も
同様に圧縮符号化器9、11とバッファ10、12を経
て、多重化器13に入力される。
【0007】これらの信号は多重化器13により多重化
され、バッファ14を経て端子Tgに出力され、その
後、ストレージメディアあるいは伝送路等に送られる。
図17は端子Tgの出力信号の一例を示すデータ状態図
である。圧縮符号化された3つの動画像および音声信号
は、図17に示すように時間軸方向に多重化される。
【0008】図18は図16に示した動画像の圧縮符号
化回路で、DCT(離散コサイン変換)とフレーム間予
測とを組み合わせた一般的なものである。動画像信号a
は、図18のビデオ入力端子T1に入力され、フレーム
メモリ21に蓄えられた後、次の減算器22に入力され
る。減算器22からは、減算器22の正端子に入力され
る入力画像信号と負端子に入力される予測画像信号との
差分信号であるフレーム間予測差分信号が出力される。
【0009】このフレーム間予測差分信号はDCT器2
3、量子化器24を経て、2つの伝送路に分岐する。
【0010】一方の伝送路の信号は可変長符号化器25
に入力され、多重化器26で動きベクトルデータd等と
多重化され、バッファ27を介して出力端子T2からエ
ンコーダ出力eとして出力される。他方の伝送路の信号
は逆量子化器28、逆DCT器29を経て、加算器30
から復号画像信号bとして出力される。復号画像信号b
はフレームメモリ切換用のスイッチSW1を経て、フレ
ームメモリ31、32に入力される。
【0011】動きベクトル演算器33はフレームメモリ
21、31、32からのデータを入力して動きベクトル
dを生成する。
【0012】予測画生成器34は、動きベクトル演算器
33で得た動きベクトルデータdとフレームメモリ3
1、32に記憶された画像信号とから、予測画像信号c
を生成する。
【0013】予測画像信号cは、スイッチSW2を経て
減算器22の負端子に入力されると共に、スイッチSW
3を経て加算器30に入力される。復号画像信号bがI
およびPフレームの場合、スイッチSW1は交互に切り
替わり、フレームメモリ31、32にIおよびPフレー
ムの局所復号画像信号が入力される。
【0014】スイッチSW2およびSW3は、動き予測
を行なうPおよびBフレームでは閉じており、減算器2
2および加算器30において予測画像の加減算が行なわ
れる。動き予測を行なわないIフレームではスイッチS
W2およびSW3は開いており、減算器22および加算
器30における予測画像の加減算は行なわれない。
【0015】図19に、図16の複数動画像音声符号化
装置に対する従来の複数動画像音声復号化装置を示す。
【0016】図19で、端子Tg′から入力された多重
化符号はバッファ35を経て逆多重化器36に送られ
る。逆多重化器36により、3つの動画像信号V1、V
2、V3および音声信号A1、A2、A3に分離され、
各々の復号化器に送られる。
【0017】動画像符号V1は、バッファ37を経て復
号化器38にて復号化され、D/A変換器39でアナロ
グ信号に変換された後、表示器40に送られる。動画像
符号V2、V3も同様にバッファ41、45を経て復号
化器42、46にて復号化される。
【0018】音声符号A1は、バッファ49を経て復号
化器50にて復号化され、D/A変換器51を経て再生
器52に送られる。音声符号A2、A3も同様である。
【0019】図20に、図19の復号化器38、42、
46を示す。入力端子T3に入力された信号eは、バッ
ファ61を介して逆多重化器62に入力され、逆多重化
器62は、DCT、量子化された動画像信号と動きベク
トルデータdとを分離出力する。
【0020】上記圧縮符号化された動画像信号は可変長
符号復号化器63、逆量子化器64、逆DCT器65に
よりフレーム間予測差分信号に復号化され、加算器66
に入力される。
【0021】加算器66には、上記フレーム間予測差分
信号と共に、フレームメモリ67、68からのデータに
基づいて予測画生成器69から出力される予測画像信号
がスイッチSW5を介して入力され、これらが加算され
ることにより復号画像信号が生成される。
【0022】上記復号画像信号は、フレームメモリ67
または68に入力されて予測画像信号生成のためのデー
タになると共に、フレーム切替器70に入力される。ス
イッチSW4は、IおよびPフレームが復号されるごと
に切り替わる。
【0023】スイッチSW5は動き予測を行なうPおよ
びBフレームでは閉じている。Iフレームではスイッチ
SW5は開いており、加算器66では予測画生成器69
の出力は加算されない。
【0024】フレーム切替器70では、復号された画像
が表示順序に並べ換えられて端子T4に出力される。
【0025】
【発明が解決しようとする課題】上記のような複数動画
像音声圧縮符号を復号、再生する場合、図19に示す通
り、復号化器、D/A変換器、表示器および再生器が動
画像や音声の数だけ必要となるが、このような構成では
装置が大がかりとなり、特に民生用としては適当ではな
い。
【0026】この発明は、上記事情を考慮してなされた
ものであり、その目的とするところは、1つの表示器で
複数動画像の同時再生を可能にでき、かつ装置の規模を
縮小できる動画像復号化装置を提供することにある。
【0027】
【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、予測符号化された複数の動画
像を含む入力信号を復号化する動画像復号化装置におい
て、入力信号を復号化する復号化手段と、復号化された
複数の動画像をそれぞれ縮小する縮小器と、縮小器によ
り縮小された縮小動画像に基づいて動き補償を行う動き
補償手段と、動き補償手段により生成された縮小動画像
を保持するメモリと、メモリに保持された縮小動画像を
予測参照画像として動き補償手段に供給する手段と、メ
モリに保持された複数の縮小動画像を同時に表示するよ
うに制御する表示制御手段とを備えたことを特徴とす
る。
【0028】また、上記発明において、表示制御手段で
は、縮小された複数の動画像を1画像として1つの表示
手段に表示する複数動画像モードと、複数の動画像のう
ちの選択された1つの動画像のみを1つの表示手段に表
示する単一動画像モードとの切換えを行うようにしたこ
とを特徴とする。
【0029】
【作用】この発明による動画像復号化装置においては、
複数動画像モードの場合は、図2の逆DCT器305の
出力を縮小器306で水平、垂直方向に縮小した後、加
算器308に送る。PおよびBフレームの復号化に必要
なフレームメモリは動画像の数だけ持たずに、図1に示
すように、1組のフレームメモリをメモリ109、11
0、111に分割し、それぞれ独立に使用する。これら
の復号化動画像をバッファメモリ111、表示制御手段
(112、SW101)を介して表示手段115に送
り、同一画面に表示する。
【0030】単一動画像モードの場合は、入力した複数
動画像を縮小せず、複数動画像のいずれか1つを従来通
りの方法で復号化し、表示手段115に表示する。
【0031】音声は、上記モードに応じて切り替わる。
【0032】
【実施例】続いて、この発明による動画像復号化装置
一実施例につき、図面を参照して詳細に説明する。
【0033】図1は、この発明による動画像復号化装置
の第1の実施例を示すブロック図である。本装置は、3
つの独立した動画像符号V1、V2、V3および音声符
号A1、A2、A3を復号化するものであり(図が煩雑
になるのを防ぐため、音声部分は別の図6に示す)、表
示モードとして、複数動画像モードと単一動画像モード
とを有する。
【0034】上記複数動画像モードでは、動画像符号V
1、V2、V3はそれぞれ水平、垂直方向に2分の1に
画像が縮小され、図3のように一画面の4分割された領
域にそれぞれ表示されるものとする。同図で右下の領域
は空きとなる。
【0035】まず、複数動画像モードにおける動作につ
いて説明する。
【0036】端子T5を介してバッファ101に入力さ
れた複数動画像音声符号は、逆多重化器102で、各々
の動画像符号、音声符号に分離される(上述したよう
に、図が煩雑になるのを防ぐため音声部分は別の図6に
示す)。分離された各動画像符号V1、V2、V3は、
復号化器104、106、108に入力される。
【0037】図2に復号化器104、106、108を
示す。入力信号eが端子T6からバッファ301を経て
逆多重化器302に入力され、逆多重化器302で動き
ベクトルデータdが分離され、次に可変長符号復号化器
303、逆量子化器304、逆DCT器305の順に処
理される過程は、図15で示した復号化器と全く同じで
ある。逆DCT器305の出力は、分岐され、一方はス
イッチSW301に、他方は縮小器306に送られる。
【0038】縮小器306では、画素を水平、垂直方向
に1つおきに間引くことにより、画像信号を縦横各2分
の1に縮小する。
【0039】スイッチSW301は、図1のコントロー
ラ112からの信号CNT1(復号化器104の場合は
n=1である)にて制御され、複数動画像モードでは
(m)に接続され、縮小器306の出力が加算器308
に入力される。
【0040】一方、逆多重化器302で分離された動き
ベクトルデータdは分岐されて除算器309に入力され
る。画像信号が水平、垂直方向に2分の1に縮小される
のに合わせて、除算器309にて動きベクトルデータd
も2分の1の値となる。スイッチSW304は、スイッ
チSW301と同様に信号CNT1にて制御され、複数
動画像モードでは(m)に接続され、動き補償手段とし
て機能する予測画生成器307に入力される。
【0041】PおよびBフレームの場合は、スイッチS
W302は閉じており、スイッチSW301の出力は
加算器308において、予測画生成器307の出力する
動き補償後の予測画像が加算される。Iフレームの場合
は何も加算されない。
【0042】加算器308の出力はスイッチSW303
に送られる。スイッチSW303は、IおよびPフレー
ムが復号されるごとに、端子XnWおよびYnWという
ように接続が交互に切り替わり、Bフレームでは端子Z
nWに接続される。
【0043】端子XnW、YnW、ZnWはそれぞれ図
に示す縮小動画像(単一動画像モードのときは等倍の
動画像)をメモリするフレームメモリ109、110、
111に接続されており、フレーム別にこれらのメモリ
にデータが蓄えられる(図1では図が煩雑になるのを防
ぐため、XnRとXnWとを一本の線Xn(R、W)で
示す)。各フレームメモリ109〜111は、表示画面
と同様に4分割されており、それぞれ独立に書込み、読
出しが行なわれる。
【0044】フレームメモリ109、110、111に
格納される各画素データとその表示画面上の位置とが一
致するように、これらのメモリ空間を図示すると、図4
(a)〜(c)のようになる。
【0045】図1、2、4から分かるように、端子X1
Wから入力されたデータはメモリ空間XV1に書き込ま
れ、またX1Rへ読み出される。X2、X3、Y、Zに
ついても同様である。PおよびBフレームの予測方法に
応じて、メモリ109、110よりの復号画像データが
端子X1R、Y1Rから図2に示す予測画生成器307
に送られ、予測画生成器307は動きベクトルdに応じ
動き補償を行った予測画を生成してスイッチSW30
2へ出力する(上述したように、図1では図が煩雑にな
るのを防ぐためXnRとXnWとを一本の線Xn(R、
W)で示す)。
【0046】以上は、動画像符号V1を例に説明した
が、動画像符号V2、V3も独立して同様の処理が行な
われる。
【0047】以上の復号化処理は、画像信号が2分の1
に縮小されていることを除けば、図15に示した復号化
器における復号化処理と同じである。フレームメモリ1
11には、復号化器104、106、108から入力さ
れるBフレームの復号画像が書き込まれる。また、その
Bフレームと同時刻に表示すべきIおよびPフレームの
復号画像がフレームメモリ109、110から読み込ま
れ、フレームメモリ111に書き込まれる。
【0048】フレームメモリ111に画像信号を取り込
むタイミングを次に説明する。図10に、図16の符号
化装置の入力動画像信号V1、V2、V3においてI、
P、Bフレームが割り当てられる順序を示す。V1、V
2、V3は独立した動画像信号なので、I、P、Bフレ
ームの順序は必ずしも互いに一致していない。
【0049】図11〜図13には、復号の順序と、フレ
ームメモリ109、110に画像データが記憶される順
序とを示す。図11のV1復号は、図2の加算器308
の出力信号においてI、P、Bフレームの復号される順
序を示す。図11において、XV1はフレームメモリ1
09のXV1に、YV1はフレームメモリ110のYV
1に、I、Pフレームのデータが記憶される順序を示
す。図12、図13のV2、V3も同様である。
【0050】図14のZV1、2、3はフレームメモリ
111のZV1、2、3にデータが記憶される順序を示
す。
【0051】フレーム番号4のフレームを取り込む場合
を例にとると、XV1よりP4を読み込んでZV1に書
き込む。また、XV3よりI4を読み込んでZV3に書
き込む。ZV2には、図1の復号化器106より信号線
Z2を介してB4が直接読み込まれる。
【0052】このようにして、フレームメモリ111に
同じフレーム番号のフレームを取り込むことにより、図
10に示すフレーム順序、すなわち符号化される前の原
画像のフレーム順序に並べ換えて、図1のLPF113
およびスイッチSW101に出力される。
【0053】以上の動作は、コントローラ112から出
力される制御信号CNT(1、2、3)、CNT(X、
Y、Z)により制御される。
【0054】LPF113は、図2の縮小器306で行
なった間引きで生じるノイズを除去するためのローパス
・フィルタであり、画面の水平、垂直両方向に対してロ
ーパスを行なう。
【0055】スイッチSW101は複数動画像モードで
は(m)に接続され、LPF113の出力信号はD/A
変換器114に送られ、D/A変換され、表示器115
に送られる。表示器115には、図3に示すような3つ
の縮小画像が表示される。
【0056】次に、単一動画像モードの動作説明をす
る。
【0057】単一動画像モード(等倍表示モード)で画
像信号V1が選択されたとする。図2に示すように復号
化器104の中のスイッチSW301は(s)に接続さ
れ、縮小されない通常の画像信号が復号される。同様に
スイッチSW304も(s)に接続され、動き補償用の
予測画生成器307には、除算されない元の動きベクト
ルデータdが入力される。
【0058】図1に示すフレームメモリ109、110
は図4に示したような分割はせず、それぞれ一枚のフレ
ームメモリとして扱われる。したがって、図20に示し
た復号化器と同じ働きとなる。
【0059】すなわち、フレームメモリ109は図20
のフレームメモリ67、フレームメモリ110はフレー
ムメモリ68と同様に働く。また、フレームメモリ11
1は図20のフレーム切替器70と同等に働く。スイッ
チSW101は(s)に接続され、フレームメモリ11
1の出力信号はLPF113を経由せず、D/A変換器
114を介して表示器115に送られる。
【0060】これらのモード切替えに伴うスイッチ等の
制御はコントローラ112が行なう。
【0061】表示器115には、図5に示すように等倍
画像信号V1の画像が通常の画面サイズで表示され
る。
【0062】図6に音声の復号化装置の一例を示す。逆
多重化器102で分離された音声符号A1は、バッファ
203を介して復号化器204に入力され、続いてセレ
クタ209に送られる。音声符号A2、A3も同様であ
る。セレクタ209では、コントローラ112からの制
御信号により、複数動画像モードでは音声符号A1、A
2、A3のうち任意のものが、単一動画像モードでは選
択された動画像の音声符号が選ばれ、D/A変換器21
0に送られ、増幅器211とスピーカ212とから成る
再生器で再生される。
【0063】次に、この発明の第2の実施例について説
明する。図1の復号化器104、106、108の復号
処理速度が十分に速い場合は、各系統ごとに復号化器を
持つ必要がなく、時分割処理により、1つの復号化器で
複数の動画像を復号化することができる。第2の実施例
を図7に示す(図が煩雑になるのを防ぐため、X1W、
X1RをまとめてX1というように表わす)。
【0064】図1の復号化装置と同様に、端子T7から
の入力信号は、バッファ401、逆多重化器402、バ
ッファ403を経て、復号化器404に入力される。
【0065】復号化器404は、図2に示した復号化器
と同じ構成である。復号化器404の端子X、Y、Zか
らは、画像信号V1、V2、V3の復号画像信号が時分
割されて順番に出力される。この出力信号はセレクタ4
05に送られる。セレクタ405は、図8のような構成
であり、復号化器404から得た制御信号sにより、復
号される動画像信号V1、V2、V3に応じてフレーム
メモリ406、407、408との接続を切り替える。
例えば、動画像信号V1のデータである場合は、XWは
X1W、XRはX1R、YWはY1W、YRはY1R、
ZWはZ1Wに接続される。
【0066】これ以後の処理は、図1の復号化装置で説
明したものと全く同じである。
【0067】復号化器の処理速度が十分に速い場合は、
上述した図7の構成でも図1と同様の機能を達成でき
る。
【0068】以上の説明では3系統の動画像を例にとっ
たが、フレームメモリの分割および復号化画像の縮小率
を変えるだけで、何系統の動画像にも対応できる。
【0069】また、以上の説明ではMPEG方式を例に
説明したが、動き予測を行なう他方式の画像圧縮方式に
も適用可能である。
【0070】さらに、以上の説明では複数動画像の画面
表示方法として、図3に示す通り単に画面を複数に分割
して使用する方法を示したが、これらの画像をいわゆる
マルチ・ウィンドウにより表示する方法も考えられる。
すなわち、各画像をそれぞれのウィンドウにて表示し、
ウィンドウの開閉、移動、拡大縮小などの機能を使用す
ることにより、所望の画像を選択する。図9に、マルチ
・ウィンドウを利用した複数動画像の表示方法を示す。
【0071】
【発明の効果】以上のように、この発明による動画像復
号化装置は、複数の動画像を同時に再生する場合に動画
像信号を水平、垂直方向に縮小して復号を行なうので、
動画像の数だけフレームメモリを用意する必要がなく、
1組のフレームメモリのみで復号が可能である。
【0072】また、1画面を分割して複数の動画像表示
を行なうので、表示手段は一つで済む。
【0073】このように、フレームメモリ、表示手段の
数を非常に少なくできるので、動画像復号化装置の規模
も縮小できる。
【0074】さらに、画像モードを切り換えることがで
きるので、複数動画像および単一動画像のいずれかを選
択して表示することができる。
【図面の簡単な説明】
【図1】この発明による動画像復号化装置の第1の実施
例を示すブロック図である。
【図2】図1の装置を構成する復号化器を詳細に示すブ
ロック図である。
【図3】図1の装置における複数動画像モードのときの
表示画面の一例を示す表示状態図である。
【図4】図1の装置のフレームメモリのメモリ空間の分
割使用方法を示す説明図である。
【図5】図1の装置における単一動画像モードのときの
表示画面を示す表示状態図である。
【図6】図1の装置を構成する複数音声復号化装置を示
すブロック図である。
【図7】この発明による動画像復号化装置の第2の実施
例を示すブロック図である。
【図8】図7の装置を構成するセレクタを詳細に示す接
続図である。
【図9】図1の装置における複数動画像モードのときの
表示画面の他の例を示す表示状態図である。
【図10】MPEG方式のフレーム間動き予測方法の説
明図である。
【図11】図16の符号化装置で符号化される動画像に
おけるフレームの種類と順番を表わす図である。
【図12】図1の復号化装置で復号化されるフレームの
順序とフレームメモリに記憶されるフレームの順序を説
明するための図である。
【図13】図1の復号化装置で復号化されるフレームの
順序とフレームメモリに記憶されるフレームの順序を説
明するための図である。
【図14】図1の復号化装置で復号化されるフレームの
順序とフレームメモリに記憶されるフレームの順序を説
明するための図である。
【図15】フレームメモリに記憶されるフレームの順番
を説明するための図である。
【図16】一般的な複数動画像音声符号化装置を示すブ
ロック図である。
【図17】図16および図18の複数動画像音声符号化
装置から出力される符号の一例を示すデータ状態図であ
る。
【図18】図16の装置を構成する圧縮符号化器を詳細
に示すブロック図である。
【図19】従来の複数動画像音声復号化装置を示すブロ
ック図である。
【図20】図19の装置を構成する復号化器を詳細に示
すブロック図である。
【符号の説明】
101、103、105、107 バッファ 102 逆多重化器 104、106、108 復号化器 109、110、111 フレームメモリ 112 コントローラ 113 LPF 114 D/A変換器 115 表示器 SW101 スイッチ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 7/10 H04N 7/14 - 7/173

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 予測符号化された複数の動画像を含む入
    力信号を復号化する動画像復号化装置において、 上記入力信号を復号化する復号化手段と、 上記復号化された複数の動画像をそれぞれ縮小する縮小
    器と、 上記縮小器により縮小された縮小動画像に基づいて動き
    補償を行う動き補償手段と、 上記動き補償手段により生成された縮小動画像を保持す
    るメモリと、 上記メモリに保持された縮小動画像を予測参照画像とし
    て上記動き補償手段に供給する手段と、 上記メモリに保持された複数の縮小動画像を同時に表示
    するように制御する表示制御手段とを備えたことを特徴
    とする動画像復号化装置。
  2. 【請求項2】 請求項1記載の動画像復号化装置におい
    て、上記表示制御手段では、上記縮小された複数の動画
    像を1画像として1つの表示手段に表示する複数動画像
    モードと、複数の動画像のうちの選択された1つの動画
    像のみを1つの表示手段に表示する単一動画像モードと
    の切換えを行うようにしたことを特徴とする動画像復号
    化装置。
JP9674392A 1992-04-16 1992-04-16 動画像復号化装置 Expired - Lifetime JP3161017B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP9674392A JP3161017B2 (ja) 1992-04-16 1992-04-16 動画像復号化装置
US08/047,109 US5343250A (en) 1992-04-16 1993-04-13 Multiple picture/sound signals decoding apparatus
EP19930106072 EP0566092B1 (en) 1992-04-16 1993-04-14 Multiple picture/sound signals decoding apparatus
DE69319780T DE69319780T2 (de) 1992-04-16 1993-04-14 Dekodiervorrichtung für mehrfache Ton-/Bildsignale
KR1019930006283A KR100275060B1 (ko) 1992-04-16 1993-04-15 복수 동화상 음성 복호화 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9674392A JP3161017B2 (ja) 1992-04-16 1992-04-16 動画像復号化装置

Publications (2)

Publication Number Publication Date
JPH05292490A JPH05292490A (ja) 1993-11-05
JP3161017B2 true JP3161017B2 (ja) 2001-04-25

Family

ID=14173177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9674392A Expired - Lifetime JP3161017B2 (ja) 1992-04-16 1992-04-16 動画像復号化装置

Country Status (5)

Country Link
US (1) US5343250A (ja)
EP (1) EP0566092B1 (ja)
JP (1) JP3161017B2 (ja)
KR (1) KR100275060B1 (ja)
DE (1) DE69319780T2 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5361098A (en) * 1992-11-30 1994-11-01 Scientific Atlanta, Inc. Methods and apparatus for generating a picture-in-picture digital television frame by inserting a mean-only frame into a full-size frame
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
KR100363588B1 (ko) * 1993-03-25 2003-02-17 세이코 엡슨 가부시키가이샤 화상처리장치
US5446491A (en) * 1993-12-21 1995-08-29 Hitachi, Ltd. Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals
JP3149303B2 (ja) * 1993-12-29 2001-03-26 松下電器産業株式会社 デジタル画像符号化方法及びデジタル画像復号化方法
CN1085005C (zh) * 1994-04-15 2002-05-15 皇家菲利浦电子有限公司 用于发送和接收视频信号的装置和方法
US6297856B1 (en) * 1994-11-30 2001-10-02 Canon Kabushiki Kaisha Apparatus and system for reading data from a dynamic image data file
US5799109A (en) * 1994-12-29 1998-08-25 Hyundai Electronics Industries Co., Ltd. Object-by shape information compression apparatus and method and coding method between motion picture compensation frames
JP3855282B2 (ja) * 1995-02-06 2006-12-06 ソニー株式会社 受信装置および受信方法
JP4001942B2 (ja) * 1995-02-06 2007-10-31 ソニー株式会社 受信装置および受信方法、並びに放送システムおよび放送方法
GB9510093D0 (en) * 1995-05-18 1995-07-12 Philips Electronics Uk Ltd Interactive image manipulation
EP0753967A3 (de) * 1995-07-14 1999-08-04 Siemens Aktiengesellschaft Verfahren und Schaltungsanordnung zur Decodierung eines Videodatenstroms
WO1997004590A2 (en) * 1995-07-19 1997-02-06 Philips Electronics N.V. Method and device for decoding digital video bitstreams and reception equipment including such a device
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
JPH09214956A (ja) * 1996-02-01 1997-08-15 Toshiba Corp 画像復号化装置
JPH09247614A (ja) * 1996-03-14 1997-09-19 Matsushita Electric Ind Co Ltd 画像信号処理装置
KR100223207B1 (ko) * 1996-09-25 1999-10-15 윤종용 다중 영상 출력 디지털 비디오 디스크 플레이어
US6256785B1 (en) * 1996-12-23 2001-07-03 Corporate Media Patners Method and system for providing interactive look-and-feel in a digital broadcast via an X-Y protocol
US6157673A (en) * 1996-12-26 2000-12-05 Philips Electronics North America Corp. Fast extraction of program specific information from multiple transport streams
US5900868A (en) * 1997-04-01 1999-05-04 Ati International Method and apparatus for multiple channel display
US6636563B2 (en) 1997-06-12 2003-10-21 Sony Corporation Decoder and decoding method for information signal
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置
JPH11252550A (ja) * 1998-03-02 1999-09-17 Sony Corp デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法
US6593937B2 (en) 1998-06-18 2003-07-15 Sony Corporation Method of and apparatus for handling high bandwidth on-screen-display graphics data over a distributed IEEE 1394 network utilizing an isochronous data transmission format
US6377276B1 (en) 1998-06-18 2002-04-23 Sony Corporation Bitmap animation of on-screen-display graphics over a distributed network and a clipping region having a visible window
WO1999066716A1 (en) * 1998-06-18 1999-12-23 Sony Electronics Inc. A method of and apparatus for partitioning, scaling and displaying video and/or graphics across several display devices
KR100610243B1 (ko) 1998-07-20 2006-08-09 까날 + (쏘시에떼 아노님) 다중 채널 디지털 텔레비전 시스템을 위한 항행 시스템
GB9817037D0 (en) * 1998-08-06 1998-09-30 Pace Micro Tech Ltd Video signal generation
JP3538033B2 (ja) * 1998-08-21 2004-06-14 株式会社東芝 マルチチャンネルデコード方法
JP3356078B2 (ja) * 1998-09-29 2002-12-09 日本電気株式会社 圧縮ストリーム復号装置および圧縮ストリーム復号方法
US6870573B2 (en) * 1999-01-22 2005-03-22 Intel Corporation Method and apparatus for dynamically generating a visual program summary from a multi-source video feed
US7765568B1 (en) 1999-01-27 2010-07-27 The Directv Group, Inc. Graphical tuning bar
US6522342B1 (en) 1999-01-27 2003-02-18 Hughes Electronics Corporation Graphical tuning bar for a multi-program data stream
US8073955B1 (en) 1999-01-27 2011-12-06 The Directv Group, Inc. Method and apparatus for tuning used in a broadcast data system
WO2000064183A1 (en) * 1999-04-16 2000-10-26 Koninklijke Philips Electronics N.V. Video encoder and decoder
US6885381B1 (en) * 2000-08-04 2005-04-26 Microsoft Corporation System and method for producing a video signal
US6847358B1 (en) 1999-08-06 2005-01-25 Microsoft Corporation Workstation for processing and producing a video signal
US6924806B1 (en) * 1999-08-06 2005-08-02 Microsoft Corporation Video card with interchangeable connector module
US6919897B1 (en) * 1999-08-06 2005-07-19 Microsoft Corporation System and method for pre-processing a video signal
JP3406255B2 (ja) 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
DE60034409T2 (de) 1999-10-15 2007-08-16 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Datenanzeige von mehreren Datenkanälen und Datenträger und Rechnerprogramm dafür
KR100628619B1 (ko) * 2000-07-10 2006-09-26 마쯔시다덴기산교 가부시키가이샤 복수의 디코드 장치 및 방법
EP1246469A3 (fr) * 2001-03-27 2005-04-13 Koninklijke Philips Electronics N.V. Procédé de réduction de format et de décodage similtanés de signaux vidéo codés
EP1386477A4 (en) * 2001-05-11 2009-08-05 Scientific Atlanta ADMINISTRATION OF SLIDING BUFFERS
US7257308B2 (en) * 2001-12-06 2007-08-14 Scientific-Atlanta, Inc. Converting time-shift buffering for personal video recording into permanent recordings
US8565578B2 (en) 2001-12-06 2013-10-22 Harold J. Plourde, Jr. Dividing and managing time-shift buffering into program specific segments based on defined durations
US6971121B2 (en) * 2001-12-06 2005-11-29 Scientific-Atlanta, Inc. Composite buffering
US7962011B2 (en) 2001-12-06 2011-06-14 Plourde Jr Harold J Controlling substantially constant buffer capacity for personal video recording with consistent user interface of available disk space
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
JP2003319374A (ja) * 2002-04-24 2003-11-07 Sony Corp 遠隔監視装置及び遠隔監視システム
JP2004072153A (ja) * 2002-08-01 2004-03-04 Philips Japan Ltd 復号化装置及び方法、並びにディジタル放送受信装置
US8181205B2 (en) 2002-09-24 2012-05-15 Russ Samuel H PVR channel and PVR IPG information
FR2849327A1 (fr) * 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif de decodage audio/video, circuit pilote video et boitier decodeur l'incorporant
US20060064719A1 (en) * 2004-09-17 2006-03-23 Youden John J Simultaneous video input display and selection system and method
US20070035668A1 (en) * 2005-08-11 2007-02-15 Sony Corporation Method of routing an audio/video signal from a television's internal tuner to a remote device
US20090196356A1 (en) * 2005-09-14 2009-08-06 Mitsunori Houki Multi-stream decoder apparatus
JP5092722B2 (ja) 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63282790A (ja) * 1987-02-14 1988-11-18 株式会社リコー 表示制御装置
JPH01280977A (ja) * 1988-03-31 1989-11-13 Toshiba Corp テレビジョンシステムの子画面表示方法及びその装置
JP2615841B2 (ja) * 1988-05-17 1997-06-04 ソニー株式会社 静止画編集装置

Also Published As

Publication number Publication date
KR930022888A (ko) 1993-11-24
DE69319780D1 (de) 1998-08-27
DE69319780T2 (de) 1998-12-03
EP0566092A3 (en) 1994-08-24
JPH05292490A (ja) 1993-11-05
US5343250A (en) 1994-08-30
EP0566092B1 (en) 1998-07-22
EP0566092A2 (en) 1993-10-20
KR100275060B1 (ko) 2000-12-15

Similar Documents

Publication Publication Date Title
JP3161017B2 (ja) 動画像復号化装置
JPH1093920A (ja) Mpeg2スロー再生装置
JP3168922B2 (ja) デジタル画像情報の記録再生装置
JP3676525B2 (ja) 動画像符号化復号化装置及びその方法
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
JPH08256331A (ja) ビデオデコード装置
JP2573177B2 (ja) 電子会議システムにおける図形表示装置
JPH08102908A (ja) 再生装置
US6490321B1 (en) Apparatus and method of encoding/decoding moving picture using second encoder/decoder to transform predictive error signal for each field
JP3163699B2 (ja) 画像記録装置
JPH0678279A (ja) ピクチャ生成方式
JP3663661B2 (ja) 映像信号再生装置、映像信号復号化装置及び方法
JP3367992B2 (ja) 動画像符号化装置および復号化装置
JPH08205115A (ja) 画面合成符号化装置
JP2000165858A (ja) 画像再生装置および方法、並びに媒体
JP3004763B2 (ja) 映像信号多重復号化装置
JP3733248B2 (ja) 再生装置及びその方法
JP3017646B2 (ja) フレームレート変換機能付き画像復号装置
JP3312635B2 (ja) 蓄積画像伝送方法および装置
JPH07170485A (ja) 画像再生装置及び画像復号装置
JPH11308620A (ja) 画像復号装置
JP3572819B2 (ja) ディジタル画像圧縮符号化装置
JP2897056B2 (ja) 動画像符号化制御方式
JPH07170522A (ja) 動画像圧縮データ切り換え装置
JP2870588B2 (ja) 動画像予測符号化装置および動画像予測符号化方法並びに動画像予測復号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080223

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090223

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 12