JP2001204026A - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法Info
- Publication number
- JP2001204026A JP2001204026A JP2000017828A JP2000017828A JP2001204026A JP 2001204026 A JP2001204026 A JP 2001204026A JP 2000017828 A JP2000017828 A JP 2000017828A JP 2000017828 A JP2000017828 A JP 2000017828A JP 2001204026 A JP2001204026 A JP 2001204026A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- image information
- cosine transform
- discrete cosine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 79
- 230000006835 compression Effects 0.000 claims abstract description 104
- 238000007906 compression Methods 0.000 claims abstract description 104
- 238000006243 chemical reaction Methods 0.000 claims abstract description 99
- 230000000750 progressive effect Effects 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 100
- 239000013598 vector Substances 0.000 claims description 39
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 1
- 206010000210 abortion Diseases 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 19
- 238000000926 separation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101100366711 Arabidopsis thaliana SSL13 gene Proteins 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 101000629400 Homo sapiens Mesoderm-specific transcript homolog protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 102100026821 Mesoderm-specific transcript homolog protein Human genes 0.000 description 1
- 101100366561 Panax ginseng SS11 gene Proteins 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 飛び越し走査のMPEG2画像圧縮情報を、
順次走査のMPEG4画像圧縮情報に変換することを、
安価で且つリアルタイムに実現可能とする。 【解決手段】 垂直方向及び水平方向ともに低域の4次
係数情報のみを用いた復号処理を行うMPEG2画像情
報復号化部19と、飛び越し走査から順次走査への変換
を行う走査変換部20と、走査変換後の信号からMPE
G4画像圧縮情報を生成するMPEG4画像情報符号化
部21とを有し、それら各部を直列接続する。また、飛
び越し走査のMPEG2画像圧縮情報における各フレー
ムデータのピクチャタイプを判別し、その判別結果の基
づいて、I/Pピクチャに関するフレームデータのみ出
力し、Bピクチャに関するフレームデータを破棄するこ
とによってフレームレートの変換を行うピクチャタイプ
判別部18をMPEG画像情報復号化部19の前段に設
ける。
順次走査のMPEG4画像圧縮情報に変換することを、
安価で且つリアルタイムに実現可能とする。 【解決手段】 垂直方向及び水平方向ともに低域の4次
係数情報のみを用いた復号処理を行うMPEG2画像情
報復号化部19と、飛び越し走査から順次走査への変換
を行う走査変換部20と、走査変換後の信号からMPE
G4画像圧縮情報を生成するMPEG4画像情報符号化
部21とを有し、それら各部を直列接続する。また、飛
び越し走査のMPEG2画像圧縮情報における各フレー
ムデータのピクチャタイプを判別し、その判別結果の基
づいて、I/Pピクチャに関するフレームデータのみ出
力し、Bピクチャに関するフレームデータを破棄するこ
とによってフレームレートの変換を行うピクチャタイプ
判別部18をMPEG画像情報復号化部19の前段に設
ける。
Description
【0001】
【発明の属する技術分野】本発明は、MPEG(Moving
Picture image coding Experts Group)などのよう
に、離散コサイン変換等の直交変換と動き補償によって
圧縮された画像情報(ビットストリーム)を、衛星放
送、ケーブルテレビジョン(TV)、インターネットな
どのネットワークメディアを介して受信する際、若しく
は光、磁気ディスクのような記憶メディア上で処理する
際に好適な画像情報変換装置及び方法に関する。
Picture image coding Experts Group)などのよう
に、離散コサイン変換等の直交変換と動き補償によって
圧縮された画像情報(ビットストリーム)を、衛星放
送、ケーブルテレビジョン(TV)、インターネットな
どのネットワークメディアを介して受信する際、若しく
は光、磁気ディスクのような記憶メディア上で処理する
際に好適な画像情報変換装置及び方法に関する。
【0002】
【従来の技術】近年、画像情報をディジタル情報として
取り扱い、その際に、効率の高い情報の伝送、蓄積を目
的とし、画像情報特有の冗長性を利用して、離散コサイ
ン変換等の直交変換と動き補償により当該画像情報を圧
縮するMPEG方式に準拠した装置が、放送局などの情
報配信、及び一般家庭における情報受信の双方において
普及しつつある。
取り扱い、その際に、効率の高い情報の伝送、蓄積を目
的とし、画像情報特有の冗長性を利用して、離散コサイ
ン変換等の直交変換と動き補償により当該画像情報を圧
縮するMPEG方式に準拠した装置が、放送局などの情
報配信、及び一般家庭における情報受信の双方において
普及しつつある。
【0003】特に、MPEG2(ISO/IEC 13
818−2)は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準とし
て、プロフェッショナル用途及びコンシューマー用途の
広範なアプリケーションに今後とも用いられるものと予
想される。このMPEG2圧縮方式を用いることによ
り、例えば720×480画素を持つ標準解像度の飛び
越し走査画像であれば4〜8Mbps、1920×10
88画素を持つ高解像度の飛び越し走査画像であれば1
8〜22Mbpsの符号量(ビットレート)を割り当て
ることで、高い圧縮率と良好な画質の実現が可能であ
る。
818−2)は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準とし
て、プロフェッショナル用途及びコンシューマー用途の
広範なアプリケーションに今後とも用いられるものと予
想される。このMPEG2圧縮方式を用いることによ
り、例えば720×480画素を持つ標準解像度の飛び
越し走査画像であれば4〜8Mbps、1920×10
88画素を持つ高解像度の飛び越し走査画像であれば1
8〜22Mbpsの符号量(ビットレート)を割り当て
ることで、高い圧縮率と良好な画質の実現が可能であ
る。
【0004】今後広く普及するであろうと思われるディ
ジタル放送においても、このような圧縮方式によって画
像情報が伝送されることになるが、その規格には、標準
解像度の画像及び高解像度の画像が存在し、このため受
信機においてはこれら両方を復号することの出来る機能
を持つことが望まれる。特に、標準解像度画像と高解像
度画像との共存を図りつつ、安価な受信機を構築するた
めには、高解像度画像情報について、画質劣化を最小限
に抑えながら何らかの形で情報を間引いくような処理が
必要となる。かかる問題は、ディジタル放送などの伝送
メディアにおいてのみならず、光ディスクやフラッシュ
メモリ等の蓄積メディアにおいても生じるものであると
考えられる。
ジタル放送においても、このような圧縮方式によって画
像情報が伝送されることになるが、その規格には、標準
解像度の画像及び高解像度の画像が存在し、このため受
信機においてはこれら両方を復号することの出来る機能
を持つことが望まれる。特に、標準解像度画像と高解像
度画像との共存を図りつつ、安価な受信機を構築するた
めには、高解像度画像情報について、画質劣化を最小限
に抑えながら何らかの形で情報を間引いくような処理が
必要となる。かかる問題は、ディジタル放送などの伝送
メディアにおいてのみならず、光ディスクやフラッシュ
メモリ等の蓄積メディアにおいても生じるものであると
考えられる。
【0005】このような問題を解決するために、本件出
願人は、先に、図4に示すような画像情報復号化装置を
提案している。この図4に示す装置の符号バッファ10
1、圧縮情報解析部102、可変長復号化部103、逆
量子化部104、動き補償部108,109、ビデオメ
モリ110、加算器107等の基本的な動作原理は、通
常のMPEG復号化装置のそれと同等である。
願人は、先に、図4に示すような画像情報復号化装置を
提案している。この図4に示す装置の符号バッファ10
1、圧縮情報解析部102、可変長復号化部103、逆
量子化部104、動き補償部108,109、ビデオメ
モリ110、加算器107等の基本的な動作原理は、通
常のMPEG復号化装置のそれと同等である。
【0006】図4において、入力画像圧縮情報は、符号
バッファ101を介して圧縮情報解析部102に入力す
る。当該圧縮情報解析部102では、入力画像圧縮情報
から、伸長に必要な情報の解析を行い、その解析により
得られた情報と共に画像圧縮情報を可変長復号化部10
3に送る。可変長復号化部103では、符号化時の可変
長符号化処理に対応する可変長復号化処理を行う。但
し、この例の可変長復号化部103においては、マクロ
ブロックのDCTモードがフィールドDCTモードであ
るか或いはフレームDCTモードであるかに応じて、後
段の縮小逆離散コサイン変換部(4×4)105若しく
は縮小逆離散コサイン変換部(フィールド分離)106
において必要な係数のみを復号化し、あとはEOB(En
d Of Block)が検出されるまで処理を行わないというこ
とも考えられる。図5には、入力となるMPEG2画像
圧縮情報(ビットストリーム)がジグザグスキャンであ
る場合の、フィールドDCTモード(図5の(A))
と、フレームDCTモード(図5の(B))に対する可
変長復号化部103における動作原理を表しており、図
6には、入力となるMPEG2画像圧縮情報(ビットス
トリーム)がオルタネートスキャンである場合の、フィ
ールドDCTモード(図6の(A))と、フレームDC
Tモード(図6の(B))に対する可変長復号化部10
3における動作原理を表している。なお、図5、図6中
の数字はスキャンの順番を表している。この可変長復号
化部103での可変長復号化処理により得られたデータ
は、逆量子化部104で逆量子化処理された後、縮小逆
離散コサイン変換部(4×4)105と縮小逆離散コサ
イン変換部(フィールド分離)106に送られる。
バッファ101を介して圧縮情報解析部102に入力す
る。当該圧縮情報解析部102では、入力画像圧縮情報
から、伸長に必要な情報の解析を行い、その解析により
得られた情報と共に画像圧縮情報を可変長復号化部10
3に送る。可変長復号化部103では、符号化時の可変
長符号化処理に対応する可変長復号化処理を行う。但
し、この例の可変長復号化部103においては、マクロ
ブロックのDCTモードがフィールドDCTモードであ
るか或いはフレームDCTモードであるかに応じて、後
段の縮小逆離散コサイン変換部(4×4)105若しく
は縮小逆離散コサイン変換部(フィールド分離)106
において必要な係数のみを復号化し、あとはEOB(En
d Of Block)が検出されるまで処理を行わないというこ
とも考えられる。図5には、入力となるMPEG2画像
圧縮情報(ビットストリーム)がジグザグスキャンであ
る場合の、フィールドDCTモード(図5の(A))
と、フレームDCTモード(図5の(B))に対する可
変長復号化部103における動作原理を表しており、図
6には、入力となるMPEG2画像圧縮情報(ビットス
トリーム)がオルタネートスキャンである場合の、フィ
ールドDCTモード(図6の(A))と、フレームDC
Tモード(図6の(B))に対する可変長復号化部10
3における動作原理を表している。なお、図5、図6中
の数字はスキャンの順番を表している。この可変長復号
化部103での可変長復号化処理により得られたデータ
は、逆量子化部104で逆量子化処理された後、縮小逆
離散コサイン変換部(4×4)105と縮小逆離散コサ
イン変換部(フィールド分離)106に送られる。
【0007】上記逆量子化部104での逆量子化処理に
より得られた離散コサイン変換係数は、マクロブロック
のDCTモードがフィールドDCTモードであるか或い
はフレームDCTモードであるかに応じて、縮小逆離散
コサイン変換部(4×4)105若しくは縮小逆離散コ
サイン変換部(フィールド分離)106によって逆離散
コサイン変換処理が施される。
より得られた離散コサイン変換係数は、マクロブロック
のDCTモードがフィールドDCTモードであるか或い
はフレームDCTモードであるかに応じて、縮小逆離散
コサイン変換部(4×4)105若しくは縮小逆離散コ
サイン変換部(フィールド分離)106によって逆離散
コサイン変換処理が施される。
【0008】ここで、マクロブロックがイントラマクロ
ブロックの場合、縮小逆離散コサイン変換後のデータ
は、加算器107を介してビデオメモリ110にそのま
ま格納される。一方、インターマクロブロックの場合
は、動き補償モードがフィールド予測モードであるかフ
レーム予測モードであるかによって、動き補償部(フィ
ールド予測)108若しくは動き補償部(フレーム予
測)109がビデオメモリ110内の参照データを元に
して、水平方向,垂直方向ともに1/4画素精度の補間
処理を施し、これによって生成される予測画素データ
と、逆離散コサイン変換後の画素データとが、加算器1
07によって合成されてビデオメモリ110に送られ
る。このビデオメモリ110に格納された画素値は、上
位レイヤの画素に対応して、図7の(A)及び(B)に
示すように、第一,第二のフィールド間の位相ずれを含
んでいる。なお、図7中の丸印は画素を示す。
ブロックの場合、縮小逆離散コサイン変換後のデータ
は、加算器107を介してビデオメモリ110にそのま
ま格納される。一方、インターマクロブロックの場合
は、動き補償モードがフィールド予測モードであるかフ
レーム予測モードであるかによって、動き補償部(フィ
ールド予測)108若しくは動き補償部(フレーム予
測)109がビデオメモリ110内の参照データを元に
して、水平方向,垂直方向ともに1/4画素精度の補間
処理を施し、これによって生成される予測画素データ
と、逆離散コサイン変換後の画素データとが、加算器1
07によって合成されてビデオメモリ110に送られ
る。このビデオメモリ110に格納された画素値は、上
位レイヤの画素に対応して、図7の(A)及び(B)に
示すように、第一,第二のフィールド間の位相ずれを含
んでいる。なお、図7中の丸印は画素を示す。
【0009】上記ビデオメモリ110に蓄積された画素
値は、画枠変換部111によって後段の図示しない表示
装置に適した画枠サイズに変換される。当該画枠変換部
111からの画像信号が、図4の画像情報復号化装置の
出力復号化画像信号となる。
値は、画枠変換部111によって後段の図示しない表示
装置に適した画枠サイズに変換される。当該画枠変換部
111からの画像信号が、図4の画像情報復号化装置の
出力復号化画像信号となる。
【0010】次に、縮小逆離散コサイン変換部(4×
4)105と縮小逆離散コサイン変換部(フィールド分
離)106における動作原理について説明する。
4)105と縮小逆離散コサイン変換部(フィールド分
離)106における動作原理について説明する。
【0011】縮小逆離散コサイン変換部(4×4)10
5の動作原理に関しては、水平,垂直成分ともに、8次
の離散コサイン変換係数のうち、低域4次係数を取り出
し、これに4次の逆離散コサイン変換を施す。
5の動作原理に関しては、水平,垂直成分ともに、8次
の離散コサイン変換係数のうち、低域4次係数を取り出
し、これに4次の逆離散コサイン変換を施す。
【0012】これに対して、縮小逆離散コサイン変換部
(フィールド分離)106では、以下のような処理が行
われる。
(フィールド分離)106では、以下のような処理が行
われる。
【0013】図8には、縮小逆離散コサイン変換部(フ
ィールド分離)106における処理の流れを示す。
ィールド分離)106における処理の流れを示す。
【0014】この図8において、縮小逆離散コサイン変
換部(フィールド分離)106では、入力となる画像圧
縮情報(ビットストリーム)中の離散コサイン変換係数
y1〜y8に対して、先ず8×8の逆離散コサイン変換
(IDCT)処理を施し、x1〜x8の復号化されたデー
タを得る。次に、縮小逆離散コサイン変換部(フィール
ド分離)106は、これら復号化されたデータx1〜x8
を、x1,x3,x5,x7の第一フィールドのデータとx
2,x4,x6,x8の第二フィールドのデータに分離す
る。次に、縮小逆離散コサイン変換部(フィールド分
離)106は、当該分離されたそれぞれのデータ列に4
×4の離散コサイン変換(DCT)処理を施し、離散コ
サイン変換係数z1,z3,z5,z7及びz2,z4,
z6,z8を得る。次に、縮小逆離散コサイン変換部(フ
ィールド分離)106は、こうして得られたそれぞれの
フィールドに対する係数のうち、低域成分のみに2×2
の逆離散コサイン変換を施すことで、x'1,x'3及び
x'2,x'4の、縮小された画素値を得る。その後、これ
らの値を再びフレーム合成することによって出力値
x'1,x'2,x'3、x'4を得る。なお、実際の処理はこ
れら一連の処理と等価な行列演算を、離散コサイン変換
係数y1〜y8に対して施すことにより、直接画素値x'1
〜x'4を得る。加法定理を用いて展開計算することによ
り得られるこの行列[FSI]は下記式(1)の通りで
ある。
換部(フィールド分離)106では、入力となる画像圧
縮情報(ビットストリーム)中の離散コサイン変換係数
y1〜y8に対して、先ず8×8の逆離散コサイン変換
(IDCT)処理を施し、x1〜x8の復号化されたデー
タを得る。次に、縮小逆離散コサイン変換部(フィール
ド分離)106は、これら復号化されたデータx1〜x8
を、x1,x3,x5,x7の第一フィールドのデータとx
2,x4,x6,x8の第二フィールドのデータに分離す
る。次に、縮小逆離散コサイン変換部(フィールド分
離)106は、当該分離されたそれぞれのデータ列に4
×4の離散コサイン変換(DCT)処理を施し、離散コ
サイン変換係数z1,z3,z5,z7及びz2,z4,
z6,z8を得る。次に、縮小逆離散コサイン変換部(フ
ィールド分離)106は、こうして得られたそれぞれの
フィールドに対する係数のうち、低域成分のみに2×2
の逆離散コサイン変換を施すことで、x'1,x'3及び
x'2,x'4の、縮小された画素値を得る。その後、これ
らの値を再びフレーム合成することによって出力値
x'1,x'2,x'3、x'4を得る。なお、実際の処理はこ
れら一連の処理と等価な行列演算を、離散コサイン変換
係数y1〜y8に対して施すことにより、直接画素値x'1
〜x'4を得る。加法定理を用いて展開計算することによ
り得られるこの行列[FSI]は下記式(1)の通りで
ある。
【0015】
【数1】
【0016】但し、式(1)中のA〜Jは、下記式にて
表される。
表される。
【0017】
【数2】
【0018】縮小逆離散コサイン変換部(4×4)10
5及び縮小逆離散コサイン変換部(フィールド分離)1
06に関しては、例えば以下に説明するような高速アル
ゴリズムによる実現が可能である。当該高速アルゴリズ
ムとして、例えばWangのアルゴリズム(参考文献:
Zhong de Wang., "Fast Algorithms fot the Discrete
W Transform and for the Discrete Fourier Thransfor
m", IEEE Tr. ASSP-32, No.4, pp.803-816, Aug. 198
4)を挙げることができる。
5及び縮小逆離散コサイン変換部(フィールド分離)1
06に関しては、例えば以下に説明するような高速アル
ゴリズムによる実現が可能である。当該高速アルゴリズ
ムとして、例えばWangのアルゴリズム(参考文献:
Zhong de Wang., "Fast Algorithms fot the Discrete
W Transform and for the Discrete Fourier Thransfor
m", IEEE Tr. ASSP-32, No.4, pp.803-816, Aug. 198
4)を挙げることができる。
【0019】すなわち、縮小逆離散コサイン変換部(4
×4)105における4×4の縮小逆離散コサイン変換
を表す行列は、上記Wangのアルゴリズムを用いて以
下の式(2)のように分解される。
×4)105における4×4の縮小逆離散コサイン変換
を表す行列は、上記Wangのアルゴリズムを用いて以
下の式(2)のように分解される。
【0020】
【数3】
【0021】但し、式(2)中の行列[CIII 2]は、下
記式にて表される。
記式にて表される。
【0022】
【数4】
【0023】
【数5】
【0024】なお、これら式において、Cr=cos(r
π)である。
π)である。
【0025】また、図9には、上記Wangのアルゴリ
ズムに基づいて、縮小逆離散コサイン変換部(4×4)
105における4×4の逆離散コサイン変換を実現する
場合の構成を示す。
ズムに基づいて、縮小逆離散コサイン変換部(4×4)
105における4×4の逆離散コサイン変換を実現する
場合の構成を示す。
【0026】この図9において、低域4次係数F(0)
〜F(3)のうち、加算器121では係数F(0)とF
(2)を加算し、また、加算器122では係数F(0)
に反転した係数F(2)を加算することによる減算が行
われる。加算器121の出力は乗算器123により係数
A(A=1/√2)が乗算された後、加算器133と1
34に送られる。また、加算器122の出力は乗算器1
24により係数Aが乗算された後、加算器131と13
2に送られる。
〜F(3)のうち、加算器121では係数F(0)とF
(2)を加算し、また、加算器122では係数F(0)
に反転した係数F(2)を加算することによる減算が行
われる。加算器121の出力は乗算器123により係数
A(A=1/√2)が乗算された後、加算器133と1
34に送られる。また、加算器122の出力は乗算器1
24により係数Aが乗算された後、加算器131と13
2に送られる。
【0027】一方、加算器125では、係数F(3)に
反転した係数F(1)を加算することによる減算が行わ
れ、当該加算器125の出力は乗算器128にて係数D
(D=C3/8)が乗算された後、加算器130に送られ
ると共に、反転されて加算器129に送られる。
反転した係数F(1)を加算することによる減算が行わ
れ、当該加算器125の出力は乗算器128にて係数D
(D=C3/8)が乗算された後、加算器130に送られ
ると共に、反転されて加算器129に送られる。
【0028】また、係数F(3)は、乗算器126によ
り係数B(B=−C1/8+C3/8)が乗算された後、加算
器129に送られ、係数F(1)は、乗算器127によ
り係数C(C=C1/8+C3/8)が乗算された後、加算器
130に送られる。
り係数B(B=−C1/8+C3/8)が乗算された後、加算
器129に送られ、係数F(1)は、乗算器127によ
り係数C(C=C1/8+C3/8)が乗算された後、加算器
130に送られる。
【0029】加算器129では、乗算器126の出力に
乗算器128の反転した出力を加算することによる減算
が行われ、加算器130では、乗算器127の出力と乗
算器128の出力とが加算される。加算器129の出力
は加算器131に送られると共に反転して加算器132
に送られる。また、加算器130の出力は、加算器13
3に送られると共に反転して加算器134に送られる。
乗算器128の反転した出力を加算することによる減算
が行われ、加算器130では、乗算器127の出力と乗
算器128の出力とが加算される。加算器129の出力
は加算器131に送られると共に反転して加算器132
に送られる。また、加算器130の出力は、加算器13
3に送られると共に反転して加算器134に送られる。
【0030】加算器131では、乗算器124の出力と
加算器129の出力を加算し、加算器132では、乗算
器124の出力と加算器129の反転出力とが加算され
ることによる減算が行われる。また、加算器133で
は、乗算器123の出力と加算器130の出力を加算
し、加算器134では、乗算器123の出力と加算器1
30の反転出力とが加算されることによる減算が行われ
る。
加算器129の出力を加算し、加算器132では、乗算
器124の出力と加算器129の反転出力とが加算され
ることによる減算が行われる。また、加算器133で
は、乗算器123の出力と加算器130の出力を加算
し、加算器134では、乗算器123の出力と加算器1
30の反転出力とが加算されることによる減算が行われ
る。
【0031】加算器133の出力は4次の逆離散コサイ
ン変換後の係数f(0)となり、同様に、加算器131
の出力は係数f(1)、加算器132の出力は係数f
(2)、加算器134の出力は係数f(3)となる。
ン変換後の係数f(0)となり、同様に、加算器131
の出力は係数f(1)、加算器132の出力は係数f
(2)、加算器134の出力は係数f(3)となる。
【0032】以上のように、図9に示した構成によれ
ば、加算器9個、乗算器5個によって4×4の逆離散コ
サイン変換を実現している。なお、C3/8は下記式など
にて表される。
ば、加算器9個、乗算器5個によって4×4の逆離散コ
サイン変換を実現している。なお、C3/8は下記式など
にて表される。
【0033】C3/8=cos(3π/8) また、縮小逆離散コサイン変換部(フィールド分離)1
06におけるフィールド分離型縮小逆離散コサイン変換
を表す行列は、上記Wangのアルゴリズムを用いて以
下の式(3)のように分解される。なお、式(3)中の
各乗算器におけるA〜Jは前記式(1)と同様である。
06におけるフィールド分離型縮小逆離散コサイン変換
を表す行列は、上記Wangのアルゴリズムを用いて以
下の式(3)のように分解される。なお、式(3)中の
各乗算器におけるA〜Jは前記式(1)と同様である。
【0034】
【数6】
【0035】但し、式(3)中の行列[M1],[M2]
は、下記式にて表される。
は、下記式にて表される。
【0036】
【数7】
【0037】
【数8】
【0038】また、図10には、上記Wangのアルゴ
リズムに基づいて、縮小逆離散コサイン変換部(フィー
ルド分離)106におけるフィールド分離型の逆離散コ
サイン変換を実現する場合の構成を示す。
リズムに基づいて、縮小逆離散コサイン変換部(フィー
ルド分離)106におけるフィールド分離型の逆離散コ
サイン変換を実現する場合の構成を示す。
【0039】この図10において、8次係数F(0)〜
F(7)のうち、乗算器141では式(1)で説明した
係数Aを係数F(0)に乗算し、乗算器142では式
(1)で説明した係数Dを係数F(2)に乗算し、乗算
器143では式(1)で説明した係数Fを係数F(4)
に乗算し、乗算器144では式(1)で説明した係数H
を係数F(6)に乗算し、乗算器145では式(1)で
説明した係数Eを係数F(3)に乗算し、乗算器146
では式(1)で説明した係数Gを係数F(5)に乗算
し、乗算器147では式(1)で説明した係数Bを係数
F(1)に乗算し、乗算器148では式(1)で説明し
た係数Cを係数F(1)に乗算し、乗算器149では式
(1)で説明した係数Iを係数F(7)に乗算し、乗算
器150では式(1)で説明した係数Jを係数F(7)
に乗算する。
F(7)のうち、乗算器141では式(1)で説明した
係数Aを係数F(0)に乗算し、乗算器142では式
(1)で説明した係数Dを係数F(2)に乗算し、乗算
器143では式(1)で説明した係数Fを係数F(4)
に乗算し、乗算器144では式(1)で説明した係数H
を係数F(6)に乗算し、乗算器145では式(1)で
説明した係数Eを係数F(3)に乗算し、乗算器146
では式(1)で説明した係数Gを係数F(5)に乗算
し、乗算器147では式(1)で説明した係数Bを係数
F(1)に乗算し、乗算器148では式(1)で説明し
た係数Cを係数F(1)に乗算し、乗算器149では式
(1)で説明した係数Iを係数F(7)に乗算し、乗算
器150では式(1)で説明した係数Jを係数F(7)
に乗算する。
【0040】乗算器141の出力は加算器156及び1
57に入力し、乗算器142の出力は加算器151に入
力し、乗算器143の出力は加算器151に入力し、乗
算器144の出力は加算器152に入力し、乗算器14
5の出力は加算器153に入力し、乗算器146の出力
は反転して加算器153に入力し、乗算器147の出力
は加算器154に入力し、乗算器148の出力は加算器
155に入力し、乗算器149の出力は加算器154に
入力し、乗算器150の出力は加算器155に入力す
る。
57に入力し、乗算器142の出力は加算器151に入
力し、乗算器143の出力は加算器151に入力し、乗
算器144の出力は加算器152に入力し、乗算器14
5の出力は加算器153に入力し、乗算器146の出力
は反転して加算器153に入力し、乗算器147の出力
は加算器154に入力し、乗算器148の出力は加算器
155に入力し、乗算器149の出力は加算器154に
入力し、乗算器150の出力は加算器155に入力す
る。
【0041】加算器151は乗算器142の出力と14
3の出力とを加算し、加算器152は加算器151の出
力と乗算器144の出力とを加算し、加算器153は乗
算器145の出力と乗算器146の反転出力とを加算す
ることによる減算を行い、加算器154は乗算器147
の出力と乗算器149の出力とを加算し、加算器155
は乗算器148の出力と乗算器150の出力とを加算す
る。
3の出力とを加算し、加算器152は加算器151の出
力と乗算器144の出力とを加算し、加算器153は乗
算器145の出力と乗算器146の反転出力とを加算す
ることによる減算を行い、加算器154は乗算器147
の出力と乗算器149の出力とを加算し、加算器155
は乗算器148の出力と乗算器150の出力とを加算す
る。
【0042】加算器156は乗算器141の出力と加算
器152の出力とを加算し、加算器157は乗算器14
1の出力と加算器152の反転出力とを加算し、加算器
158は加算器153の出力と加算器154の出力とを
加算し、加算器159は加算器153の出力と加算器1
55の出力とを加算する。
器152の出力とを加算し、加算器157は乗算器14
1の出力と加算器152の反転出力とを加算し、加算器
158は加算器153の出力と加算器154の出力とを
加算し、加算器159は加算器153の出力と加算器1
55の出力とを加算する。
【0043】加算器160は加算器156の出力と加算
器158の出力とを加算し、加算器161は加算器15
6の出力と加算器158の反転出力とを加算し、加算器
162は加算器157の出力と加算器159の出力とを
加算し、加算器S63は加算器157の出力と加算器1
59の反転出力とを加算する。
器158の出力とを加算し、加算器161は加算器15
6の出力と加算器158の反転出力とを加算し、加算器
162は加算器157の出力と加算器159の出力とを
加算し、加算器S63は加算器157の出力と加算器1
59の反転出力とを加算する。
【0044】加算器160の出力はフィールド分離型の
逆離散コサイン変換後の係数f(0)となり、同様に、
加算器162の出力は係数f(2)、加算器161の出
力は係数f(3)、加算器163の出力は係数f(1)
となる。
逆離散コサイン変換後の係数f(0)となり、同様に、
加算器162の出力は係数f(2)、加算器161の出
力は係数f(3)、加算器163の出力は係数f(1)
となる。
【0045】以上のように、図10に示した構成によれ
ば、加算器13個、乗算器10個によってフィールド分
離型の逆離散コサイン変換を実現している。
ば、加算器13個、乗算器10個によってフィールド分
離型の逆離散コサイン変換を実現している。
【0046】次に、フィールド動き補償モード及びフレ
ーム動き補償モードに対応した動き補償装置7及び8の
動作について述べる。水平方向の補間に関しては、フィ
ールド動き補償モード、フレーム動き補償モードの場合
ともに、まず、1/2精度相当の画素を、ハーフバンド
フィルタの様な2倍補間のフィルターによって作り出
し、その作り出された画素を元に1/4精度相当の画素
を線形補間によって作り出す。その際、ハーフバンドフ
ィルタを用い(ことで、フレームメモリから取り出され
た画素と同じ位相の画素値を予測唐として出力する場
合、タップ数に応じた積和演算を行う必要がないために
高速な演算が可能である。また、ハーフバンドフィルタ
を用いることにより、補間に伴う除算をシフト演算で行
うことが可能となり、更に高速な実行が可能である。も
しくは、4倍補間のフィルタリングによって、動き補償
に必要な画素を直接作り出すことも考えられる。
ーム動き補償モードに対応した動き補償装置7及び8の
動作について述べる。水平方向の補間に関しては、フィ
ールド動き補償モード、フレーム動き補償モードの場合
ともに、まず、1/2精度相当の画素を、ハーフバンド
フィルタの様な2倍補間のフィルターによって作り出
し、その作り出された画素を元に1/4精度相当の画素
を線形補間によって作り出す。その際、ハーフバンドフ
ィルタを用い(ことで、フレームメモリから取り出され
た画素と同じ位相の画素値を予測唐として出力する場
合、タップ数に応じた積和演算を行う必要がないために
高速な演算が可能である。また、ハーフバンドフィルタ
を用いることにより、補間に伴う除算をシフト演算で行
うことが可能となり、更に高速な実行が可能である。も
しくは、4倍補間のフィルタリングによって、動き補償
に必要な画素を直接作り出すことも考えられる。
【0047】次に、動き補償部(フィールド予測)10
8及び動き補償部(フレーム予測)109における動作
原理について説明する。
8及び動き補償部(フレーム予測)109における動作
原理について説明する。
【0048】これら動き補償部(フィールド予測)10
8及び動き補償部(フレーム予測)109において、水
平方向の補間に関しては、フィールド動き補償モード、
フレーム動き補償モードの場合ともに、先ず、1/2精
度相当の画素をハーフバンドフィルタのような2倍補間
のフィルタによって作り出し、その作り出された画素を
元に1/4精度相当の画素を線形補間によって作り出
す。その際、ハーフバンドフィルタを用いることで、ビ
デオメモリ110から取り出された画素と同じ位相の画
素値を予測画として出力する場合、タップ数に応じた積
和演算を行う必要がないために高速な演算が可能であ
る。また、ハーフバンドフィルタを用いることにより、
補間に伴う除算をシフト演算で行うことが可能となり、
更に高速な実行が可能である。もしくは、4倍補間のフ
ィルタリングによって、動き補償に必要な画素を直接作
り出すことも考えられる。
8及び動き補償部(フレーム予測)109において、水
平方向の補間に関しては、フィールド動き補償モード、
フレーム動き補償モードの場合ともに、先ず、1/2精
度相当の画素をハーフバンドフィルタのような2倍補間
のフィルタによって作り出し、その作り出された画素を
元に1/4精度相当の画素を線形補間によって作り出
す。その際、ハーフバンドフィルタを用いることで、ビ
デオメモリ110から取り出された画素と同じ位相の画
素値を予測画として出力する場合、タップ数に応じた積
和演算を行う必要がないために高速な演算が可能であ
る。また、ハーフバンドフィルタを用いることにより、
補間に伴う除算をシフト演算で行うことが可能となり、
更に高速な実行が可能である。もしくは、4倍補間のフ
ィルタリングによって、動き補償に必要な画素を直接作
り出すことも考えられる。
【0049】図11にはフィールド動き補償モード対応
の動き補償部108における垂直方向の補間の様子を示
す。この図11において、動き補償部(フィールド予
測)108は、先ず、入力となる画像圧縮情報(ビット
ストリーム)中の動きベクトルの値に応じて、図11の
(A)のように、フィールド問の位相ずれを含む画素値
gaをビデオメモリ110から取り出し、次に、図11
の(B)のように、ハーフバンドフイルタ等の2倍補間
フィルタを用いて、フィールド内で1/2画素精度相当
の画素値gbを作り出す。そして、動き補償部(フィー
ルド予測)108は、図11の(C)のように、フィー
ルド内で線形補間を行うことによって1/4画素精度相
当の画素値gcを作り出す。その際、ハーフバンドフィ
ルタを用いることにより、ビデオメモリ110から取り
出された画素と同じ位相の画素値を予測画として出力す
る場合、タップ数に応じた積和演算を行う必要がないた
めに高速な演算が可能である。若しくは、図11の
(A)の画素値gaを元に、4倍補間のフィルタリング
によって図11の(C)の位相に相当する画素値gcを
作り出すことも考えられる。
の動き補償部108における垂直方向の補間の様子を示
す。この図11において、動き補償部(フィールド予
測)108は、先ず、入力となる画像圧縮情報(ビット
ストリーム)中の動きベクトルの値に応じて、図11の
(A)のように、フィールド問の位相ずれを含む画素値
gaをビデオメモリ110から取り出し、次に、図11
の(B)のように、ハーフバンドフイルタ等の2倍補間
フィルタを用いて、フィールド内で1/2画素精度相当
の画素値gbを作り出す。そして、動き補償部(フィー
ルド予測)108は、図11の(C)のように、フィー
ルド内で線形補間を行うことによって1/4画素精度相
当の画素値gcを作り出す。その際、ハーフバンドフィ
ルタを用いることにより、ビデオメモリ110から取り
出された画素と同じ位相の画素値を予測画として出力す
る場合、タップ数に応じた積和演算を行う必要がないた
めに高速な演算が可能である。若しくは、図11の
(A)の画素値gaを元に、4倍補間のフィルタリング
によって図11の(C)の位相に相当する画素値gcを
作り出すことも考えられる。
【0050】図12にはフレーム動き補償モード対応の
動き補償部109における垂直方向の補間の様子を示
す。この図12において、動き補償部(フレーム予測)
109は、先ず、入力となる画像圧縮情報(ビットスト
リーム)中の動きベクトルの値に応じて、図12の
(A)のように、フィールド間の位相ずれを含む画素値
gaがビデオメモリ110から取り出され、次に、図1
2の(B)のように、ハーフバンドフィルタ等の2倍補
間フィルタを用いて、フィールド内で1/2画素精度相
当の画素値gbが作り出される。そして、動き補償部
(フレーム予測)109は、図12の(C)のように、
フィールド間で線形補間を行うことによって1/4画素
精度相当の画素値gcを作り出す。このような補問処理
を行うことにより、画質劣化の要因となる、フィールド
反転及びフィールドミックスを防ぐことが出来る。ま
た、ハーフバンドフィルタを用いることで、ビデオメモ
リ110から取り出された画素と同じ位相の画素値を予
測画として出力する場合、タップ数に応じた積和演算を
行う必要がないために高速な演算が可能である。
動き補償部109における垂直方向の補間の様子を示
す。この図12において、動き補償部(フレーム予測)
109は、先ず、入力となる画像圧縮情報(ビットスト
リーム)中の動きベクトルの値に応じて、図12の
(A)のように、フィールド間の位相ずれを含む画素値
gaがビデオメモリ110から取り出され、次に、図1
2の(B)のように、ハーフバンドフィルタ等の2倍補
間フィルタを用いて、フィールド内で1/2画素精度相
当の画素値gbが作り出される。そして、動き補償部
(フレーム予測)109は、図12の(C)のように、
フィールド間で線形補間を行うことによって1/4画素
精度相当の画素値gcを作り出す。このような補問処理
を行うことにより、画質劣化の要因となる、フィールド
反転及びフィールドミックスを防ぐことが出来る。ま
た、ハーフバンドフィルタを用いることで、ビデオメモ
リ110から取り出された画素と同じ位相の画素値を予
測画として出力する場合、タップ数に応じた積和演算を
行う必要がないために高速な演算が可能である。
【0051】実際の処理としては、水平、垂直方向の場
合ともに、上記のような2倍補間フィルタと線形補間に
よって実現される2段階の補間が、一度で行われるよう
な係数を予め用意しておき、1段階の補間であるかのよ
うに処理が行われる。また、水平、垂直方向の場合とも
に、入力となる画像圧縮情報(ビットストリーム)中の
動きベクトルの値に応じて、必要な画素値のみが作り出
される。水平方向と垂直方向の動きベクトルの値に応じ
たフィルタ係数を予め用意しておき、水平方向と垂直方
向の補間を一度に行うことも可能である。
合ともに、上記のような2倍補間フィルタと線形補間に
よって実現される2段階の補間が、一度で行われるよう
な係数を予め用意しておき、1段階の補間であるかのよ
うに処理が行われる。また、水平、垂直方向の場合とも
に、入力となる画像圧縮情報(ビットストリーム)中の
動きベクトルの値に応じて、必要な画素値のみが作り出
される。水平方向と垂直方向の動きベクトルの値に応じ
たフィルタ係数を予め用意しておき、水平方向と垂直方
向の補間を一度に行うことも可能である。
【0052】なお、2倍補間のフィルタリングを行う
際、動きベクトルの値によって、ビデオメモリ110に
おける画枠の外を参照する必要が生じる場合がある。こ
の場合は、図13の(A)に示すように、端点を中心に
して必要なタップ数だけ対称に折り返すか(以下これを
ミラー処理と呼ぶ)、図13の(B)に示すように、端
点の画素値と同じ値の画素が必要なタップ数の分だけ画
枠の外に存在するものとして取り扱う(以下これをホー
ルド処理と呼ぶ)。垂直方向に対しては、動き補償装置
(フィールド予測)108においても、動き補償装置
(フレーム予測)109においても、ミラー処理若しく
はホールド処理はフィールド単位で行う。
際、動きベクトルの値によって、ビデオメモリ110に
おける画枠の外を参照する必要が生じる場合がある。こ
の場合は、図13の(A)に示すように、端点を中心に
して必要なタップ数だけ対称に折り返すか(以下これを
ミラー処理と呼ぶ)、図13の(B)に示すように、端
点の画素値と同じ値の画素が必要なタップ数の分だけ画
枠の外に存在するものとして取り扱う(以下これをホー
ルド処理と呼ぶ)。垂直方向に対しては、動き補償装置
(フィールド予測)108においても、動き補償装置
(フレーム予測)109においても、ミラー処理若しく
はホールド処理はフィールド単位で行う。
【0053】次に、画枠変換部111における動作原理
について説明する。
について説明する。
【0054】例えば、入力となる画像圧縮情報(ビット
ストリーム)の画枠が1920×1080画素であった
場合、ビデオメモリ110から出力される画像は960
×1080画素ということになる。これを例えば720
×480画素(アスペクト比16:9)の表示装置に出
力する場合、水平方向には3/4、垂直方向には4/9
の間引き処理が必要となる。画枠変換部111では、こ
のような間引き処理を行うことで画枠の変換を行う。
ストリーム)の画枠が1920×1080画素であった
場合、ビデオメモリ110から出力される画像は960
×1080画素ということになる。これを例えば720
×480画素(アスペクト比16:9)の表示装置に出
力する場合、水平方向には3/4、垂直方向には4/9
の間引き処理が必要となる。画枠変換部111では、こ
のような間引き処理を行うことで画枠の変換を行う。
【0055】ここで、上述したMPEG2は、主として
放送用に適合する高画質符号化を対象としていたが、M
PEG1より低い符号量(ビットレート)、つまりより
高い圧縮率の符号化方式には対応していなかった。一
方、近年の携帯端末の普及により、今後そのような高い
圧縮率の符号化方式のニーズは高まると思われ、これに
対応してMPEG4符号化方式の標準化が行われた。M
PEG4の画像符号化方式に関しては、1998年12
月にISO/IEC 14496−2としてその規格が
国際標準に承認されている。
放送用に適合する高画質符号化を対象としていたが、M
PEG1より低い符号量(ビットレート)、つまりより
高い圧縮率の符号化方式には対応していなかった。一
方、近年の携帯端末の普及により、今後そのような高い
圧縮率の符号化方式のニーズは高まると思われ、これに
対応してMPEG4符号化方式の標準化が行われた。M
PEG4の画像符号化方式に関しては、1998年12
月にISO/IEC 14496−2としてその規格が
国際標準に承認されている。
【0056】ところで、ディジタル放送用に一度符号化
されたMPEG2画像圧縮情報(ビットストリーム)
を、携帯端末上などで処理するのにより適した、より低
い符号量(ビットレート)のMPEG4画像圧縮情報
(ビットストリーム)に変換したいというニーズがあ
る。
されたMPEG2画像圧縮情報(ビットストリーム)
を、携帯端末上などで処理するのにより適した、より低
い符号量(ビットレート)のMPEG4画像圧縮情報
(ビットストリーム)に変換したいというニーズがあ
る。
【0057】かかる目的を達成する画像情報変換装置
(トランスコーダ)として、“Field-to-Frame Transco
ding with Spatial and Temporal Downsampling”(Sus
ie J.Wee, John G. Apostolopoulos, and Nick Feamste
r, ICIP '99)では、図14に示すような装置が提案さ
れている。
(トランスコーダ)として、“Field-to-Frame Transco
ding with Spatial and Temporal Downsampling”(Sus
ie J.Wee, John G. Apostolopoulos, and Nick Feamste
r, ICIP '99)では、図14に示すような装置が提案さ
れている。
【0058】この図14において、入力となる飛び越し
走査のMPEG2画像圧縮情報(ビットストリーム)に
おける各フレームのデータは、先ず、ピクチャタイプ判
別部112に入力する。
走査のMPEG2画像圧縮情報(ビットストリーム)に
おける各フレームのデータは、先ず、ピクチャタイプ判
別部112に入力する。
【0059】当該ピクチャタイプ判別部112では、各
フレームの入力データがIピクチャ(画像内符号化画
像)/Pピクチャ(前方予測符号化画像)に関するもの
か、Bピクチャ(両方向予測符号化画像)に関するもの
であるかを判別し、前者のときのみ、そのI/Pピクチ
ャに関する情報を後続のMPEG2画像情報復号化部
(I/Pピクチャ)113に出力する。
フレームの入力データがIピクチャ(画像内符号化画
像)/Pピクチャ(前方予測符号化画像)に関するもの
か、Bピクチャ(両方向予測符号化画像)に関するもの
であるかを判別し、前者のときのみ、そのI/Pピクチ
ャに関する情報を後続のMPEG2画像情報復号化部
(I/Pピクチャ)113に出力する。
【0060】MPEG2画像情報復号化部(I/Pピク
チャ)113における処理は通常のMPEG2画像情報
復号化装置と同様である。但し、Bピクチャに関するデ
ータはピクチャタイプ判別部112において廃棄される
ため、MPEG2画像情報復号化部(I/Pピクチャ)
113における機能としてはI / P ピクチャのみを
復号化出来ればよい。MPEG2画像情報復号化部(I
/Pピクチャ)112の出力となる画素値は、間引き部
114に入力される。
チャ)113における処理は通常のMPEG2画像情報
復号化装置と同様である。但し、Bピクチャに関するデ
ータはピクチャタイプ判別部112において廃棄される
ため、MPEG2画像情報復号化部(I/Pピクチャ)
113における機能としてはI / P ピクチャのみを
復号化出来ればよい。MPEG2画像情報復号化部(I
/Pピクチャ)112の出力となる画素値は、間引き部
114に入力される。
【0061】当該間引き部114は、水平方向について
は1/2の間引き処理を施し、垂直方向については第一
フィールド若しくは第二フィールドのどちらか一方のデ
ータのみを残し、もう一方を廃棄することにより、入力
となる画像情報の1/4の大きさを持つ順次走査画像を
生成する。間引き部114によって生成された順次走査
画像はMPEG4画像情報符号化部(I/P−VOP)
115に入力する。
は1/2の間引き処理を施し、垂直方向については第一
フィールド若しくは第二フィールドのどちらか一方のデ
ータのみを残し、もう一方を廃棄することにより、入力
となる画像情報の1/4の大きさを持つ順次走査画像を
生成する。間引き部114によって生成された順次走査
画像はMPEG4画像情報符号化部(I/P−VOP)
115に入力する。
【0062】当該MPEG4画像情報符号化部(I/P
−VOP)115では、入力した順次走査画像の信号を
符号化してMPEG4画像圧縮情報(ビットストリー
ム)を生成して出力する。
−VOP)115では、入力した順次走査画像の信号を
符号化してMPEG4画像圧縮情報(ビットストリー
ム)を生成して出力する。
【0063】その際、入力となるMPEG2画像圧縮情
報(ビットストリーム)中の動きベクトル情報は、動き
ベクトル合成部116において間引き後の画像情報に対
する動きベクトルにマッピングされ、また、動きベクト
ル検出部117では、動きベクトル合成部116におい
て合成された動きベクトル値を元に高精度の動きベクト
ルを検出する。
報(ビットストリーム)中の動きベクトル情報は、動き
ベクトル合成部116において間引き後の画像情報に対
する動きベクトルにマッピングされ、また、動きベクト
ル検出部117では、動きベクトル合成部116におい
て合成された動きベクトル値を元に高精度の動きベクト
ルを検出する。
【0064】なお、MPEG4において、VOP(Vide
o Object Plane)とは、オブジェクトを囲む1つまたは
複数のマクロブロックから構成される領域を表す。この
VOPの領域は、符号化される方式にしたがって、Iピ
クチャ、Pピクチャ、およびBピクチャのうちのいずれ
かに分類される。I−VOP(IピクチャのVOP)
は、動き補償を行うことなく、画像(領域)そのものが
符号化(イントラ符号化)されるものである。P−VO
P(PピクチャのVOP)は、基本的には、自身より時
間的に前に位置する画像(IまたはP−VOP)に基づ
いて、前方予測符号化される。B−VOP(Bピクチャ
のVOP)は、基本的には、自身より時間的に前と後ろ
に位置する2つの画像(IまたはP−VOP)に基づい
て両方向予測符号化されるものである。
o Object Plane)とは、オブジェクトを囲む1つまたは
複数のマクロブロックから構成される領域を表す。この
VOPの領域は、符号化される方式にしたがって、Iピ
クチャ、Pピクチャ、およびBピクチャのうちのいずれ
かに分類される。I−VOP(IピクチャのVOP)
は、動き補償を行うことなく、画像(領域)そのものが
符号化(イントラ符号化)されるものである。P−VO
P(PピクチャのVOP)は、基本的には、自身より時
間的に前に位置する画像(IまたはP−VOP)に基づ
いて、前方予測符号化される。B−VOP(Bピクチャ
のVOP)は、基本的には、自身より時間的に前と後ろ
に位置する2つの画像(IまたはP−VOP)に基づい
て両方向予測符号化されるものである。
【0065】
【発明が解決しようとする課題】上述の図14に示した
画像情報変換装置により、MPEG2画像圧縮情報(ビ
ットストリーム)をMPEG4画像圧縮情報(ビットス
トリーム)に変換できることになる。
画像情報変換装置により、MPEG2画像圧縮情報(ビ
ットストリーム)をMPEG4画像圧縮情報(ビットス
トリーム)に変換できることになる。
【0066】しかしながら、当該図14に示した画像情
報変換装置では、MPEG2画像情報復号化部(I/P
ピクチャ)113における演算処理量が増大し、また、
画像情報を格納するビデオメモリ(110)容量が大き
くなり、したがって例えば専用のLSIにて実現する際
には安価な装置を構成する妨げとなり、また例えば汎用
のプロセッサにて実現する際にはリアルタイムに動作す
る妨げとなる。
報変換装置では、MPEG2画像情報復号化部(I/P
ピクチャ)113における演算処理量が増大し、また、
画像情報を格納するビデオメモリ(110)容量が大き
くなり、したがって例えば専用のLSIにて実現する際
には安価な装置を構成する妨げとなり、また例えば汎用
のプロセッサにて実現する際にはリアルタイムに動作す
る妨げとなる。
【0067】そこで、本発明は、このような実情に鑑み
てなされたものであり、例えば飛び越し走査のMPEG
2画像圧縮情報(ビットストリーム)を、例えば順次走
査のMPEG4画像圧縮情報(ビットストリーム)に変
換することを、安価で且つリアルタイムに実現可能とす
る画像情報変換装置及び方法を提供することを目的とす
る。
てなされたものであり、例えば飛び越し走査のMPEG
2画像圧縮情報(ビットストリーム)を、例えば順次走
査のMPEG4画像圧縮情報(ビットストリーム)に変
換することを、安価で且つリアルタイムに実現可能とす
る画像情報変換装置及び方法を提供することを目的とす
る。
【0068】
【課題を解決するための手段】本発明の画像情報変換装
置は、直交変換処理及び動き補償処理により圧縮され
た、飛び越し走査の第1の画像圧縮情報を、第1の画像
圧縮情報よりも高圧縮率となる、順次走査の第2の画像
圧縮情報に変換して出力する画像情報変換装置であり、
上記第1の画像圧縮情報における垂直及び水平方向共に
n次の直交変換係数のうち、低域のm(m<n)次の直
交変換係数のみを用いた復号処理を行って上記第1の画
像圧縮情報の復号処理を行う第1の画像情報復号化手段
と、上記第1の画像情報復号手段から出力された飛び越
し走査の情報を順次走査の情報に変換する走査変換手段
と、上記走査変換後の情報から第2の画像圧縮情報を生
成する第2の画像情報符号化手段とを有することによ
り、上述した課題を解決する。
置は、直交変換処理及び動き補償処理により圧縮され
た、飛び越し走査の第1の画像圧縮情報を、第1の画像
圧縮情報よりも高圧縮率となる、順次走査の第2の画像
圧縮情報に変換して出力する画像情報変換装置であり、
上記第1の画像圧縮情報における垂直及び水平方向共に
n次の直交変換係数のうち、低域のm(m<n)次の直
交変換係数のみを用いた復号処理を行って上記第1の画
像圧縮情報の復号処理を行う第1の画像情報復号化手段
と、上記第1の画像情報復号手段から出力された飛び越
し走査の情報を順次走査の情報に変換する走査変換手段
と、上記走査変換後の情報から第2の画像圧縮情報を生
成する第2の画像情報符号化手段とを有することによ
り、上述した課題を解決する。
【0069】なお、本発明の画像情報変換装置におい
て、上記第1の画像圧縮情報は垂直及び水平方向ともに
8次の離散コサイン変換係数からなるMPEG2画像圧
縮情報であり、上記第1の画像情報復号化手段は上記垂
直及び水平方向共に8次の離散コサイン変換係数のう
ち、低域の4次係数の情報のみを用いたMPEG2復号
処理を行うMPEG2画像情報復号化手段であり、上記
第2の画像情報符号化手段は上記走査変換後の情報から
MPEG4画像圧縮情報を生成するMPEG4画像情報
符号化手段である。
て、上記第1の画像圧縮情報は垂直及び水平方向ともに
8次の離散コサイン変換係数からなるMPEG2画像圧
縮情報であり、上記第1の画像情報復号化手段は上記垂
直及び水平方向共に8次の離散コサイン変換係数のう
ち、低域の4次係数の情報のみを用いたMPEG2復号
処理を行うMPEG2画像情報復号化手段であり、上記
第2の画像情報符号化手段は上記走査変換後の情報から
MPEG4画像圧縮情報を生成するMPEG4画像情報
符号化手段である。
【0070】また、本発明の画像情報変換方法は、直交
変換処理及び動き補償処理により圧縮された、飛び越し
走査の第1の画像圧縮情報を、第1の画像圧縮情報より
も高圧縮率となる、順次走査の第2の画像圧縮情報に変
換して出力する画像情報変換方法であり、上記第1の画
像圧縮情報における垂直及び水平方向共にn次の直交変
換係数のうち、低域のm(m<n)次の直交変換係数の
みを用いた復号処理を行って上記第1の画像圧縮情報の
復号処理を行い、上記第1の画像情報の復号処理後の飛
び越し走査の情報を順次走査の情報に変換し、上記走査
変換後の情報から第2の画像圧縮情報を生成することに
より、上述した課題を解決する。
変換処理及び動き補償処理により圧縮された、飛び越し
走査の第1の画像圧縮情報を、第1の画像圧縮情報より
も高圧縮率となる、順次走査の第2の画像圧縮情報に変
換して出力する画像情報変換方法であり、上記第1の画
像圧縮情報における垂直及び水平方向共にn次の直交変
換係数のうち、低域のm(m<n)次の直交変換係数の
みを用いた復号処理を行って上記第1の画像圧縮情報の
復号処理を行い、上記第1の画像情報の復号処理後の飛
び越し走査の情報を順次走査の情報に変換し、上記走査
変換後の情報から第2の画像圧縮情報を生成することに
より、上述した課題を解決する。
【0071】なお、本発明の画像情報変換方法におい
て、上記第1の画像圧縮情報は垂直及び水平方向ともに
8次の離散コサイン変換係数からなるMPEG2画像圧
縮情報であり、上記第1の画像情報の復号処理の際に
は、上記垂直及び水平方向共に8次の離散コサイン変換
係数のうち、低域の4次係数の情報のみを用いたMPE
G2復号処理を行い、上記第2の画像情報の符号化処理
の際には、上記走査変換後の情報からMPEG4画像圧
縮情報を生成する。
て、上記第1の画像圧縮情報は垂直及び水平方向ともに
8次の離散コサイン変換係数からなるMPEG2画像圧
縮情報であり、上記第1の画像情報の復号処理の際に
は、上記垂直及び水平方向共に8次の離散コサイン変換
係数のうち、低域の4次係数の情報のみを用いたMPE
G2復号処理を行い、上記第2の画像情報の符号化処理
の際には、上記走査変換後の情報からMPEG4画像圧
縮情報を生成する。
【0072】また、本発明の画像情報変換装置及び方法
では、飛び越し走査のMPEG2画像圧縮情報における
各フレームデータの符号化タイプを判別し、当該判別結
果の基づいて、画像内符号化画像/前方予測符号化画像
に関するフレームデータのみ出力し、両方向予測符号化
画像に関するフレームデータを破棄することによりフレ
ームレートの変換を行う。
では、飛び越し走査のMPEG2画像圧縮情報における
各フレームデータの符号化タイプを判別し、当該判別結
果の基づいて、画像内符号化画像/前方予測符号化画像
に関するフレームデータのみ出力し、両方向予測符号化
画像に関するフレームデータを破棄することによりフレ
ームレートの変換を行う。
【0073】すなわち、本発明によれば、入力となるM
PEG2画像圧縮情報(ビットストリーム)内で、I/
Pピクチャに関するものだけ残してBピクチャに関する
ものは廃棄することでフレームレートの変換を行い、そ
のフレームレート変換後のI/Pピクチャに関する情報
を、水平方向及び垂直方向ともに8次のDCT係数のう
ち低域4次係数の情報のみを用いて部分復号を行う。そ
の後、MPEG2画像情報復号化後の出力となる画素値
のうち、第一フィールド若しくは第二フィールドのデー
タのみを残して残りを廃棄し、さらに、当該垂直方向に
2倍補間を行うことで順次走査へ変換し、この順次走査
変換後の出力をMPEG4画像圧縮情報(ビットストリ
ーム)に符号化する。また、本発明では、MPEG2画
像情報の復号化の際に検出された、入力となる画像圧縮
情報(ビットストリーム)内の動きベクトル値を元に、
走査変換後の画像データに対する動きベクトル値にマッ
ピングを行い、さらに、その動きベクトル値を元に高精
度の動きベクトル検出を行う。
PEG2画像圧縮情報(ビットストリーム)内で、I/
Pピクチャに関するものだけ残してBピクチャに関する
ものは廃棄することでフレームレートの変換を行い、そ
のフレームレート変換後のI/Pピクチャに関する情報
を、水平方向及び垂直方向ともに8次のDCT係数のう
ち低域4次係数の情報のみを用いて部分復号を行う。そ
の後、MPEG2画像情報復号化後の出力となる画素値
のうち、第一フィールド若しくは第二フィールドのデー
タのみを残して残りを廃棄し、さらに、当該垂直方向に
2倍補間を行うことで順次走査へ変換し、この順次走査
変換後の出力をMPEG4画像圧縮情報(ビットストリ
ーム)に符号化する。また、本発明では、MPEG2画
像情報の復号化の際に検出された、入力となる画像圧縮
情報(ビットストリーム)内の動きベクトル値を元に、
走査変換後の画像データに対する動きベクトル値にマッ
ピングを行い、さらに、その動きベクトル値を元に高精
度の動きベクトル検出を行う。
【0074】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。
態について、図面を参照しながら説明する。
【0075】図1には、本発明実施の形態の画像情報変
換装置の概略構成を示す。
換装置の概略構成を示す。
【0076】この図1において、入力となる飛び越し走
査のMPEG2画像圧縮情報(ビットストリーム)は、
先ずピクチャタイプ判別部18に入力する。
査のMPEG2画像圧縮情報(ビットストリーム)は、
先ずピクチャタイプ判別部18に入力する。
【0077】当該ピクチャタイプ判別部18は、I/P
ピクチャに関する情報については出力してMPEG2画
像情報復号化部(I/Pピクチャ4×4ダウンデコー
ダ)19へ送るが、Bピクチャに関する情報については
破棄する。これにより、フレームレートの変換が行われ
る。
ピクチャに関する情報については出力してMPEG2画
像情報復号化部(I/Pピクチャ4×4ダウンデコー
ダ)19へ送るが、Bピクチャに関する情報については
破棄する。これにより、フレームレートの変換が行われ
る。
【0078】MPEG2画像情報復号化部(I/Pピク
チャ4×4ダウンデコーダ)19は、図4に示した装置
と同等であるが、Bピクチャに関する情報は前段のピク
チャタイプ判別部18において既に破棄されているた
め、その機能としてはI/Pピクチャに関する情報のみ
の復号化処理を行えるものであれば良い。また本実施の
形態の場合、MPEG2画像情報復号化部(I/Pピク
チャ4×8ダウンデコーダ)19は、図4に示した画像
情報復号化装置のように、水平方向、垂直方向ともに低
域4次係数の情報(DCT係数)のみを用いた復号化処
理を行うようになされている。これにより、当該図1の
MPEG2画像情報復号化部(I/Pピクチャ4×4ダ
ウンデコーダ)19で必要とされるビデオメモリの容量
は、前述した図14におけるMPEG2画像情報復号化
部(I/Pピクチャ)113を用いた場合の1/4で良
く、また、逆離散コサイン変換に要する処理量もフィー
ルドDCTモードの場合には1/4、フレームDCTモ
ードの場合には1/2で良い。さらに、フレームDCT
モードの際、図2に示すように、4×8次の離散コサイ
ン変換係数の一部を0と置き換えることで、画質を殆ど
劣化させることなく、演算量を削減することが可能であ
る。
チャ4×4ダウンデコーダ)19は、図4に示した装置
と同等であるが、Bピクチャに関する情報は前段のピク
チャタイプ判別部18において既に破棄されているた
め、その機能としてはI/Pピクチャに関する情報のみ
の復号化処理を行えるものであれば良い。また本実施の
形態の場合、MPEG2画像情報復号化部(I/Pピク
チャ4×8ダウンデコーダ)19は、図4に示した画像
情報復号化装置のように、水平方向、垂直方向ともに低
域4次係数の情報(DCT係数)のみを用いた復号化処
理を行うようになされている。これにより、当該図1の
MPEG2画像情報復号化部(I/Pピクチャ4×4ダ
ウンデコーダ)19で必要とされるビデオメモリの容量
は、前述した図14におけるMPEG2画像情報復号化
部(I/Pピクチャ)113を用いた場合の1/4で良
く、また、逆離散コサイン変換に要する処理量もフィー
ルドDCTモードの場合には1/4、フレームDCTモ
ードの場合には1/2で良い。さらに、フレームDCT
モードの際、図2に示すように、4×8次の離散コサイ
ン変換係数の一部を0と置き換えることで、画質を殆ど
劣化させることなく、演算量を削減することが可能であ
る。
【0079】MPEG2画像情報復号化部(I/Pピク
チャ4×4ダウンデコーダ)19の出力となる飛び越し
走査の画素データは、走査変換部20に入力する。当該
走査変換部20では、先ず、第一フィールド若しくは第
二フィールドのうち一方のみを残し、もう一方を破棄
し、次に、フィールド内で2倍補間を行うことで、上記
飛び越し走査の画素データを順次走査の画素データへ変
換して出力する。その動作原理を図3に示す。すなわち
この図3において、走査変換部20は、図3の(A)及
び(B)に示すように、第一フィールド若しくは第二フ
ィールドの各画素gaのうち一方のみを残し、もう一方
を破棄(図3の例では第二フィールドの画素を破棄)
し、次に、図3の(C)に示すように、残ったフィール
ド(第一のフィールド)内で2倍補間を行って補間画素
gcを生成することで、上記飛び越し走査の画素データ
を順次走査の画素データへ変換して出力する。
チャ4×4ダウンデコーダ)19の出力となる飛び越し
走査の画素データは、走査変換部20に入力する。当該
走査変換部20では、先ず、第一フィールド若しくは第
二フィールドのうち一方のみを残し、もう一方を破棄
し、次に、フィールド内で2倍補間を行うことで、上記
飛び越し走査の画素データを順次走査の画素データへ変
換して出力する。その動作原理を図3に示す。すなわち
この図3において、走査変換部20は、図3の(A)及
び(B)に示すように、第一フィールド若しくは第二フ
ィールドの各画素gaのうち一方のみを残し、もう一方
を破棄(図3の例では第二フィールドの画素を破棄)
し、次に、図3の(C)に示すように、残ったフィール
ド(第一のフィールド)内で2倍補間を行って補間画素
gcを生成することで、上記飛び越し走査の画素データ
を順次走査の画素データへ変換して出力する。
【0080】この順次走査の画素データは、MPEG4
画像情報符号化部(I/P−VOP)21に入力する。
当該MPEG4画像情報符号化部(I/P−VOP)2
1では、入力した順次走査画像の信号を符号化してMP
EG4画像圧縮情報(ビットストリーム)を生成して出
力する。
画像情報符号化部(I/P−VOP)21に入力する。
当該MPEG4画像情報符号化部(I/P−VOP)2
1では、入力した順次走査画像の信号を符号化してMP
EG4画像圧縮情報(ビットストリーム)を生成して出
力する。
【0081】また、MPEG2画像情報復号化部(I/
Pピクチャ4×4ダウンデコーダ)19において検出さ
れる、入力となるMPEG2画像圧縮情報(ビットスト
リーム)中の動きベクトル情報は、動きベクトル合成部
22に入力され、ここで走査変換後の順次走査画像にお
ける動きベクトル値にマッピングされる。さらに、動き
ベクトル検出部23においては、動きベクトル合成部2
2の出力となる走査変換後の順次走査画像における動き
ベクトル値を元に高精度の動き検出を行う。
Pピクチャ4×4ダウンデコーダ)19において検出さ
れる、入力となるMPEG2画像圧縮情報(ビットスト
リーム)中の動きベクトル情報は、動きベクトル合成部
22に入力され、ここで走査変換後の順次走査画像にお
ける動きベクトル値にマッピングされる。さらに、動き
ベクトル検出部23においては、動きベクトル合成部2
2の出力となる走査変換後の順次走査画像における動き
ベクトル値を元に高精度の動き検出を行う。
【0082】以上説明したように、本実施の形態の画像
情報変換装置においては、飛び越し走査のMPEG2画
像圧縮情報について、水平方向、垂直方向共に低域の4
次係数の情報のみを用いて復号処理し、当該復号処理後
に飛び越し走査から順次走査へ変換し、その走査変換後
の出力からMPEG4画像圧縮情報を生成することによ
り、入力された飛び越し走査のMPEG2画像圧縮情報
(ビットストリーム)を、順次走査のMPEG4画像圧
縮情報(ビットストリーム)に変換することを、安価で
且つリアルタイムに実現可能となっている。
情報変換装置においては、飛び越し走査のMPEG2画
像圧縮情報について、水平方向、垂直方向共に低域の4
次係数の情報のみを用いて復号処理し、当該復号処理後
に飛び越し走査から順次走査へ変換し、その走査変換後
の出力からMPEG4画像圧縮情報を生成することによ
り、入力された飛び越し走査のMPEG2画像圧縮情報
(ビットストリーム)を、順次走査のMPEG4画像圧
縮情報(ビットストリーム)に変換することを、安価で
且つリアルタイムに実現可能となっている。
【0083】なお、以上の説明では、入力としてMPE
G2画像圧縮情報(ビットストリーム)を例に挙げ、出
力としてMPEG4画像圧縮情報(ビットストリーム)
を例に挙げているが、本発明は、入力、出力ともこれら
に限らず、例えばMPEG1やH.263などの画像圧
縮情報(ビットストリーム)であっても良く、これらの
画像情報についても変換が可能である。
G2画像圧縮情報(ビットストリーム)を例に挙げ、出
力としてMPEG4画像圧縮情報(ビットストリーム)
を例に挙げているが、本発明は、入力、出力ともこれら
に限らず、例えばMPEG1やH.263などの画像圧
縮情報(ビットストリーム)であっても良く、これらの
画像情報についても変換が可能である。
【0084】
【発明の効果】以上の説明からも明らかなように、本発
明においては、水平方向、垂直方向共にn次の直交変換
係数のうちの低域のm(m<n)次の直交変換係数のみ
を用いた復号処理を行って第1の画像圧縮情報の復号処
理を行い、その後飛び越し走査の情報を順次走査の情報
に変換し、さらに第2の画像圧縮情報を生成することに
より、例えば飛び越し走査のMPEG2画像圧縮情報
(ビットストリーム)を、順次走査のMPEG4画像圧
縮情報(ビットストリーム)に変換することを、より少
ない演算処理量とビデオメモリ容量を用いた回路構成に
より安価に実現し、また、リアルタイムな画像情報変換
を実現している。
明においては、水平方向、垂直方向共にn次の直交変換
係数のうちの低域のm(m<n)次の直交変換係数のみ
を用いた復号処理を行って第1の画像圧縮情報の復号処
理を行い、その後飛び越し走査の情報を順次走査の情報
に変換し、さらに第2の画像圧縮情報を生成することに
より、例えば飛び越し走査のMPEG2画像圧縮情報
(ビットストリーム)を、順次走査のMPEG4画像圧
縮情報(ビットストリーム)に変換することを、より少
ない演算処理量とビデオメモリ容量を用いた回路構成に
より安価に実現し、また、リアルタイムな画像情報変換
を実現している。
【図1】本発明実施の形態の画像情報変換装置の概略構
成を示すブロック回路図である。
成を示すブロック回路図である。
【図2】本実施の形態の画像情報変換装置の、入力とな
る画像圧縮情報(ビットストリーム)のマクロブロック
がフレームDCTモードである場合の処理量削減を実現
する手法例の説明に用いる図である。
る画像圧縮情報(ビットストリーム)のマクロブロック
がフレームDCTモードである場合の処理量削減を実現
する手法例の説明に用いる図である。
【図3】本実施の形態の画像情報変換装置の走査変換装
置における動作原理の説明に用いる図である。
置における動作原理の説明に用いる図である。
【図4】垂直方向及び水平方向共に4次の低域情報のみ
を用いて復号処理を行うようにした、画像情報復号化装
置(4×4ダウンデコーダ)の構成例を示すブロック回
路図である。
を用いて復号処理を行うようにした、画像情報復号化装
置(4×4ダウンデコーダ)の構成例を示すブロック回
路図である。
【図5】図4に示した装置において、入力となるMPE
G2画像圧縮情報(ビットストリーム)がジグザグスキ
ャンである場合の可変長復号化部における動作原理の説
明に用いる図である。
G2画像圧縮情報(ビットストリーム)がジグザグスキ
ャンである場合の可変長復号化部における動作原理の説
明に用いる図である。
【図6】図4に示した装置において、入力となるMPE
G2画像圧縮情報(ビットストリーム)がオルタネート
スキャンである場合の可変長復号化部における動作原理
の説明に用いる図である。
G2画像圧縮情報(ビットストリーム)がオルタネート
スキャンである場合の可変長復号化部における動作原理
の説明に用いる図である。
【図7】図4の装置のビデオメモリ内における画素の位
相の説明に用いる図である。
相の説明に用いる図である。
【図8】図4の装置の縮小逆離散コサイン変換部(フィ
ールド分離)における動作原理の説明に用いる図であ
る。
ールド分離)における動作原理の説明に用いる図であ
る。
【図9】図4の装置の縮小逆離散コサイン変換部(4×
4)における動作を高速アルゴリズムを用いて実現する
場合の構成例を示す図である。
4)における動作を高速アルゴリズムを用いて実現する
場合の構成例を示す図である。
【図10】図4の装置の縮小逆離散コサイン変換部(フ
ィールド分離)における動作を高速アルゴリズムを用い
て実現する場合の構成例を示す図である。
ィールド分離)における動作を高速アルゴリズムを用い
て実現する場合の構成例を示す図である。
【図11】図4の装置の動き補償部(フィールド予測)
における動作原理の説明に用いる図である。
における動作原理の説明に用いる図である。
【図12】図4の装置の動き補償部(フレーム予測)に
おける動作原理の説明に用いる図である。
おける動作原理の説明に用いる図である。
【図13】図4の装置の動き補償部(フィールド予測)
及び動き榛償部(フレーム予測)におけるミラー処理と
ホールド処理の説明に用いる図である。
及び動き榛償部(フレーム予測)におけるミラー処理と
ホールド処理の説明に用いる図である。
【図14】MPEG2画像圧縮情報(ビットストリー
ム)を入力とし、MPEG4画像圧縮情報(ビットスト
リーム)を出力する画像情報変換装置(トランスコー
ダ)の従来の構成例を示すブロック回路図である。
ム)を入力とし、MPEG4画像圧縮情報(ビットスト
リーム)を出力する画像情報変換装置(トランスコー
ダ)の従来の構成例を示すブロック回路図である。
18 ピクチャタイプ判別部、 19 MPEG2画像
情報復号化部(I/Pピクチャ4×4ダウンデコー
ダ)、 20 走査変換部、 21 MPEG4画像情
報符号化部(I/P−VOP)、 22 動きベクトル
合成部、 23 動きベクトル検出部
情報復号化部(I/Pピクチャ4×4ダウンデコー
ダ)、 20 走査変換部、 21 MPEG4画像情
報符号化部(I/P−VOP)、 22 動きベクトル
合成部、 23 動きベクトル検出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ズー イーウェン 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 鈴木 輝彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 矢ヶ崎 陽一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK08 LA07 LB07 LB13 LB18 MA00 MA23 MC21 MC38 ME01 NN01 PP05 PP06 PP07 SS01 SS11 TA07 TA25 TB04 TC24 UA02 UA05 UA11 UA33 5J064 AA02 BA09 BA13 BA16 BB03 BB04 BB10 BC02 BC12 BC14 BD02
Claims (44)
- 【請求項1】 直交変換処理及び動き補償処理により圧
縮された、飛び越し走査の第1の画像圧縮情報を、上記
第1の画像圧縮情報よりも高圧縮率となる、順次走査の
第2の画像圧縮情報に変換して出力する画像情報変換装
置において、 上記第1の画像圧縮情報における垂直及び水平方向共に
n次の直交変換係数のうち、低域のm(m<n)次の直
交変換係数のみを用いた復号処理を行って、上記第1の
画像圧縮情報の復号処理を行う第1の画像情報復号化手
段と、 上記第1の画像情報復号手段から出力された飛び越し走
査の情報を順次走査の情報に変換する走査変換手段と、 上記走査変換後の情報から第2の画像圧縮情報を生成す
る第2の画像情報符号化手段とを有することを特徴とす
る画像情報変換装置。 - 【請求項2】 上記第1の画像圧縮情報は、垂直及び水
平方向ともに8次の離散コサイン変換係数からなるMP
EG2画像圧縮情報であり、 上記第1の画像情報復号化手段は、上記垂直及び水平方
向共に8次の離散コサイン変換係数のうち、低域の4次
係数の情報のみを用いたMPEG2復号処理を行うMP
EG2画像情報復号化手段であり、 上記第2の画像情報符号化手段は、上記走査変換後の情
報からMPEG4画像圧縮情報を生成するMPEG4画
像情報符号化手段であることを特徴とする請求項1記載
の画像情報変換装置。 - 【請求項3】 上記飛び越し走査のMPEG2画像圧縮
情報における各フレームの符号化タイプを判別し、当該
判別結果の基づいて、画像内符号化画像/前方予測符号
化画像に関する情報のみ出力し、両方向予測符号化画像
に関する情報を破棄することによってフレームレートの
変換を行うピクチャタイプ判別手段を設け、 当該ピクチャタイプ判別手段の出力を上記MPEG2画
像情報復号化手段に入力することを特徴とする請求項2
記載の画像情報変換装置。 - 【請求項4】 上記MPEG2画像情報復号化手段は、
画像内符号化画像/前方予測符号化画像のみの復号処理
を行う機能を有することを特徴とする請求項3記載の画
像情報変換装置。 - 【請求項5】 上記MPEG2画像情報復号化手段は可
変長復号化手段を備え、当該可変長復号化手段は、入力
となるMPEG2画像圧縮情報のマクロブロックがフィ
ールド離散コサイン変換モードであるかフレーム離散コ
サイン変換モードであるかに応じて、後段の逆離散コサ
イン変換時に必要とされる離散コサイン変換係数のみを
可変長復号することを特徴とする請求項2記載の画像情
報変換装置。 - 【請求項6】 上記MPEG2画像情報復号化手段は、
フィールド離散コサイン変換モードに対応する縮小逆離
散コサイン変換手段を備え、当該フィールド離散コサイ
ン変換モードに対応する縮小逆離散コサイン変換手段
は、垂直及び水平方向ともに、8次の離散コサイン変換
係数のうち低域4次係数のみを取り出し、当該低域4次
係数に4次の逆離散コサイン変換を施すことを特徴とす
る請求項2記載の画像情報変換装置。 - 【請求項7】 上記水平方向、垂直方向ともに、所定の
高速アルゴリズムに基づく手法により逆離散コサイン変
換を実行することを特徴とする請求項6記載の画像情報
変換装置。 - 【請求項8】 上記MPEG2画像情報復号化手段は、
フレーム離散コサイン変換モードに対応する縮小逆離散
コサイン変換手段を備え、当該フレーム離散コサイン変
換モードに対応する縮小逆離散コサイン変換手段は、水
平方向については上記8次の離散コサイン変換係数のう
ち低域4次係数のみを取り出し、当該低域4次係数に4
次の逆離散コサイン変換を施し、垂直方向についてはフ
ィールド分離型の縮小逆離散コサイン変換を施すことを
特徴とする請求項2記載の画像情報変換装置。 - 【請求項9】 上記水平方向、垂直方向ともに、所定の
高速アルゴリズムに基づく手法により逆離散コサイン変
換を実行することを特徴とする請求項8記載の画像情報
変換装置。 - 【請求項10】 上記フレーム離散コサイン変換モード
に対応する縮小逆離散コサイン変換手段は、上記フィー
ルド分離型の縮小逆離散コサイン変換を行う際の入力と
なる4×8次の離散コサイン変換係数のうち、4×4+
4×2次の係数のみを用い、残りを0として逆離散コサ
イン変換を行うことを特徴とする請求項8記載の画像情
報変換装置。 - 【請求項11】 MPEG2画像情報復号化手段は、動
き補償手段を備え、当該動き補償手段は、水平及び垂直
方向ともに、入力となるMPEG2画像圧縮情報中の動
きベクトルの値に応じて1/4画素精度の補間処理を行
うことを特徴とする請求項2記載の画像情報変換装置。 - 【請求項12】 上記動き補償手段は、水平方向の補間
処理として、先ず2倍補間のディジタルフィルタを用い
て1/2画素精度の補間を行い、次に線形内挿により1
/4画素精度の補間を行うことを特徴とする請求項11
記載の画像情報変換装置。 - 【請求項13】 上記動き補償手段は、入力となるMP
EG2画像圧縮情報中のマクロブロックがフィールド予
測モードのとき、垂直方向の補間処理として、先ず2倍
補間のデイジタルフィルタを用いて1/2画素精度の補
間をフィールド内で行い、次に線形内挿により1/4画
素精度の補間をフィールド内で行うことを特徴とする請
求項11記載の画像情報変換装置。 - 【請求項14】 上記動き補償手段は、入力となるMP
EG2画像圧縮情報中のマクロブロックがフレーム予測
モードのとき、垂直方向の補間処理として、先ず2倍補
間のディジタルフィルタを用いて1/2画素精度の補間
をフィールド内で行い、次に線形内挿により1/4画素
精度の補間をフィールド間で行うことを特徴とする請求
項11記載の画像情報変換装置。 - 【請求項15】 上記動き補償手段は、上記2倍補間の
デイジタルフィルタとしてハーフバンドフィルタを用い
ることを特徴とする請求項11記載の画像情報変換装
置。 - 【請求項16】 上記MPEG2画像情報復号化手段は
画素値を格納する格納手段を有し、 上記動き補償手段は、一連の補間処理と等価な係数を予
め算出しておき、入力となるMPEG2画像圧縮情報に
おける動きベクトルの値に応じ、上記格納手段より取り
出された画素値に当該係数を用いた動き補償処理を施す
ことを特徴とする請求項11記載の画像惰報変換装置。 - 【請求項17】 上記動き補償手段は、2倍補間を行う
ために画枠の外に存在する画素値が必要となるとき、ミ
ラー処理若しくはホールド処理によって、フィルタのタ
ップ数に応じた必要な分の画素値を仮想的に作り出して
動き補償処理を行うことを特徴とする請求項11記載の
画像情報変換装置。 - 【請求項18】 上記動く補償手段は、垂直方向のミラ
ー処理若しくはホールド処理をフィールド単位で行うこ
とを特徴とする請求項17記載の画像情報変換装置。 - 【請求項19】 上記走査変換手段は、MPEG2画像
情報復号化手段の出力となる飛び越し走査の画像情報の
うち、第一フィールド若しくは第二フィールドのどちら
か一方を保存してもう一方を廃棄し、残された画素値を
2倍にアップサンプリングすることで、飛び越し走査か
ら順次走査への変換を行うことを特徴とする請求項2記
載の画像情報変換装置。 - 【請求項20】 上記MPEG4画像情報符号化手段
は、画像内符号化画像/前方予測符号化画像のオブジェ
クトを囲む1つまたは複数のマクロブロックから構成さ
れる領域のみを符号化する機能を有することを特徴とす
る請求項2記載の画像情報変換装置。 - 【請求項21】 入力となるMPEG2画像圧縮情報内
の動きベクトル情報を元に、走査変換後の画素データに
対応した動きベクトル値を合成する動きベクトル合成手
段を備えることを特徴とする請求項2記載の画像情報変
換装置。 - 【請求項22】 上記動きベクトル合成手段において生
成された動きベクトル値を元に高精度の動きベクトル検
出を行う動きベクトル検出手段を備えることを特徴とす
る請求項21記載の画像情報変換装置。 - 【請求項23】 直交変換処理及び動き補償処理により
圧縮された、飛び越し走査の第1の画像圧縮情報を、上
記第1の画像圧縮情報よりも高圧縮率となる、順次走査
の第2の画像圧縮情報に変換して出力する画像情報変換
方法において、上記第1の画像圧縮情報における垂直及
び水平方向共にn次の直交変換係数のうち、低域のm
(m<n)次の直交変換係数のみを用いた復号処理を行
って、上記第1の画像圧縮情報の復号処理を行い、 上記第1の画像情報の復号処理後の飛び越し走査の情報
を順次走査の情報に変換し、 上記走査変換後の情報から第2の画像圧縮情報を生成す
ることを特徴とする画像情報変換方法。 - 【請求項24】 上記第1の画像圧縮情報は、垂直及び
水平方向ともに8次の離散コサイン変換係数からなるM
PEG2画像圧縮情報であり、 上記第1の画像情報の復号処理の際には、上記垂直及び
水平方向共に8次の離散コサイン変換係数のうち、低域
の4次係数の情報のみを用いたMPEG2復号処理を行
い、 上記第2の画像情報の符号化処理の際には、上記走査変
換後の情報からMPEG4画像圧縮情報を生成すること
を特徴とする請求項23記載の画像情報変換方法。 - 【請求項25】 上記飛び越し走査のMPEG2画像圧
縮情報における各フレームの符号化タイプを判別し、 当該判別結果の基づいて、画像内符号化画像/前方予測
符号化画像に関する情報のみ出力し、両方向予測符号化
画像に関する情報を破棄することによってフレームレー
トの変換を行い、 当該フレームレート変換後の出力から上記MPEG4画
像情報を生成することを特徴とする請求項24記載の画
像情報変換方法。 - 【請求項26】 上記MPEG2画像情報の復号化の際
には、画像内符号化画像/前方予測符号化画像のみの復
号処理を行う機能を有することを特徴とする請求項25
記載の画像情報変換方法。 - 【請求項27】 上記MPEG2画像情報の復号化の際
の可変長復号化では、入力となるMPEG2画像圧縮情
報のマクロブロックがフィールド離散コサイン変換モー
ドであるかフレーム離散コサイン変換モードであるかに
応じて、後段の逆離散コサイン変換時に必要とされる離
散コサイン変換係数のみを可変長復号することを特徴と
する請求項24記載の画像情報変換方法。 - 【請求項28】 上記MPEG2画像情報の復号化の際
には、フィールド離散コサイン変換モードに対応する縮
小逆離散コサイン変換として、垂直及び水平方向とも
に、8次の離散コサイン変換係数のうち低域4次係数の
みを取り出し、当該低域4次係数に4次の逆離散コサイ
ン変換を施すことを特徴とする請求項24記載の画像情
報変換方法。 - 【請求項29】 上記水平方向、垂直方向ともに、所定
の高速アルゴリズムに基づく手法により逆離散コサイン
変換を実行することを特徴とする請求項28記載の画像
情報変換方法。 - 【請求項30】 上記MPEG2画像情報の復号化の際
には、フレーム離散コサイン変換モードに対応する縮小
逆離散コサイン変換として、水平方向については上記8
次の離散コサイン変換係数のうち低域4次係数のみを取
り出し、当該低域4次係数に4次の逆離散コサイン変換
を施し、垂直方向についてはフィールド分離型の縮小逆
離散コサイン変換を施すことを特徴とする請求項24記
載の画像情報変換方法。 - 【請求項31】 上記水平方向、垂直方向ともに、所定
の高速アルゴリズムに基づく手法により逆離散コサイン
変換を実行することを特徴とする請求項30記載の画像
情報変換方法。 - 【請求項32】 上記レーム離散コサイン変換モードに
対応する縮小逆離散コサイン変換の際には、入力となる
4×8次の離散コサイン変換係数のうち、4×4+4×
2次の係数のみを用い、残りを0として逆離散コサイン
変換を行うことを特徴とする請求項30記載の画像情報
変換方法。 - 【請求項33】 MPEG2画像情報の復号化の際の動
き補償では、水平及び垂直方向ともに、入力となるMP
EG2画像圧縮情報中の動きベクトルの値に応じて1/
4画素精度の補間処理を行うことを特徴とする請求項2
4記載の画像情報変換方法。 - 【請求項34】 上記動き補償の際には、水平方向の補
間処理として、先ず2倍補間のディジタルフィルタを用
いて1/2画素精度の補間を行い、次に線形内挿により
1/4画素精度の補間を行うことを特徴とする請求項3
3記載の画像情報変換方法。 - 【請求項35】 上記動き補償の際には、入力となるM
PEG2画像圧縮情報中のマクロブロックがフィールド
予測モードのとき、垂直方向の補間処理として、先ず2
倍補間のデイジタルフィルタを用いて1/2画素精度の
補間をフィールド内で行い、次に線形内挿により1/4
画素精度の補間をフィールド内で行うことを特徴とする
請求項33記載の画像情報変換方法。 - 【請求項36】 上記動き補償の際には、入力となるM
PEG2画像圧縮情報中のマクロブロックがフレーム予
測モードのとき、垂直方向の補間処理として、先ず2倍
補間のディジタルフィルタを用いて1/2画素精度の補
間をフィールド内で行い、次に線形内挿により1/4画
素精度の補間をフィールド間で行うことを特徴とする請
求項33記載の画像情報変換方法。 - 【請求項37】 上記動き補償の際には、上記2倍補間
のデイジタルフィルタとしてハーフバンドフィルタによ
る補間を行うことを特徴とする請求項33記載の画像情
報変換方法。 - 【請求項38】 上記MPEG2画像圧縮情報の復号処
理では画像値を格納し、上記動き補償の際には、一連の
補間処理と等価な係数を予め算出しておき、入力となる
MPEG2画像圧縮情報における動きベクトルの値に応
じ、上記格納した画素値に当該係数を用いた動き補償処
理を施すことを特徴とする請求項33記載の画像惰報変
換方法。 - 【請求項39】 上記動き補償の際に、2倍補間を行う
ために画枠の外に存在する画素値が必要となるとき、ミ
ラー処理若しくはホールド処理によって、フィルタのタ
ップ数に応じた必要な分の画素値を仮想的に作り出して
動き補償処理を行うことを特徴とする請求項33記載の
画像情報変換方法。 - 【請求項40】 上記動く補償の際には、垂直方向のミ
ラー処理若しくはホールド処理をフィールド単位で行う
ことを特徴とする請求項39記載の画像情報変換方法。 - 【請求項41】 上記走査変換の際には、MPEG2画
像情報の復号化後の出力となる飛び越し走査の画像情報
のうち、第一フィールド若しくは第二フィールドのどち
らか一方を保存してもう一方を廃棄し、残された画素値
を2倍にアップサンプリングすることで、飛び越し走査
から順次走査への変換を行うことを特徴とする請求項2
4記載の画像情報変換方法。 - 【請求項42】 上記MPEG4画像情報の符号化の際
には、画像内符号化画像/前方予測符号化画像のオブジ
ェクトを囲む1つまたは複数のマクロブロックから構成
される領域のみを符号化する機能を有することを特徴と
する請求項24記載の画像情報変換方法。 - 【請求項43】 入力となるMPEG2画像圧縮情報内
の動きベクトル情報を元に、走査変換後の画素データに
対応した動きベクトル値を合成することを特徴とする請
求項24記載の画像情報変換方法。 - 【請求項44】 上記合成された動きベクトル値を元に
高精度の動きベクトル検出を行うことを特徴とする請求
項43記載の画像情報変換方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000017828A JP2001204026A (ja) | 2000-01-21 | 2000-01-21 | 画像情報変換装置及び方法 |
US09/765,852 US7088775B2 (en) | 2000-01-21 | 2001-01-19 | Apparatus and method for converting image data |
US11/324,674 US20060109907A1 (en) | 2000-01-21 | 2006-01-03 | Apparatus and method for converting image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000017828A JP2001204026A (ja) | 2000-01-21 | 2000-01-21 | 画像情報変換装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001204026A true JP2001204026A (ja) | 2001-07-27 |
Family
ID=18544769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000017828A Pending JP2001204026A (ja) | 2000-01-21 | 2000-01-21 | 画像情報変換装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7088775B2 (ja) |
JP (1) | JP2001204026A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001095633A3 (en) * | 2000-06-09 | 2002-08-22 | Gen Instrument Corp | Video size conversion and transcoding from mpeg-2 to mpeg-4 |
US6934334B2 (en) | 2000-10-02 | 2005-08-23 | Kabushiki Kaisha Toshiba | Method of transcoding encoded video data and apparatus which transcodes encoded video data |
US7110451B2 (en) | 2002-06-11 | 2006-09-19 | Hitachi, Ltd. | Bitstream transcoder |
JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
US9544587B2 (en) | 2012-05-14 | 2017-01-10 | Google Technology Holdings LLC | Scalable video coding with enhanced base layer |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7012959B2 (en) * | 2000-05-25 | 2006-03-14 | Sony Corporation | Picture information conversion method and apparatus |
US20020116533A1 (en) * | 2001-02-20 | 2002-08-22 | Holliman Matthew J. | System for providing a multimedia peer-to-peer computing platform |
JP4457506B2 (ja) * | 2001-02-27 | 2010-04-28 | ソニー株式会社 | パケット化装置およびパケット化方法 |
JP2003087785A (ja) * | 2001-06-29 | 2003-03-20 | Toshiba Corp | 動画像符号化データの形式変換方法及び装置 |
JP2003116104A (ja) * | 2001-10-02 | 2003-04-18 | Sony Corp | 情報処理装置及び情報処理方法 |
JP3861698B2 (ja) * | 2002-01-23 | 2006-12-20 | ソニー株式会社 | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム |
KR100513736B1 (ko) * | 2002-12-05 | 2005-09-08 | 삼성전자주식회사 | 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템 |
JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
KR100695126B1 (ko) * | 2003-12-02 | 2007-03-14 | 삼성전자주식회사 | 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, afx부호화 방법 및 장치 |
JP4262139B2 (ja) * | 2004-06-01 | 2009-05-13 | キヤノン株式会社 | 信号処理装置 |
US7881384B2 (en) * | 2005-08-05 | 2011-02-01 | Lsi Corporation | Method and apparatus for H.264 to MPEG-2 video transcoding |
US8045618B2 (en) * | 2005-08-05 | 2011-10-25 | Lsi Corporation | Method and apparatus for MPEG-2 to VC-1 video transcoding |
US7912127B2 (en) * | 2005-08-05 | 2011-03-22 | Lsi Corporation | H.264 to VC-1 and VC-1 to H.264 transcoding |
US7903739B2 (en) * | 2005-08-05 | 2011-03-08 | Lsi Corporation | Method and apparatus for VC-1 to MPEG-2 video transcoding |
US8155194B2 (en) * | 2005-08-05 | 2012-04-10 | Lsi Corporation | Method and apparatus for MPEG-2 to H.264 video transcoding |
US8208540B2 (en) | 2005-08-05 | 2012-06-26 | Lsi Corporation | Video bitstream transcoding method and apparatus |
JP4908180B2 (ja) * | 2006-12-20 | 2012-04-04 | 株式会社東芝 | 動画像符号化装置 |
GB2447057A (en) * | 2007-02-28 | 2008-09-03 | Tandberg Television Asa | Picture encoding type detection. |
JP2009010492A (ja) * | 2007-06-26 | 2009-01-15 | Hitachi Ltd | 画像復号化装置及び画像変換回路 |
US8155184B2 (en) * | 2008-01-16 | 2012-04-10 | Sony Corporation | Video coding system using texture analysis and synthesis in a scalable coding framework |
JP2010258741A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US20140092992A1 (en) | 2012-09-30 | 2014-04-03 | Microsoft Corporation | Supplemental enhancement information including confidence level and mixed content information |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436665A (en) * | 1992-03-03 | 1995-07-25 | Kabushiki Kaisha Toshiba | Motion picture coding apparatus |
MY119560A (en) * | 1996-05-27 | 2005-06-30 | Nippon Telegraph & Telephone | Scheme for detecting captions in coded video data without decoding coded video data |
US6259734B1 (en) * | 1998-04-03 | 2001-07-10 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and data storage media |
JP4026238B2 (ja) * | 1998-07-23 | 2007-12-26 | ソニー株式会社 | 画像復号装置及び画像復号方法 |
JP2000059793A (ja) * | 1998-08-07 | 2000-02-25 | Sony Corp | 画像復号装置及び画像復号方法 |
JP2000175194A (ja) * | 1998-12-01 | 2000-06-23 | Sony Corp | 画像復号装置及び画像復号方法 |
-
2000
- 2000-01-21 JP JP2000017828A patent/JP2001204026A/ja active Pending
-
2001
- 2001-01-19 US US09/765,852 patent/US7088775B2/en not_active Expired - Fee Related
-
2006
- 2006-01-03 US US11/324,674 patent/US20060109907A1/en not_active Abandoned
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001095633A3 (en) * | 2000-06-09 | 2002-08-22 | Gen Instrument Corp | Video size conversion and transcoding from mpeg-2 to mpeg-4 |
US6934334B2 (en) | 2000-10-02 | 2005-08-23 | Kabushiki Kaisha Toshiba | Method of transcoding encoded video data and apparatus which transcodes encoded video data |
US7110451B2 (en) | 2002-06-11 | 2006-09-19 | Hitachi, Ltd. | Bitstream transcoder |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
JP2009532741A (ja) * | 2006-04-03 | 2009-09-10 | クゥアルコム・インコーポレイテッド | 顕微鏡スライド自動読み取りシステム |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
US9544587B2 (en) | 2012-05-14 | 2017-01-10 | Google Technology Holdings LLC | Scalable video coding with enhanced base layer |
Also Published As
Publication number | Publication date |
---|---|
US20010010706A1 (en) | 2001-08-02 |
US7088775B2 (en) | 2006-08-08 |
US20060109907A1 (en) | 2006-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001204026A (ja) | 画像情報変換装置及び方法 | |
US7555043B2 (en) | Image processing apparatus and method | |
JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
KR100370076B1 (ko) | 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법 | |
JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
JP2001285863A (ja) | 画像情報変換装置及び方法 | |
KR20090080452A (ko) | 영상 부호화/복호화 장치 및 방법 | |
JPH11243547A (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
JP4214562B2 (ja) | 復号装置 | |
JP2003348596A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2005532716A (ja) | 動画像符号化装置及び方法 | |
JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
JP2003348595A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2002152745A (ja) | 画像情報変換装置及び方法 | |
JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
JP2001204027A (ja) | 画像情報変換装置及び方法 | |
JPH10126794A (ja) | 動き予測フレーム間画像信号圧縮装置 | |
JP2001285875A (ja) | 画像情報変換装置及び方法 | |
JP2002034046A (ja) | 画像情報変換装置及び方法 | |
JP4161676B2 (ja) | 信号処理装置、その方法およびそのプログラム | |
JP2006054760A (ja) | 画像処理装置及び画像処理方法 | |
JP2002034041A (ja) | 画像情報変換装置及び方法 | |
JP2002051345A (ja) | 画像情報変換装置及び方法 | |
JP3937632B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2008512023A (ja) | 動き予測のための方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070626 |