JPH08314793A - メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置 - Google Patents
メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置Info
- Publication number
- JPH08314793A JPH08314793A JP7320179A JP32017995A JPH08314793A JP H08314793 A JPH08314793 A JP H08314793A JP 7320179 A JP7320179 A JP 7320179A JP 32017995 A JP32017995 A JP 32017995A JP H08314793 A JPH08314793 A JP H08314793A
- Authority
- JP
- Japan
- Prior art keywords
- image
- memory
- data
- processing
- memory access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000015654 memory Effects 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 134
- 239000004065 semiconductor Substances 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 claims description 113
- 238000010586 diagram Methods 0.000 description 21
- 238000013139 quantization Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 101150089655 Ins2 gene Proteins 0.000 description 1
- 101100072652 Xenopus laevis ins-b gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Dram (AREA)
- Image Input (AREA)
- Bus Control (AREA)
Abstract
(57)【要約】
【課題】 メモリアクセス制御方法および該方法を適用
した半導体集積回路および画像復号装置に関し、バッフ
ァメモリの容量やメモリバス幅といった回路規模の増大
および動作周波数の高速化を抑えて、効率の良いメモリ
システムを実現することを目的とする。 【解決手段】 メモリに対する複数のアクセスを、該各
アクセスの優先順位をその時の状態に応じて変更し、該
変更された優先順位に応じてメモリアクセスの調停およ
びスケジューリングを行って、特定のメモリアクセスへ
の集中や無効期間の発生等を防止するように構成する。
した半導体集積回路および画像復号装置に関し、バッフ
ァメモリの容量やメモリバス幅といった回路規模の増大
および動作周波数の高速化を抑えて、効率の良いメモリ
システムを実現することを目的とする。 【解決手段】 メモリに対する複数のアクセスを、該各
アクセスの優先順位をその時の状態に応じて変更し、該
変更された優先順位に応じてメモリアクセスの調停およ
びスケジューリングを行って、特定のメモリアクセスへ
の集中や無効期間の発生等を防止するように構成する。
Description
【0001】
【発明の属する技術分野】本発明はメモリアクセス制御
方法および該方法を適用した半導体集積回路および画像
復号装置に関し、特に、符号化された画像データを復号
してその表示を行う半導体集積回路および画像復号装置
に関する。近年、映像,音声および文字等の扱うデータ
を全てディジタル信号として処理するマルチメディア機
器が大きな注目を集めている。特に、映像(画像デー
タ)は、文字や音声に比してデータ量が膨大なものとな
るため、カラー動画像の圧縮および伸長技術(符号化お
よび復号化技術)はマルチメディアにとって必要不可欠
なものとなっている。
方法および該方法を適用した半導体集積回路および画像
復号装置に関し、特に、符号化された画像データを復号
してその表示を行う半導体集積回路および画像復号装置
に関する。近年、映像,音声および文字等の扱うデータ
を全てディジタル信号として処理するマルチメディア機
器が大きな注目を集めている。特に、映像(画像デー
タ)は、文字や音声に比してデータ量が膨大なものとな
るため、カラー動画像の圧縮および伸長技術(符号化お
よび復号化技術)はマルチメディアにとって必要不可欠
なものとなっている。
【0002】ところで、画像の復号には、高性能で大容
量のメモリを必要とし、符号データと画像データの2系
統のデータを記憶・管理しなければならない。そこで、
符号データと画像データを1つのメモリに格納し、必要
なメモリの量を削減することができる半導体集積回路お
よび画像復号装置の提供が要望されている。
量のメモリを必要とし、符号データと画像データの2系
統のデータを記憶・管理しなければならない。そこで、
符号データと画像データを1つのメモリに格納し、必要
なメモリの量を削減することができる半導体集積回路お
よび画像復号装置の提供が要望されている。
【0003】
【従来の技術】従来の画像復号装置は、符号データ(画
像圧縮された符号データ)および画像データ(符号デー
タを復号した画像データ)に対してそれぞれ別々のメモ
リを準備したり、高速なメモリデバイスを並列に接続し
て高いメモリバンド幅(データの転送能力)を確保して
時分割で符号データと画像データのメモリを共用するも
のが提案されている。さらに、従来の画像復号装置とし
て、メモリと画像復号用LSI(半導体集積回路)との
間に容量の大きなバッファメモリを入れることが考えら
れている。
像圧縮された符号データ)および画像データ(符号デー
タを復号した画像データ)に対してそれぞれ別々のメモ
リを準備したり、高速なメモリデバイスを並列に接続し
て高いメモリバンド幅(データの転送能力)を確保して
時分割で符号データと画像データのメモリを共用するも
のが提案されている。さらに、従来の画像復号装置とし
て、メモリと画像復号用LSI(半導体集積回路)との
間に容量の大きなバッファメモリを入れることが考えら
れている。
【0004】これら従来の画像復号装置(画像復号用L
SI)は、メモリデバイスの必要数の増加や動作周波数
の高速化を招き、画像復号装置を複雑なものにする要因
ともなっている。
SI)は、メモリデバイスの必要数の増加や動作周波数
の高速化を招き、画像復号装置を複雑なものにする要因
ともなっている。
【0005】
【発明が解決しようとする課題】上述したように、従
来、画像圧縮されて符号化された画像の符号データは、
平均した符号データ量は少なく抑えられていても、画像
の内容によっては一時的に大量の符号データを消費する
という特徴がある。従って、符号データ用のメモリにお
いても、その最大の符号データの消費量に合わせた高い
メモリバンド幅が必要になる。特に、復号する画像の解
像度を高め、画質を向上させようとした場合には、符号
データおよび画像データに対するメモリバンド幅の要求
が厳しくなり、回路規模を増大させる大きな要因になっ
ている。
来、画像圧縮されて符号化された画像の符号データは、
平均した符号データ量は少なく抑えられていても、画像
の内容によっては一時的に大量の符号データを消費する
という特徴がある。従って、符号データ用のメモリにお
いても、その最大の符号データの消費量に合わせた高い
メモリバンド幅が必要になる。特に、復号する画像の解
像度を高め、画質を向上させようとした場合には、符号
データおよび画像データに対するメモリバンド幅の要求
が厳しくなり、回路規模を増大させる大きな要因になっ
ている。
【0006】本発明は、上述した従来の画像復号装置お
よび半導体集積回路が有する課題に鑑み、バッファメモ
リの容量やメモリバス幅といった回路規模の増大および
動作周波数の高速化を抑えて、効率の良いメモリシステ
ムを実現することを目的とする。
よび半導体集積回路が有する課題に鑑み、バッファメモ
リの容量やメモリバス幅といった回路規模の増大および
動作周波数の高速化を抑えて、効率の良いメモリシステ
ムを実現することを目的とする。
【0007】
【課題を解決するための手段】本発明の第1の形態によ
れば、メモリ4に対する複数のアクセスを、該各アクセ
スの優先順位をその時の状態に応じて変更し、該変更さ
れた優先順位に応じてメモリアクセスの調停およびスケ
ジューリングを行って、特定のメモリアクセスへの集中
や無効期間の発生等を防止するようにしたことを特徴と
するメモリアクセス制御方法が提供される。
れば、メモリ4に対する複数のアクセスを、該各アクセ
スの優先順位をその時の状態に応じて変更し、該変更さ
れた優先順位に応じてメモリアクセスの調停およびスケ
ジューリングを行って、特定のメモリアクセスへの集中
や無効期間の発生等を防止するようにしたことを特徴と
するメモリアクセス制御方法が提供される。
【0008】ここで、前記メモリ4はリフレッシュ処理
が要求される揮発性半導体記憶装置であり、該揮発性半
導体記憶装置は異なる形式のデータにより時分割的に共
有される。そして、本発明の第1の形態によれば、該各
形式のデータの書き込みおよび読み出し処理と前記リフ
レッシュ処理とにおけるメモリアクセスの調停およびス
ケジューリングが行われ、特定のメモリアクセスへの集
中や無効期間の発生等が防止されるようになっている。
が要求される揮発性半導体記憶装置であり、該揮発性半
導体記憶装置は異なる形式のデータにより時分割的に共
有される。そして、本発明の第1の形態によれば、該各
形式のデータの書き込みおよび読み出し処理と前記リフ
レッシュ処理とにおけるメモリアクセスの調停およびス
ケジューリングが行われ、特定のメモリアクセスへの集
中や無効期間の発生等が防止されるようになっている。
【0009】図1は本発明に係る画像復号装置の要部構
成を概略的に示すブロック図である。図1に示されるよ
うに、本発明の第2の形態によれば、画像圧縮された符
号データを復号して画像データを得る画像復号装置であ
って、第1の形式のデータを処理して第2の形式のデー
タを得るデータ処理回路1と、前記第1の形式のデータ
および前記第2の形式のデータの両方を時分割的に記憶
するメモリ4と、前記第1の形式のデータおよび前記第
2の形式のデータによるメモリアクセス要求の優先順位
をその時の状態に応じて変更し、該変更された優先順位
に応じてメモリアクセスの調停およびスケジューリング
を行うメモリ制御回路2とを具備し、特定のメモリアク
セスへの集中や無効期間の発生等を防止するようにした
ことを特徴とする画像復号装置が提供される。
成を概略的に示すブロック図である。図1に示されるよ
うに、本発明の第2の形態によれば、画像圧縮された符
号データを復号して画像データを得る画像復号装置であ
って、第1の形式のデータを処理して第2の形式のデー
タを得るデータ処理回路1と、前記第1の形式のデータ
および前記第2の形式のデータの両方を時分割的に記憶
するメモリ4と、前記第1の形式のデータおよび前記第
2の形式のデータによるメモリアクセス要求の優先順位
をその時の状態に応じて変更し、該変更された優先順位
に応じてメモリアクセスの調停およびスケジューリング
を行うメモリ制御回路2とを具備し、特定のメモリアク
セスへの集中や無効期間の発生等を防止するようにした
ことを特徴とする画像復号装置が提供される。
【0010】図2は本発明に係る半導体集積回路の要部
構成を概略的に示すブロック図である。図1および図2
に示されるように、本発明の第3の形態によれば、第1
の形式のデータを処理して第2の形式のデータを得るデ
ータ処理回路1と、前記第1の形式のデータおよび前記
第2の形式のデータの両方を時分割的に記憶するメモリ
4を制御し、前記第1の形式のデータおよび前記第2の
形式のデータによるメモリアクセス要求の優先順位をそ
の時の状態に応じて変更し、該変更された優先順位に応
じてメモリアクセスの調停およびスケジューリングを行
うメモリ制御回路2とを具備することを特徴とする半導
体集積回路。
構成を概略的に示すブロック図である。図1および図2
に示されるように、本発明の第3の形態によれば、第1
の形式のデータを処理して第2の形式のデータを得るデ
ータ処理回路1と、前記第1の形式のデータおよび前記
第2の形式のデータの両方を時分割的に記憶するメモリ
4を制御し、前記第1の形式のデータおよび前記第2の
形式のデータによるメモリアクセス要求の優先順位をそ
の時の状態に応じて変更し、該変更された優先順位に応
じてメモリアクセスの調停およびスケジューリングを行
うメモリ制御回路2とを具備することを特徴とする半導
体集積回路。
【0011】具体的に、前記第1の形式のデータは画像
圧縮された符号データであり、前記第2の形式のデータ
は該符号データを復号した画像データであり、そして、
前記データ処理回路1は該画像圧縮された符号データを
復号して該画像データを得る復号回路である。
圧縮された符号データであり、前記第2の形式のデータ
は該符号データを復号した画像データであり、そして、
前記データ処理回路1は該画像圧縮された符号データを
復号して該画像データを得る復号回路である。
【0012】
【発明の実施の形態】本発明の第1の形態であるメモリ
アクセス制御方法によれば、メモリ4に対する複数のア
クセスは、その時の状態に応じてそれらアクセスの優先
順位が変更され、該変更された優先順位に応じてメモリ
アクセスの調停およびスケジューリングが行われる。す
なわち、揮発性半導体記憶装置で構成されたメモリ4の
リフレッシュ処理、並びに、該揮発性半導体記憶装置を
時分割的に共有する異なる形式のデータの各書き込みお
よび読み出し処理は、各状態においてアクセスの優先順
位が変更され、メモリアクセスの調停およびスケジュー
リングが行われる。
アクセス制御方法によれば、メモリ4に対する複数のア
クセスは、その時の状態に応じてそれらアクセスの優先
順位が変更され、該変更された優先順位に応じてメモリ
アクセスの調停およびスケジューリングが行われる。す
なわち、揮発性半導体記憶装置で構成されたメモリ4の
リフレッシュ処理、並びに、該揮発性半導体記憶装置を
時分割的に共有する異なる形式のデータの各書き込みお
よび読み出し処理は、各状態においてアクセスの優先順
位が変更され、メモリアクセスの調停およびスケジュー
リングが行われる。
【0013】これによって、バッファメモリの容量やメ
モリバス幅といった回路規模の増大および動作周波数の
高速化を抑えて、効率の良いメモリシステムを実現する
ことが可能となる。図1において、画像復号装置は、例
えば、MPEG−2(Moving Picture Experts Group -
2) の規格により圧縮された符号データを復号して画像
データを取り出し表示データを出力する画像復号装置を
示している。ここで、参照符号1は復号回路(データ処
理回路)、2はメモリ制御回路、3は表示回路、そし
て、4はメモリ(ダイナミック型ランダム・アクセス・
メモリ:DRAM)を示している。
モリバス幅といった回路規模の増大および動作周波数の
高速化を抑えて、効率の良いメモリシステムを実現する
ことが可能となる。図1において、画像復号装置は、例
えば、MPEG−2(Moving Picture Experts Group -
2) の規格により圧縮された符号データを復号して画像
データを取り出し表示データを出力する画像復号装置を
示している。ここで、参照符号1は復号回路(データ処
理回路)、2はメモリ制御回路、3は表示回路、そし
て、4はメモリ(ダイナミック型ランダム・アクセス・
メモリ:DRAM)を示している。
【0014】図1に示されるように、メモリ(揮発性半
導体集積回路:例えば、DRAM)4は、符号データお
よび画像データにより時分割的に共有(共用)されるよ
うになっている。すなわち、参照符号Aに示されるよう
に、まず、供給された符号データ(画像圧縮された符号
データ:書き込み符号データA)は、メモリ制御回路2
を介してメモリ4に書き込まれる。さらに、メモリ4に
書き込まれた符号データ(書き込み符号データ)Aは、
参照符号Bに示されるように、メモリ4から読み出さ
れ、読み出し符号データBとして、メモリ制御回路2を
介して復号回路1に供給される。復号回路1では、読み
出し符号データBを復号して画像データ(伸長された画
像データC)を出力するが、この時、後述するように、
例えば、以前の画像データ(例えば、直前のフィールド
またはフレームの画像データ)を参照して読み出し符号
データBの復号が行われる。
導体集積回路:例えば、DRAM)4は、符号データお
よび画像データにより時分割的に共有(共用)されるよ
うになっている。すなわち、参照符号Aに示されるよう
に、まず、供給された符号データ(画像圧縮された符号
データ:書き込み符号データA)は、メモリ制御回路2
を介してメモリ4に書き込まれる。さらに、メモリ4に
書き込まれた符号データ(書き込み符号データ)Aは、
参照符号Bに示されるように、メモリ4から読み出さ
れ、読み出し符号データBとして、メモリ制御回路2を
介して復号回路1に供給される。復号回路1では、読み
出し符号データBを復号して画像データ(伸長された画
像データC)を出力するが、この時、後述するように、
例えば、以前の画像データ(例えば、直前のフィールド
またはフレームの画像データ)を参照して読み出し符号
データBの復号が行われる。
【0015】次に、参照符号Cに示されるように、復号
回路1により復号された画像データ(書き込み画像デー
タC)は、メモリ制御回路2を介して、符号データが書
き込まれていたのと同じメモリ4に書き込まれる。そし
て、メモリ4に書き込まれた画像データ(書き込み画像
データ)Cは、参照符号Eに示されるように、メモリ4
から読み出され、読み出し画像データEとして、メモリ
制御回路2を介して表示回路3に供給される。なお、前
述したように、メモリ4に書き込まれた画像データCの
内、以前の読み出し画像データ(或いは、以前の画像デ
ータの一部D)は、参照符号Dに示されるように、予測
参照画像データDとしてメモリ4から読み出され、メモ
リ制御回路2を介して復号回路1に供給される。そし
て、復号回路1において、読み出し符号データBの復号
(伸長)処理に使用される。
回路1により復号された画像データ(書き込み画像デー
タC)は、メモリ制御回路2を介して、符号データが書
き込まれていたのと同じメモリ4に書き込まれる。そし
て、メモリ4に書き込まれた画像データ(書き込み画像
データ)Cは、参照符号Eに示されるように、メモリ4
から読み出され、読み出し画像データEとして、メモリ
制御回路2を介して表示回路3に供給される。なお、前
述したように、メモリ4に書き込まれた画像データCの
内、以前の読み出し画像データ(或いは、以前の画像デ
ータの一部D)は、参照符号Dに示されるように、予測
参照画像データDとしてメモリ4から読み出され、メモ
リ制御回路2を介して復号回路1に供給される。そし
て、復号回路1において、読み出し符号データBの復号
(伸長)処理に使用される。
【0016】このように、メモリ4は、形式の異なる符
号データ(A,B)および画像データ(C,D,E)に
より時分割的に共有されるようになっている。ここで、
メモリ(DRAM)4は、記憶内容を保持するためにリ
フレッシュ処理が必要とされている。そして、メモリ4
に対する符号データおよび画像データのアクセス,並び
に,メモリ4のリフレッシュ処理のためのアクセス
(R)は、メモリ制御回路2がそれぞれメモリアクセス
の要求(アクセス要求信号)を受け付け、それに対応し
たアクセス応答(アクセス許可信号)を返すことにより
時分割で行うようになっている。
号データ(A,B)および画像データ(C,D,E)に
より時分割的に共有されるようになっている。ここで、
メモリ(DRAM)4は、記憶内容を保持するためにリ
フレッシュ処理が必要とされている。そして、メモリ4
に対する符号データおよび画像データのアクセス,並び
に,メモリ4のリフレッシュ処理のためのアクセス
(R)は、メモリ制御回路2がそれぞれメモリアクセス
の要求(アクセス要求信号)を受け付け、それに対応し
たアクセス応答(アクセス許可信号)を返すことにより
時分割で行うようになっている。
【0017】このように、本発明の第1の形態であるメ
モリアクセス制御方法によれば、メモリアクセスを以下
〜のように行うことにより、メモリバンド幅を有効
に活用して、必要最小限のメモリ容量にて画像の復号を
可能にする。 メモリアクセスを処理単位毎に区切り、必要なデー
タ量だけをアクセスする可変長のアクセス制御を行う。
モリアクセス制御方法によれば、メモリアクセスを以下
〜のように行うことにより、メモリバンド幅を有効
に活用して、必要最小限のメモリ容量にて画像の復号を
可能にする。 メモリアクセスを処理単位毎に区切り、必要なデー
タ量だけをアクセスする可変長のアクセス制御を行う。
【0018】 メモリアクセスをその優先順位に従っ
て、アクセス権の調停、スケジューリングを行う。 上記の優先順位を固定するのではなく、状況に応
じて変更することにより、特定のメモリアクセスへの集
中や排除、無効な期間の発生を防止する。 符号データの読み込みの優先順位を、他のメモリア
クセスよりも高くする。
て、アクセス権の調停、スケジューリングを行う。 上記の優先順位を固定するのではなく、状況に応
じて変更することにより、特定のメモリアクセスへの集
中や排除、無効な期間の発生を防止する。 符号データの読み込みの優先順位を、他のメモリア
クセスよりも高くする。
【0019】ここで、本発明の第1の形態によれば、メ
モリアクセスの処理単位を小さくし、符号データのメモ
リアクセスの優先順位を高くすることによって、符号デ
ータが必要なときには高速に読み出すことが可能とな
る。また、圧縮された符号データによる時間あたりのメ
モリの消費量は、平均すれば、伸長された画像データよ
りも当然に少なくなるため、符号データのためのメモリ
アクセスの全体に占める時間的な割合は小さくなる。
モリアクセスの処理単位を小さくし、符号データのメモ
リアクセスの優先順位を高くすることによって、符号デ
ータが必要なときには高速に読み出すことが可能とな
る。また、圧縮された符号データによる時間あたりのメ
モリの消費量は、平均すれば、伸長された画像データよ
りも当然に少なくなるため、符号データのためのメモリ
アクセスの全体に占める時間的な割合は小さくなる。
【0020】さらに、本発明の第1の形態によれば、ア
クセス権の調停を、固定した優先順位ではなく、緊急な
処理を要しないメモリアクセスの優先順位を状況に応じ
て変更(可変)することで、特定の期間にメモリアクセ
スが集中して他の期間に無駄が生じたり、優先順位の低
い項目のメモリアクセスが長期間待たされて処理が先に
進まないといったことが防止される。そして、例えば、
大きなデータ量を必要とする高速な動画処理が連続する
ようなワーストケースに対するメモリアクセスの変動幅
を少なく抑えることができる。
クセス権の調停を、固定した優先順位ではなく、緊急な
処理を要しないメモリアクセスの優先順位を状況に応じ
て変更(可変)することで、特定の期間にメモリアクセ
スが集中して他の期間に無駄が生じたり、優先順位の低
い項目のメモリアクセスが長期間待たされて処理が先に
進まないといったことが防止される。そして、例えば、
大きなデータ量を必要とする高速な動画処理が連続する
ようなワーストケースに対するメモリアクセスの変動幅
を少なく抑えることができる。
【0021】ここで、符号データの消費量は、符号化を
行う時点である一定量以下に制限されるため、符号デー
タの一画像あたりのメモリアクセスの最大量は予測可能
になる。同様に、画像データのメモリアクセスの最大量
も、画像サイズおよび画像形式により予測可能である。
そして、一画像あたりのメモリアクセスの最大量が決ま
ることにより、その画像がある時間内において、通常は
表示周期内において、復号動作が完結するのを保証する
ことができる。従って、メモリバンド幅を大きく増加さ
せることなく、画像データと符号データのメモリを共有
することが可能になる。
行う時点である一定量以下に制限されるため、符号デー
タの一画像あたりのメモリアクセスの最大量は予測可能
になる。同様に、画像データのメモリアクセスの最大量
も、画像サイズおよび画像形式により予測可能である。
そして、一画像あたりのメモリアクセスの最大量が決ま
ることにより、その画像がある時間内において、通常は
表示周期内において、復号動作が完結するのを保証する
ことができる。従って、メモリバンド幅を大きく増加さ
せることなく、画像データと符号データのメモリを共有
することが可能になる。
【0022】前述したように、図2は本発明の半導体集
積回路の要部構成を示すものであり、具体的に、MPE
G−2方式に準拠した画像復号用の半導体集積回路への
適用例を示している。また、図3は本発明の第2の形態
である画像復号装置における特徴的な動作を説明するた
めの図である。図2に示されるように、メモリ4として
は、汎用DRAM(例えば、4MビットDRAMを4
つ、或いは、8つ)を採用して、64ビット幅のデータ
バス幅にて高速ページモードで動作させることにより、
約1Gビット/秒のメモリバンド幅を確保するようにな
っている。これは、MPEG−2方式のMP/ML(メ
インプロファイル/メインレベル)の画像を復号するの
に、平均値としては充分なメモリバンド幅である。
積回路の要部構成を示すものであり、具体的に、MPE
G−2方式に準拠した画像復号用の半導体集積回路への
適用例を示している。また、図3は本発明の第2の形態
である画像復号装置における特徴的な動作を説明するた
めの図である。図2に示されるように、メモリ4として
は、汎用DRAM(例えば、4MビットDRAMを4
つ、或いは、8つ)を採用して、64ビット幅のデータ
バス幅にて高速ページモードで動作させることにより、
約1Gビット/秒のメモリバンド幅を確保するようにな
っている。これは、MPEG−2方式のMP/ML(メ
インプロファイル/メインレベル)の画像を復号するの
に、平均値としては充分なメモリバンド幅である。
【0023】ここで問題となるのは、偶然に悪い条件の
重なった場合、つまりワーストケースのときに必要とな
るメモリバンド幅であり、MPEG−2方式の画像を復
号するときの基本単位である16×16画素の大きさの
MB(マクロブロック)の内部処理のための時間が必要
になる。そのため、図3に示す時間T1で示すように、
復号画像書き込みと参照画像読み込みのメモリアクセス
の最小周期(例えば、24μsec.)が存在するため、図
3に示すような何もメモリアクセスが行われない無効期
間T2が発生する可能性が出てくる。
重なった場合、つまりワーストケースのときに必要とな
るメモリバンド幅であり、MPEG−2方式の画像を復
号するときの基本単位である16×16画素の大きさの
MB(マクロブロック)の内部処理のための時間が必要
になる。そのため、図3に示す時間T1で示すように、
復号画像書き込みと参照画像読み込みのメモリアクセス
の最小周期(例えば、24μsec.)が存在するため、図
3に示すような何もメモリアクセスが行われない無効期
間T2が発生する可能性が出てくる。
【0024】そこで、本発明に係る第2の形態の画像復
号装置および第3の形態の半導体集積回路では、緊急を
要しないメモリアクセス、例えば、DRAMリフレッシ
ュ処理(R)や符号データの書き込み処理を、参照画像
読み出し処理と復号画像書き込み処理の間(図3におけ
る期間T2)で実行するように、その時の状態に応じて
各メモリアクセス要求の優先順位を変更し、該変更され
た優先順位に応じてメモリアクセスの調停およびスケジ
ューリングを行うようになっている。具体的に、適応型
のスケジューリングは、符号データの書き込み処理(書
き込み符号データAの書き込み処理)、符号データの読
み出し処理(読み出し符号データBの読み出し処理)、
復号画像の書き込み処理(書き込み画像データCの書き
込み処理)、参照画像の読み出し処理(図1中の予測参
照画像データDの読み出し処理)、表示画像の読み出し
処理(図1中の読み出し画像データEの読み出し処
理)、および、DRAMのリフレッシュ処理(R)の6
つのメモリアクセス(A〜EおよびR)の優先順位を、
その時の状態(例えば、直前に行われたメモリアクセス
の内容)に従って、その都度変更することによって実現
される。
号装置および第3の形態の半導体集積回路では、緊急を
要しないメモリアクセス、例えば、DRAMリフレッシ
ュ処理(R)や符号データの書き込み処理を、参照画像
読み出し処理と復号画像書き込み処理の間(図3におけ
る期間T2)で実行するように、その時の状態に応じて
各メモリアクセス要求の優先順位を変更し、該変更され
た優先順位に応じてメモリアクセスの調停およびスケジ
ューリングを行うようになっている。具体的に、適応型
のスケジューリングは、符号データの書き込み処理(書
き込み符号データAの書き込み処理)、符号データの読
み出し処理(読み出し符号データBの読み出し処理)、
復号画像の書き込み処理(書き込み画像データCの書き
込み処理)、参照画像の読み出し処理(図1中の予測参
照画像データDの読み出し処理)、表示画像の読み出し
処理(図1中の読み出し画像データEの読み出し処
理)、および、DRAMのリフレッシュ処理(R)の6
つのメモリアクセス(A〜EおよびR)の優先順位を、
その時の状態(例えば、直前に行われたメモリアクセス
の内容)に従って、その都度変更することによって実現
される。
【0025】具体的に、本発明においては、まず、符号
データの読み出し処理は、一時的に高い読み出し速度が
要求されるため、メモリアクセスの優先順位を一番高く
する。また、メモリアクセス待ちの期間を少なくするた
めに、参照画像の読み出し処理を複数に分けて行う。な
お、MPEG−2方式では、画像の複数の部分(位置、
時間が異なる部分)を参照するため、それぞれの矩形
(四角形状)領域毎にメモリアクセスを分けて行うこと
により、メモリアクセスを占有する期間が短くなる。
データの読み出し処理は、一時的に高い読み出し速度が
要求されるため、メモリアクセスの優先順位を一番高く
する。また、メモリアクセス待ちの期間を少なくするた
めに、参照画像の読み出し処理を複数に分けて行う。な
お、MPEG−2方式では、画像の複数の部分(位置、
時間が異なる部分)を参照するため、それぞれの矩形
(四角形状)領域毎にメモリアクセスを分けて行うこと
により、メモリアクセスを占有する期間が短くなる。
【0026】次に、符号データは、復号する画像の内容
によって一時的に高い読み出し速度が必要になるが、一
画面(1フィールドまたは1フレーム)内では平均化さ
れて、その画像にて消費される符号量が読み出せれば、
画像の復号を完結することができる。従って、符号デー
タの高い読み出し速度が必要になったときには、メモリ
アクセスの優先順位の設定によって、参照画像の読み出
し処理、復号画像の書き込み処理よりも優先され、画像
データへのメモリアクセスが一時的に待たされる。
によって一時的に高い読み出し速度が必要になるが、一
画面(1フィールドまたは1フレーム)内では平均化さ
れて、その画像にて消費される符号量が読み出せれば、
画像の復号を完結することができる。従って、符号デー
タの高い読み出し速度が必要になったときには、メモリ
アクセスの優先順位の設定によって、参照画像の読み出
し処理、復号画像の書き込み処理よりも優先され、画像
データへのメモリアクセスが一時的に待たされる。
【0027】ここで、一画面の復号のために消費される
符号データは、MPEG−2方式に定められているビッ
トレートと受信バッファのサイズにより、その最大消費
量が決まる。従って、画像データへのメモリアクセスが
一時的に待たされる期間の総和が求められ、一画面の復
号動作が表示周期以内に完結することが保証されること
になる。
符号データは、MPEG−2方式に定められているビッ
トレートと受信バッファのサイズにより、その最大消費
量が決まる。従って、画像データへのメモリアクセスが
一時的に待たされる期間の総和が求められ、一画面の復
号動作が表示周期以内に完結することが保証されること
になる。
【0028】以上により、符号データ単体に必要とされ
るメモリバンド幅と、画像データ単体に必要とされるメ
モリバンド幅を加算したメモリバンド幅のメモリを用意
しなくても、符号データと画像データによりメモリ
(4)を共有して使用することが可能になる。このよう
に、本発明によれば、バッファメモリの容量やメモリバ
ス幅といった回路規模の増大および動作周波数の高速化
を抑えて、効率の良いメモリシステムを実現することが
できる。
るメモリバンド幅と、画像データ単体に必要とされるメ
モリバンド幅を加算したメモリバンド幅のメモリを用意
しなくても、符号データと画像データによりメモリ
(4)を共有して使用することが可能になる。このよう
に、本発明によれば、バッファメモリの容量やメモリバ
ス幅といった回路規模の増大および動作周波数の高速化
を抑えて、効率の良いメモリシステムを実現することが
できる。
【0029】
【実施例】以下、図面を参照して本発明に係る画像復号
装置および半導体集積回路の実施例を説明する。図4は
本発明の画像復号装置の一実施例を示すブロック図であ
る。同図において、参照符号200 は画像復号回路,201は
復調回路,202はデマルチプレクサ,203は音声復号回路,2
04はホストプロセッサ,205はグラフィック回路, そし
て,206はビデオエンコーダを示している。
装置および半導体集積回路の実施例を説明する。図4は
本発明の画像復号装置の一実施例を示すブロック図であ
る。同図において、参照符号200 は画像復号回路,201は
復調回路,202はデマルチプレクサ,203は音声復号回路,2
04はホストプロセッサ,205はグラフィック回路, そし
て,206はビデオエンコーダを示している。
【0030】復調回路201 は、ビットストリームデータ
を得るための回路であり、画像復号装置に入力される信
号、例えば、ディジタル衛星放送, ケーブルテレビ, デ
ィジタルビデオディスク等の信号から、ビットストリー
ムデータ(ビデオ, オーディオ, および, その他の信号
が多重されているデータ)を復調する。また、デマルチ
プレクサ202 は、オーディオとビデオの符号データが1
つのデータ(ビットストリーム)として多重化されるた
め、オーディオ(音声)信号とビデオ(画像)信号に分
離する。ここで、例えば、MPEGにおいては、"MPEG-
System" としてその方式が決められている。
を得るための回路であり、画像復号装置に入力される信
号、例えば、ディジタル衛星放送, ケーブルテレビ, デ
ィジタルビデオディスク等の信号から、ビットストリー
ムデータ(ビデオ, オーディオ, および, その他の信号
が多重されているデータ)を復調する。また、デマルチ
プレクサ202 は、オーディオとビデオの符号データが1
つのデータ(ビットストリーム)として多重化されるた
め、オーディオ(音声)信号とビデオ(画像)信号に分
離する。ここで、例えば、MPEGにおいては、"MPEG-
System" としてその方式が決められている。
【0031】音声復号回路203 は、オーディオ(音声)
のビットストリームデータを復号して、オーディオデー
タ(音声データ)にするもので、例えば、MPEGで
は、"MPEG-Audio"としてその方式が決められている。こ
の部分は、例えば、DSP(Digital Signal Processo
r)により構成することができる。画像復号回路200
は、ビデオ(映像:画像)のビットストリームデータを
復号して、ビデオ信号(映像信号)に変換するもので、
例えば、MPEGでは、"MPEG-Video"としてその方式が
決められている。この画像復号回路200 は、例えば、ビ
デオデコーダ用のLSI(半導体集積回路100)およびD
RAM(不揮発性半導体記憶装置4)により構成され
る。なお、本発明の半導体集積回路(100) は、画像復号
回路200 におけるビデオデコーダ用のLSIに対応す
る。
のビットストリームデータを復号して、オーディオデー
タ(音声データ)にするもので、例えば、MPEGで
は、"MPEG-Audio"としてその方式が決められている。こ
の部分は、例えば、DSP(Digital Signal Processo
r)により構成することができる。画像復号回路200
は、ビデオ(映像:画像)のビットストリームデータを
復号して、ビデオ信号(映像信号)に変換するもので、
例えば、MPEGでは、"MPEG-Video"としてその方式が
決められている。この画像復号回路200 は、例えば、ビ
デオデコーダ用のLSI(半導体集積回路100)およびD
RAM(不揮発性半導体記憶装置4)により構成され
る。なお、本発明の半導体集積回路(100) は、画像復号
回路200 におけるビデオデコーダ用のLSIに対応す
る。
【0032】ビデオエンコーダ206 は、画像復号回路20
0 の出力であるディジタル表現のビデオ信号を一般のテ
レビジョンセットで表示可能なように、NTSC(Nati
onalTelevision System Comittee)方式, または, PA
L(Phase Alternation by Line)方式のビデオ信号に変
換する。さらに、ホストプロセッサ204 は、画像復号装
置(デコーダ装置)全体の制御を行うためのプロセッサ
であり、例えば、VOD(Video On Demand)等の高度な
サービスを実現するため、例えば、32ビット〜64ビ
ットの高性能なCPUが使用される。そして、グラフィ
ック回路205 は、例えば、番組情報やメニュー画面等の
グラフィック画面を表示するための回路である。
0 の出力であるディジタル表現のビデオ信号を一般のテ
レビジョンセットで表示可能なように、NTSC(Nati
onalTelevision System Comittee)方式, または, PA
L(Phase Alternation by Line)方式のビデオ信号に変
換する。さらに、ホストプロセッサ204 は、画像復号装
置(デコーダ装置)全体の制御を行うためのプロセッサ
であり、例えば、VOD(Video On Demand)等の高度な
サービスを実現するため、例えば、32ビット〜64ビ
ットの高性能なCPUが使用される。そして、グラフィ
ック回路205 は、例えば、番組情報やメニュー画面等の
グラフィック画面を表示するための回路である。
【0033】図5は本発明の半導体集積回路の一実施例
としての画像復号回路の構成を示すブロック図である。
同図において、参照符号10は符号データ入力制御部,
11は可変長復号処理部,12は逆量子化処理部,13
は逆DCT変換部,14は予測画像加算回路,15は動
きベクトル再生回路を示し、さらに、16は入力バッフ
ァ,17は符号バッファ,18は予測画像バッファ,1
9は復号画像バッファ,そして,20は画像メモリ切り
換え制御回路を示している。また、参照符号21はメモ
リアクセス調停回路,22は外部DRAMコントロール
回路,23はFIFOメモリ管理部,24は画像メモリ
アドレス変換部、また、31は表示制御部,そして,3
2は表示画像バッファを示している。ここで、画像復号
回路200は、画像復号用LSI200 およびメモリ(DR
AM)4を備えて構成されている。
としての画像復号回路の構成を示すブロック図である。
同図において、参照符号10は符号データ入力制御部,
11は可変長復号処理部,12は逆量子化処理部,13
は逆DCT変換部,14は予測画像加算回路,15は動
きベクトル再生回路を示し、さらに、16は入力バッフ
ァ,17は符号バッファ,18は予測画像バッファ,1
9は復号画像バッファ,そして,20は画像メモリ切り
換え制御回路を示している。また、参照符号21はメモ
リアクセス調停回路,22は外部DRAMコントロール
回路,23はFIFOメモリ管理部,24は画像メモリ
アドレス変換部、また、31は表示制御部,そして,3
2は表示画像バッファを示している。ここで、画像復号
回路200は、画像復号用LSI200 およびメモリ(DR
AM)4を備えて構成されている。
【0034】図1と図5との比較から明らかなように、
復号回路(データ処理回路)1は、符号データ入力制御
部10,可変長復号処理部11,逆量子化処理部12,
逆DCT変換部13,予測画像加算回路14,動きベク
トル再生回路15,入力バッファ16,符号バッファ1
7,予測画像バッファ18,復号画像バッファ19,お
よび,画像メモリ切り換え制御回路20を備えている。
復号回路(データ処理回路)1は、符号データ入力制御
部10,可変長復号処理部11,逆量子化処理部12,
逆DCT変換部13,予測画像加算回路14,動きベク
トル再生回路15,入力バッファ16,符号バッファ1
7,予測画像バッファ18,復号画像バッファ19,お
よび,画像メモリ切り換え制御回路20を備えている。
【0035】符号データ入力制御部10は、符号データ
のビットストリームを入力し、必要に応じてヘッダデー
タの検出を行って、不要なデータの廃棄や画像の先頭
(ピクチャヘッダ)の検出を行う。また、可変長復号処
理部11は、ビットストリームに含まれている可変長符
号(ハフマン符号)の復号(デコード)を行って、固定
長の符号に変換すると共に、各種のパラメータ値を取り
出すようになっている。さらに、逆量子化処理部12
は、固定長に変換された符号データの内、画像に関する
データ(係数データ)を変換して、逆DCT変換用デー
タを取り出す。ここで、逆量子化とは、符号化時に、D
CT演算をした結果の実数データを量子化(割り算をし
て整数値に丸める)したものを、元の値に近い実数値に
戻す処理を行うことに対応している。
のビットストリームを入力し、必要に応じてヘッダデー
タの検出を行って、不要なデータの廃棄や画像の先頭
(ピクチャヘッダ)の検出を行う。また、可変長復号処
理部11は、ビットストリームに含まれている可変長符
号(ハフマン符号)の復号(デコード)を行って、固定
長の符号に変換すると共に、各種のパラメータ値を取り
出すようになっている。さらに、逆量子化処理部12
は、固定長に変換された符号データの内、画像に関する
データ(係数データ)を変換して、逆DCT変換用デー
タを取り出す。ここで、逆量子化とは、符号化時に、D
CT演算をした結果の実数データを量子化(割り算をし
て整数値に丸める)したものを、元の値に近い実数値に
戻す処理を行うことに対応している。
【0036】動きベクトル再生回路15は、逆量子化処
理部12の出力から、動きベクトルを取り出すもので、
MPEG−2では、画像圧縮の効率を上げるために、そ
れよりも以前の画像の内容を参照してその差分を使用す
る。ここで、この参照する画像の位置を示す情報を動き
ベクトルと称し、この動きベクトルを使用して参照画像
の読み込みを行うようになっている。
理部12の出力から、動きベクトルを取り出すもので、
MPEG−2では、画像圧縮の効率を上げるために、そ
れよりも以前の画像の内容を参照してその差分を使用す
る。ここで、この参照する画像の位置を示す情報を動き
ベクトルと称し、この動きベクトルを使用して参照画像
の読み込みを行うようになっている。
【0037】逆DCT変換部13は、離散コサイン変換
(DCT:Discrete Cosine Transform)の逆変換を行う
もので、符号化時にDCT変換を行って、直交変換によ
り8×8のマトリクスの座標軸を、周波数成分に変換し
てその逆変換により画素のデータに戻す。ここで、DC
T変換の演算は、マトリクス乗算を中心に行われ、ま
た、逆変換のことをIDCT(Inverse Discrete Cosin
e Transform)と略記することもある。
(DCT:Discrete Cosine Transform)の逆変換を行う
もので、符号化時にDCT変換を行って、直交変換によ
り8×8のマトリクスの座標軸を、周波数成分に変換し
てその逆変換により画素のデータに戻す。ここで、DC
T変換の演算は、マトリクス乗算を中心に行われ、ま
た、逆変換のことをIDCT(Inverse Discrete Cosin
e Transform)と略記することもある。
【0038】予測画像加算回路14は、逆DCT変換部
13で得られた画素のデータに対して、動きベクトル再
生回路から得られた参照画像の内容を必要に応じて画素
毎に加算して最終的な復号画像を生成する。画像メモリ
切り換え制御回路20は、復号画像,参照画像および表
示画像を、半導体集積回路(画像復号用LSI)100の外
部に設けられたメモリ(DRAM)4上に割り当てるた
めのアドレスの管理を行う。ここで、復号の完了した画
像は、画像の順番に従って参照画像,表示画像となるた
め、画像に割り当てたメモリアドレスを順番に切り換え
られるようになっている。
13で得られた画素のデータに対して、動きベクトル再
生回路から得られた参照画像の内容を必要に応じて画素
毎に加算して最終的な復号画像を生成する。画像メモリ
切り換え制御回路20は、復号画像,参照画像および表
示画像を、半導体集積回路(画像復号用LSI)100の外
部に設けられたメモリ(DRAM)4上に割り当てるた
めのアドレスの管理を行う。ここで、復号の完了した画
像は、画像の順番に従って参照画像,表示画像となるた
め、画像に割り当てたメモリアドレスを順番に切り換え
られるようになっている。
【0039】図1および図5に示されるように、メモリ
制御回路2は、メモリアクセス調停回路21,外部DR
AMコントロール回路22,FIFOメモリ管理部2
3,および,画像メモリアドレス変換部24を備えてい
る。メモリアクセス調停回路21は、それぞれのメモリ
アクセス要求(例えば、図1に示すA〜Eに対応したア
クセス要求,および,リフレッシュ処理用のアクセス要
求)を受け付けて、その優先順位に従ってアビトレーシ
ョン(調停)を行う。外部DRAMコントロール回路2
2は、画像復号用LSI 100の外部に設けられたメモリ
4を制御するもので、DRAM4の信号線を操作してメ
モリアクセスを実行すると共に、高速ページモードによ
る連続アクセスを実現するようになっている。
制御回路2は、メモリアクセス調停回路21,外部DR
AMコントロール回路22,FIFOメモリ管理部2
3,および,画像メモリアドレス変換部24を備えてい
る。メモリアクセス調停回路21は、それぞれのメモリ
アクセス要求(例えば、図1に示すA〜Eに対応したア
クセス要求,および,リフレッシュ処理用のアクセス要
求)を受け付けて、その優先順位に従ってアビトレーシ
ョン(調停)を行う。外部DRAMコントロール回路2
2は、画像復号用LSI 100の外部に設けられたメモリ
4を制御するもので、DRAM4の信号線を操作してメ
モリアクセスを実行すると共に、高速ページモードによ
る連続アクセスを実現するようになっている。
【0040】FIFOメモリ管理部23は、符号データ
(ビットストリーム)用のメモリとして、画像復号用L
SI 100の外部に設けられたDRAM4上にFIFO
(First In First Out)バッファを構成するためのアド
レス管理(書き込みポインタおよび読み出しポインタの
更新)を行う。画像メモリアドレス変換部24は、復号
画像,参照画像および表示画像のアドレス変換を行い、
画像の位置を示すX座標およびY座標の二次元のアドレ
ス情報から、メモリ上の位置を示すリニアなアドレスに
変換し、さらに、画像メモリ切り換え制御回路20によ
り指定されたアドレス情報をオフセット値として加算し
て画像メモリのアドレスを求める。
(ビットストリーム)用のメモリとして、画像復号用L
SI 100の外部に設けられたDRAM4上にFIFO
(First In First Out)バッファを構成するためのアド
レス管理(書き込みポインタおよび読み出しポインタの
更新)を行う。画像メモリアドレス変換部24は、復号
画像,参照画像および表示画像のアドレス変換を行い、
画像の位置を示すX座標およびY座標の二次元のアドレ
ス情報から、メモリ上の位置を示すリニアなアドレスに
変換し、さらに、画像メモリ切り換え制御回路20によ
り指定されたアドレス情報をオフセット値として加算し
て画像メモリのアドレスを求める。
【0041】図1および図5に示されるように、表示回
路3は、表示制御部31および表示画像バッファ32を
備えている。表示制御部31は、既に復号の完了してい
る画像を表示画像として表示を行う回路であり、例え
ば、NTSC方式またはPAL方式のタイミングに合わ
せて表示画像を出力する。
路3は、表示制御部31および表示画像バッファ32を
備えている。表示制御部31は、既に復号の完了してい
る画像を表示画像として表示を行う回路であり、例え
ば、NTSC方式またはPAL方式のタイミングに合わ
せて表示画像を出力する。
【0042】ここで、図5に示す画像復号用LSI100
において、各バッファ(入力バッファ16,符号バッフ
ァ17,予測画像バッファ18,復号画像バッファ1
9,および,表示画像バッファ32)は、一組の外部D
RAM4を時分割で使用するために、或いは、外部DR
AM4との速度の差を吸収するために、それぞれのメモ
リアクセスに対応するように設けられた小容量のバッフ
ァメモリである。
において、各バッファ(入力バッファ16,符号バッフ
ァ17,予測画像バッファ18,復号画像バッファ1
9,および,表示画像バッファ32)は、一組の外部D
RAM4を時分割で使用するために、或いは、外部DR
AM4との速度の差を吸収するために、それぞれのメモ
リアクセスに対応するように設けられた小容量のバッフ
ァメモリである。
【0043】図6は本発明の半導体集積回路の他の実施
例としての画像復号回路100'を示す機能ブロック図であ
る。図6において、参照符号 101は全体制御部,102は内
部クロック生成部,103はホストインターフェース部,104
はパラメータレジスタ部,105は入力データ制御部,106は
可変長復号化部,107は逆量子化部,108は逆離散コサイン
変換部,109はフィルタ部,110は加算部,111はビデオイン
ターフェース部, そして,112はメモリ制御部を示してい
る。ここで、図6に示す画像復号用LSI100'を図5に
示す画像復号用LSI100 に対応させると、図6の入力
データ制御部105 は図5の符号データ入力制御部10お
よび入力バッファ16に対応し、可変長復号化部106 は
可変長復号処理部11および符号バッファ17に対応
し、また、フィルタ部109 は動きベクトル再生回路1
5,予測画像バッファ18および復号画像バッファ19
に対応している。さらに、図6のビデオインターフェー
ス部111 は図5の表示制御部31および表示画像バッフ
ァ32を備えた表示回路3に対応し、また、メモリ制御
部112 は、画像メモリ切り替え制御回路20,メモリア
クセス調停回路21,外部DRAMコントロール回路2
2,FIFOメモリ管理部23および画像メモリアドレ
ス変換部24に対応している。なお、図6における逆量
子化部107,逆離散コサイン変換部108 および加算部110
は、それぞれ図5における逆量子化部12,逆DCT変
換部13および予測画像加算回路14に対応している。
例としての画像復号回路100'を示す機能ブロック図であ
る。図6において、参照符号 101は全体制御部,102は内
部クロック生成部,103はホストインターフェース部,104
はパラメータレジスタ部,105は入力データ制御部,106は
可変長復号化部,107は逆量子化部,108は逆離散コサイン
変換部,109はフィルタ部,110は加算部,111はビデオイン
ターフェース部, そして,112はメモリ制御部を示してい
る。ここで、図6に示す画像復号用LSI100'を図5に
示す画像復号用LSI100 に対応させると、図6の入力
データ制御部105 は図5の符号データ入力制御部10お
よび入力バッファ16に対応し、可変長復号化部106 は
可変長復号処理部11および符号バッファ17に対応
し、また、フィルタ部109 は動きベクトル再生回路1
5,予測画像バッファ18および復号画像バッファ19
に対応している。さらに、図6のビデオインターフェー
ス部111 は図5の表示制御部31および表示画像バッフ
ァ32を備えた表示回路3に対応し、また、メモリ制御
部112 は、画像メモリ切り替え制御回路20,メモリア
クセス調停回路21,外部DRAMコントロール回路2
2,FIFOメモリ管理部23および画像メモリアドレ
ス変換部24に対応している。なお、図6における逆量
子化部107,逆離散コサイン変換部108 および加算部110
は、それぞれ図5における逆量子化部12,逆DCT変
換部13および予測画像加算回路14に対応している。
【0044】全体制御部101 は、各ブロックの動作制
御、エラー復帰、および、ホストCPUへの割り込みを
処理する。すなわち、全体制御部101 は、表示垂直同
期信号に同期してバッファメモリ内のピクチャー枚数管
理、表示/復号画像のピクチャーストラクチャ管理、マ
クロブロックアドレス/数を管理して各部の起動を処理
し、エラー時はホスト設定に従って復帰し、そして、
パラメータレジスタ部104 を経由してピクチャーヘッ
ダ検出/復号終了、表示V-Sync, B-Picture Skip, バッ
ファメモリオーバー/アンダーフロー、復号/システム
エラーの割り込みをホストCPUに通知する。
御、エラー復帰、および、ホストCPUへの割り込みを
処理する。すなわち、全体制御部101 は、表示垂直同
期信号に同期してバッファメモリ内のピクチャー枚数管
理、表示/復号画像のピクチャーストラクチャ管理、マ
クロブロックアドレス/数を管理して各部の起動を処理
し、エラー時はホスト設定に従って復帰し、そして、
パラメータレジスタ部104 を経由してピクチャーヘッ
ダ検出/復号終了、表示V-Sync, B-Picture Skip, バッ
ファメモリオーバー/アンダーフロー、復号/システム
エラーの割り込みをホストCPUに通知する。
【0045】内部クロック発生部102 は、PLLマクロ
を内蔵しており、LSI外部からの27MHzの基本クロ
ック信号を入力として2種類のクロック信号(27/5
4MHz)を発生して各ブロックへ分配する。ホストイン
ターフェース部103 は、種類の異なるCPUと画像復号
回路100'とのインターフェース機能を有し、必要に応じ
て各ブロックへのアクセスを行なう。
を内蔵しており、LSI外部からの27MHzの基本クロ
ック信号を入力として2種類のクロック信号(27/5
4MHz)を発生して各ブロックへ分配する。ホストイン
ターフェース部103 は、種類の異なるCPUと画像復号
回路100'とのインターフェース機能を有し、必要に応じ
て各ブロックへのアクセスを行なう。
【0046】パラメータレジスタ部104 は、ホストCP
Uからの初期設定パラメータ、コマンド用レジスタ、M
PEGビットストリームより検出される各種のパラメー
タ用のレジスタで構成され、各レジスタの値は、内部の
各ブロックに分配されるが、ホストCPUから読み出す
こともできるようになっている。図7は本発明に係る画
像復号回路の一実施例(図5の画像復号用LSI)にお
ける動作を説明するための図であり、具体的に、MPE
G−2に準拠した画像復号用LSIにおける動作例を示
すものである。なお、MPEG−2では、参照画像デー
タを異なった画像の異なった位置から読み込む場合があ
り、最大4つの矩形に分けて読み込みを行う。また、輝
度と色差情報に分けて参照画像の読み込みを4×2=8
回に分けて行うこともできる。
Uからの初期設定パラメータ、コマンド用レジスタ、M
PEGビットストリームより検出される各種のパラメー
タ用のレジスタで構成され、各レジスタの値は、内部の
各ブロックに分配されるが、ホストCPUから読み出す
こともできるようになっている。図7は本発明に係る画
像復号回路の一実施例(図5の画像復号用LSI)にお
ける動作を説明するための図であり、具体的に、MPE
G−2に準拠した画像復号用LSIにおける動作例を示
すものである。なお、MPEG−2では、参照画像デー
タを異なった画像の異なった位置から読み込む場合があ
り、最大4つの矩形に分けて読み込みを行う。また、輝
度と色差情報に分けて参照画像の読み込みを4×2=8
回に分けて行うこともできる。
【0047】図7において、参照符号A〜Eは、図1を
参照して説明した各処理を示し、また、参照符号RはD
RAM4のリフレッシュ処理を示している。すなわち、
参照符号A〜Eは、次の表1に示される処理に対応して
いる。
参照して説明した各処理を示し、また、参照符号RはD
RAM4のリフレッシュ処理を示している。すなわち、
参照符号A〜Eは、次の表1に示される処理に対応して
いる。
【0048】
【表1】
【0049】図7に示されるように、符号データの読み
出し処理Bおよび表示画像の読み出し処理Rは、高い優
先順位に固定されているので、そのアクセス要求が発生
した時点で該アクセス要求が受け付けられる。図7(a)
は実際のメモリアクセスの一例を示し、図7(b) に示す
1マクロブロックの処理において、復号画像の書き込み
処理Cおよび参照画像の読み出し処理Dの間INS1に
おいて符号データの読み出し処理Bが挿入され、また、
2つの参照画像の読み出し処理Dの間INS2において
符号データの読み出し処理Bおよび表示画像の読み出し
処理Eが挿入された場合を示している。
出し処理Bおよび表示画像の読み出し処理Rは、高い優
先順位に固定されているので、そのアクセス要求が発生
した時点で該アクセス要求が受け付けられる。図7(a)
は実際のメモリアクセスの一例を示し、図7(b) に示す
1マクロブロックの処理において、復号画像の書き込み
処理Cおよび参照画像の読み出し処理Dの間INS1に
おいて符号データの読み出し処理Bが挿入され、また、
2つの参照画像の読み出し処理Dの間INS2において
符号データの読み出し処理Bおよび表示画像の読み出し
処理Eが挿入された場合を示している。
【0050】図7(c) に示されるように、1マクロブロ
ックの処理には内部処理の時間が必要であり、また、参
照画像データのフィルタリングを行う処理時間も必要と
なる。従って、これら2つの処理時間の長い方が終了す
るまでの期間、すなわち、図7(c) における "//////"
の期間が必要になり、この期間中に何もメモリアクセス
要求が発生しない場合には、 "//////" の期間は無効サ
イクルとなる。
ックの処理には内部処理の時間が必要であり、また、参
照画像データのフィルタリングを行う処理時間も必要と
なる。従って、これら2つの処理時間の長い方が終了す
るまでの期間、すなわち、図7(c) における "//////"
の期間が必要になり、この期間中に何もメモリアクセス
要求が発生しない場合には、 "//////" の期間は無効サ
イクルとなる。
【0051】本発明では、上記の無効サイクルの発生を
抑えるために、アクセス周期に余裕のある符号データの
書き込み処理Aおよびリフレッシュ処理Rを、参照画像
の読み出し処理Dと復号画像の書き込み処理Cとの間の
期間に行うように優先順位を決める(適宜変更する)よ
うになっている。このとき、例えば、符号データの書き
込み処理Aおよびリフレッシュ処理Rの優先順位を、参
照画像の読み出し処理Dおよび復号画像の書き込み処理
Cよりも高く固定すると、複数の参照画像の読み出し処
理Dの間に入ってしまいフィルタリング処理時間が後ろ
に延びることになってしまう。一方、符号データの書き
込み処理Aおよびリフレッシュ処理Rの優先順位を、参
照画像の読み出し処理Dおよび復号画像の書き込み処理
Cよりも低く固定すると、表示画像の読み出し処理E或
いは符号データの読み出し処理Bのより高い優先順位の
メモリアクセスが入ったときに、次の参照画像の読み出
し処理Dおよび符号データの読み出し処理Bのメモリア
クセスが発生して、符号データの書き込み処理Aおよび
リフレッシュ処理Rのメモリアクセスが長時間保留され
てしまう。
抑えるために、アクセス周期に余裕のある符号データの
書き込み処理Aおよびリフレッシュ処理Rを、参照画像
の読み出し処理Dと復号画像の書き込み処理Cとの間の
期間に行うように優先順位を決める(適宜変更する)よ
うになっている。このとき、例えば、符号データの書き
込み処理Aおよびリフレッシュ処理Rの優先順位を、参
照画像の読み出し処理Dおよび復号画像の書き込み処理
Cよりも高く固定すると、複数の参照画像の読み出し処
理Dの間に入ってしまいフィルタリング処理時間が後ろ
に延びることになってしまう。一方、符号データの書き
込み処理Aおよびリフレッシュ処理Rの優先順位を、参
照画像の読み出し処理Dおよび復号画像の書き込み処理
Cよりも低く固定すると、表示画像の読み出し処理E或
いは符号データの読み出し処理Bのより高い優先順位の
メモリアクセスが入ったときに、次の参照画像の読み出
し処理Dおよび符号データの読み出し処理Bのメモリア
クセスが発生して、符号データの書き込み処理Aおよび
リフレッシュ処理Rのメモリアクセスが長時間保留され
てしまう。
【0052】そこで、本発明では、前述したように、メ
モリ(4)に対する複数のアクセスの優先順位を、その
時の状態に応じて変更するようになっている。図8は図
5の画像復号用LSIにおけるメモリアクセス調停回路
の一例を示すブロック図である。同図に示されるよう
に、メモリアクセス調停回路21は、アクセス要求信号
(A〜E,R)が入力されるプライオリティエンコーダ
211,アクセス許可信号(A〜E,R)を出力するアクセ
ス許可レジスタ212,フィードバックレジスタ213,およ
び, メモリアクセスの終了を検出するメモリアクセス終
了検出部214 を備えている。
モリ(4)に対する複数のアクセスの優先順位を、その
時の状態に応じて変更するようになっている。図8は図
5の画像復号用LSIにおけるメモリアクセス調停回路
の一例を示すブロック図である。同図に示されるよう
に、メモリアクセス調停回路21は、アクセス要求信号
(A〜E,R)が入力されるプライオリティエンコーダ
211,アクセス許可信号(A〜E,R)を出力するアクセ
ス許可レジスタ212,フィードバックレジスタ213,およ
び, メモリアクセスの終了を検出するメモリアクセス終
了検出部214 を備えている。
【0053】図8に示されるように、アクセス要求信号
(A〜E,R)はプライオリティエンコーダ211 でエン
コードされ、次のメモリアクセスの候補が求められる。
このプライオリティエンコーダ211 におけるエンコード
処理は常時行われており、その時点で最も優先順位(プ
ライオリティ) の高いものが次のメモリアクセスの候補
となる。
(A〜E,R)はプライオリティエンコーダ211 でエン
コードされ、次のメモリアクセスの候補が求められる。
このプライオリティエンコーダ211 におけるエンコード
処理は常時行われており、その時点で最も優先順位(プ
ライオリティ) の高いものが次のメモリアクセスの候補
となる。
【0054】また、アクセス要求信号からメモリアクセ
スの状況が判定され、メモリアクセスが終了した時点
(または、メモリアクセスが行われていないとき)の候
補がアクセス許可レジスタ212 に保持される。この時、
メモリアクセスが終了した時点の候補が、参照画像の読
み出し処理D,符号データの書き込み処理A,または,
リフレッシュ処理Rの内のいずれかだった場合には、該
メモリアクセスが終了した時点の候補はフィードバック
レジスタ213 にも保持される。
スの状況が判定され、メモリアクセスが終了した時点
(または、メモリアクセスが行われていないとき)の候
補がアクセス許可レジスタ212 に保持される。この時、
メモリアクセスが終了した時点の候補が、参照画像の読
み出し処理D,符号データの書き込み処理A,または,
リフレッシュ処理Rの内のいずれかだった場合には、該
メモリアクセスが終了した時点の候補はフィードバック
レジスタ213 にも保持される。
【0055】さらに、フィードバックレジスタ213 の内
容は、プライオリティ変更信号としてプライオリティエ
ンコーダ211 へフィードバックされ、アクセス要求信号
(A〜E,R)の優先順位の変更が行われる。そして、
その時の状態に応じて優先順位が変更されたアクセス許
可信号(A〜E,R)が次の候補となり、アクセス許可
レジスタ212 から出力されることになる。
容は、プライオリティ変更信号としてプライオリティエ
ンコーダ211 へフィードバックされ、アクセス要求信号
(A〜E,R)の優先順位の変更が行われる。そして、
その時の状態に応じて優先順位が変更されたアクセス許
可信号(A〜E,R)が次の候補となり、アクセス許可
レジスタ212 から出力されることになる。
【0056】図9は本発明のメモリアクセス調停回路の
動作を示すタイミングチャートであり、図10は本発明
のメモリアクセス調停回路におけるアクセス要求信号,
アクセス許可信号およびアクセス信号の関係を示すタイ
ミングチャートである。図9に示されるように、符号デ
ータの書き込み処理A,符号データの読み出し処理B,
復号画像の書き込み処理C,参照画像の読み出し処理
D,表示画像の読み出し処理E,および,リフレッシュ
処理Rに対するアクセス要求に対して、前述した優先順
位の変更に応じたアクセス許可信号(A〜E,R)が出
力され、アクセス信号に従ったメモリアクセスが行なわ
れる。
動作を示すタイミングチャートであり、図10は本発明
のメモリアクセス調停回路におけるアクセス要求信号,
アクセス許可信号およびアクセス信号の関係を示すタイ
ミングチャートである。図9に示されるように、符号デ
ータの書き込み処理A,符号データの読み出し処理B,
復号画像の書き込み処理C,参照画像の読み出し処理
D,表示画像の読み出し処理E,および,リフレッシュ
処理Rに対するアクセス要求に対して、前述した優先順
位の変更に応じたアクセス許可信号(A〜E,R)が出
力され、アクセス信号に従ったメモリアクセスが行なわ
れる。
【0057】具体的に、図10を参照して、符号データ
の読み出し処理Bおよび参照画像の読み出し処理Dを例
としてメモリアクセス調停回路におけるアクセス要求信
号,アクセス許可信号およびアクセス信号の関係を説明
する。図10に示されるように、まず、符号データの読
み出し処理Bのアクセス要求信号が出力(高レベル”
H”)され、次いで、参照画像の読み出し処理Dのアク
セス要求信号が出力された場合、P1で示されるよう
に、符号データの読み出し処理Bはアクセス許可信号が
出力されるまでアクセス要求信号の出力が保持される。
ここで、参照画像の読み出し処理Dに関しても、アクセ
ス許可信号が出力されるまでアクセス要求信号の出力が
保持される。
の読み出し処理Bおよび参照画像の読み出し処理Dを例
としてメモリアクセス調停回路におけるアクセス要求信
号,アクセス許可信号およびアクセス信号の関係を説明
する。図10に示されるように、まず、符号データの読
み出し処理Bのアクセス要求信号が出力(高レベル”
H”)され、次いで、参照画像の読み出し処理Dのアク
セス要求信号が出力された場合、P1で示されるよう
に、符号データの読み出し処理Bはアクセス許可信号が
出力されるまでアクセス要求信号の出力が保持される。
ここで、参照画像の読み出し処理Dに関しても、アクセ
ス許可信号が出力されるまでアクセス要求信号の出力が
保持される。
【0058】次に、P2で示されるように、メモリアク
セス調停回路(21)により、その時点で一番優先順位
の高いアクセス要求信号に対してアクセス許可信号が出
力(高レベル”H”)される。図10の例では、符号デ
ータの読み出し処理Bのアクセス要求信号に対して、ア
クセス許可信号が出力される。そして、P3で示される
ように、符号データの読み出し処理Bのアクセス要求信
号は、自身(B)に対するアクセス許可信号を確認した
後、取り下げられる(低レベル”L”)。さらに、P4
で示されるように、P2で出力された符号データの読み
出し処理Bのアクセス許可信号を受けた回路がアクセス
信号を出力(高レベル”H”)してメモリアクセス(符
号データの読み出し処理B)が開始される。
セス調停回路(21)により、その時点で一番優先順位
の高いアクセス要求信号に対してアクセス許可信号が出
力(高レベル”H”)される。図10の例では、符号デ
ータの読み出し処理Bのアクセス要求信号に対して、ア
クセス許可信号が出力される。そして、P3で示される
ように、符号データの読み出し処理Bのアクセス要求信
号は、自身(B)に対するアクセス許可信号を確認した
後、取り下げられる(低レベル”L”)。さらに、P4
で示されるように、P2で出力された符号データの読み
出し処理Bのアクセス許可信号を受けた回路がアクセス
信号を出力(高レベル”H”)してメモリアクセス(符
号データの読み出し処理B)が開始される。
【0059】また、P5で示されるように、必要なメモ
リアクセス(符号データの読み出し処理B)が終了した
時点で、アクセス信号が取り下げられる(低レベル”
L”)。さらに、アクセス信号が取り下げられたこと
(メモリアクセスの終了)を検出して、P6で示される
ように、アクセス許可レジスタをリセットすることによ
ってアクセス許可信号が取り下げられる(低レベル”
L”)。この時点で、一旦、全てのアクセス許可信号が
リセットされる。
リアクセス(符号データの読み出し処理B)が終了した
時点で、アクセス信号が取り下げられる(低レベル”
L”)。さらに、アクセス信号が取り下げられたこと
(メモリアクセスの終了)を検出して、P6で示される
ように、アクセス許可レジスタをリセットすることによ
ってアクセス許可信号が取り下げられる(低レベル”
L”)。この時点で、一旦、全てのアクセス許可信号が
リセットされる。
【0060】そして、P7で示されるように、メモリア
クセス調停回路は、どのアクセス許可信号も出力されて
いない状態を検出して、アクセス許可レジスタにプライ
オリティエンコーダのエンコード結果を設定する。これ
により、P7で示されるように、その時点で一番優先順
位の高いアクセス要求信号に対してアクセス許可信号が
出力される。図10の例では、参照画像の読み出し処理
Dのアクセス要求信号に対して、アクセス許可信号が出
力される。さらに、P8で示されるように、P7で出力
された参照画像の読み出し処理Dのアクセス許可信号を
受けた回路がアクセス信号を出力してメモリアクセス
(参照画像の読み出し処理D)が開始される。
クセス調停回路は、どのアクセス許可信号も出力されて
いない状態を検出して、アクセス許可レジスタにプライ
オリティエンコーダのエンコード結果を設定する。これ
により、P7で示されるように、その時点で一番優先順
位の高いアクセス要求信号に対してアクセス許可信号が
出力される。図10の例では、参照画像の読み出し処理
Dのアクセス要求信号に対して、アクセス許可信号が出
力される。さらに、P8で示されるように、P7で出力
された参照画像の読み出し処理Dのアクセス許可信号を
受けた回路がアクセス信号を出力してメモリアクセス
(参照画像の読み出し処理D)が開始される。
【0061】図11は本発明のメモリアクセス調停回路
(21)におけるプライオリティエンコーダの論理構成
を示す図であり、図11(a) は固定プライオリティエン
コーダ回路PEを示し、また、図11(b) は固定プライ
オリティエンコーダ回路PEを構成する一例の論理式を
示している。なお、図11(b) の論理式において、符号
「^」は論理反転(NOT)を示し、また、符号「&」
は論理積(AND)を示している。
(21)におけるプライオリティエンコーダの論理構成
を示す図であり、図11(a) は固定プライオリティエン
コーダ回路PEを示し、また、図11(b) は固定プライ
オリティエンコーダ回路PEを構成する一例の論理式を
示している。なお、図11(b) の論理式において、符号
「^」は論理反転(NOT)を示し、また、符号「&」
は論理積(AND)を示している。
【0062】図11(a) の固定プライオリティエンコー
ダ回路PEは、入力信号(アクセス要求信号)A,B,
C,D,E,Rに対して、所定の優先順位に従った出力
信号a,b,c,d,e,rを出力するようになってい
る。図11(b) は、優先順位「B>E>D>A>R>
C」を実現するための論理式を示しており、図11(a)
の固定プライオリティエンコーダ回路PEを図11(b)
の論理式に対応した回路により構成することで、所定の
優先順位(B>E>D>A>R>C)を設定することが
可能となる。
ダ回路PEは、入力信号(アクセス要求信号)A,B,
C,D,E,Rに対して、所定の優先順位に従った出力
信号a,b,c,d,e,rを出力するようになってい
る。図11(b) は、優先順位「B>E>D>A>R>
C」を実現するための論理式を示しており、図11(a)
の固定プライオリティエンコーダ回路PEを図11(b)
の論理式に対応した回路により構成することで、所定の
優先順位(B>E>D>A>R>C)を設定することが
可能となる。
【0063】図12は本発明のメモリアクセス調停回路
(21)におけるプライオリティエンコーダ部(プライ
オリティエンコーダ211)の一例を示す図である。図12
に示されるように、プライオリティエンコーダ部は、複
数の固定プライオリティエンコーダPE−1〜PE−n
(図11の固定プライオリティエンコーダPEに対応)
およびセレクタ回路SELで構成され、各固定プライオ
リティエンコーダPE−1〜PE−nに設定された優先
順位の内、その時点に応じた最適なものを選択回路SE
Lで選択して出力するようになっている。具体的に、固
定プライオリティエンコーダPE−1は優先順位「B>
E>D>A>R>C」を設定し、固定プライオリティエ
ンコーダPE−nは優先順位「B>E>C>D>A>
R」を設定するようになっている。なお、固定プライオ
リティエンコーダPE−1は図11に示す固定プライオ
リティエンコーダPEと同様の回路となっているが、固
定プライオリティエンコーダPE−nも優先順位「B>
E>C>D>A>R」を実現する論理式に対応した回路
となっている。
(21)におけるプライオリティエンコーダ部(プライ
オリティエンコーダ211)の一例を示す図である。図12
に示されるように、プライオリティエンコーダ部は、複
数の固定プライオリティエンコーダPE−1〜PE−n
(図11の固定プライオリティエンコーダPEに対応)
およびセレクタ回路SELで構成され、各固定プライオ
リティエンコーダPE−1〜PE−nに設定された優先
順位の内、その時点に応じた最適なものを選択回路SE
Lで選択して出力するようになっている。具体的に、固
定プライオリティエンコーダPE−1は優先順位「B>
E>D>A>R>C」を設定し、固定プライオリティエ
ンコーダPE−nは優先順位「B>E>C>D>A>
R」を設定するようになっている。なお、固定プライオ
リティエンコーダPE−1は図11に示す固定プライオ
リティエンコーダPEと同様の回路となっているが、固
定プライオリティエンコーダPE−nも優先順位「B>
E>C>D>A>R」を実現する論理式に対応した回路
となっている。
【0064】図13は図8のメモリアクセス調停回路に
より各処理状態において変更される優先順位の具体例を
説明するための図である。同図において、参照符号F1
〜F5は、それぞれ直前に行われたアクセス処理を示
し、各状態におけるメモリアクセス要求の優先順位を示
している。すなわち、図13は、図8に示すメモリアク
セス調停回路21により、その時の状態に応じて各メモ
リアクセス要求の優先順位が変化する様子を示してい
る。
より各処理状態において変更される優先順位の具体例を
説明するための図である。同図において、参照符号F1
〜F5は、それぞれ直前に行われたアクセス処理を示
し、各状態におけるメモリアクセス要求の優先順位を示
している。すなわち、図13は、図8に示すメモリアク
セス調停回路21により、その時の状態に応じて各メモ
リアクセス要求の優先順位が変化する様子を示してい
る。
【0065】すなわち、リセット直後F1において、各
メモリアクセス要求は、符号データの読み出し処理B>
表示画像の読み出し処理E>参照画像の読み出し処理D
>符号データの書き込み処理A>メモリのリフレッシュ
処理R>復号画像の書き込み処理Cとなっており、ま
た、参照画像の読み出し処理Dの直後F2では、B>E
>D>A>R>Cとその優先順位が変更されるようにな
っている。ここで、参照画像の読み出し処理Dの直後F
2において、参照画像の読み出し処理Dの優先順位(メ
モリアクセス要求の優先順位)が高く設定されるのは、
複数の参照画像の読み出し処理Dをできるだけ間隔を空
けることなく続けてアクセスするためである。
メモリアクセス要求は、符号データの読み出し処理B>
表示画像の読み出し処理E>参照画像の読み出し処理D
>符号データの書き込み処理A>メモリのリフレッシュ
処理R>復号画像の書き込み処理Cとなっており、ま
た、参照画像の読み出し処理Dの直後F2では、B>E
>D>A>R>Cとその優先順位が変更されるようにな
っている。ここで、参照画像の読み出し処理Dの直後F
2において、参照画像の読み出し処理Dの優先順位(メ
モリアクセス要求の優先順位)が高く設定されるのは、
複数の参照画像の読み出し処理Dをできるだけ間隔を空
けることなく続けてアクセスするためである。
【0066】また、符号データの書き込み処理Aの直後
F3では、B>E>R>C>D>Aとその優先順位が変
更され、さらに、メモリのリフレッシュ処理Rの直後F
4では、B>E>C>D>A>Rとその優先順位が変更
され、そして、復号画像の書き込み処理Cの直後F5で
は、B>E>D>A>R>Cとその優先順位が変更され
るようになっている。
F3では、B>E>R>C>D>Aとその優先順位が変
更され、さらに、メモリのリフレッシュ処理Rの直後F
4では、B>E>C>D>A>Rとその優先順位が変更
され、そして、復号画像の書き込み処理Cの直後F5で
は、B>E>D>A>R>Cとその優先順位が変更され
るようになっている。
【0067】このように、本発明の実施例としてのメモ
リアクセス調停回路を有する半導体集積回路(画像復号
用LSI)および該画像復号用LSIを含む画像復号装
置によれば、複数のメモリアクセス要求の優先順位をそ
の時の状態に応じて適宜変更し、該変更された優先順位
に応じてメモリアクセスの調停およびスケジューリング
を行うことによって、バッファメモリの容量やメモリバ
ス幅といった回路規模の増大および動作周波数の高速化
を抑えて、効率の良いメモリシステムを実現することが
できる。特に、本発明は、MPEG等の画像復号装置の
性能向上に寄与するところが大きいものである。
リアクセス調停回路を有する半導体集積回路(画像復号
用LSI)および該画像復号用LSIを含む画像復号装
置によれば、複数のメモリアクセス要求の優先順位をそ
の時の状態に応じて適宜変更し、該変更された優先順位
に応じてメモリアクセスの調停およびスケジューリング
を行うことによって、バッファメモリの容量やメモリバ
ス幅といった回路規模の増大および動作周波数の高速化
を抑えて、効率の良いメモリシステムを実現することが
できる。特に、本発明は、MPEG等の画像復号装置の
性能向上に寄与するところが大きいものである。
【0068】
【発明の効果】以上、詳述したように、本発明によれ
ば、画像の復号動作に必要なデータをすべて一つのメモ
リに収めることができ、メモリを分割することによる容
量の無駄をなくして、必要となる最小限のメモリ容量に
て画像復号装置を構成できる。
ば、画像の復号動作に必要なデータをすべて一つのメモ
リに収めることができ、メモリを分割することによる容
量の無駄をなくして、必要となる最小限のメモリ容量に
て画像復号装置を構成できる。
【図1】本発明に係る画像復号装置の要部構成を概略的
に示すブロック図である。
に示すブロック図である。
【図2】本発明に係る半導体集積回路の要部構成を概略
的に示すブロック図である。
的に示すブロック図である。
【図3】本発明の画像復号装置における特徴的な動作を
説明するための図である。
説明するための図である。
【図4】本発明の画像復号装置の一実施例を示すブロッ
ク図である。
ク図である。
【図5】本発明の半導体集積回路の一実施例としての画
像復号回路の構成を示すブロック図である。
像復号回路の構成を示すブロック図である。
【図6】本発明の半導体集積回路の他の実施例としての
画像復号回路を示す機能ブロック図である。
画像復号回路を示す機能ブロック図である。
【図7】本発明に係る画像復号回路(画像復号用LS
I)の一実施例における動作を説明するための図であ
る。
I)の一実施例における動作を説明するための図であ
る。
【図8】本発明の画像復号回路の一実施例におけるメモ
リアクセス調停回路の一例を示すブロック図である。
リアクセス調停回路の一例を示すブロック図である。
【図9】本発明のメモリアクセス調停回路の動作を示す
タイミングチャートである。
タイミングチャートである。
【図10】本発明のメモリアクセス調停回路におけるア
クセス要求信号,アクセス許可信号およびアクセス信号
の関係を示すタイミングチャートである。
クセス要求信号,アクセス許可信号およびアクセス信号
の関係を示すタイミングチャートである。
【図11】本発明のメモリアクセス調停回路におけるプ
ライオリティエンコーダの論理構成を示す図である。
ライオリティエンコーダの論理構成を示す図である。
【図12】本発明のメモリアクセス調停回路におけるプ
ライオリティエンコーダ部の一例を示す図である。
ライオリティエンコーダ部の一例を示す図である。
【図13】本発明のメモリアクセス調停回路により各処
理状態において変更される優先順位の具体例を説明する
ための図である。
理状態において変更される優先順位の具体例を説明する
ための図である。
1…データ処理回路(復号回路) 2…メモリ制御回路 3…表示回路 4…メモリ(DRAM) 10…符号データ入力制御部 11…可変長復号処理部 12…逆量子化処理部 13…逆DCT変換部 14…予測画像加算回路 15…動きベクトル再生回路 16…入力バッファ 17…符号バッファ 18…予測画像バッファ 19…復号画像バッファ 20…画像メモリ切り換え制御回路 21…メモリアクセス調停回路 22…外部DRAMコントロール回路 23…FIFOメモリ管理部 24…画像メモリアドレス変換部 31…表示制御部 32…表示画像バッファ 100,100'…半導体集積回路(画像復号用LSI) 101 …全体制御部 102 …内部クロック生成部 103 …ホストインターフェース部 104 …パラメータレジスタ部 105 …入力データ制御部 106 …可変長復号化部 107 …逆量子化部 108 …逆離散コサイン変換部 109 …フィルタ部 110 …加算部 111 …ビデオインターフェース部 112 …メモリ制御部 200 …画像復号回路 201 …復調回路 202 …デマルチプレクサ 203 …音声復号回路 204 …ホストプロセッサ 205 …グラフィック回路 206 …ビデオエンコーダ 211 …プライオリティエンコーダ 212 …アクセス許可レジスタ 213 …フィードバックレジスタ 214 …メモリアクセス終了検出部 A…書き込み符号データ(符号データの書き込み処理) B…読み出し符号データ(符号データの読み出し処理) C…書き込み画像データ(復号画像の書き込み処理) D…予測参照画像データ(参照画像の読み出し処理) E…読み出し画像データ(表示画像の読み出し処理) PE,PE−1〜PE−n…固定プライオリティ・エン
コーダ回路 R…DRAMのリフレッシュ処理 SEL…セレクタ回路
コーダ回路 R…DRAMのリフレッシュ処理 SEL…セレクタ回路
フロントページの続き (72)発明者 数井 君彦 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 宮坂 秀樹 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 上野 靖典 神奈川県横浜市港北区新横浜2丁目3番9 号 富士通ディジタル・テクノロジ株式会 社内 (72)発明者 丸山 浩二 福岡県福岡市博多区博多駅前三丁目22番8 号 富士通九州ディジタル・テクノロジ株 式会社内
Claims (25)
- 【請求項1】 メモリに対する複数のアクセスを、該各
アクセスの優先順位をその時の状態に応じて変更し、該
変更された優先順位に応じてメモリアクセスの調停およ
びスケジューリングを行って、特定のメモリアクセスへ
の集中や無効期間の発生等を防止するようにしたことを
特徴とするメモリアクセス制御方法。 - 【請求項2】 前記メモリはリフレッシュ処理が要求さ
れる記憶装置であり、該揮発性半導体記憶装置は異なる
形式のデータにより時分割的に共有され、該各形式のデ
ータの書き込みおよび読み出し処理と前記リフレッシュ
処理とにおけるメモリアクセスの調停およびスケジュー
リングを行うことを特徴とする請求項1のメモリアクセ
ス制御方法。 - 【請求項3】 前記異なる形式のデータは、画像圧縮さ
れた符号データおよび該符号データを復号した画像デー
タであり、前記記憶装置に対するアクセスは、符号デー
タの書き込み処理,符号データの読み出し処理,復号画
像の書き込み処理,参照画像の読み出し処理,表示画像
の読み出し処理,および,記憶装置のリフレッシュ処理
を備えていることを特徴とする請求項2のメモリアクセ
ス制御方法。 - 【請求項4】 前記記憶装置のリフレッシュ処理および
前記符号データの書き込み処理等のアクセス周期に余裕
のあるメモリアクセスを、前記参照画像の読み出し処理
および前記復号画像の書き込み処理の間で実行するよう
にしたことを特徴とする請求項3のメモリアクセス制御
方法。 - 【請求項5】 前記符号データの読み出し処理の優先順
位を一番高く設定して、高い読み出し速度を達成するよ
うにしたことを特徴とする請求項3のメモリアクセス制
御方法。 - 【請求項6】 前記符号データの読み出し処理を、前記
参照画像の読み出し処理および前記復号画像の書き込み
処理よりも優先して符号データの読み出し速度を向上さ
せるようにしたことを特徴とする請求項3のメモリアク
セス制御方法。 - 【請求項7】 リセット直後,参照画像の読み出し処理
の直後,或いは,復号画像の書き込み処理の直後におい
ては、符号データの読み出し処理>表示画像の読み出し
処理>参照画像の読み出し処理>符号データの書き込み
処理>メモリのリフレッシュ処理>復号画像の書き込み
処理となるようにメモリアクセスの優先順位を設定した
ことを特徴とする請求項3のメモリアクセス制御方法。 - 【請求項8】 符号データの書き込み処理の直後におい
ては、符号データの読み出し処理>表示画像の読み出し
処理>メモリのリフレッシュ処理>復号画像の書き込み
処理>参照画像の読み出し処理>符号データの書き込み
処理となるようにメモリアクセスの優先順位を設定した
ことを特徴とする請求項3のメモリアクセス制御方法。 - 【請求項9】 メモリのリフレッシュ処理の直後におい
ては、符号データの読み出し処理>表示画像の読み出し
処理>復号画像の書き込み処理>参照画像の読み出し処
理>符号データの書き込み処理>メモリのリフレッシュ
処理となるようにメモリアクセスの優先順位を設定した
ことを特徴とする請求項3のメモリアクセス制御方法。 - 【請求項10】 前記符号データおよび前記画像データ
のメモリアクセスは、各メモリアクセスを処理単位毎に
区切り、必要なデータ量だけをアクセスする可変長のア
クセス制御として行われるようになっていることを特徴
とする請求項1のメモリアクセス制御方法。 - 【請求項11】 前記メモリに対する各アクセスの優先
順位は、直前に行われたメモリアクセスの内容に応じて
変更されるようになっていることを特徴とする請求項1
のメモリアクセス制御方法。 - 【請求項12】 画像圧縮された符号データを復号して
画像データを得る画像復号装置であって、 第1の形式のデータを処理して第2の形式のデータを得
るデータ処理回路と、 前記第1の形式のデータおよび前記第2の形式のデータ
の両方を記憶するメモリと、 前記第1の形式のデータおよび前記第2の形式のデータ
によるメモリアクセス要求の優先順位を可変し、該可変
された優先順位に応じてメモリアクセスの調停およびス
ケジューリングを行うメモリ制御回路とを具備すること
を特徴とする画像復号装置。 - 【請求項13】 前記メモリはリフレッシュ処理が要求
される記憶装置であり、前記第1の形式のデータは画像
圧縮された符号データであり、前記第2の形式のデータ
は該符号データを復号した画像データであり、そして、
前記データ処理回路は該画像圧縮された符号データを復
号して該画像データを得る復号回路であることを特徴と
する請求項12の画像復号装置。 - 【請求項14】 前記メモリ制御回路は、前記符号デー
タおよび前記画像データの書き込みおよび読み出し処理
と前記リフレッシュ処理とにおけるメモリアクセスの調
停およびスケジューリングを行うことを特徴とする請求
項13の画像復号装置。 - 【請求項15】 前記メモリ制御回路が行なうメモリア
クセスの調停およびスケジューリングは、符号データの
書き込み処理,符号データの読み出し処理,復号画像の
書き込み処理,参照画像の読み出し処理,表示画像の読
み出し処理,および,記憶装置のリフレッシュ処理の6
つの処理に対して行なうようになっていることを特徴と
する請求項14の画像復号装置。 - 【請求項16】 前記メモリ制御回路は、前記記憶装置
のリフレッシュ処理および前記符号データの書き込み処
理等のアクセス周期に余裕のあるメモリアクセスを、前
記参照画像の読み出し処理および前記復号画像の書き込
み処理の間で実行するようにメモリアクセスの調停およ
びスケジューリングを行うようになっていることを特徴
とする請求項15の画像復号装置。 - 【請求項17】 前記メモリ制御回路は、前記符号デー
タの読み出し処理の優先順位を一番高く設定して、高い
読み出し速度を達成するようにメモリアクセスの調停お
よびスケジューリングを行うようになっていることを特
徴とする請求項15の画像復号装置。 - 【請求項18】 前記メモリ制御回路は、前記符号デー
タの読み出し処理を、前記参照画像の読み出し処理およ
び前記復号画像の書き込み処理よりも優先して符号デー
タの読み出し速度を向上させるようにメモリアクセスの
調停およびスケジューリングを行うようになっているこ
とを特徴とする請求項15の画像復号装置。 - 【請求項19】 前記メモリ制御回路は、リセット直
後,参照画像の読み出し処理の直後,或いは,復号画像
の書き込み処理の直後において、符号データの読み出し
処理>表示画像の読み出し処理>参照画像の読み出し処
理>符号データの書き込み処理>メモリのリフレッシュ
処理>復号画像の書き込み処理となるようにメモリアク
セスの調停およびスケジューリングを行うようになって
いることを特徴とする請求項15の画像復号装置。 - 【請求項20】 前記メモリ制御回路は、符号データの
書き込み処理の直後において、符号データの読み出し処
理>表示画像の読み出し処理>メモリのリフレッシュ処
理>復号画像の書き込み処理>参照画像の読み出し処理
>符号データの書き込み処理となるようにメモリアクセ
スの調停およびスケジューリングを行うようになってい
ることを特徴とする請求項15の画像復号装置。 - 【請求項21】 前記メモリ制御回路は、記憶装置リフ
レッシュ処理の直後において、符号データの読み出し処
理>表示画像の読み出し処理>復号画像の書き込み処理
>参照画像の読み出し処理>符号データの書き込み処理
>メモリのリフレッシュ処理となるようにメモリアクセ
スの調停およびスケジューリングを行うようになってい
ることを特徴とする請求項15の画像復号装置。 - 【請求項22】 前記第1の形式のデータおよび前記第
2の形式のデータによるメモリアクセス要求の優先順位
は、直前に行われたメモリアクセスの内容に応じて変更
されるようになっていることを特徴とする請求項12の
画像復号装置。 - 【請求項23】 さらに、前記メモリに格納された画像
データを読み出して表示データを出力する表示回路を具
備することを特徴とする請求項12の画像復号装置。 - 【請求項24】 前記データ処理回路と前記メモリ制御
回路とがワンチップに集積化されてなることを特徴とす
る請求項12の画像復号装置。 - 【請求項25】 第1の形式のデータを処理して第2の
形式のデータを得るデータ処理回路と、 第1の形式のデータおよび第2の形式のデータの両方を
記憶するメモリに対して、両データのメモリアクセス要
求の優先順位を可変し、該可変された優先順位に応じて
メモリアクセスの調停およびスケジューリングを行うメ
モリ制御回路とを集積してなる半導体積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7320179A JPH08314793A (ja) | 1995-03-13 | 1995-12-08 | メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7-52610 | 1995-03-13 | ||
JP5261095 | 1995-03-13 | ||
JP7320179A JPH08314793A (ja) | 1995-03-13 | 1995-12-08 | メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08314793A true JPH08314793A (ja) | 1996-11-29 |
Family
ID=26393236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7320179A Withdrawn JPH08314793A (ja) | 1995-03-13 | 1995-12-08 | メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08314793A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001319227A (ja) * | 2000-01-21 | 2001-11-16 | Symagery Microsystems Inc | 画像形成アレイ用ホストインタフェース |
WO2004068349A1 (ja) * | 2003-01-27 | 2004-08-12 | Matsushita Electric Industrial Co., Ltd. | メモリ制御装置 |
US6820152B2 (en) | 2001-04-25 | 2004-11-16 | Matsushita Electric Industrial Co., Ltd. | Memory control device and LSI |
WO2005096162A1 (ja) * | 2004-03-18 | 2005-10-13 | Matsushita Electric Industrial Co., Ltd. | アービトレーション方法及び装置 |
US7038737B1 (en) | 1998-11-26 | 2006-05-02 | Matsushita Electric Industrial Co., Ltd. | Image processing device |
KR100716947B1 (ko) * | 2000-07-21 | 2007-05-10 | 삼성전자주식회사 | 커맨드 실행 조정방법 및 그 장치 |
JP2014059939A (ja) * | 2012-09-19 | 2014-04-03 | Fujitsu Semiconductor Ltd | リフレッシュ制御装置およびリフレッシュ制御方法、並びに、半導体装置 |
-
1995
- 1995-12-08 JP JP7320179A patent/JPH08314793A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7038737B1 (en) | 1998-11-26 | 2006-05-02 | Matsushita Electric Industrial Co., Ltd. | Image processing device |
JP2001319227A (ja) * | 2000-01-21 | 2001-11-16 | Symagery Microsystems Inc | 画像形成アレイ用ホストインタフェース |
KR100716947B1 (ko) * | 2000-07-21 | 2007-05-10 | 삼성전자주식회사 | 커맨드 실행 조정방법 및 그 장치 |
US6820152B2 (en) | 2001-04-25 | 2004-11-16 | Matsushita Electric Industrial Co., Ltd. | Memory control device and LSI |
WO2004068349A1 (ja) * | 2003-01-27 | 2004-08-12 | Matsushita Electric Industrial Co., Ltd. | メモリ制御装置 |
WO2005096162A1 (ja) * | 2004-03-18 | 2005-10-13 | Matsushita Electric Industrial Co., Ltd. | アービトレーション方法及び装置 |
US7328292B2 (en) | 2004-03-18 | 2008-02-05 | Matsushita Electric Industrial Co., Ltd. | Arbitration method and device |
JP2014059939A (ja) * | 2012-09-19 | 2014-04-03 | Fujitsu Semiconductor Ltd | リフレッシュ制御装置およびリフレッシュ制御方法、並びに、半導体装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6141721A (en) | Method of asynchronous memory access | |
US6981073B2 (en) | Multiple channel data bus control for video processing | |
US5812789A (en) | Video and/or audio decompression and/or compression device that shares a memory interface | |
KR100418437B1 (ko) | 멀티미디어 신호처리를 위한 영상복원 프로세서 | |
US5752266A (en) | Method controlling memory access operations by changing respective priorities thereof, based on a situation of the memory, and a system and an integrated circuit implementing the method | |
JP3279852B2 (ja) | 信号復号装置 | |
US6119213A (en) | Method for addressing data having variable data width using a fixed number of bits for address and width defining fields | |
JPH10509569A (ja) | 3:2のプルダウンで映像をデコードしそして表示するメモリ利用法 | |
JP2005510981A (ja) | 複数チャネル・ビデオトランスコーディング・システムおよび方法 | |
US20070208919A1 (en) | Burst memory access method to rectangular area | |
Demura et al. | A single-chip MPEG2 video decoder LSI | |
JP4712195B2 (ja) | ビデオ・データのダウン・コンバージョンに関する方法および装置 | |
JPH10108199A (ja) | 画像符号化装置 | |
JPH08314793A (ja) | メモリアクセス制御方法および該方法を適用した半導体集積回路および画像復号装置 | |
JP4319268B2 (ja) | 動画像復号方法及び装置 | |
KR100282389B1 (ko) | 에이치디티브이 비디오 디코더의 메모리 제어 방법 | |
US7246220B1 (en) | Architecture for hardware-assisted context switching between register groups dedicated to time-critical or non-time critical tasks without saving state | |
JPH11203462A (ja) | メモリアクセス制御装置および方法 | |
US20030123555A1 (en) | Video decoding system and memory interface apparatus | |
JP2000092469A (ja) | デジタル受信端末 | |
JP3327900B2 (ja) | データ処理装置 | |
JP3685386B2 (ja) | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム | |
JPH10322643A (ja) | 画像データ処理方法及び装置 | |
JPH1118080A (ja) | 動画像復号方法及び装置 | |
US7627232B2 (en) | Reproduction apparatus, data processing system, reproduction method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20030304 |