[go: up one dir, main page]

JP2007336468A - 再符号化装置、再符号化方法およびプログラム - Google Patents

再符号化装置、再符号化方法およびプログラム Download PDF

Info

Publication number
JP2007336468A
JP2007336468A JP2006169049A JP2006169049A JP2007336468A JP 2007336468 A JP2007336468 A JP 2007336468A JP 2006169049 A JP2006169049 A JP 2006169049A JP 2006169049 A JP2006169049 A JP 2006169049A JP 2007336468 A JP2007336468 A JP 2007336468A
Authority
JP
Japan
Prior art keywords
filter
encoding
unit
decoding
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006169049A
Other languages
English (en)
Inventor
Tomohiro Igai
知宏 猪飼
Shingo Nagataki
真吾 長滝
Masatake Takahashi
真毅 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2006169049A priority Critical patent/JP2007336468A/ja
Publication of JP2007336468A publication Critical patent/JP2007336468A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】復号装置において画質劣化が適切に抑制される再符号化データを生成できる再符号化装置を提供する。
【解決手段】フィルタ手段を有する復号装置へ入力する符号化データを生成する再符号化装置において、入力された符号化データを復号して、復号データを生成するとともに、符号化データに関する情報を検出する復号手段と、復号手段が検出した情報に基づき、復号装置のフィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データと、フィルタパラメータ生成手段が生成したフィルタパラメータとを出力する符号化手段とを備えることを特徴とする再符号化装置。
【選択図】図1

Description

本発明は、再符号化装置、再符号化方法およびプログラム、特に符号化されたデジタル動画像データを復号した後に、再度符号化する再符号化装置、再符号化方法およびプログラムに関する。
近年、デジタル動画像符号化技術の発展はめざましく、BSデジタル放送や地上波デジタル放送に代表されるテレビ放送や、HDDビデオレコーダを筆頭とする録画装置など、一般消費者の身近においてもその技術の応用が盛んである。とりわけHDDビデオレコーダは、従来のVHS等のアナログ動画像録画装置と比べて、画質面での優位性があるだけでなく、内蔵されているHDDに数十時間から数百時間に亘る長時間の動画像を取りためておくことができるため、大幅なユーザの利便性向上が図られている。また、HDDレコーダの中には、既に録画済みの映像を、より高い圧縮率で再符号化することでHDDの残り容量を拡大し、更に長時間の録画を実現できるものも存在する。前記再符号化においては、圧縮率を高めつつも、可能な限り画質劣化を抑制する技術が重要である。
以下、再符号化における画質劣化を抑制する従来技術を説明する。なお、以下では「デジタル動画像」のことを単に「動画像」と記載する。
従来、例えば特許文献1の再符号化装置において、再符号化に伴う画質劣化を抑制している。図14は、特許文献1の再符号化装置を含むコーデックシステムを示す概略ブロック図である。このコーデックシステムは、再符号化装置1300と復号装置1310から構成される。さらに再符号化装置1300は復号部1301、フィルタ部1302、符号化部1303から構成され、復号装置1310は復号部1311とフィルタ部1312から構成される。
復号部1301は符号化データを復号し画像データを出力する。出力された画像データはフィルタ部1302でフィルタリングされた後に符号化部1303に入力される。符号化部1303では入力された画像データを符号化する。フィルタ部1302のフィルタリングの効果は、一つには入力された符号化データの復号画像における画質の劣化を抑制する効果であり、もう一つは以下に説明する効果である。
図15に示すように、復号部1301は、符号化データを逆量子化して係数Fdを得る逆量子化部1401と、係数Fdを逆離散コサイン変換するIDCT部1402とを備える。符号化部1303は、画像を離散コサイン変換して係数Feを得るDCT部1404と、係数Feを量子化する量子化部1405とを備える。
ここで、もしフィルタ部1312が存在しないとすると、復号部1301のIDCT部1402が係数Fdを逆離散コサイン変換して得られた画像は、符号化部1303のDCT部1404に直接入力され離散コサイン変換がなされて係数Feとなる。逆離散コサイン変換は演算誤差を無視すれば離散コサイン変換の逆変換であるから、逆離散コサイン変換前の係数FdとDCT後の係数Feは殆ど同じ値になる(Fe≒Fd)。IDCT部1402に入力される係数Fdは逆量子化されたものであるから、逆量子化における量子化ステップで決まる整数しか値に取れない非連続的な値である。
Fe≒Fdであるから係数Feも同じように量子化ステップで決まる整数しか値に取ることができない。このような非連続的な値である係数Feを、符号化部1303の量子化部1405でさらに別の量子化ステップで決まる非連続的な値に変換すると、変換前のDCT係数の大きさおよび量子化ステップの大きさによっては、量子化時の量子化ステップから考えられる通常の量子化誤差よりも誤差が大きくなる(再符号化特有の量子化誤差が生じる)。
この誤差による画質劣化を抑制するために、従来の再符号化装置1300では、IDCT部1402とDCT部1404の間にフィルタ部1302を設けて、DCT部1404に入力される前の画像IeをIDCT後の画像Idとは異なるものにする。この処理によってIDCT部1402に入力される前の係数FdとDCT部1404の出力の係数Feが殆ど同じになるという状況を防ぐ。この結果、IDCT部1402に入力される前の係数Fdが非連続的な値であったとしても、DCT部1404の出力の係数Feは必ずしも係数Fdと殆ど同じ値の非連続的な値にはならず、非連続的な値を再度量子化することによる再符号化時特有の量子化誤差を防ぐことができる。従って、特許文献1に記載の技術を用いると再符号化特有の量子化誤差によって画質の劣化が生じることをある程度抑制することができる。
ところで、再符号化装置1300で符号化された動画像データを、最終的にユーザが視聴するためには、ある復号装置で復号して再生する必要がある。図14に示すコーデックシステムでは、復号装置1310がこの復号装置に相当する。復号装置1310では、再符号化データを復号する復号部1311に加え、符号化時に生じた画質の劣化を抑制するためのフィルタ部1312を備える。
特許文献2における再符号化装置1300は、復号時にかけられるフィルタ(フィルタ部1312でかけるフィルタ)の強度を、符号化時に決定することによって、画質の劣化を抑制している。この再符号化装置1300を図14を再度、参照して説明する。
特許文献2に記載の技術においては、再符号化装置にてフィルタの強度を決めるためのパラメータとしてフィルタパラメータを決定し、復号装置では、復号時にかけるフィルタでは与えられたフィルタパラメータに応じた強度でフィルタをかける。本明細書における説明ではフィルタパラメータが大きいほど強いフィルタがかかるものとする。
また、フィルタパラメータは、符号化部1303において決定され、符号化部1303では、画像データを符号化するとともに、決定したフィルタパラメータを符号化して外部に出力する。出力された画像及びフィルタパラメータの再符号化データは復号部1311に伝送される。復号部1311では、再符号化データを復号し、画像データ及びフィルタパラメータを得る。得られた画像データ及びフィルタパラメータはフィルタ部1312に伝送される。フィルタ部1312は、復号部1311から伝送されたフィルタパラメータに従ってフィルタリングを行う。フィルタリングとしては、例えば、フィルタパラメータが1(フィルタ弱を意味する)、2(フィルタ強を意味する)の2つの値を持つとすると、復号されたフィルタパラメータが1(フィルタ弱)の場合には、(1 2 1)//4のFIRフィルタによりフィルタリングを行い、復号されたフィルタパラメータが2(フィルタ強)の場合には、 (1 2 3 4 3 2 1)//16のFIRフィルタによりフィルタリングを行う。
続いて、符号化部1303においてどのようにフィルタパラメータを決定するのかを説明する。特許文献2に記載の技術では、SNR(Signal to Noise Ratio)を用いることによって、フィルタパラメータを決定する。
SNRは、フィルタを施したあとの画像の良さを示す一つの指標であり、この指標の元では値が大きいほど良いフィルタであることになる。特許文献2のフィルタパラメータを決定する方法には2つある。図16は、第1のフィルタパラメータを決定する方法を説明するための図である。図16は、フィルタパラメータの大きさとSNR(ポストフィルタをかけた画像と符号化前の画像のSNR)の関係を示す。図16のグラフの横軸はフィルタパラメータ、縦軸はSNRである。特許文献2の方法では、まず、様々な値のフィルタパラメータに対し、そのフィルタパラメータを用いてフィルタをかけた画像を生成する。次に、フィルタリングされた画像と符号化前の画像とのSNRを求める。最後に求めたSNRを最大化するフィルタパラメータを選択するというものである。図16よりある特定のフィルタパラメータにおいてSNRを最大化できることが分かる。
図17は、第2のフィルタパラメータを決定する方法を説明するための図である。図17は、SNRとそのSNRにおける最適なフィルタパラメータとの関係を示す。第2の方法では、予め様々な画像や符号化パラメータによって、SNRとそのSNRにおける最適なフィルタパラメータとの関係を示すテーブルを求めておく。テーブルが得られた後には、符号化する際に、符号化前の画像と、符号化する際に生成されるローカル復号画像(符号化装置内の仮想復号装置で生成される画像。復号装置で生成される画像と等しい)とのSNRを求め、次に図17に示すテーブルを参照することによって、SNRからフィルタパラメータを求める。SNRと最適なフィルタパラメータとの関係は、図17に示すように、SNRが小さい(画質が低い)ほど、最適なフィルタの強度は強くなる。
この理由は、以下のものである。まず画像は符号化されると量子化誤差が生じるが、この誤差というのはランダムなものである。この場合、フィルタによって平滑化したほうがランダムな誤差が平均的に抑制されてもとの画像に近づく。粗く量子化されたSNRの低い画像の方が誤差が大きくなるため、誤差を減らすためにはフィルタ強度を強くする必要がある。また、高いSNRを得るという指標だけではなく、視覚的に良い画質にするという指標においても、フィルタをかける前の画像のSNRが低いほど強いフィルタをかけたほうが好適である。これは、SNRが低くなるほど、ブロックノイズやモスキートノイズなどのノイズが増大するため、これら視覚的に目立つノイズを抑制するようなフィルタも強くしなくてはいけないためである。
以上、SNRに基づいてフィルタパラメータを決定する方法を説明したが、従来の技術としては、SNRを使う方法のほか、量子化パラメータを使ってフィルタパラメータを決定する技術が知られている。量子化パラメータを使う利点は、一つには演算量の大きいSNRを求める処理をしなくても良いので演算量を減らすことができる点である。また他の利点は、量子化パラメータは復号するときに得られる情報であるから、フィルタパラメータに量子化パラメータを用いる場合には、フィルタパラメータとして独立した情報を復号装置に伝送しなくても良いという点である。以下、フィルタパラメータの決定に、量子化パラメータを用いる方法を説明する。量子化パラメータが大きいほど量子化が粗くなることから、量子化パラメータが大きいほど、画質(SNR)が低下する。これにより図17と同様な関係を示す図18が得られる。図18は、量子化パラメータとその量子化パラメータにおける最適なフィルタパラメータとの関係を示すテーブルを示すグラフである。復号部1311では、図18に示したようなテーブルを引くことによって最適なフィルタパラメータを決定することができる。
図19は、再符号化装置がループフィルタを備える場合の従来のコーデックシステムの構成を示すブロック図である。本コーデックシステムは、再符号化装置1500と復号装置1510から構成される。さらに再符号化装置1500は復号部1501、フィルタ部1502、符号化部1503から構成され、復号装置1510は復号部1511から構成される。本コーデックシステムの構成では、符号化部1503及び復号部1511は内部にループフィルタ部1504及びループフィルタ部1512を備える。ループフィルタは画面間予測を行う際の参照画像を生成するために用いられるフィルタである。
ところで、画面間予測を用いた符号化方式においては、再符号化装置1500と復号装置1510で同じ予測画像を用いなくてはならない。予測画像は参照画像を動き補償して生成される画像であるが、ループフィルタを備えるコーデックシステムにおいては、この参照画像もループフィルタによって生成されるものであるので、再符号化装置1500と復号装置1510で同じ予測画像を用いるためには結局、再符号化装置1500のループフィルタ部1504と復号装置1510のループフィルタ部1512で同じフィルタをかける必要がある。すなわち、再符号化装置1500と復号装置1510で同じフィルタパラメータを用いる必要がある。非特許文献1の技術においては、再符号化装置1500で決定されたフィルタパラメータは再符号化データ中に重畳され、再符号化装置1500から復号装置1510に伝送される。復号装置1510では、符号化されたフィルタパラメータを復号して用いることで、再符号化装置1500と同じフィルタパラメータを用いることができる。このようなループフィルタを備える再符号化システムにおいては、再符号化により生じた量子化誤差はループフィルタによって抑制される。
以上説明してきたように、特許文献2に記載の技術では、ポストフィルタをかけた画像と符号化前の画像とのSNR、もしくは、ローカル復号画像と符号化前の画像とのSNR、に応じて、復号時にかけるフィルタのフィルタパラメータを決定する。特許文献2に記載の技術はまた、決定されたフィルタパラメータに従って復号時にフィルタリングを行うことによって、復号して得られる画質の劣化を抑制することができる。
特開平11−41593号公報 特開平9−215009号公報 "Information technology -Coding of audio-visual objects- Part10: Advanced Video Coding", ISO Standards, ISO/IEC14496-10:2005, 2005/12/12
特許文献1に記載の技術は、復号装置と符号化装置を備え、復号を行って得られる画像を再度、符号化することによって再符号化するような再符号化装置において、復号された画像データに対してフィルタリングを行うことによって、符号化の入力となる画像の段階で、符号化で生じていた画質の劣化を抑制し、さらに、再符号化特有の量子化誤差による画質の劣化を抑制するものである。
しかしながら、特許文献1に記載の技術では、再符号化装置から出力された再符号化データを復号する場合において、復号時にかかるポストフィルタをどのような強度にすればよいのかについては考慮されておらず、ポストフィルタの強度が不適切になることがあるという問題があった。また、再符号化装置の符号化部がループフィルタを備える場合においても、ループフィルタをどのような強度にすればよいのかについては考慮されておらず、ループフィルタの強度が不適切になることがあるという問題があった。
また、特許文献2に記載の技術は、符号化装置において、符号化装置で符号化された動画像データを復号するときにかかるポストフィルタのフィルタパラメータを決定する技術であり、符号化装置における符号化によって、符号化装置への入力画像がどれだけ劣化するのかに応じてフィルタパラメータを決定する。
しかしながら、特許文献2に記載の技術においては、再符号化装置の符号化部に入力された画像データは、元の符号化により既に画質が劣化したものになるが、特許文献2に記載の技術では、フィルタパラメータの決定に際して、このことを考慮されていなかった。そのため、再符号化された画像データに対して復号するときにかけるポストフィルタにおいてフィルタの強度が適切にならず、再符号化された画像の画質劣化を十分には抑制することができないことがあるという問題があった。また、フィルタパラメータの決定にSNRを用いるため、演算量が非常に多いという問題があった。
また、復号するときにかかるフィルタの強度が量子化パラメータによって決定されるような符号化方法を用いて再符号化を行う場合の従来の方法では、符号化するときの量子化パラメータが小さくなることがあるために、復号するときにかかるフィルタの強度が不適切に弱くなり再符号化において生じる画質の劣化を適切に抑制できていないことがあるという問題があった。
本発明は、このような事情に鑑みてなされたもので、その目的は、復号装置において画質劣化が適切に抑制される再符号化データを、少ない演算量で生成できる再符号化装置を提供することにある。
この発明は上述した課題を解決するためになされたもので、本発明の再符号化装置は、フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置において、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する復号手段と、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、前記復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記フィルタパラメータ生成手段が生成したフィルタパラメータを重畳して出力する符号化手段とを備えることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出した情報が画像劣化が大きくなることを示しているほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、量子化ステップであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出した量子化ステップが大きくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ビットレートであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出したビットレートが小さくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、フレームレートであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出したフレームレートが大きくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ビットパーピクセルであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出したビットパーピクセルが小さくなるほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ピクチャタイプであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出したピクチャタイプが画面内符号化ピクチャであるときは、ピクチャタイプが画面間符号化ピクチャのときに比べて、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、ブロックタイプであることを特徴とする。
これにより、本発明の再符号化装置は、復号手段が検出したブロックタイプが画面内符号化ブロックであるときは、画面間符号化ブロックのときに比べて、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記復号手段が検出する情報は、量子化ステップであり、前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとに基づき、前記フィルタ手段を制御するフィルタパラメータを生成することを特徴とする。
これにより、本発明の再符号化装置では、復号手段が検出した量子化ステップと、符号化手段が符号化する際の量子化ステップとの差が小さいほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成する。このため、本発明の再符号化装置は、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、2つの量子化ステップの差が小さいために発生する画質劣化が、適切な強度のフィルタがかかることで適切に抑制される再符号化データを生成することができる。
また、本発明の再符号化装置は、上述の再符号化装置であって、前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとの差に応じて、前記フィルタ手段を制御するフィルタパラメータを生成することを特徴とする。
また、本発明の再符号化装置は、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する復号手段と、前記復号手段が検出した量子化ステップの最小値を検出する量子化ステップ設定手段と、前記量子化ステップ設定手段が検出した最小値より大きな値の量子化ステップにて前記復号手段が生成した復号データを符号化する符号化手段とを備えることを特徴とする。
これにより、本発明の再符号化装置は、量子化ステップに基づきフィルタの強度を決める復号装置にて復号するときに、適切な強度のフィルタがかかることで画質劣化が適切に抑制される再符号化データを、少ない演算量で生成することができる。
また、本発明の再符号化方法は、フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置における再符号化方法において、再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する第1の過程と、再符号化装置が、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成する第2の過程と、再符号化装置が、前記第1の過程にて生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記第2の過程にて生成したフィルタパラメータを重畳して出力する第3の過程とを備えることを特徴とする。
また、本発明の再符号化方法は、再符号化装置における再符号化方法において、再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する第1の過程と、再符号化装置が、前記第1の過程にて検出した量子化ステップの最小値を検出する第2の過程と、再符号化装置が、前記第2の過程にて検出した最小値より大きな値の量子化ステップにて前記第1の過程にて生成した復号データを符号化する第3の過程とを備えることを特徴とする。
また、本発明のプログラムは、上述のいずれかに記載の再符号化装置として、コンピュータを機能させるためのプログラム。
この発明によれば、復号手段が検出した情報が画像劣化が大きくなることを示しているほど、フィルタ手段のノイズ除去効果が強くなるようなフィルタパラメータをフィルタパラメータ生成手段が生成することで、フィルタパラメータに従い動作するフィルタを備える復号装置にて復号するときに、適切な強度のフィルタがかかり画質劣化が適切に抑制される再符号化データを生成する再符号化装置を提供できる。
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施の形態について説明する。図1は、本発明の第1の実施の形態の再符号化装置100を用いた動画像のコーデックシステムの構成を示す概略ブロック図である。このコーデックシステムは再符号化装置100と復号装置110から構成される。再符号化装置100は、復号部101とフィルタ部102、符号化部103、フィルタパラメータ生成部104から構成される。復号装置110は、復号部111とフィルタ部112から構成される。
復号部101は、入力された符号化データを復号する。復号して得られる画像データは、フィルタ部102に伝送される。
フィルタ部102では、画像データをフィルタリングし、符号化によって生じた画質の劣化を抑制する。フィルタリングされた画像データは、符号化部103に伝送される。
復号部101はまた、符号化データを復号するときに得られる情報、例えば量子化ステップや量子化パラメータ、ビットレート、フレームレート、bpp(ビットパーピクセル)、ピクチャタイプ(画面内符号化ピクチャ、画面間符号化ピクチャなど)などの情報をフィルタパラメータ生成部104に伝送する。なお、bpp(ビットパーピクセル)は単位ピクセルあたりの符号化データのビット数であり、式(1)の計算で求められる
Figure 2007336468
フィルタパラメータ生成部104は、復号部101から伝送された情報をもとに、フィルタパラメータFPを決定する(フィルタパラメータFPの決定方法は後述する)。決定されたフィルタパラメータFPは符号化部103に伝送される。
符号化部103は、復号部101から伝送された画像を符号化した再符号化データを出力する。さらに、符号化部103は、フィルタパラメータ生成部104から伝送されたフィルタパラメータFPを符号化し、再符号化データに重畳して出力する。
再符号化装置100から出力された再符号化データは、復号装置110に伝送される。復号装置110では、まず復号部111により再符号化データが復号され、画像データとフィルタパラメータFPを得る。得られた画像データとフィルタパラメータFPはフィルタ部112に伝送される。
フィルタ部112では、復号部111から伝送された画像データを、同じく復号部111から伝送されたフィルタパラメータFPを用いてフィルタリングする。復号装置110の出力は、フィルタリングにより画質の劣化が抑制された画像データである。
本実施形態では、動画像の符号化技術として、動画像を構成する1枚1枚の画像を所定サイズのブロック(M画素×N画素からなるブロック、M、Nは1以上の整数、例えば4、8)に分割し、個々のブロック単位に離散コサイン変換(DCT、Discrete Cosine Transform)を行い、得られたDCT係数を量子化することによって圧縮を行う技術を用いる。このような技術としては、例えば、ISO/IEC14496−2及びISO/IEC14496−10がある。
図2は、符号化部103において、入力された動画像を符号化する機能についての構成を示した概略ブロック図である。符号化部103は、DCT部1031と量子化部1032とを備える。
DCT部1031は、入力された動画像を構成する1枚1枚の画像を所定サイズのブロックに分割し、個々のブロック単位に離散コサイン変換を行い、DCT係数を得る。
量子化部1032が行う量子化は、式(2)により表される。
Figure 2007336468
ここで、Fは、量子化される前の値(ここでは、DCT部1031が生成したDCT係数)であり、以下では原信号と呼ぶ。QFは量子化された後の値であり量子化係数と呼ぶ。QSTEPは量子化ステップである。λは、小数点以下を切捨てる、切上げる、四捨五入するなどの量子化の特性を決める値である。
量子化部1032は、floor操作により小数点未満を除去し整数化する。整数化する際には誤差が生じる。
図3は、復号部101において、上記符号化技術を用いて符号化された符号化データを復号する機能についての構成を示した概略ブロック図である。復号部101は、逆量子化部1011とIDCT(Inverse Discrete Cosine Transform;逆離散コサイン変換)部1012とを備える。
逆量子化部1011が行う量子化係数QFに対する逆量子化は、式(3)のように表現される。
F’=(QF+μ)・QSTEP (3)
ここで、F’は、逆量子化によって得られる値である。F’は、原信号を再生する信号である(F≒F’である)ので、以下では再生信号と呼ぶ。μは逆量子化の特性を決める値である。QSTEPは、量子化において用いられた量子化ステップである。この量子化ステップQSTEPは、動画像を符号化する際に、符号化データの中に量子化ステップQSTEPに関する情報である量子化パラメータQPを埋め込んでおくことで、逆量子化部1011まで伝送される。逆量子化部1011は、符号化データから量子化パラメータQPを抽出し、この量子化パラメータQPから量子化ステップQSTEPを求める。
逆量子化部1011は、整数化された量子化係数に式(3)の変換を施すことで逆量子化を行うため、逆量子化された再生信号F’が取り得る値の範囲は、量子化ステップQSTEPにより決まる。再生信号F’が取り得る値の範囲は、連続した整数を値に取れるような連続的なものではなく、決められた整数しか値に取れない非連続的なものである。例えば、μが0の場合には、再生信号F’は、量子化ステップQSTEPの倍数しか取ることができない。
再生信号F’と原信号Fの間の誤差は、量子化誤差と呼ばれる。量子化誤差は、量子化ステップQSTEPが大きいほど大きくなる。一方、量子化ステップQSTEPが大きくなると量子化係数の取り得る範囲が小さくなるため、量子化係数を符号化して得られる動画像データの符号量は小さくなる。
このような量子化により圧縮を行う技術において、圧縮率を高くする(符号量を小さくする)場合には、量子化ステップQSTEPを大きくことになる。量子化ステップQSTEPを大きくすると、各DCT係数の再生信号F´が原信号Fから大きく離れるため、IDCTされた場合には、ブロック全体の再生画素値に大きな誤差が発生する。この誤差の生じ方がブロック間で異なるものであるので、結果として隣り合うブロックの間に、原画像には存在しなかったエッジ(段差)が生じる。このようなエッジ状の歪みは、視覚的に目立つものでありブロックノイズと呼ばれる。ブロックノイズはブロックの内部が平坦であるほど視覚的には目立つ。符号化で生じるノイズには、ブロックノイズのほかリンギングノイズと呼ばれるノイズがある。リンギングノイズは特に高周波成分が粗く量子化された結果、物体の境界などの強いエッジを十分に表現できなくなったために生じるもので、エッジ付近に波打つような模様として視覚的に感じられる。リンギングノイズは蚊が飛び回るような模様にも見えることからモスキートノイズとも呼ばれる。
フィルタ部102は、このような画質劣化を抑制するために、復号部101が符号化データを復号した後の画像にフィルタをかける。このようなフィルタはメインの処理(復号)の後にポスト処理として行うフィルタであることからポストフィルタと呼ばれる。また、特にブロックノイズを抑制するためのフィルタである場合には、デブロッキングフィルタとも呼ばれる。
次に、フィルタ部102の動作を説明する。一般に画質の劣化が大きいほどフィルタの強度を強くしたほうが良いという性質があり、また、画質の劣化自体は量子化ステップに依存する。そのため本実施形態では、量子化ステップの大きさに従ってフィルタの強さを変化させる。ここで、フィルタの強度が強いとは、フィルタによるノイズ除去効果が強いことを示す。すなわち、フィルタによる画像データの変化量がより大きいこと、あるいは、フィルタにおいてノイズと判定する条件がより緩いことを表す。
フィルタ部102は、まず、復号部101から伝送された量子化ステップQSTEP1から、次式によりフィルタパラメータTH1を求める。
TH1=QSTEP1 (4)
フィルタパラメータTH1は、フィルタの強度を意味し、フィルタパラメータの一つである。以下に説明するフィルタ方法においてフィルタをかけるか否かを判定するための閾値THとして用いられる。続いて、フィルタ部102は、フィルタをかけると判定したときは、ブロックの境界に対してフィルタリングする。
本実施形態のフィルタ部102とフィルタ部112とに共通のフィルタ方法(フィルタAと呼ぶ)を、図4を参照して説明する。図4は、縦横8画素×8画素からなるブロック2つを示している。中心の線は2つのブロックの境界(垂直境界)を示している。図中、p1、p2、p3、p4、p5、p6、p7、p8は、ブロック境界に垂直な方向の画素の画素値(整数値)を示している。境界画素の画素値はp4とp5である。フィルタでは、ブロック境界に垂直な方向に(1 2 1)//4のFIRフィルタをかける。
|p4−p5|<THの場合には次式のフィルタをかける。
p4´=(p3+2・p4+p5+2)/4 (5)
p5´=(p4+2・p5+p6+2)/4 (6)
ここで、A/Bは、AをBで割った商の小数点以下を切り捨てる演算を表す。
|p4−p5|≧THの場合には、フィルタをかけない。
ここで、THは所定の閾値であり、|x|はxの絶対値を求める操作である。
また、このフィルタ方法に替えて、別のフィルタ方法、例えば、より強いフィルタである(1 2 3 4 3 2 1)//16の7タップFIRフィルタを用いてもよい。この場合、フィルタ後の画素値は、
p4´=(p1+2・p2+3・p3+4・p4+3・p5+2・p6+p7+8)/16 (7)
p5´=(p2+2・p3+3・p4+4・p5+3・p6+2・p7+p8+ 8)/16 (8)
となる。このフィルタの方がフィルタ強度が強く、ブロックノイズを低減する効果は高い。しかしながら、強いフィルタをかけると、フィルタ後の画像がぼけてしまうという問題がある。そのため、フィルタリングによってブロックノイズを低減する場合には、フィルタの強度を適切に設定することが重要である。
なお、画像は矩形のブロック単位に分割されて符号化されるので、画像の境界には水平方向の境界と垂直方向の境界の2つがある。水平方向の境界と垂直方向の境界にフィルタリングするために、フィルタリングにおいては、まずは水平方向の境界にフィルタリングを行い、次に水平方向の境界にフィルタリングされた結果に対して、垂直方向の境界にフィルタをかけるものとする。
上記のフィルタAでは境界における画素値の差(|p4−p5|)を算出して、閾値THと比較しているが、この差は、復号後にブロック境界に存在するエッジの大きさを意味している。復号後にブロック境界に存在するエッジには、物体の境界や模様など、符号化される前から存在していたエッジと、量子化誤差により生じたエッジの2つがある。量子化誤差により生じたエッジは不要なエッジであるのでフィルタリングによりぼかすことが好適であるが、物体の境界などのエッジの場合は重要なエッジであるのでフィルタリングによりぼかすことは好ましくない。
上述のフィルタにおける閾値THを用いた判定は、この性質を考慮したものであり、エッジの大きさが閾値TH未満の場合には、エッジが量子化誤差によって生じたエッジであるとみなしてフィルタをかけ、エッジの大きさが閾値TH以上の場合には、元の画像に存在したエッジであるとみなしてフィルタをかけないというものである。上記の構成によりフィルタによって画像が必要以上にボケることを防ぐことができる。なお、上記で説明したフィルタは、ブロックノイズを抑制するデブロッキングフィルタであるが、リンギングノイズを抑制するデリンギングフィルタであっても構わない。
なお、本実施形態では最良の形態として、フィルタ部102を備えた構成を示しているが、フィルタ部102の実現には、ソフトで実現する場合には膨大な演算量を必要とし、ハードで実現する場合にも大きな回路規模を必要とする。ソフトの演算量やハードの回路規模を減らす目的として、フィルタ部102が無い構成も可能である。本発明の特徴的な部分は、フィルタパラメータ生成部104にあるため、フィルタ部102が存在しなくても発明の特徴は失われない。
また、復号部101で復号する符号化データの符号化方式がループフィルタを用いるものである場合には、復号部101は内部にループフィルタ部を備える。この場合、ループフィルタ部において復号部101の出力画像は既にフィルタリングされているので、フィルタ部102は不要である。
次に、復号装置110内のフィルタ部112の動作を説明する。
フィルタ部112では、まず、復号部111から伝送された量子化ステップQSTEP2と同じく復号部111から伝送されたフィルタパラメータFPから、次の式(9)よりフィルタパラメータTH2を求める。
TH2=QSTEP2+FP (9)
フィルタパラメータTH2は、フィルタの強度を意味しフィルタパラメータの1つである。
なお、本実施形態においては、量子化ステップQSTEP2とフィルタパラメータFPの和を、最終的なフィルタパラメータ(ここではフィルタパラメータTH2)として用いるが、式(9)に代えてTH2=FPを用い、フィルタパラメータFPを直接、フィルタ部112で用いられる最終的なフィルタパラメータとしてもよい。
フィルタ部112ではフィルタ部102と同様にフィルタAに従い、水平方向の境界、垂直方向の境界の順にフィルタをかける。ここでフィルタAのTHは、TH=TH2とする。本実施形態では、フィルタ部102とフィルタ部112とはフィルタAに従う同じアルゴリズムを用いるが、別々のアルゴリズムを用いてもよい。
さて、図5は、再符号化システムの構成を示すブロック図である。図5の再符号化システムにおいて、入力された原画から最終的な出力画像までの間の画質の劣化について説明し、続いて、好適なフィルタ強度についての本発明の考え方、つまり、フィルタパラメータ生成部104におけるフィルタパラメータFPの生成とフィルタ部112におけるフィルタパラメータFPの生成を説明する。
図5の再符号化システムでは、システムに入力された原画I0は、符号化部301、復号部302、再符号化部303、復号部304という流れに従って変換される。本再符号化システムにおいては、符号化部301における符号化による画質の劣化が大きいほど、つまり、再符号化部303に入力される画像I1の画質が原画I0に対して劣化したものであればあるほど、再符号化の出力である最終的な画像I2の画質も劣化したものになるという特徴がある。
図6は、この特徴を示したグラフである。図6の横軸は、符号化部301における量子化ステップ、縦軸は、原画I0と本再符号化システムの最終的な出力画像(=復号部304の出力画像)I2とのSNRである。再符号化部303での符号化における量子化ステップは一定とする。この場合、図6のグラフで示されている通り、再符号化部303での符号化における量子化ステップが一定である場合においても、符号化部301での符号化における量子化ステップが大きくなるにつれて、つまり再符号化部301に入力される画像I1が劣化したものになるにつれて、最終的な画像I2のSNRも低下する。画像I2にフィルタをかける場合には、SNRが低いものであるほど、ブロックノイズ及びモスキートノイズが増大している上に、原画に存在した模様(テクスチャ)なども歪んだものになっているため、強いフィルタをかけることが望ましい。
なお、SNRは以下の式(10)によって測定される。
Figure 2007336468
ここで、MSEは平均二乗誤差を表しており、以下の式(11)から計算される。
Figure 2007336468
ここでxi,jは符号化前の画像の位置(i, j)における画像サンプルにおける画素値を表しており、yi,jはフィルタされた画像の位置(i, j)における画像サンプルにおける画素値を表している。M、Nは各々画像の幅と高さである。
本発明のフィルタパラメータ生成部104では、上記の性質に基づき、符号化部103に入力された時点における画質の劣化が大きいほど、復号時にフィルタ部112でかかるフィルタ強度が強くなるように設定する。符号化部103に入力された時点における画質の劣化は、復号部101で得られる量子化パラメータが大きいほど大きなものになるため、本実施形態のフィルタパラメータ生成部104では、復号部101が符号化データを復号するときに得られる量子化パラメータが大きいほど、強いフィルタになるようなフィルタパラメータFPを設定する。
フィルタパラメータ生成部104は、復号部101から伝送された量子化ステップQSTEP1を用いて、次式よりフィルタパラメータFPを計算する。
FP=CLIP3(FPmin,FPmax,a・QSTEP1+b) (12)
ここで、a、bは所定の定数である(但しaは0以上1以下)、CLIP3(min,max,x)は、xをmin以上、max以下の範囲にクリップする操作を意味する。FPmin、FPmaxは所定の値であり、フィルタパラメータFPの最小値、最大値を意味する(但し、FPmin<FPmax)。
なお、フィルタパラメータFPは、前述のように量子化ステップの一次関数(をクリップした値)とするだけに限らず、量子化ステップとその量子化ステップにおけるフィルタパラメータFPとの関係を示すテーブルを定めておき、定めたテーブルを引くことによって、フィルタパラメータFPを決定しても良い。
フィルタパラメータFPを式(12)のように決定すると、復号部101における量子化ステップQSTEP1が大きなものであれば、それだけフィルタパラメータFPも大きな値になる。
フィルタパラメータFPは、先に説明したように、フィルタ部112において、式(9)に従ってフィルタパラメータTH2に変換される。フィルタパラメータTH2は、式(9)及び式(12)より、
TH2=QSTEP2+FP
=QSTEP2+CLIP3(FPmin,FPmax,a・QSTEP1+b)
(13)
となる。
式(13)は、復号部111での復号における量子化ステップQSTEP2が大きくなるにつれてフィルタパラメータTH2が大きくなるだけではなく、復号部101における量子化ステップQSTEP1が大きくなった場合においてもフィルタパラメータTH2が大きくなることを意味している。
ところで、再符号化を行うと、再符号化による量子化誤差が生じる。そのため再符号化における量子化ステップQSTEP2を小さいものにした場合においても、復号部111の出力画像の画質は、符号化部103の入力画像(=フィルタ部102の出力画像)よりも劣化したものとなる。フィルタ部102によって、フィルタ部102の出力画像は、フィルタ部102の入力画像に対して、視覚的な画質は向上したものになるが、原画に対するSNRの向上効果は小さい。そのため、再符号化における量子化誤差が極めて小さい場合(量子化ステップQSTEP2が極めて小さい場合)を除いて、復号部111の入力画像は、復号部101の出力画像の画質よりも原画に対しては劣化したものとなる。そのため、フィルタ112でのフィルタ強度は、フィルタ102でのフィルタ強度よりも強いものとすることが好適である。
フィルタパラメータ生成部104は、上記の性質を考慮して以下のようにして、フィルタパラメータFPを計算してもよい。この場合、フィルタパラメータ生成部104は、量子化ステップQSTEP2を必要とするので、符号化部102は、量子化ステップQSTEP2をフィルタパラメータ生成部104に伝送する。フィルタパラメータ生成部104は、次の式(14)のようにフィルタパラメータFPを設定する。
Figure 2007336468
フィルタ部112は、式(14)にて設定されたフィルタパラメータFPを受けると、式(9)及び式(14)より求められる式(15)にて、フィルタパラメータTH2を算出する。
Figure 2007336468
この場合、量子化ステップQSTEP2と量子化ステップQSTEP1のどちらが大きい場合においても、大きいほうの量子化ステップの値にもう片方の量子化ステップの値のa倍を加え、さらにbを加えた値を使うことになる。
フィルタ部102のフィルタパラメータTH1はQSTEP1であるが、フィルタ部112のフィルタパラメータTH2は大きいほうの量子化ステップの値以上の大きさになることから、常に、TH2≧TH1となる。このように、量子化ステップQSTEP2が量子化ステップQSTEP1よりも小さい場合においても、フィルタ部112のフィルタの強度はフィルタ部102よりも強くなる。
ところで、量子化・逆量子化方法によっては、最初の符号化で用いられた量子化ステップQSTEP1と二回目の符号化で用いられた量子化ステップQSTEP2が近い場合において、特に再量子化特有の量子化誤差が大きくなりやすいことがある。
フィルタパラメータ生成部104は、この性質を考慮して以下のようにフィルタパラメータFPを設定してもよい。
Figure 2007336468
この場合、量子化ステップQSTEP1と量子化ステップQSTEP2が近いものであるほど、フィルタパラメータは大きな値を持つ。また、QSTEP2がQSTEP2>QSTEP1の関係を満たす場合においては、量子化ステップQSTEP1が大きくなればなるほど量子化ステップQSTEP2に近づくため、量子化ステップQSTEP1が大きいほど、強いフィルタがかかる。QSTEP2=QSTEP1の場合には大きな画質の劣化はないものであるから、フィルタパラメータFPには特に大きな値は設定しない。
ところで、フィルタパラメータ生成部104は、上記までの説明においては、フィルタパラメータFPの設定に、量子化ステップQSTEP1を用いたが、復号部101で符号化データを復号するときに得られる他の情報、例えば、ビットレートやフレームレート、bpp(ビットパーピクセル)、ピクチャタイプ、ブロックタイプを用いても良い。量子化ステップは、ビットレートが小さい場合やフレームレートが大きい場合、bpp(ビットパーピクセル)が小さな場合には大きくなることが多い。フィルタパラメータ生成部104は、この関係を利用して、符号化部103に入力される時点における画質の劣化の大きさを考慮して、フィルタパラメータFPを設定することができる。
まず、フィルタパラメータ生成部104は、フィルタパラメータの設定にビットレートを用いて、下記式に従ってフィルタパラメータFPを設定してもよい。
Figure 2007336468
ここでbitrateは、復号部101が符号化データについて検出し、フィルタパラメータ生成部104へ伝送したビットレートである。式(17)により、ビットレートが小さいほうがフィルタパラメータFPは大きくなり強いフィルタがかかる。これは、ビットレートが小さいほど、復号部101で復号された画像の劣化が大きいため、一度復号した画像を再度符号化してできる画像である復号部111で復号された画像の画質の劣化も大きくなる。そのため、フィルタ部112でかけるフィルタの強度を強くするものである。
次に、フィルタパラメータ生成部104が、フィルタパラメータの設定にフレームレートを用いる場合を説明する。ビットレートが同じ場合にはフレームレートが大きいほど、大きな圧縮率となるため画質が劣化する。従って、この場合、フィルタパラメータ生成部104は、下記式(18)に従ってフィルタパラメータFPを設定する。
FP=CLIP3(FPmin,FPmax,a・framerate+b) (18)
ここでframerateは、復号部101が符号化データについて検出し、フィルタパラメータ生成部104に伝送したフレームレートである。式(18)により、フレームレートが大きいほど大きなフィルタパラメータFPが設定される。
次に、フィルタパラメータ生成部104が、フィルタパラメータの設定にbpp(ビットパーピクセル)を用いる場合を説明する。bppは式(1)で示したとおり、画素当たりに用いられる平均ビット量を意味しているので、bppが小さいほど画質が劣化する。従って、この場合、フィルタパラメータ生成部104は、下記式に従ってフィルタパラメータFPを設定する。
Figure 2007336468
ここでbppは、復号部101が符号化データについて検出し、フィルタパラメータ生成部104に伝送したビットパーピクセルである。式(21)により、bppが小さいほど大きなフィルタパラメータFPが設定される。
次に、フィルタパラメータ生成部104が、フィルタパラメータの設定にピクチャタイプを用いる場合を説明する。画面内符号化ピクチャの場合には、画面間符号化ピクチャに比べてブロックノイズが大きくなることが知られている。逆に、画面間符号化ピクチャの場合には画面内符号化ピクチャに比べればブロックノイズは大きくならない。従って、フィルタパラメータ生成部104は、復号部101が符号化データについて検出して、フィルタパラメータ生成部104に伝送したピクチャタイプに応じてフィルタパラメータFPを決定しても良い。フィルタパラメータ生成部104は、例えば、ピクチャタイプが画面内符号化であればフィルタパラメータFPに所定値を設定し、それ以外ならばフィルタパラメータFPにゼロを設定する。
また、ピクチャタイプが画面間符号化ピクチャであるフレームにおいては、ブロック毎に画面内予測を行うか画面間予測を行うかの予測方法を選択できる符号化方法がある。各ブロックが、どちらの予測方法を用いているかをブロックタイプと呼ぶ。ブロック毎もしくはブロックの集合毎に、フィルタパラメータFPを変化させることができるようにコーデックシステムを構成した場合において、フィルタパラメータ生成部104は、復号部101が符号化データについて検出して、フィルタパラメータ生成部104に伝送したブロックタイプが画面内符号化ブロック(もしくはブロックの集合について、画面内符号化ブロックの割合が所定値以上)であればフィルタパラメータFPに所定値を設定し、それ以外ならばフィルタパラメータFPにゼロを設定する。
以上、説明したように、本実施形態の方法によれば、フィルタパラメータ生成部104が、再符号化装置に入力された符号化データを復号するときに得られる情報に応じてフィルタパラメータを決定することによって、符号化するときの情報だけを用いてフィルタパラメータを決定する従来の方法と比較して、再符号化した場合における画質劣化を抑制することができる。また、SNRを用いる方法に比べると、本実施形態の方法によればSNRを求める必要がないため演算量を削減することができる。
[第2の実施形態]
本発明の第2の実施の形態について説明する。図7は、本発明の第2の実施の形態のコーデックシステムの構成を示した概略ブロック図である。本発明のコーデックシステムは再符号化装置500と復号装置510から構成される。
再符号化装置500は、復号部101と、フィルタ部102、符号化部503、フィルタパラメータ生成部504を備える。復号装置510は、復号部511を備える。図7に示す第2の実施形態のコーデックシステムは、図1を用いて説明した第1の実施の形態のコーデックシステムと異なり、符号化部503及び復号部511は内部にループフィルタ部505及びループフィルタ部512を備える。
なお、同図において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。
符号化方式としてループフィルタを用いる場合は、符号化部503のループフィルタ部505と、復号部511のループフィルタ部512では同じフィルタをかけなければならない。このため、本実施形態においては、再符号化装置500から復号装置510に、ループフィルタにおけるフィルタの強度を制御するフィルタパラメータを伝送し、符号化側と復号側で同じフィルタがかかるように構成する。
再符号化装置500の動作について説明する。まず、復号部101は、符号化データが入力されると、入力された符号化データを復号して、画像データを得る。復号された画像データはフィルタ部102によりフィルタリングされる。フィルタリングされた画像データは符号化部503に伝送される。また、復号部101は、符号化データを復号するときに得られる情報、例えば量子化ステップや量子化パラメータ、ビットレート、フレームレート、bpp(ビットパーピクセル)、ピクチャタイプなどの情報をフィルタパラメータ生成部504に伝送する。フィルタパラメータ生成部504は、復号部101から伝送された情報をもとに、フィルタパラメータを決定し、符号化部503に伝送する。符号化部503は、フィルタ部102から伝送された画像データを符号化して出力する。符号化部503は、その内部に備えるループフィルタ部505において、フィルタパラメータ生成部504から伝送されたフィルタパラメータに従って第1の実施形態にて説明したフィルタAと同様のフィルタリングを行う。
図8は、符号化部503におけるループフィルタ部505を含んだ符号化機能の構成を示す概略ブロック図である。
符号化部503は、加算部5030、5036、DCT部5031、量子化部5032、エントロピー符号化部5033、逆量子化部5034、IDCT部5035、ループフィルタ部505、動き補償部5037から構成される。
入力された画像データが符号化部503でどのように符号化されるかについて、ピクチャタイプが画面内符号化ピクチャである場合と、ピクチャタイプが画面間符号化ピクチャである場合に分けて説明する。画面内符号化ピクチャは、前後のフレームの画像データを用いずに符号化する。画面間符号化ピクチャは、前後のフレームの画像データを元に予測画像を生成して予測画像との差分をとって符号化する。
まず、ピクチャタイプが画面内符号化ピクチャである場合を説明する。ピクチャタイプが画面内符号化ピクチャである場合には、DCT部5031は、入力された画像データを離散コサイン変換してDCT係数を得る。量子化部5032は、このDCT係数を量子化して、量子化係数を得る。さらにエントロピー符号化部5033は、この量子化係数とフィルタパラメータ生成部504からループフィルタ部505に与えられるフィルタパラメータとをエントロピー符号化して再符号化データに変換する。
一方、逆量子化部5034は、量子化部5032で変換された量子化係数を逆量子化してDCT係数を得る。IDCT部5035は、このDCT係数を逆離散コサイン変換して画像データに変換する。ループフィルタ部505は、この変換した画像データを参照画像として用いる前に、この変換した画像データの画質劣化を抑制する。すなわち、ループフィルタ部505は、フィルタパラメータ生成部504から指定されたフィルタパラメータに従って画像データにフィルタをかける。エントロピー符号化部5033は、フィルタパラメータをエントロピー符号化し、エントロピー符号化した量子化係数とともに再符号化データとして外部に出力する。なお、ループフィルタ部505でフィルタかかった画像は、一度符号化された画像データを符号化部503(ローカル)で復号した画像なのでローカル復号画像と呼ばれる。
次に、ピクチャタイプが画面間符号化ピクチャである場合を説明する。ピクチャタイプが画面間符号化ピクチャである場合は、入力された画像データを直接離散コサイン変換するのではなく、動き補償部5037が入力画像の予測画像を生成し、加算部5030が入力画像とこの予測画像との差分(予測誤差)を生成し、DCT部5031は、この予測誤差を離散コサイン変換して、DCT係数を得る。さらに、量子化部5032は、このDCT係数を量子化して、量子化係数を得る。エントロピー符号化部5033は、この量子化係数とフィルタパラメータ生成部504から指定されたフィルタパラメータとをエントロピー符号化して、再符号化データを生成し、出力する。このように、フィルタパラメータは、再符号化データに重畳されて出力される。
一方、逆量子化部5034は、量子化部5032が生成した量子化係数を、逆量子化して、DCT係数を得る。IDCT部5035は、このDCT係数を逆離散コサイン変換する。加算部5036は、このIDCT部5035の変換結果と動き補償部5037の生成した予測画像とを加算する。ループフィルタ部505は、加算部5036の加算結果を、フィルタパラメータ生成部504から指定されたフィルタパラメータに従って、フィルタをかけ、参照画像を生成する。
動き補償部5037は、ループフィルタ部505の出力である参照画像を動き補償することによって予測画像を生成する。つまり、動き補償部5037は、参照画像と入力された画像データとを比較して動きベクトル探索を行い、その結果の動きベクトルに基づき、参照画像を動き補償することで予測画像を生成する。
続いて、復号装置510の動作について説明する。復号装置510では、入力された再符号化データを復号する。復号部511は内部にループフィルタ部512を持ち、復号装置の出力画像はフィルタリングされたものとなる。
復号部511は、再符号化データを復号して、画像データとフィルタパラメータを得る。復号部511内部のループフィルタ部512では、復号された画像データを、同じく復号されたフィルタパラメータに従って第1の実施形態にて説明したフィルタAと同様のフィルタリングを行う。フィルタリングされた画像データは復号部511の出力となる。またフィルタリングされた画像は、画面間符号化ピクチャを復号するときに用いられる参照画像になる。なお、ループフィルタを用いた符号化技術として、ISO/IEC14496−10を用いてもよい。
図9は、復号部511の内部の構成を示した概略ブロック図である。復号部511は、エントロピー符号化復号部5110、逆量子化部5111、IDCT部5112、加算部5113、ループフィルタ部512、動き補償部5115から構成される。エントロピー符号化復号部5110は、入力された再符号化データをエントロピー符号化復号し、量子化係数及びフィルタパラメータを得る。エントロピー符号化復号部5110は、復号した量子化係数は逆量子化部5111に伝送し、復号したフィルタパラメータはループフィルタ部512に伝送する。逆量子化部5111は、伝送された量子化係数を、逆量子化してDCT係数を得る。IDCT部5112は、このDCT係数を逆離散コサイン変換して、差分画像データを得る。加算部5113は、この差分画像データと動き補償部5115の生成した予測画像とを加算する。ループフィルタ部512は、エントロピー符号化復号部5110から伝送されたフィルタパラメータに基づき、この加算結果にフィルタリングして復号画像の画像データを得る。得られた復号画像の画像データは外部に出力される。また、動き補償部5115は、復号画像の画像データを参照画像として用いる。動き補償部5115は、参照画像を動き補償し、画面間予測における予測画像として加算部5113に伝送する。
本実施形態において特徴的な部分は、フィルタパラメータ生成部504が、復号部501から伝送された符号化データを復号するときに得られる情報から、ループフィルタのフィルタ強度を制御するフィルタパラメータを決定する点である。本実施形態のフィルタパラメータ生成部504の動作は、第1の実施形態のフィルタパラメータ生成部104と同じもので構わない。
以上説明してきたように、本実施形態の技術によれば、再符号化装置に入力された符号化データを復号するときに得られる情報に応じて、符号化におけるループフィルタの強度を決定することによって、復号するときに得られる情報を用いず、符号化するときの情報だけを用いてループフィルタの強度を設定していた従来の方法と比較して、再符号化した場合における画質劣化を抑制することができる。
[第3の実施形態]
本発明の第3の実施の形態について説明する。図10は、本発明の第3の実施の形態の再符号化装置の構成を示した概略ブロック図である。再符号化装置は、復号部601とフィルタ部602、符号化部603、量子化パラメータ生成部604から構成される。
復号部601は、入力された動画像符号化データを復号する。復号された画像データは、フィルタ部602に伝送される。復号部601はまた、動画像符号化データを復号するときに得られた量子化パラメータを量子化パラメータ生成部604に伝送する。
フィルタ部602では、画像データをフィルタリングし、符号化によって生じた画質の劣化を抑制する。フィルタリングされた画像データは、符号化部603に伝送される。
量子化パラメータ生成部(量子化ステップ生成手段)604は、符号化部603で用いられる量子化パラメータの下限を求める。
符号化部603は、量子化パラメータ生成部604が求めた量子化パラメータの下限より大きな量子化パラメータにて復号部601から伝送された画像を符号化して出力する。
次に、量子化パラメータと量子化ステップの関係を説明する。第1および第2の実施形態と同様に、量子化パラメータは、符号化データの中に埋め込まれた量子化ステップに関する情報である。復号するときに、符号化データから量子化パラメータが得られ、量子化パラメータから量子化ステップを得ることができる。図11は量子化パラメータと量子化ステップの関係を示したものである。図11に示したように、量子化パラメータと量子化ステップの関係には図11の(a)や(b)のように様々なものがあるが、本実施形態では、量子化パラメータは、その値が大きくなるにつれて量子化ステップも大きくなるという関係がある。また量子化パラメータは所定の範囲の整数を取る。
符号化部603における量子化パラメータ決定の動作を説明する。符号化部603は内部に図示しないレート制御部を備える。レート制御部では、外部から指定されたビットレートに合うように量子化パラメータQPrateを決定する。また、符号化部603は、量子化パラメータ生成部604から伝送された量子化パラメータQPminを受け取る。符号化部603は、レート制御部の量子化パラメータQPrateと、量子化パラメータ生成部604から伝送された量子化パラメータQPminを比較し、大きいほうを選択する。式で表現すると式(20)のようになる。
QP=MAX(QPrate、QPmin) (20)
ここでMAX(x、y)はx、yのうちの大きいほうを選択する操作である。符号化部603では選択された量子化パラメータQPを用いて量子化を行う。符号化部603における量子化で用いられた量子化パラメータをQP2、量子化ステップをQSTEP2とする。なお、復号部601において逆量子化で用いられる量子化パラメータをQP1、量子化ステップをQSTEP1とする。
次に、図5を用いて再度、再符号化システムにおける画質の劣化について説明する。再符号化システムにおいては、原画I0と比較した画質において、画像I1の画質>画像I2の画質である。すなわち、画像I2の画質は画像I1の画質よりも劣るものになる。画質が低い画像ほど強いフィルタ強度をかける方が好適であることを考慮すると、画像I2にかかるべきフィルタ強度は、画像I1にかかるべきフィルタ強度よりも強いものになる。
ところで、ISO/IEC14496−2及びISO/IEC14496−10に記載される技術では、復号された画像にかかるフィルタの強度は、符号化時の量子化の粗さ(量子化ステップ)に応じて決定され、量子化パラメータから求められる。すなわち符号化時の量子化ステップを決めると、フィルタの強度が決まる。このような技術を符号化部603に用いた装置の場合、復号された画像において所定レベル以上の強度のフィルタをかけるためには、再符号化における量子化パラメータとして所定レベル以上の値を設定する必要がある。本実施形態の量子化パラメータ生成部604は上記の考えに基づき、かかるべきフィルタ強度を基準として、量子化パラメータの下限を設定するものである。
量子化パラメータ生成部604が、量子化パラメータの下限を設定する本実施形態における方法について説明する。
符号化部603での量子化ステップQSTEP2に応じて決定されるフィルタの強さを、復号部601での量子化ステップQSTEP1に応じて決定されるフィルタの強さ以上にするためには、量子化ステップQSTEP2≧量子化ステップQSTEP1となるような量子化ステップQSTEP2を符号化部603での量子化において用いればよい。
もし、復号部601で復号に用いられる符号化方式と、符号化部603で符号化に用いられる符号化方式が同じものであった場合には、符号化部603での量子化パラメータQP2≧復号部601での量子化パラメータQP1とすればよい。したがって、復号部601での符号化方式と、符号化部での符号化方式が同じ場合には、量子化パラメータ生成部604では、量子化パラメータQPminに復号部601での量子化パラメータQP1を設定する。
しかしながら、復号部601で復号に用いられる符号化方式と、符号化部603で符号化に用いられる符号化方式が異なるものである場合には、量子化パラメータと量子化ステップの関係は互いに異なるものであるから、QP2≧QP1となるQP2を用いても、QSTEP2≧QSTEP1となるとは限らない。そのため、量子化パラメータ生成部604は、QSTEP2≧QSTEP1を満たす量子化パラメータQP2を求める必要がある。
ここでは、復号部601及び符号化部603で用いられる符号化方式における量子化パラメータと量子化ステップの関係が与えられた場合の、量子化パラメータ生成部604の動作を説明する。
まず、復号部601で用いられる符号化方式においては量子化パラメータQP1と量子化ステップQSTEP1の関係は、式(21)にて表されるとする。
QSTEP1=2QP1 (21)
また、図12は、本実施形態の符号化部603における量子化パラメータと量子化ステップの関係を示したものである。
量子化パラメータ生成部604は、式(21)によってQSTEP1を求めた後は、次に説明する方法によって設定すべき量子化パラメータを求める。図13は、本実施形態における量子化パラメータ生成部604の量子化パラメータの求め方を示したフローチャートである。符号化部603における量子化パラメータと量子化ステップの関係が図12のものである場合、図13で示すフローチャートに従い量子化パラメータを求めることができる。
S401では、量子化パラメータ生成部604は、量子化パラメータQPを符号化部603に設定可能な量子化パラメータの最小値とする。本実施形態の場合は量子化パラメータの最小値は0とする。
S402では、量子化パラメータ生成部604は、量子化パラメータQPから量子化ステップQSTEPを求める。本実施形態の場合には、図12に示した量子化パラメータと量子化ステップの関係を示すテーブルを引くことによって求める。
S403では、量子化パラメータ生成部604は、求められた量子化ステップQSTEPが、予め求めておいたQSTEP1以上であるかの判定を行う。QSTEP1以上である場合には、必要な量子化パラメータが求められたので終了する。QSTEP1未満である場合にはS404に移る。
S404では、QPが設定可能な量子化ステップの最大値に等しいかを判定する。最大値に等しい場合には、これ以上大きな量子化ステップを設定することができないのでここで終了する。最大値以下である場合にはS405に移る
S405では、QP=QP+1により、量子化パラメータに1を加える。
図13に示すフローチャートに示した動作によって求めた量子化パラメータQPを、量子化パラメータ生成部604の出力となる量子化パラメータQPminとする。なお、上記フローチャートでは線形探索によって量子化パラメータを求めたが、量子化パラメータに対して量子化ステップが単調増加であることを利用して、2分探索を行っても良い。
符号化部604では先に説明したように、量子化パラメータQPmin以上の量子化パラメータで量子化するため、復号するときに量子化パラメータの大きさに応じてフィルタリングするような場合において、不適切に弱いフィルタがかかることはなくなる。
以上説明してきたように、本実施形態の技術によれば、再符号化装置に入力された動画像符号化データを復号するときに得られる量子化パラメータに応じて、符号化における量子化パラメータの下限を決定する。これによって、復号時のポストフィルタやループフィルタにおいて不適切に弱いフィルタがかかることを防ぐことができ、再符号化において生じる画質の劣化を抑制することができる。
また、図1における復号部101、フィルタ部102、符号化部103、フィルタパラメータ生成部104、復号部111、フィルタ部112、および、図7における復号部101、フィルタ部102、符号化部503、フィルタパラメータ生成部504、ループフィルタ部505、復号部511、ループフィルタ部512、および、図10における復号部601、フィルタ部602、符号化部603、量子化パラメータ生成部604の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、HDDレコーダなどの符号化されたデジタル動画像データを受けて、再符号化して記録、あるいは、再配信する再符号化装置に用いて最適であるが、これに限られるものではなく、放送設備やネットワークへの配信設備などの再符号化装置に用いてもよい。
この発明の第1の実施形態における再符号化装置100を用いたコーデックシステムの構成を示した概略ブロック図である。 同実施形態おける符号化部103において、入力された動画像を符号化する機能についての構成を示した概略ブロック図である。 同実施形態おける復号部101において、符号化部103にて用いている符号化技術と同様の符号化技術を用いて符号化された動画像符号化データを復号する機能についての構成を示した概略ブロック図である。 同実施形態におけるフィルタを適用する領域を、縦横8画素×8画素からなるブロックを2つ示して説明する図である。 同実施形態における再符号化システムの構成を示した概略ブロック図である。 同実施形態における再符号化システムの符号化部301における量子化ステップと原画I0と画像I2のSNRの関係を示したグラフである。 この発明の第2の実施形態における再符号化装置500を用いたコーデックシステムの構成を示した概略ブロック図である。 同実施形態における符号化部503におけるループフィルタ部505を含んだ符号化機能の構成を示した概略ブロック図である。 同実施形態における復号部511の内部の構成を示した概略ブロック図である。 この発明の第3の実施形態における再符号化装置の構成を示した概略ブロック図である。 量子化パラメータと量子化ステップの関係の種類を示したグラフである。 同実施形態における量子化パラメータと量子化ステップの関係を示した表である。 同実施形態における量子化パラメータ生成部604の量子化パラメータを求める際の動作を示すフローチャートである。 従来の再符号化装置を用いたコーデックシステムの構成を示した概略ブロック図である。 従来の再符号化装置の構成を示した概略ブロック図である。 従来のフィルタパラメータを決定する第1の方法を説明するためのグラフである。 従来のフィルタパラメータを決定する第2の方法を説明するためのグラフである。 量子化パラメータとその量子化パラメータにおける最適なフィルタパラメータとの関係を示すグラフである。 ループフィルタを備える従来の再符号化装置を用いたコーデックシステムの構成を示した概略ブロック図である。
符号の説明
100…再符号化装置、 101…復号部、
102…フィルタ部、 103…符号化部、
104…フィルタパラメータ生成部、 110…復号装置、
111…復号部、 112…フィルタ部、
301…符号化部、 302…復号部、
303…再符号化部、 304…復号部、
500…再符号化装置、 503…符号化部、
504…フィルタパラメータ生成部、 505…ループフィルタ部、
510…復号装置、 511…復号部、
512…ループフィルタ部、 601…復号部、
602…フィルタ部、 603…符号化部、
604…量子化パラメータ生成部、 1011…逆量子化部、
1012…IDCT部、 1031…DCT部、
1032…量子化部、 1300…再符号化装置、
1301…復号部、 1302…フィルタ部、
1303…符号化部、 1310…復号装置、
1311…復号部、 1312…フィルタ部、
1401…逆量子化部、 1402…IDCT部、
1404…DCT部、 1405…量子化部、
1500…再符号化装置、 1501…復号部、
1502…フィルタ部、 1503…符号化部、
1504…ループフィルタ部、 1510…復号装置、
1511…復号部、 1512…ループフィルタ部、
5030…加算部、 5031…DCT部、
5032…量子化部、 5033…エントロピー符号化部、
5034…逆量子化部、 5035…IDCT部、
5036…加算部、 5037…動き補償部、
5110…エントロピー符号化復号部、 5111…逆量子化部、
5112…IDCT部、 5113…加算部、
5115…動き補償部

Claims (13)

  1. フィルタ手段を有する復号装置へ入力する再符号化データを生成する再符号化装置において、
    入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する復号手段と、
    前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成するフィルタパラメータ生成手段と、
    前記復号手段が生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記フィルタパラメータ生成手段が生成したフィルタパラメータを重畳して出力する符号化手段と
    を備えることを特徴とする再符号化装置。
  2. 前記復号手段が検出する情報は、量子化ステップであることを特徴とする請求項1に記載の再符号化装置。
  3. 前記復号手段が検出する情報は、ビットレートであることを特徴とする請求項1に記載の再符号化装置。
  4. 前記復号手段が検出する情報は、フレームレートであることを特徴とする請求項1に記載の再符号化装置。
  5. 前記復号手段が検出する情報は、ビットパーピクセルであることを特徴とする請求項1に記載の再符号化装置。
  6. 前記復号手段が検出する情報は、ピクチャタイプであることを特徴とする請求項1に記載の再符号化装置。
  7. 前記復号手段が検出する情報は、ブロックタイプであることを特徴とする請求項1に記載の再符号化装置。
  8. 前記復号手段が検出する情報は、量子化ステップであり、
    前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとに基づき、前記フィルタ手段を制御するフィルタパラメータを生成すること
    を特徴とする請求項1に記載の再符号化装置。
  9. 前記フィルタパラメータ生成手段は、前記復号手段が検出した量子化ステップと、前記符号化手段が前記復号データを符号化する際の量子化ステップとの差に応じて、前記フィルタ手段を制御するフィルタパラメータを生成すること
    を特徴とする請求項8に記載の再符号化装置。
  10. 入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する復号手段と、
    前記復号手段が検出した量子化ステップの最小値を検出する量子化ステップ生成手段と、
    前記量子化ステップ生成手段が検出した最小値より大きな値の量子化ステップにて前記復号手段が生成した復号データを符号化する符号化手段と
    を備えることを特徴とする再符号化装置。
  11. フィルタ手段を有する復号装置へ入力する符号化データを生成する再符号化装置における再符号化方法において、
    再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データに関する情報を検出する第1の過程と、
    再符号化装置が、前記復号手段が検出した情報に基づき、前記フィルタ手段を制御するフィルタパラメータを生成する第2の過程と、
    再符号化装置が、前記第1の過程にて生成した復号データを符号化して、再符号化データを生成し、該再符号化データに、前記第2の過程にて生成したフィルタパラメータを重畳して出力する第3の過程と
    を備えることを特徴とする再符号化方法。
  12. 再符号化装置における再符号化方法において、
    再符号化装置が、入力された符号化データを復号して、復号データを生成するとともに、前記符号化データの量子化ステップを検出する第1の過程と、
    再符号化装置が、前記第1の過程にて検出した量子化ステップの最小値を検出する第2の過程と、
    再符号化装置が、前記第2の過程にて検出した最小値より大きな値の量子化ステップにて前記第1の過程にて生成した復号データを符号化する第3の過程と
    を備えることを特徴とする再符号化方法。
  13. 請求項1から請求項10のいずれかに記載の再符号化装置として、コンピュータを機能させるためのプログラム。

JP2006169049A 2006-06-19 2006-06-19 再符号化装置、再符号化方法およびプログラム Pending JP2007336468A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006169049A JP2007336468A (ja) 2006-06-19 2006-06-19 再符号化装置、再符号化方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006169049A JP2007336468A (ja) 2006-06-19 2006-06-19 再符号化装置、再符号化方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2007336468A true JP2007336468A (ja) 2007-12-27

Family

ID=38935478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006169049A Pending JP2007336468A (ja) 2006-06-19 2006-06-19 再符号化装置、再符号化方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2007336468A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化/復号装置
WO2010074170A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 画像復号装置及び画像符号化装置
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
JP5418756B2 (ja) * 2007-01-22 2014-02-19 日本電気株式会社 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
JP2014143515A (ja) * 2013-01-23 2014-08-07 Nippon Hoso Kyokai <Nhk> 画像処理装置及び画像処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253403A (ja) * 1999-02-25 2000-09-14 Mitsubishi Electric Corp 画像符号化方式変換装置及び画像通信システム
JP2003023640A (ja) * 2001-04-24 2003-01-24 Koninkl Philips Electronics Nv 符号化映像データ・フローにおけるノイズを検出する方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253403A (ja) * 1999-02-25 2000-09-14 Mitsubishi Electric Corp 画像符号化方式変換装置及び画像通信システム
JP2003023640A (ja) * 2001-04-24 2003-01-24 Koninkl Philips Electronics Nv 符号化映像データ・フローにおけるノイズを検出する方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418756B2 (ja) * 2007-01-22 2014-02-19 日本電気株式会社 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
US8045821B2 (en) 2007-02-16 2011-10-25 Panasonic Corporation Coding method conversion apparatus
JP2008205534A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd 符号化方式変換装置
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化/復号装置
JPWO2009110559A1 (ja) * 2008-03-07 2011-07-14 株式会社東芝 動画像符号化/復号装置
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
US9924174B2 (en) 2008-06-13 2018-03-20 Samsung Electronics Co., Ltd. Image-encoding method and a device therefor, and image-decoding method and a device therefor
US8792738B2 (en) 2008-12-25 2014-07-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
WO2010074170A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 画像復号装置及び画像符号化装置
JP2010154264A (ja) * 2008-12-25 2010-07-08 Sharp Corp 画像復号装置及び画像符号化装置
CN102265618A (zh) * 2008-12-25 2011-11-30 夏普株式会社 图像解码设备和图像编码设备
EA033108B1 (ru) * 2008-12-25 2019-08-30 Шарп Кабусики Кайся Устройство декодирования изображения и устройство кодирования изображения
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
US8737465B2 (en) 2010-07-16 2014-05-27 Sharp Kabushiki Kaisha Video processing device, video processing method, video processing program, and storage medium
JP2012023683A (ja) * 2010-07-16 2012-02-02 Sharp Corp 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
JP2014143515A (ja) * 2013-01-23 2014-08-07 Nippon Hoso Kyokai <Nhk> 画像処理装置及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US7738716B2 (en) Encoding and decoding apparatus and method for reducing blocking phenomenon and computer-readable recording medium storing program for executing the method
US8576908B2 (en) Regions of interest for quality adjustments
US9681132B2 (en) Methods and apparatus for adaptive loop filtering in video encoders and decoders
JP5470405B2 (ja) 画像符号化装置および方法
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
US20090238283A1 (en) Method and apparatus for encoding and decoding image
US8380001B2 (en) Edge adaptive deblocking filter and methods for use therewith
JP2005503737A (ja) 境界強度に基づく適応フィルタリング
US20130083852A1 (en) Two-dimensional motion compensation filter operation and processing
JP2007336468A (ja) 再符号化装置、再符号化方法およびプログラム
KR100677552B1 (ko) 루프 필터링 방법 및 루프 필터
JP4762352B1 (ja) 画像処理装置及び画像処理方法
JP2004518338A (ja) 符号化されたビデオの鮮鋭度を向上する方法及びシステム
JP2005525014A (ja) 符号化されたデジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法
US20110080957A1 (en) Encoding adaptive deblocking filter methods for use therewith
US8724713B2 (en) Deblocking filter with mode control and methods for use therewith
US20070147515A1 (en) Information processing apparatus
JP2004518337A (ja) ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法
US8929439B2 (en) Compressed image noise removal device and reproduction device
JP4775132B2 (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP4784618B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム
JP4449430B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP2009010763A (ja) 画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101026