JP3738511B2 - 動画像符号化方式 - Google Patents
動画像符号化方式 Download PDFInfo
- Publication number
- JP3738511B2 JP3738511B2 JP00776597A JP776597A JP3738511B2 JP 3738511 B2 JP3738511 B2 JP 3738511B2 JP 00776597 A JP00776597 A JP 00776597A JP 776597 A JP776597 A JP 776597A JP 3738511 B2 JP3738511 B2 JP 3738511B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- inter
- output
- frame
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像の時間軸方向の相関を利用して符号化を行う動画像符号化方式に関する。
【０００２】
【従来の技術】
図７は、例えば、特公平８−２１０６号公報に示された従来の動画像符号化方式を示すブロック図である。図７において、入力端子１より供給される入力画像信号は減算器２の第一の入力に与えられる。減算器２の出力は遅延器３ａを介して、切替器４の第一の入力に与えられる。入力端子１より供給される入力画像信号は遅延器３ｂを介して、切替器４の第二の入力にも与えられる。切替器４の第三の入力には零信号が与えられる。一方、入力端子１より供給される入力画像信号と減算器２の出力は、有効ブロック判定部およびフレーム間／フレーム内選択部（以下、「判定および選択部」という）５にも入力される。この判定および選択部５の第一，第二の出力は、それぞれ、切替器４の第四，第五の入力に与えられる。切替器４の出力は直交変換器６および量子化器７を介して図示していない復号器側に送出されるが、合わせて逆量子化器８にも送られる。逆量子化器８の出力は逆直交変換器９を介して、加算器１０の第一の入力に与えられる。加算器１０の出力は動き補償予測器１１の第一の入力に与えられる。動き補償予測器１１の第二の入力には入力端子１から供給される入力画像信号が与えられ、動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力には判定および選択部５の第一の出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【０００３】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、判定および選択部５に送られる。この判定および選択部５は、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す第一の制御信号と、各ブロックが有効ブロックであるか否かを示す第二の制御信号とを出力する。遅延器３ａおよび３ｂは判定および選択部５内で生ずる遅延分を補正するためのものである。切替器４は判定および選択部５から出力される２つの制御信号に基づき、フレーム間予測誤差信号、フレーム内信号、零信号のいずれかを選択して出力する。切替器４の出力は直交変換され、量子化されて、図示していない復号器側へ出力される。
【０００４】
この量子化された変換係数は、逆量子化器８を介して逆直交変換器９にも入力され、再生値が出力される。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、前記フレーム間／フレーム内選択部５からの第一の制御信号により決定され、切替器１２で選択される。
【０００５】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【０００６】
判定および選択部５は、両部分を別々に構成することもできるが、共通化できる部分も多数あるため、両者を合わせた判定および選択部５で示している。一般に、テレビ会議信号のような動画像信号を対象とする場合、背景などの静止している部分については、フレーム間予測誤差信号が０となるので、この誤差信号を送らないことにより伝送効率を高めることが可能である。しかしながら、このような静止部分においても、入力画像信号に雑音が乗っていたりするために、予測誤差信号が０とならず、これを直交変換するとある変換係数に大きな値が生じることがある。この場合、本来なら情報を送らなくてよいブロックについても信号を送らなくてはならないことになる。このような場合には、伝送効率の低下となるばかりでなく、隣り合うブロックで情報を送ったり送らなかったりするために、ブロック歪みが生じて視覚的妨害となることがある。そこで、直交変換を行う前に、予測誤差信号をブロック毎にまとめて有効／無効の判定を行い、無効ブロックについては予測誤差信号を０にリセットすることで、効率の低下を防いでいる。
【０００７】
また、動きの大きなブロックやシーンチェンジにおいては、予測誤差が大きくなるため、入力画像信号をそのまま直交変換した方が伝送効率が高くなることがある。そこで、ブロック毎に、フレーム間／フレーム内符号化を選択することが有効となる。
【０００８】
まず、有効ブロック判定部は、ブロック毎に予測誤差信号の２乗和Ｓｍをとり、この評価量Ｓｍが予め定められた閾値Ｔ１以上のときは現入力ブロックを有効ブロックとしてフレーム間予測誤差信号をそのまま直交変換符号化するが、Ｔ１未満のときは現入力ブロックを無効ブロックとし、以後このブロックの予測誤差信号を全て零とする。また、フレーム間／フレーム内選択部は、上記評価値Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【０００９】
【発明が解決しようとする課題】
従来の動画像符号化方式においては、静止している部分の画像に雑音が乗っている場合も、画質劣化や伝送効率の低下を生じないように、有効ブロックの判定を行なっていた。しかしながら、従来、有効ブロックの判定には予測誤差信号のみを用いているため、予測誤差信号を符号化するときの量子化歪みについては考慮されていない。特に低レートの固定レート符号化においては、有効ブロックが多いと量子化が粗くなり、無効ブロックが多いと量子化が細かくなるので、無効ブロックとして予測誤差信号が送られないことによる劣化より、有効ブロックとしたために生じる量子化歪みの方が視覚的に目だつことがあるという問題があった。
【００１０】
また、従来の動画像符号化方式においては、有効ブロックの判定において入力画像の性質を考慮していないので、視覚的に目立たない予測誤差も符号化を行い、符号量削減の妨害となっているという問題があった。
【００１１】
この発明は上記のような問題点を解消するためになされたもので、有効ブロックとしたときの量子化歪みと、予測誤差信号の大きさとを比較することにより、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１２】
また、この発明は、有効ブロックとしたときの量子化歪みと、無効ブロックとした場合の視覚的妨害の大きさとを比較することにより、視覚的な歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１３】
また、この発明は、無効ブロックとした場合の視覚的妨害の大きさを用いて有効ブロック判定を行うことにより、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えるものである。
【００１５】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えるものである。
【００１６】
さらにこの発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するものである。
【００１８】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の一実施形態による動画像符号化方式を示すブロック図である。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器（Ｔ）３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器（Ｔ）３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器（Ｑ）７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器（Ｔ）３ｃを介して切替器４ｂの第一の入力に与えられる。切替器４ｂの第二の入力には零信号が与えられる。
【００１９】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器（Ｑ-1）８の出力は逆直交変換器９に入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｂの第三の入力に与えられる。切替器４ｂの出力は可変長符号器１０２に入力され、可変長符号器（ＶＬＣ）１０２の出力は図示していない復号器側へ伝送される。
【００２０】
逆直交変換器９の出力は切替器４ｃの第一の入力に与えられる。切替器４ｃの第二の入力には零信号が与えられ、切替器４ｃの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｃの出力は加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００２１】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、フレーム間／フレーム内選択部５ａに送られる。このフレーム間／フレーム内選択部５ａは、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す制御信号を出力する。遅延器３ａおよび３ｂはフレーム間／フレーム内選択部５ａ内で生ずる遅延分を補正するためのものである。切替器４ａはフレーム間／フレーム内選択部５ａから出力される制御信号に基づき、フレーム間予測誤差信号、フレーム内信号のいずれかを選択して出力する。切替器４ａの出力は直交変換され、量子化される。量子化された変換係数は、遅延器３ｃに入力されるとともに、逆量子化器８で逆量子化される。
【００２２】
切替器４ａから出力される直交変換前の信号と、量子化前の変換係数と、量子化・逆量子化された変換係数とは、有効ブロック判定部１０１に送られる。有効ブロック判定部１０１は各ブロックが有効ブロックか無効ブロックかを示す制御信号を出力する。遅延器３ｃは有効ブロック判定部１０１内で生ずる遅延分を補正するためのものである。切替器４ｂは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときには量子化された変換係数を、無効ブロックを示しているときは零信号を選択して出力する。切替器４ｂの出力は可変長符号器１０２で可変長符号化されて、図示していない復号器側へ伝送される。
【００２３】
一方、逆量子化器８の出力は、逆直交変換器９で逆直交変換される。切替器４ｃは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときは逆直交変換器９の出力を、無効ブロックを示しているときは零信号を選択して出力する。この切替器４ｃにより、復号器側で得られるのと同じ再生値が得られる。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、先のフレーム間／フレーム内選択部５ａからの制御信号により決定され、切替器１２で選択される。
【００２４】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【００２５】
フレーム内／フレーム間選択部５ａの動作は、前記従来例のフレーム内／フレーム間選択部５と同様である。すなわち、予測誤差の二乗和Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【００２６】
有効ブロック判定部１０１は、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量と、量子化前の変換係数と量子化・逆量子化された変換係数の誤差の評価量とから、各ブロックが有効ブロックか無効ブロックかを判定する。例えば、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いる。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、量子化前の変換係数をｄ（ｉ，ｊ）、量子化・逆量子化後の変換係数をｄｑ（ｉ，ｊ）とすると、
【００２７】
【数１】
【００２８】
【数２】
【００２９】
とする。
【００３０】
一般に、直交変換の性質から、ｐ（ｉ，ｊ）と、これを直交変換した変換係数ｄ（ｉ，ｊ）の間には、
【００３１】
【数３】
【００３２】
という関係が成り立つ。また、逆直交変換器９の出力をｐｑ（ｉ，ｊ）とすると、ｄｑ（ｉ，ｊ）はｐｑ（ｉ，ｊ）を直交変換したときの変換係数であるから、直交変換の線形性より、ｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）の直交変換がｄ（ｉ，ｊ）−ｄｑ（ｉ，ｊ）となる。従って、
【００３３】
【数４】
【００３４】
が成り立つ。よって、予測誤差信号の量子化歪みｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）は、変換係数の量子化誤差の評価量Ｅｑで表わすことができる。そこで、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定すると、予測誤差信号を送らないことによる劣化より量子化歪みの方が大きいときは無効ブロック、そうでないときは有効ブロックと判定される。ただし、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム内符号化を示している場合は、すべてのブロックを有効ブロックとする。
【００３５】
既に述べたように、無効ブロックと判定された場合には切替器４ｂおよび４ｃにより、そのブロックの変換係数および予測誤差信号が０に置き換えられるため、当該ブロックに関する予測誤差情報は送られない。
【００３６】
なお、上記実施の形態１においては、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いたが、評価量Ｅｍ、Ｅｑはこれに限るものではなく、それぞれ、予測誤差、量子化誤差の、絶対値和、絶対値の最大値、またこれらの値にオフセット値を加えたものなど、大きさの指標となる評価量を用いることができる。
【００３７】
実施の形態２．
図２は、この発明の実施の形態２による動画像符号化方式を示すブロック図である。図中、図１と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００３８】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００３９】
遅延器（Ｔ）３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４０】
次に動作について説明する。この実施の形態２による動画像符号化方式は、有効ブロック判定部１０１の判定が無効ブロックを示している場合に、当該ブロックの予測誤差の平均値のみを伝送する点が、実施の形態１と異なる。すなわち、有効ブロック判定部１０１から出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。なお、遅延器３ｃと３ｄは有効ブロック判定部１０１内で生じる遅延分を補正するためのものである。
【００４１】
実施の形態３．
図３は、この発明の実施の形態３による動画像符号化方式を示すブロック図である。図中、図２と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と誤差許容度演算部１０３と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１ａの第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１ａの第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００４２】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１ａの第三の入力に与えられる。有効ブロック判定部１０１ａの第四の入力には誤差許容度演算部１０３の出力が、第五の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１ａの出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００４３】
遅延器３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１ａの出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４４】
次に動作について説明する。この実施の形態３による動画像符号化方式は、有効ブロック判定部１０１ａの判定に、誤差許容度演算部１０３の出力が使われる点が、実施の形態２と異なる。一般に、図４（ａ）のような画像信号があった場合、図４（ｂ）のように、平坦部に乗ったノイズは目立ちやすいが、エッジ部に乗ったノイズは目立ちにくい。すなわち、同じ大きさのノイズでも、元の画像信号の特徴により、主観的に許容できる画質になる場合と許容できない画質になる場合とがある。そこで、誤差許容度演算部１０３は入力画像信号から画面内の各画素がどの程度のレベルまで誤差を許容できるかを示す誤差許容度を求める。
【００４５】
図５は誤差許容度演算部１０３の一構成例を示すブロック図である。図において、５０１は水平変化度演算部、５０２は垂直変化度演算部、５０３は最小値検出器、５０４は誤差許容度変換部である。まず、入力画像は、水平変化度演算部５０１および垂直変化度演算部５０２において、水平および垂直方向の変化度が各画素毎に求められる。たとえば、入力画像信号をｇ（ｘ，ｙ）（０≦ｘ＜Ｌ、０≦ｙ＜Ｍ；Ｌ、Ｍは画像の水平、垂直方向の画素数）とすると、各画素（ｘ，ｙ）について、水平変化度Ｃｈ（ｘ，ｙ）を
【００４６】
【数５】
【００４７】
により求め、垂直変化度Ｃｖ（ｘ，ｙ）を
【００４８】
【数６】
【００４９】
により求める。最小値検出器５０３は、水平変化度と垂直変化度のうち小さい方、すなわち、Ｃ（ｘ，ｙ）＝ｍｉｎ｛Ｃｈ（ｘ，ｙ），Ｃｖ（ｘ，ｙ）｝を出力する。誤差許容度変換部５０４は、この変化度Ｃ（ｘ，ｙ）を
Ｄ（ｘ，ｙ）＝ｆ（Ｃ（ｘ，ｙ））
により誤差許容度Ｄ（ｘ，ｙ）に変換する。ここで、ｆ（ｚ）は図６のような特性をもつ関数である。従って、変化度が小さいときには誤差許容度は小さく、変化度が大きいときには誤差許容度は大きくなる。この誤差許容度Ｄ（ｘ，ｙ）は有効ブロック判定部１０１ａに出力される。
【００５０】
有効ブロック判定部１０１ａは、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとを求め、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定する。このとき、予測誤差信号の大きさの評価に、誤差許容度Ｄ（ｘ，ｙ）を用いる。例えば、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとする。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、このブロックの誤差許容度をＤｂ（ｉ，ｊ）＝Ｄ（ｘ０＋ｉ，ｙ０＋ｊ）（ここで（ｘ０，ｙ０）は当該ブロックの左上の画素の位置）とすると、
【００５１】
【数７】
【００５２】
とする。これにより、予測誤差信号の評価量Ｅｍは視覚特性を考慮した誤差の評価となる。評価量Ｅｑは実施の形態１、２と同様に求める。有効ブロック判定部１０１ａは、これらの評価量Ｅｍ、Ｅｑをもとに、有効ブロック／無効ブロックの判定を行う。
【００５３】
他の動作は実施の形態２と同様である。すなわち、有効ブロック判定部１０１ａから出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。
【００５４】
なお、上記実施の形態３においては、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとしたが、予測誤差信号の評価量Ｅｍはこれに限るものではなく、例えば、二乗和の代わりに、絶対値和、絶対値の最大値を用いてもよい。
また、誤差許容度Ｄ（ｘ，ｙ）の用い方も、減算だけでなく、割り算で反映させてもよく、例えば、予測誤差信号の大きさに誤差許容度Ｄ（ｘ，ｙ）の逆数をかけた値の二乗和を評価量Ｅｍとしてもよい。
【００５５】
また、誤差許容度Ｄ（ｘ，ｙ）も、水平変化度Ｃｈ（ｘ，ｙ）と垂直変化度Ｃｖ（ｘ，ｙ）の最小値から求めることに限定されるものではなく、高域通過フィルタの出力などを用いてもよい。
【００５６】
また、上記実施の形態３においては、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換えるとしたが、切替器４ｄと４ｅは、すべての変換係数を０に置き換えるよう構成してもよい。
【００５７】
さらに、上記実施の形態３においては、有効ブロック判定部１０１ａが予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとから有効ブロック／無効ブロックの判定を行なったが、有効ブロック判定部１０１ａは、誤差許容度Ｄ（ｘ，ｙ）を用いて求めた予測誤差信号の評価量Ｅｍのみを使って、有効ブロック／無効ブロックの判定を行なってもよい。すなわち、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する。
【００５８】
【発明の効果】
以上のように、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることが出来る。
【００５９】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることができる。
【００６０】
さらに、この発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するので符号量の削減できる動画像符号化方式を得ることができる。
【００６１】
また、この発明による動画像符号化方式は、入力画像信号から画面の各画素の誤差許容度を求める手段と、この誤差許容度をもとに予測誤差信号の評価量Ｅｍを求め、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する有効ブロック判定部を有し、無効ブロックと判定された場合には当該ブロックに関する予測誤差情報は送らず、有効ブロックと判定された場合には直交変換した後にその変換係数を量子化し、非零信号が生じた場合には量子化された変換係数値を伝送するので、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による動画像符号化方式を示すブロック図である。
【図２】 この発明の実施の形態２による動画像符号化方式を示すブロック図である。
【図３】 この発明の実施の形態３による動画像符号化方式を示すブロック図である。
【図４】 実施の形態３による動画像符号化方式の動作を説明するための、画像信号の波形図である。
【図５】 実施の形態３による動画像符号化方式の誤差許容度演算部の一構成例を示すブロック図である。
【図６】 実施の形態３による動画像符号化方式の誤差許容度の求め方を示す概念図である。
【図７】 従来の動画像符号化装置を示すブロック図である。
【符号の説明】
２ 減算器、３ａ，３ｂ，３ｃ，３ｄ 遅延器、４ａ，４ｂ，４ｃ，４ｄ 切替器、５ａ フレーム内／フレーム間選択部、６ 直交変換器、７ 量子化器、８ 逆量子化器、９ 逆直交変換器、１０ 加算器、１１ 動き補償予測器、１０１，１０１ａ 有効ブロック判定部、１０３ 誤差許容度演算部。
【発明の属する技術分野】
この発明は、動画像の時間軸方向の相関を利用して符号化を行う動画像符号化方式に関する。
【０００２】
【従来の技術】
図７は、例えば、特公平８−２１０６号公報に示された従来の動画像符号化方式を示すブロック図である。図７において、入力端子１より供給される入力画像信号は減算器２の第一の入力に与えられる。減算器２の出力は遅延器３ａを介して、切替器４の第一の入力に与えられる。入力端子１より供給される入力画像信号は遅延器３ｂを介して、切替器４の第二の入力にも与えられる。切替器４の第三の入力には零信号が与えられる。一方、入力端子１より供給される入力画像信号と減算器２の出力は、有効ブロック判定部およびフレーム間／フレーム内選択部（以下、「判定および選択部」という）５にも入力される。この判定および選択部５の第一，第二の出力は、それぞれ、切替器４の第四，第五の入力に与えられる。切替器４の出力は直交変換器６および量子化器７を介して図示していない復号器側に送出されるが、合わせて逆量子化器８にも送られる。逆量子化器８の出力は逆直交変換器９を介して、加算器１０の第一の入力に与えられる。加算器１０の出力は動き補償予測器１１の第一の入力に与えられる。動き補償予測器１１の第二の入力には入力端子１から供給される入力画像信号が与えられ、動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力には判定および選択部５の第一の出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【０００３】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、判定および選択部５に送られる。この判定および選択部５は、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す第一の制御信号と、各ブロックが有効ブロックであるか否かを示す第二の制御信号とを出力する。遅延器３ａおよび３ｂは判定および選択部５内で生ずる遅延分を補正するためのものである。切替器４は判定および選択部５から出力される２つの制御信号に基づき、フレーム間予測誤差信号、フレーム内信号、零信号のいずれかを選択して出力する。切替器４の出力は直交変換され、量子化されて、図示していない復号器側へ出力される。
【０００４】
この量子化された変換係数は、逆量子化器８を介して逆直交変換器９にも入力され、再生値が出力される。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、前記フレーム間／フレーム内選択部５からの第一の制御信号により決定され、切替器１２で選択される。
【０００５】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【０００６】
判定および選択部５は、両部分を別々に構成することもできるが、共通化できる部分も多数あるため、両者を合わせた判定および選択部５で示している。一般に、テレビ会議信号のような動画像信号を対象とする場合、背景などの静止している部分については、フレーム間予測誤差信号が０となるので、この誤差信号を送らないことにより伝送効率を高めることが可能である。しかしながら、このような静止部分においても、入力画像信号に雑音が乗っていたりするために、予測誤差信号が０とならず、これを直交変換するとある変換係数に大きな値が生じることがある。この場合、本来なら情報を送らなくてよいブロックについても信号を送らなくてはならないことになる。このような場合には、伝送効率の低下となるばかりでなく、隣り合うブロックで情報を送ったり送らなかったりするために、ブロック歪みが生じて視覚的妨害となることがある。そこで、直交変換を行う前に、予測誤差信号をブロック毎にまとめて有効／無効の判定を行い、無効ブロックについては予測誤差信号を０にリセットすることで、効率の低下を防いでいる。
【０００７】
また、動きの大きなブロックやシーンチェンジにおいては、予測誤差が大きくなるため、入力画像信号をそのまま直交変換した方が伝送効率が高くなることがある。そこで、ブロック毎に、フレーム間／フレーム内符号化を選択することが有効となる。
【０００８】
まず、有効ブロック判定部は、ブロック毎に予測誤差信号の２乗和Ｓｍをとり、この評価量Ｓｍが予め定められた閾値Ｔ１以上のときは現入力ブロックを有効ブロックとしてフレーム間予測誤差信号をそのまま直交変換符号化するが、Ｔ１未満のときは現入力ブロックを無効ブロックとし、以後このブロックの予測誤差信号を全て零とする。また、フレーム間／フレーム内選択部は、上記評価値Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【０００９】
【発明が解決しようとする課題】
従来の動画像符号化方式においては、静止している部分の画像に雑音が乗っている場合も、画質劣化や伝送効率の低下を生じないように、有効ブロックの判定を行なっていた。しかしながら、従来、有効ブロックの判定には予測誤差信号のみを用いているため、予測誤差信号を符号化するときの量子化歪みについては考慮されていない。特に低レートの固定レート符号化においては、有効ブロックが多いと量子化が粗くなり、無効ブロックが多いと量子化が細かくなるので、無効ブロックとして予測誤差信号が送られないことによる劣化より、有効ブロックとしたために生じる量子化歪みの方が視覚的に目だつことがあるという問題があった。
【００１０】
また、従来の動画像符号化方式においては、有効ブロックの判定において入力画像の性質を考慮していないので、視覚的に目立たない予測誤差も符号化を行い、符号量削減の妨害となっているという問題があった。
【００１１】
この発明は上記のような問題点を解消するためになされたもので、有効ブロックとしたときの量子化歪みと、予測誤差信号の大きさとを比較することにより、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１２】
また、この発明は、有効ブロックとしたときの量子化歪みと、無効ブロックとした場合の視覚的妨害の大きさとを比較することにより、視覚的な歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１３】
また、この発明は、無効ブロックとした場合の視覚的妨害の大きさを用いて有効ブロック判定を行うことにより、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えるものである。
【００１５】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えるものである。
【００１６】
さらにこの発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するものである。
【００１８】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の一実施形態による動画像符号化方式を示すブロック図である。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器（Ｔ）３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器（Ｔ）３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器（Ｑ）７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器（Ｔ）３ｃを介して切替器４ｂの第一の入力に与えられる。切替器４ｂの第二の入力には零信号が与えられる。
【００１９】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器（Ｑ-1）８の出力は逆直交変換器９に入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｂの第三の入力に与えられる。切替器４ｂの出力は可変長符号器１０２に入力され、可変長符号器（ＶＬＣ）１０２の出力は図示していない復号器側へ伝送される。
【００２０】
逆直交変換器９の出力は切替器４ｃの第一の入力に与えられる。切替器４ｃの第二の入力には零信号が与えられ、切替器４ｃの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｃの出力は加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００２１】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、フレーム間／フレーム内選択部５ａに送られる。このフレーム間／フレーム内選択部５ａは、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す制御信号を出力する。遅延器３ａおよび３ｂはフレーム間／フレーム内選択部５ａ内で生ずる遅延分を補正するためのものである。切替器４ａはフレーム間／フレーム内選択部５ａから出力される制御信号に基づき、フレーム間予測誤差信号、フレーム内信号のいずれかを選択して出力する。切替器４ａの出力は直交変換され、量子化される。量子化された変換係数は、遅延器３ｃに入力されるとともに、逆量子化器８で逆量子化される。
【００２２】
切替器４ａから出力される直交変換前の信号と、量子化前の変換係数と、量子化・逆量子化された変換係数とは、有効ブロック判定部１０１に送られる。有効ブロック判定部１０１は各ブロックが有効ブロックか無効ブロックかを示す制御信号を出力する。遅延器３ｃは有効ブロック判定部１０１内で生ずる遅延分を補正するためのものである。切替器４ｂは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときには量子化された変換係数を、無効ブロックを示しているときは零信号を選択して出力する。切替器４ｂの出力は可変長符号器１０２で可変長符号化されて、図示していない復号器側へ伝送される。
【００２３】
一方、逆量子化器８の出力は、逆直交変換器９で逆直交変換される。切替器４ｃは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときは逆直交変換器９の出力を、無効ブロックを示しているときは零信号を選択して出力する。この切替器４ｃにより、復号器側で得られるのと同じ再生値が得られる。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、先のフレーム間／フレーム内選択部５ａからの制御信号により決定され、切替器１２で選択される。
【００２４】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【００２５】
フレーム内／フレーム間選択部５ａの動作は、前記従来例のフレーム内／フレーム間選択部５と同様である。すなわち、予測誤差の二乗和Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【００２６】
有効ブロック判定部１０１は、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量と、量子化前の変換係数と量子化・逆量子化された変換係数の誤差の評価量とから、各ブロックが有効ブロックか無効ブロックかを判定する。例えば、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いる。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、量子化前の変換係数をｄ（ｉ，ｊ）、量子化・逆量子化後の変換係数をｄｑ（ｉ，ｊ）とすると、
【００２７】
【数１】
【数２】
とする。
【００３０】
一般に、直交変換の性質から、ｐ（ｉ，ｊ）と、これを直交変換した変換係数ｄ（ｉ，ｊ）の間には、
【００３１】
【数３】
という関係が成り立つ。また、逆直交変換器９の出力をｐｑ（ｉ，ｊ）とすると、ｄｑ（ｉ，ｊ）はｐｑ（ｉ，ｊ）を直交変換したときの変換係数であるから、直交変換の線形性より、ｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）の直交変換がｄ（ｉ，ｊ）−ｄｑ（ｉ，ｊ）となる。従って、
【００３３】
【数４】
が成り立つ。よって、予測誤差信号の量子化歪みｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）は、変換係数の量子化誤差の評価量Ｅｑで表わすことができる。そこで、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定すると、予測誤差信号を送らないことによる劣化より量子化歪みの方が大きいときは無効ブロック、そうでないときは有効ブロックと判定される。ただし、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム内符号化を示している場合は、すべてのブロックを有効ブロックとする。
【００３５】
既に述べたように、無効ブロックと判定された場合には切替器４ｂおよび４ｃにより、そのブロックの変換係数および予測誤差信号が０に置き換えられるため、当該ブロックに関する予測誤差情報は送られない。
【００３６】
なお、上記実施の形態１においては、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いたが、評価量Ｅｍ、Ｅｑはこれに限るものではなく、それぞれ、予測誤差、量子化誤差の、絶対値和、絶対値の最大値、またこれらの値にオフセット値を加えたものなど、大きさの指標となる評価量を用いることができる。
【００３７】
実施の形態２．
図２は、この発明の実施の形態２による動画像符号化方式を示すブロック図である。図中、図１と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００３８】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００３９】
遅延器（Ｔ）３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４０】
次に動作について説明する。この実施の形態２による動画像符号化方式は、有効ブロック判定部１０１の判定が無効ブロックを示している場合に、当該ブロックの予測誤差の平均値のみを伝送する点が、実施の形態１と異なる。すなわち、有効ブロック判定部１０１から出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。なお、遅延器３ｃと３ｄは有効ブロック判定部１０１内で生じる遅延分を補正するためのものである。
【００４１】
実施の形態３．
図３は、この発明の実施の形態３による動画像符号化方式を示すブロック図である。図中、図２と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と誤差許容度演算部１０３と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１ａの第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１ａの第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００４２】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１ａの第三の入力に与えられる。有効ブロック判定部１０１ａの第四の入力には誤差許容度演算部１０３の出力が、第五の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１ａの出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００４３】
遅延器３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１ａの出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４４】
次に動作について説明する。この実施の形態３による動画像符号化方式は、有効ブロック判定部１０１ａの判定に、誤差許容度演算部１０３の出力が使われる点が、実施の形態２と異なる。一般に、図４（ａ）のような画像信号があった場合、図４（ｂ）のように、平坦部に乗ったノイズは目立ちやすいが、エッジ部に乗ったノイズは目立ちにくい。すなわち、同じ大きさのノイズでも、元の画像信号の特徴により、主観的に許容できる画質になる場合と許容できない画質になる場合とがある。そこで、誤差許容度演算部１０３は入力画像信号から画面内の各画素がどの程度のレベルまで誤差を許容できるかを示す誤差許容度を求める。
【００４５】
図５は誤差許容度演算部１０３の一構成例を示すブロック図である。図において、５０１は水平変化度演算部、５０２は垂直変化度演算部、５０３は最小値検出器、５０４は誤差許容度変換部である。まず、入力画像は、水平変化度演算部５０１および垂直変化度演算部５０２において、水平および垂直方向の変化度が各画素毎に求められる。たとえば、入力画像信号をｇ（ｘ，ｙ）（０≦ｘ＜Ｌ、０≦ｙ＜Ｍ；Ｌ、Ｍは画像の水平、垂直方向の画素数）とすると、各画素（ｘ，ｙ）について、水平変化度Ｃｈ（ｘ，ｙ）を
【００４６】
【数５】
により求め、垂直変化度Ｃｖ（ｘ，ｙ）を
【００４８】
【数６】
により求める。最小値検出器５０３は、水平変化度と垂直変化度のうち小さい方、すなわち、Ｃ（ｘ，ｙ）＝ｍｉｎ｛Ｃｈ（ｘ，ｙ），Ｃｖ（ｘ，ｙ）｝を出力する。誤差許容度変換部５０４は、この変化度Ｃ（ｘ，ｙ）を
Ｄ（ｘ，ｙ）＝ｆ（Ｃ（ｘ，ｙ））
により誤差許容度Ｄ（ｘ，ｙ）に変換する。ここで、ｆ（ｚ）は図６のような特性をもつ関数である。従って、変化度が小さいときには誤差許容度は小さく、変化度が大きいときには誤差許容度は大きくなる。この誤差許容度Ｄ（ｘ，ｙ）は有効ブロック判定部１０１ａに出力される。
【００５０】
有効ブロック判定部１０１ａは、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとを求め、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定する。このとき、予測誤差信号の大きさの評価に、誤差許容度Ｄ（ｘ，ｙ）を用いる。例えば、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとする。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、このブロックの誤差許容度をＤｂ（ｉ，ｊ）＝Ｄ（ｘ０＋ｉ，ｙ０＋ｊ）（ここで（ｘ０，ｙ０）は当該ブロックの左上の画素の位置）とすると、
【００５１】
【数７】
とする。これにより、予測誤差信号の評価量Ｅｍは視覚特性を考慮した誤差の評価となる。評価量Ｅｑは実施の形態１、２と同様に求める。有効ブロック判定部１０１ａは、これらの評価量Ｅｍ、Ｅｑをもとに、有効ブロック／無効ブロックの判定を行う。
【００５３】
他の動作は実施の形態２と同様である。すなわち、有効ブロック判定部１０１ａから出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。
【００５４】
なお、上記実施の形態３においては、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとしたが、予測誤差信号の評価量Ｅｍはこれに限るものではなく、例えば、二乗和の代わりに、絶対値和、絶対値の最大値を用いてもよい。
また、誤差許容度Ｄ（ｘ，ｙ）の用い方も、減算だけでなく、割り算で反映させてもよく、例えば、予測誤差信号の大きさに誤差許容度Ｄ（ｘ，ｙ）の逆数をかけた値の二乗和を評価量Ｅｍとしてもよい。
【００５５】
また、誤差許容度Ｄ（ｘ，ｙ）も、水平変化度Ｃｈ（ｘ，ｙ）と垂直変化度Ｃｖ（ｘ，ｙ）の最小値から求めることに限定されるものではなく、高域通過フィルタの出力などを用いてもよい。
【００５６】
また、上記実施の形態３においては、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換えるとしたが、切替器４ｄと４ｅは、すべての変換係数を０に置き換えるよう構成してもよい。
【００５７】
さらに、上記実施の形態３においては、有効ブロック判定部１０１ａが予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとから有効ブロック／無効ブロックの判定を行なったが、有効ブロック判定部１０１ａは、誤差許容度Ｄ（ｘ，ｙ）を用いて求めた予測誤差信号の評価量Ｅｍのみを使って、有効ブロック／無効ブロックの判定を行なってもよい。すなわち、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する。
【００５８】
【発明の効果】
以上のように、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることが出来る。
【００５９】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることができる。
【００６０】
さらに、この発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するので符号量の削減できる動画像符号化方式を得ることができる。
【００６１】
また、この発明による動画像符号化方式は、入力画像信号から画面の各画素の誤差許容度を求める手段と、この誤差許容度をもとに予測誤差信号の評価量Ｅｍを求め、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する有効ブロック判定部を有し、無効ブロックと判定された場合には当該ブロックに関する予測誤差情報は送らず、有効ブロックと判定された場合には直交変換した後にその変換係数を量子化し、非零信号が生じた場合には量子化された変換係数値を伝送するので、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による動画像符号化方式を示すブロック図である。
【図２】 この発明の実施の形態２による動画像符号化方式を示すブロック図である。
【図３】 この発明の実施の形態３による動画像符号化方式を示すブロック図である。
【図４】 実施の形態３による動画像符号化方式の動作を説明するための、画像信号の波形図である。
【図５】 実施の形態３による動画像符号化方式の誤差許容度演算部の一構成例を示すブロック図である。
【図６】 実施の形態３による動画像符号化方式の誤差許容度の求め方を示す概念図である。
【図７】 従来の動画像符号化装置を示すブロック図である。
【符号の説明】
２ 減算器、３ａ，３ｂ，３ｃ，３ｄ 遅延器、４ａ，４ｂ，４ｃ，４ｄ 切替器、５ａ フレーム内／フレーム間選択部、６ 直交変換器、７ 量子化器、８ 逆量子化器、９ 逆直交変換器、１０ 加算器、１１ 動き補償予測器、１０１，１０１ａ 有効ブロック判定部、１０３ 誤差許容度演算部。
Claims (3)
- 動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、
前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、
前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、
この第一の切替器からの出力を直交変換する直交変換部と、
この直交変換部からの出力を量子化する量子化部と、
この量子化部からの出力を逆量子化する逆量子化部と、
前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、
前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えることを特徴とする動画像符号化方式。 - 動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、
前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、
前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、
この第一の切替器からの出力を直交変換する直交変換部と、
この直交変換部からの出力を量子化する量子化部と、
この量子化部からの出力を逆量子化する逆量子化部と、
前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、
前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えることを特徴とする動画像符号化方式。 - 前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、
前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロック か無効ブロックかを判定することを特徴とする請求項１または２に記載の動画像符号化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00776597A JP3738511B2 (ja) | 1997-01-20 | 1997-01-20 | 動画像符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00776597A JP3738511B2 (ja) | 1997-01-20 | 1997-01-20 | 動画像符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10210474A JPH10210474A (ja) | 1998-08-07 |
| JP3738511B2 true JP3738511B2 (ja) | 2006-01-25 |
Family
ID=11674789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00776597A Expired - Fee Related JP3738511B2 (ja) | 1997-01-20 | 1997-01-20 | 動画像符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3738511B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2907989B1 (fr) * | 2006-10-27 | 2009-01-16 | Actimagine Sarl | Procede et dispositif d'optimisation de la compression d'un flux video |
| JP4748603B2 (ja) * | 2007-02-28 | 2011-08-17 | 株式会社Ｋｄｄｉ研究所 | 動画像符号化装置 |
| WO2011121938A1 (ja) | 2010-03-31 | 2011-10-06 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム |
| JP5299340B2 (ja) * | 2010-03-31 | 2013-09-25 | 株式会社Ｊｖｃケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
| JP5299341B2 (ja) * | 2010-03-31 | 2013-09-25 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法及び画像復号プログラム |
| US12062150B2 (en) * | 2020-09-30 | 2024-08-13 | Tencent America LLC | Method and apparatus for block-wise neural image compression with post filtering |
-
1997
- 1997-01-20 JP JP00776597A patent/JP3738511B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10210474A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100391027B1 (ko) | 비디오정보를예측부호화하는방법및장치 | |
| JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| JP2005506815A5 (ja) | ||
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JPH05183888A (ja) | 情報源符号化装置 | |
| EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
| JP2000102016A (ja) | 動き補償予測回路 | |
| KR19980017213A (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
| JP3738511B2 (ja) | 動画像符号化方式 | |
| JPH01228384A (ja) | 領域分割を用いた動画像符号化方式 | |
| US20060146932A1 (en) | Method and apparatus for providing motion estimation with weight prediction | |
| JP3432886B2 (ja) | 階層符号化／復号化装置及び方法及び送受信方式 | |
| JPH09214977A (ja) | ビデオ符号化方法およびビデオ符号化装置 | |
| KR0172902B1 (ko) | 엠펙 ii 부호기 | |
| KR0134505B1 (ko) | 적응적 움직임 검출기능을 가진 영상 부호화기 | |
| JP2512165B2 (ja) | 動画像信号の符号化装置 | |
| JPH0984024A (ja) | 動画像信号の符号化装置 | |
| JPH0775095A (ja) | レート制御回路 | |
| JPH10210480A (ja) | 動画像符号化方式 | |
| JP2892701B2 (ja) | 動画像信号の符号化装置 | |
| KR100774455B1 (ko) | 실시간 비디오 전송 응용을 위한 비트율 조절장치 | |
| JP4000581B2 (ja) | 画像符号化装置および方法 | |
| JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
| JPH05227513A (ja) | 映像信号伝送装置 | |
| KR0124162B1 (ko) | 예측 부호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051024 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |