[go: up one dir, main page]

TWI463878B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI463878B
TWI463878B TW098140834A TW98140834A TWI463878B TW I463878 B TWI463878 B TW I463878B TW 098140834 A TW098140834 A TW 098140834A TW 98140834 A TW98140834 A TW 98140834A TW I463878 B TWI463878 B TW I463878B
Authority
TW
Taiwan
Prior art keywords
image
motion compensation
circuit
prediction
frame
Prior art date
Application number
TW098140834A
Other languages
English (en)
Other versions
TW201043041A (en
Inventor
Ohji Nakagami
Yoichi Yagasaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201043041A publication Critical patent/TW201043041A/zh
Application granted granted Critical
Publication of TWI463878B publication Critical patent/TWI463878B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，特別係關於一種不會增大處理負擔而可生成精度較高之預測圖像之圖像處理裝置及方法。
先前，一般係將MPEG(Moving Picture Experts Group，動態視像專家組)、H.26x等之使用有運動補償與離散餘弦轉換、KL(Karhunen-Loeve)轉換、或小波轉換等正交轉換的編碼方式，用作處理動態圖像時之編碼方式。該等動態圖像編碼方式中，係藉由利用作為編碼對象之輸入之圖像信號所具有之特性中的空間方向及時間方向之相關性而實現碼量之削減。
例如，於H.264中，當利用時間方向之相關性生成作為圖框間預測(inter prediction)之對象的圖框即連續圖框時，係使用單向預測或雙向預測。圖框間預測係根據不同時刻之圖框生成預測圖像者。
圖1係表示單向預測之例之圖。
如圖1所示，於藉由單向預測生成作為編碼對象之當前時刻之圖框即編碼圖框P0之情形時，將時間上為當前時刻之過去或未來之時刻的已完成編碼之圖框作為參考圖框進行運動補償。利用時間方向之相關性對預測圖像與實際圖像之殘差進行編碼，藉此可削減碼量。分別使用參考圖框資訊與運動向量，作為指定參考圖框的資訊與指定該參考圖框之參考目標之位置的資訊，並將該等資訊自編碼側向解碼側傳送。
此處，參考圖框之張數並不限於1張。例如，H.264中可將複數張圖框作為參考圖框。如圖1所示，於按照與編碼圖框P0在時間上接近之順序將2張圖框作為參考圖框R0、R1之情形時，可根據參考圖框R0或R1之任意像素的像素值而預測出編碼圖框P0內之任意巨集區塊的像素值。
圖1之各個圖框之內側所示之框表示巨集區塊。若將作為預測對象之編碼圖框P0之巨集區塊設為巨集區塊MBP0，則與該巨集區塊MBP0對應之參考圖框R0之巨集區塊成為藉由運動向量MV0所指定之巨集區塊MBR0。又，參考圖框R1之巨集區塊成為藉由運動向量MV1所指定之巨集區塊MBR1。
若將巨集區塊MBR0、MBR1之像素值(運動補償圖像之像素值)設為MC0(i，j)、MC1(i，j)，則於單向預測中任一運動補償圖像之像素值被用作預測圖像之像素值，因此預測圖像Pred(i，j)係藉由下式(1)所表示。(i，j)表示巨集區塊內之像素之相對位置，且滿足0≦i≦16、0≦j≦16。式(1)中之「∥」表示取MC0(i，j)與MC1(i，j)中之任一值。
[數1]
Pred(i,j)=MC0 (i,j)∥MC1 (i,j)　…(1)
再者，亦可將16×16像素之1個巨集區塊進一步細分為16×8像素等尺寸之區塊，並針對每個被分割之區塊，將不同之參考圖框作為參考目標進行運動補償。不僅可傳送整數精度之運動向量，亦可傳送小數精度之運動向量，且使用根據標準而規定之FIR(finite impulse response，有限脈衝響應)濾波器進行內插，藉此將對應之參考目標之位置之周邊像素的像素值用於運動補償中。
圖2係表示雙向預測之例之圖。
如圖2所示，於藉由雙向預測生成作為編碼對象之當前時刻之圖框即編碼圖框B0之情形時，將時間上為當前時刻之過去及未來之時刻的已完成編碼之圖框作為參考圖框進行運動補償。將已完成編碼之複數張圖框作為參考圖框，並利用與該等之相關性對預測圖像與實際圖像之殘差進行編碼，藉此可削減碼量。於H.264中，亦可將過去之複數張圖框與未來之複數張圖框作為參考圖框。
如圖2所示，於以編碼圖框B0為基準而將過去與未來之各1張圖框作為參考圖框L0、L1之情形時，可根據參考圖框L0、L1之任意像素之像素值而預測出編碼圖框B0內之任意巨集區塊之像素值。
於圖2之例中，與編碼圖框B0之巨集區塊MBB0對應之參考圖框L0之巨集區塊成為藉由運動向量MV0所指定之巨集區塊MBL0。又，與編碼圖框B0之巨集區塊MBB0對應之參考圖框L1之巨集區塊成為藉由運動向量MV1所指定之巨集區塊MBL1。
若將巨集區塊MBL0、MBL1之像素值分別設為MC0(i，j)、MC1(i，j)，則預測圖像Pred(i，j)之像素值Pred(i，j)係如下式(2)所示作為該等之平均值而求出。
[數2]
Pred(i,j)=(MC0 (i,j)+MC1 (i,j))/2　…(2)
於使用有如上述般之單向預測之運動補償中，係藉由提高運動向量之精度或細化巨集區塊之尺寸而提高預測圖像之精度，並減小與實際圖像之殘差，從而實現編碼效率之提高。
又，於使用有雙向預測之運動補償中，係藉由將時間上相近之參考圖框之像素的像素值之平均值用作預測圖像之像素之像素值，即便自概率方面考慮亦可實現穩定地減小預測殘差。
又，作為其他方法，考慮有藉由運動補償與像素值之FIR濾波，將時間方向之相關性轉換為空間解析度後加以利用的方法(例如，參考非專利文獻1)。
非專利文獻1中所記載之方法中，為了進行針對輸入圖像序列之高解析度化處理，係利用有時間方向之相關性。具體而言，在當前圖像與過去圖像之間，計算出經運動預測‧補償之圖像之差分資訊，並反饋給對象之當前圖像，藉此使輸入圖像中所包含之高頻成分恢復。
[非專利文獻1]：「Improving Resolution by Image Registration」,MICHAL IRANI AND SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem,91904 Jerusalem,Israel,Communicated by Rama Chellapa,Received June 16,1989;accepted May 25,1990
於先前之單向預測之情形時，即便在可選擇複數張參考圖框時，亦需要有選擇地使用任一個參考圖框之像素值作為編碼圖框之像素值。因此，未被選擇之參考圖框無法用於運動補償中，從而參考圖框與編碼圖框之時間相關性不能得到充分利用，而自編碼效率提高之觀點考慮尚有改善之餘地。
又，於先前之雙向預測之情形時，係將2張參考圖框之像素值之平均值用作編碼圖框之像素值，藉此進行時間性低通濾波處理，從而預測圖像中會損失高頻成分。其結果，因無法對包含高頻成分之殘差信號進行編碼，故而解碼所得之圖像中失去高頻成分，而導致解析度感劣化。進而，雖然藉由以[非專利文獻2]之方法對2張或2張以上之張數的參考圖框之資訊進行濾波後加以使用，而能以高於先前之雙向預測之精度進行預測，但於該情形時，需要向解碼器傳送分別與2張或2張以上之張數的參考圖框對應的運動向量資訊。即，為了提高預測精度而需要較多之控制資訊，從而若自編碼效率之觀點考慮，則存在無效之情形。
本發明係鑒於上述狀況而完成者，旨在藉由減少用於雙向預測或複數個圖像參考所需之運動向量之碼量，而能以較少之控制資訊生成精度較高之預測圖像。
本發明之一側面為一種圖像處理裝置，其包括：解碼機構，其對經編碼之圖像進行解碼；生成機構，其將藉由上述解碼機構所解碼之圖像與預測圖像相加，而生成解碼完成之圖像；第1擷取機構，其將包含藉由上述生成機構所生成之解碼完成之圖像的圖框作為參考圖框，使用經編碼之上述圖像之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；第2擷取機構，其於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為對應於上述預測圖像之運動補償圖像；以及預測圖像生成機構，其對於藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性而補償高頻成分之濾波處理，藉此生成上述預測圖像。
上述第2擷取機構可使用與編碼上述圖像之編碼裝置所共有之特定之成本函數，自上述參考圖框中擷取出與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分，作為對應於上述預測圖像之運動補償圖像。
上述成本函數可為如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像與上述參考圖框之處理對象區塊的各像素值之差分值之絕對值的總和者。
上述成本函數可為如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像與上述參考圖框之處理對象區塊的各像素值之最小平方誤差者。
上述預測圖像生成機構可包括：第1濾波器機構，其對藉由上述第1擷取機構所擷取之上述運動補償圖像與藉由上述第2擷取機構所擷取之上述運動補償圖像的差分圖像實施低通濾波；第2濾波器機構，其對藉由上述第1濾波器機構實施低通濾波所得之圖像實施高通濾波；以及加法機構，其將藉由上述第1濾波器機構實施低通濾波所得之圖像與藉由上述第2濾波器機構實施高通濾波所得之圖像，加上藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像中之任一者，而生成上述預測圖像。
上述加法機構可對於以上述預測圖像之時刻為基準而自1時刻前之圖框擷取出之上述運動補償圖像，加上藉由上述第1濾波器機構實施低通濾波所得之圖像及藉由上述第2濾波器機構實施高通濾波所得之圖像。
上述圖像處理裝置進而包括：單向預測機構，其使用複數個上述運動補償圖像進行單向預測，而生成上述預測圖像；雙向預測機構，其使用複數個上述運動補償圖像進行雙向預測，而生成上述預測圖像；以及判定機構，其藉由經編碼之上述圖像之標頭中所包含之識別旗標，判定上述預測圖像是藉由上述單向預測機構之單向預測而生成、或是藉由上述雙向預測機構之雙向預測而生成、抑或是藉由上述預測圖像生成機構之上述濾波處理而生成。
本發明之一側面為一種圖像處理方法，對經編碼之圖像進行解碼；將經解碼之圖像與預測圖像相加，而生成解碼完成之圖像；將包含所生成之解碼完成之圖像之圖框作為參考圖框，使用經編碼之上述圖像之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為對應於上述預測圖像之運動補償圖像；對於所擷取之複數個上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性而補償高頻成分之濾波處理，藉此生成上述預測圖像。
本發明之另一側面為一種圖像處理裝置，其包括：編碼機構，其對作為編碼對象之圖像之原圖像進行編碼，生成經編碼之圖像；檢測機構，其根據基於表示上述原圖像與預測圖像之差的殘差信號而局部解碼所得之圖像及上述原圖像檢測運動向量；第1擷取機構，其將包含局部解碼所得之上述圖像之圖框作為參考圖框，使用藉由上述檢測機構所檢測之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；第2擷取機構，其於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，以作為對應於上述預測圖像之運動補償圖像；以及生成機構，其對於藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性補償高頻成分之濾波處理，藉此生成上述預測圖像。
上述第2擷取機構可使用與對經編碼之上述圖像進行解碼之解碼裝置所共有的特定之成本函數，自上述參考圖框中擷取出與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分，作為對應於上述預測圖像之運動補償圖像。
上述成本函數可為如下函數，即求出藉由上述第1擷取機構所擷取之上述運動補償圖像與上述參考圖框之處理對象區塊的各像素值之差分值之絕對值的總和。
上述成本函數可為如下函數，即求出藉由上述第1擷取機構所擷取之上述運動補償圖像與上述參考圖框之處理對象區塊的各像素值之最小平方誤差。
上述生成機構可包括：第1濾波器機構，其對藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像之差分圖像實施低通濾波；第2濾波器機構，其對藉由上述第1濾波器機構實施低通濾波所得之圖像實施高通濾波；以及加法機構，其將藉由上述第1濾波器機構實施低通濾波所得之圖像與藉由上述第2濾波器機構實施高通濾波所得之圖像，加上藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像中之任一者，而生成上述預測圖像。
上述加法機構可對於以上述預測圖像之時刻為基準而自1時刻前之圖框中所擷取之上述運動補償圖像，加上藉由上述第1濾波器機構實施低通濾波所得之圖像及藉由上述第2濾波器機構實施高通濾波所得之圖像。
上述編碼機構可將識別旗標包含於經編碼之上述圖像之標頭中，該識別旗標係識別與解碼裝置中解碼之圖像相加之預測圖像是藉由單向預測而生成、或是藉由雙向預測而生成、抑或是藉由上述濾波處理而生成。
本發明之另一側面為一種圖像處理方法，其係對作為編碼對象之圖像之原圖像進行編碼，而生成經編碼之圖像；根據基於表示上述原圖像與預測圖像之差的殘差信號而局部解碼所得之圖像及上述原圖像，而檢測運動向量；將包含局部解碼所得之上述圖像的圖框作為參考圖框，使用經檢測之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；於與擷取出上述運動補償圖像之上述參考圖框不同之參考圖框中，將與所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為對應於上述預測圖像之運動補償圖像；對於所擷取之複數個上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性補償高頻成分之濾波處理，藉此生成上述預測圖像。
本發明之一側面中，對經編碼之圖像進行解碼；將經解碼之圖像與預測圖像相加，生成解碼完成之圖像；將包含所生成之解碼完成之圖像的圖框作為參考圖框，使用經編碼之圖像之運動向量進行運動補償，自參考圖框擷取出對應於預測圖像之運動補償圖像；於與擷取出運動補償圖像之參考圖框不同之參考圖框中，將與所擷取之運動補償圖像一致或近似之部分自參考圖框中擷取出，作為對應於預測圖像之運動補償圖像；對於所擷取之複數個運動補償圖像，進行利用運動補償圖像中所包含之時間方向之相關性補償高頻成分之濾波處理，藉此生成預測圖像。
本發明之另一側面中，對作為編碼對象之圖像之原圖像進行編碼，生成經編碼之圖像；根據基於表示原圖像與預測圖像之差的殘差信號而局部解碼所得之圖像及原圖像檢測出運動向量；將包含局部解碼所得之圖像之圖框作為參考圖框，使用經檢測之運動向量進行運動補償，自參考圖框中擷取出對應於預測圖像之運動補償圖像；於與擷取出運動補償圖像之參考圖框不同之參考圖框中，將與所擷取之運動補償圖像一致或近似之部分自參考圖框中擷取出，作為對應於預測圖像之運動補償圖像；對於所擷取之複數個運動補償圖像，進行利用運動補償圖像中所包含之時間方向之相關性補償高頻成分之濾波處理，藉此生成預測圖像。
根據本發明，不會使流中之運動向量之傳送量增加而可生成精度較高之預測圖像且可達成較高之編碼效率。
以下，針對用於實施發明之形態(以下稱作實施形態)進行說明。再者，說明按照以下之順序進行。
1.第1實施形態(解碼處理)
2.第2實施形態(編碼處理)
3.第3實施形態(濾波電路之變形例)
<1.第1實施形態>
[預測之概要]
圖3係說明適用本發明之預測圖像生成方法之概要的圖。
本發明中，於解碼器中，為了根據複數張參考面獲得複數個運動補償圖像，係以位元流傳送最低1個運動向量(運動向量A)。
圖3中表示為了進行圖框N之解碼而將圖框(N-1)及圖框(N-2)之2張圖框用於用以進行運動補償之參考面之情況。圖3中，用以表示圖框(N-1)之座標之運動向量A係以流進行傳送。解碼器藉由該向量獲得圖像MC。
繼而，為了根據圖框(N-2)進行運動補償，解碼器要進行運動預測。即，根據圖框(N-2)搜尋出具有與圖像MC接近之值之圖像MC'。關於搜尋之方法例如搜尋演算法或搜尋範圍、成本函數等，只要預先為編碼器與解碼器所共有，則可為任意。藉由使該等為編碼器與解碼器所共有，從而編碼器與解碼器之搜尋結果、即圖像MC'之像素值為一致。
如此，解碼器可根據圖框(N-1)及圖框(N-2)獲得運動預測圖像。從而不需要MC'之運動向量。即，可降低運動向量之編碼量。因此，解碼器及編碼器能以較少之控制資訊生成精度較高之預測圖像。
[解碼裝置之構成]
圖4係表示本發明之一實施形態之解碼裝置1之構成例之方塊圖。
經由纜線、網路或可移動媒體而對解碼裝置1輸入藉由下述編碼裝置而編碼之圖像資訊。壓縮圖像資訊例如為依據H.264標準而編碼之圖像資訊。
累積緩衝器11依序記憶作為壓縮圖像資訊而輸入之位元流。累積緩衝器11中所記憶之資訊係適當針對各構成圖框之巨集區塊等特定單位之圖像而藉由可逆解碼電路12讀出。於H.264標準中，亦可不以16×16像素之巨集區塊單位進行處理，而是以將其進一步分割所得之8×8像素、4×4像素等區塊單位進行處理。
可逆解碼電路12對於自累積緩衝器11中讀出之圖像實施可變長度解碼處理、算術解碼處理等與編碼方式對應的解碼處理。可逆解碼電路12將藉由實施解碼處理所得之經過量化的轉換係數輸出至逆量化電路13中。
又，可逆解碼電路12根據作為解碼對象之圖像之標頭中所包含的識別旗標，識別出該圖像是經圖框內編碼之圖像還是經圖框間編碼之圖像。可逆解碼電路12於判斷作為解碼對象之圖像為經圖框內編碼之圖像之情形時，將該圖像之標頭中所儲存之圖框內預測模式資訊輸出至圖框內預測電路22。圖框內預測模式資訊中包含作為處理單位之區塊之尺寸等與圖框內預測相關的資訊。
可逆解碼電路12於判斷作為解碼對象之圖像為經圖框間編碼之資訊之情形時，將該圖像之標頭中所儲存之運動向量與識別旗標輸出至運動預測‧補償電路21。藉由識別旗標而識別出利用圖框間預測生成預測圖像時的預測模式。識別旗標例如以巨集區塊單位、圖框單位而設定。
作為預測模式，除了圖1之單向預測模式、圖2之雙向預測模式之外，亦準備第3預測模式，其係對自時間上處於單向或雙向之複數張參考圖框中所擷取的運動補償圖像實施濾波後生成預測圖像。
圖5係表示第3預測模式之概念圖。
於圖5之例中，係以當前之圖框(預測圖框)之時刻為基準，將時間上處於1時刻前之圖框作為參考圖框R0，將處於參考圖框R0之1時刻前之圖框作為參考圖框R1。此時，根據第3預測模式，將自參考圖框R0、R1中所擷取之運動補償圖像MC0、MC1輸入至濾波電路，並將自濾波電路輸出之圖像之像素值設為作為對象之巨集區塊之預測圖像的像素值。
以下，將如下預測模式僅稱作單向預測模式，即如參考圖1所說明之、將自處於單向之複數張參考圖框中所擷取之運動補償圖像中的任一運動補償圖像之像素值設為預測圖像之像素值。又，將如下預測模式僅稱作雙向預測模式，即如參考圖2所說明之、將自處於雙向之複數張參考圖框中所分別擷取之運動補償圖像之像素值的平均值設為預測圖像之像素值。
將如圖5所示之第3預測模式稱作濾波預測模式，即對自處於單向或雙向之複數張參考圖框中所擷取之各個運動補償圖像實施濾波後而求出預測圖像之像素值。以下針對濾波預測模式進行詳細敍述。
返回到圖4之說明，逆量化電路13以與編碼側之量化方式對應之方式對由可逆解碼電路12所供給之已量化狀態下的轉換係數進行逆量化。逆量化電路13將藉由進行逆量化所得之轉換係數輸出至逆正交轉換電路14。
逆正交轉換電路14以離散餘弦轉換、KL轉換等與編碼側之正交轉換方式對應的方式，對由逆量化電路13所供給之轉換係數實施例如4次之逆正交轉換，並將由此所得之圖像輸出至加法電路15。
加法電路15將由逆正交轉換電路14所供給之解碼圖像、與由運動預測.補償電路21或圖框內預測電路22經開關23所供給之預測圖像加以合成，並將合成圖像輸出至解塊濾波器16。
解塊濾波器16將由加法電路15所供給之圖像中所包含之區塊失真除去，並輸出已除去區塊失真之圖像。自解塊濾波器16所輸出之圖像被供給至重排序緩衝器17與圖框記憶體19中。
重排序緩衝器17暫時記憶由解塊濾波器16所供給之圖像。重排序緩衝器17根據所記憶之例如巨集區塊單位之圖像而生成各圖框，且按照顯示順序等特定順序將所生成之圖框重排序後輸出至D/A(Digital/Analog，數位/類比)轉換電路18。
D/A轉換電路18對由重排序緩衝器17所供給之各圖框實施D/A轉換後，將各圖框之信號輸出至外部。
圖框記憶體19暫時記憶由解塊濾波器16所供給之圖像。記憶於圖框記憶體19中之資訊係經由開關20而被供給至運動預測‧補償電路21或圖框內預測電路22中。
開關20於藉由圖框間預測生成預測圖像之情形時係連接於端子a1，而於藉由圖框內預測生成預測圖像之情形時係連接於端子b1。開關20之切換例如藉由控制電路31而控制。
運動預測‧補償電路21依據由可逆解碼電路12所供給之識別旗標決定預測模式，並相應於預測模式而自圖框記憶體19中所記憶之解碼完成的圖框中選擇出用作參考圖框之圖框。運動預測‧補償電路21根據由可逆解碼電路12所供給之運動向量，自構成參考圖框之巨集區塊之中決定與作為對象之預測圖像對應的巨集區塊，並擷取出所決定之巨集區塊而作為運動補償圖像。運動預測‧補償電路21根據運動補償圖像之像素值並相應於預測模式而求出預測圖像之像素值，且將已求出像素值之預測圖像經由開關23輸出至加法電路15。
圖框內預測電路22依據由可逆解碼電路12所供給之圖框內預測模式資訊進行圖框內預測，並生成預測圖像。圖框內預測電路22將所生成之預測圖像經由開關23輸出至加法電路15。
開關23於藉由運動預測‧補償電路21生成預測圖像之情形時係連接於端子a2，而於藉由圖框內預測電路22生成預測圖像之情形時係連接於端子b2。開關23之切換亦例如藉由控制電路31而控制。
控制電路31切換開關20、23之連接等而控制解碼裝置1之全體之動作。亦可藉由控制電路31識別處理對象之圖像為經圖框內編碼之圖像還是經圖框間編碼之圖像。
圖6係表示圖3之運動預測‧補償電路21之構成例之方塊圖。
如圖6所示，運動預測‧補償電路21包括預測模式決定電路41、單向預測電路42、雙向預測電路43、預測電路44及濾波電路45。由可逆解碼電路12所供給之運動向量與識別旗標係輸入至預測模式決定電路41中。
預測模式決定電路41依據由可逆解碼電路12所供給之識別旗標決定預測模式。預測模式決定電路41於決定藉由單向預測進行預測圖像之生成之情形時，將運動向量輸出至單向預測電路42，而於決定藉由雙向預測進行預測圖像之生成之情形時，將運動向量輸出至雙向預測電路43。又，預測模式決定電路41於決定藉由濾波預測進行預測圖像之生成之情形時，將運動向量輸出至預測電路44。
如此，因可識別濾波預測，故而可將與以先前之H.264標準所規定之表示單向預測之值、表示雙向預測之值不同的值，設定為識別旗標之值。再者，若不依據識別旗標而決定預測模式便可削減資訊量，因此亦可藉由預先決定之方法決定預測模式。
單向預測電路42如圖1所示，將時間上處於單向之複數張圖框作為參考圖框，並根據運動向量決定與預測圖像對應之參考圖框之巨集區塊。又，單向預測電路42將所決定之各個參考圖框之巨集區塊作為運動補償圖像而自圖框記憶體19中讀出，且將任一運動補償圖像之像素值設為預測圖像之像素值，藉此生成預測圖像。單向預測電路42將預測圖像輸出至加法電路15。關於單向預測電路42之單向預測，係使用例如以H.264標準所規定之單向預測。
雙向預測電路43如圖2所示，將時間上處於雙向之複數張圖框作為參考圖框，並根據運動向量決定與預測圖像對應之參考圖框之巨集區塊。又，雙向預測電路43將所決定之各個參考圖框之巨集區塊作為運動補償圖像而自圖框記憶體19中讀出，且將所讀出之運動補償圖像之像素值之平均值設為預測圖像之像素值，藉此生成預測圖像。雙向預測電路43將預測圖像輸出至加法電路15。關於雙向預測電路43之雙向預測，係使用例如以H.264標準所規定之雙向預測。
預測電路44將時間上處於單向或雙向之複數張圖框決定為參考圖框。可預先決定將哪一圖框作為參考圖框，亦可藉由識別旗標以及自編碼側傳送而來之資訊而指定將哪一圖框作為參考圖框。
圖7係表示參考圖框之例之圖。
於圖7之例中，與參考圖5所說明之情況相同，係以預測圖框之時刻為基準，將時間上處於1時刻前及再1時刻前之2張圖框作為參考圖框。將2張參考圖框之中與預測圖框更為接近之1時刻前之圖框作為參考圖框R0，將參考圖框R0之1時刻前之圖框作為參考圖框R1。
圖8係表示參考圖框之另一例之圖。
於圖8之例中，係以預測圖框之時刻為基準，將時間上處於1時刻前及1時刻後之2張圖框作為參考圖框。將2張參考圖框之中的預測圖框之1時刻前之圖框作為參考圖框L0，將1時刻後之圖框作為參考圖框L1。
如此，於濾波預測中，係將時間上處於單向之複數張圖框或時間上處於雙向之複數張圖框用作參考圖框。
又，預測電路44根據由預測模式決定電路41所供給之運動向量，自如圖7、圖8所示之方式而決定之參考圖框中的至少1個參考圖框之解碼完成之巨集區塊之中，決定與預測圖像對應之巨集區塊。
進而，預測電路44對於如圖7、圖8所示之方式而決定之參考圖框中的剩餘之參考圖框(至少1個參考圖框)，使用根據運動向量而決定之與預測圖像對應的巨集區塊進行運動預測，並決定與預測圖像對應之巨集區塊。
預測電路44將所決定之各個參考圖框之巨集區塊作為運動補償圖像而自圖框記憶體19中讀出，且將所讀出之運動補償圖像輸出至濾波電路45。
即，預測電路44根據運動向量自一部分參考圖框中擷取出運動補償圖像，並且藉由使用了該運動補償圖像之運動預測而自剩餘之參考圖框中擷取出運動補償圖像。
關於運動向量，亦可不以16×16像素等之巨集區塊單位而進行，而是以將巨集區塊進一步分割所得之區塊單位而進行。針對濾波電路45例如輸出巨集區塊單位之圖像。圖6中，表示有2個箭頭作為自預測電路44朝向濾波電路45之箭頭，其係表示供給有2個運動補償圖像。
濾波電路45將預測電路44所供給之運動補償圖像作為輸入而進行濾波，且將藉由進行濾波所得之預測圖像輸出至加法電路15。
圖9係表示圖6之預測電路44之構成例之方塊圖。圖9中，預測電路44包含運動補償電路51及運動預測電路52。
運動補償電路51使用由預測模式決定電路41所供給之運動向量，於一部分參考圖框中特定出與預測圖像對應之巨集區塊。運動補償電路51自圖框記憶體19中讀出特定之巨集區塊之圖像，並擷取其作為運動補償圖像。運動補償電路51將所擷取之運動補償圖像MC0供給至濾波電路45並且亦供給至運動預測電路52。
運動預測電路52於剩餘之參考圖框(與擷取出運動補償圖像MC0之參考圖框不同之參考圖框)之中的至少1張以上之參考圖框中，進行由運動補償電路51所供給之運動補償圖像MC0之匹配(進行運動預測)。
當自參考圖框中找出與運動補償圖像MC0一致或近似之部分時，運動預測電路52使用編碼裝置與解碼裝置1預先所共有之特定之成本函數。例如，係共有如以下之式(3)所示之成本函數。
[數3]
式(3)中，Refi(posX+x，posY+y)表示參考面i之座標(posX+x，posY+y)之像素值。同樣，MC[1](x，y)表示運動補償圖像MC[1](即，運動補償圖像MC0)之區塊之起始於左上端之相對位置(x，y)的像素值。Bkwidth及Bkheight分別表示區塊之寬度與高度。
如式(3)所示，對於區塊內之所有像素合計差分之絕對值，藉此可計算出運動補償圖像MC[1]與參考面i之(posX，posY)之區塊之近似度。
藉由上述編碼裝置與解碼裝置所共有之成本函數而定義近似度。即，可藉由改變該成本函數而改變近似度之定義。以下之式(4)表示成本函數之另一例。式(4)係將最小平方誤差用於成本函數之例。
[數4]
成本函數亦可藉由定義為複數種而針對每一區塊或者每一序列進行切換。繼而為了使濾波處理之結果為最佳，適應性地改變成本函數可提高編碼效率。
當使上述成本函數中之(posX，posY)變化時，Cost為最小之巨集區塊之圖像最為接近運動補償圖像MC[1](即運動補償圖像MC0)。
使(posX，posY)變化之範圍為搜尋範圍，該搜尋範圍必需為編碼裝置與解碼裝置1所共有。其中，值為任意，例如可使用固定值，亦可針對每一序列、每一圖框、每一區域等而適應性地改變該值。當值發生變更時，可另外於流中記述對應之旗標，亦可由編碼裝置與解碼裝置1按照所決定之順序進行判斷而實現。
運動補償圖像MC[1]以接近現行區塊(處理對象之巨集區塊)之編碼圖像之方式而求出，因此藉由使用有此種成本函數之運動預測所得之運動補償圖像MC[i]亦接近現行區塊之編碼圖像。
如此，藉由解碼器進行運動預測，可根據1個運動向量而獲得複數個運動補償圖像MC[i](i＞1)。
運動預測電路52自圖框記憶體122讀出參考圖框中之與運動補償圖像MC0一致或近似之巨集區塊之圖像，並擷取其作為運動補償圖像。運動預測電路52將所擷取之運動補償圖像MC1供給至濾波電路45。
圖10係表示濾波電路45之構成例之方塊圖。於具有圖10之構成之濾波電路45中，係針對時間區域之信號實施濾波。
如圖10所示，濾波電路45包括差分計算電路61、低通濾波器電路62、增益調整電路63、高通濾波器電路64、增益調整電路65、加法電路66及加法電路67。由預測電路44所供給之運動補償圖像MC0被輸入至差分計算電路61與加法電路67中，運動補償圖像MC1被輸入差分計算電路61中。
於如圖7所示藉由單向預測生成預測圖像之情形時，例如，將自被認為與預測圖像之相關性更高之參考圖框R0中所擷取之圖像作為運動補償圖像MC0，將自參考圖框R1中所擷取之圖像作為運動補償圖像MC1。亦可將自參考圖框R0中所擷取之圖像作為運動補償圖像MC1，將自參考圖框R1中所擷取之圖像作為運動補償圖像MC0。
另一方面，於如圖8所示藉由雙向預測生成預測圖像之情形時，例如，將自1時刻前之參考圖框L0中所擷取之圖像作為運動補償圖像MC0，將自1時刻後之參考圖框L1中所擷取之圖像作為運動補償圖像MC1。亦可將自參考圖框L0中所擷取之圖像作為運動補償圖像MC1，將自參考圖框L1中所擷取之圖像作為運動補償圖像MC0。
差分計算電路61計算出運動補償圖像MC0與運動補償圖像MC1之差分，並將差分圖像輸出至低通濾波器電路62。差分圖像D係藉由下式(5)而表示。
[數5]
D(i,j)=MC0 (i,j)-MC1 (i,j)　…(5)
於式(5)中，(i，j)表示運動補償圖像內之像素之相對位置，於以16×16像素之巨集區塊單位進行處理之情形時，滿足0≦i≦16、0≦j≦16。以下相同。
低通濾波器電路62包括FIR濾波器電路。低通濾波器電路62對由差分計算電路61所供給之差分圖像D實施低通濾波，將所得之圖像輸出至增益調整電路63與高通濾波器電路64。藉由實施低通濾波所得之圖像即差分圖像D'係藉由以下之式(6)而表示。式(6)之LPF(X)係表示使用二維FIR濾波器對輸入圖像X實施低通濾波。
[數6]
D' =LPF(D)　…(6)
增益調整電路63調整由低通濾波器電路62所供給之差分圖像D'之增益，並將增益已調整之圖像輸出至加法電路66。增益調整電路63之輸出圖像X(i，j)係藉由以下之式(7)而表示。
[數7]
X(i,j)=αD' (i,j)　…(7)
高通濾波器電路64包括FIR濾波器電路。高通濾波器電路64對由低通濾波器電路62所供給之差分圖像D'實施高通濾波，將所得之圖像輸出至增益調整電路65。藉由實施高通濾波所得之圖像即差分圖像D"係藉由以下之式(8)而表示。式(8)之HPF(X)係表示使用二維FIR濾波器對輸入圖像X實施高通濾波。
[數8]
D"=HPF(D')　…(8)
增益調整電路65調整由高通濾波器電路64所供給之差分圖像D"之增益，並將增益已調整之圖像輸出至加法電路66。增益調整電路65之輸出圖像Y(i，j)係藉由以下之式(9)而表示。
[數9]
Y(i,j)=βD"(i,j)　…(9)
關於式(7)之α、式(9)之β之值，例如選擇α=0.8、β=0.2之值，而為了提高預測像素之精度亦可設為除此以外之值。又，亦可相應於輸入序列之性質等而適應性地改變上述值。
加法電路66將增益已調整之圖像X(i，j)與圖像Y(i，j)相加，並輸出相加後所得之圖像。加法電路66之輸出圖像Z(i，j)係藉由以下之式(10)而表示。
[數10]
Z(i,j)=X(i,j)+Y(i,j)　…(10)
輸出圖像Z(i，j)係表示根據運動補償圖像MC0與運動補償圖像MC1之差分即相關性而求出的圖像之高頻成分。
加法電路67對運動補償圖像MC0補充由加法電路66所供給之輸出圖像Z(i，j)，並將所得之圖像作為預測圖像而輸出至加法電路15。作為加法電路67之最終輸出之預測圖像S(i，j)係藉由以下之式(11)而表示。
[數11]
S(i,j)=MC0 (i,j)+Z(i,j)　…(11)
如此，根據濾波預測模式，生成藉由將表示高頻成分之圖像補充給運動補償圖像MC0所得的圖像而作為預測圖像。該預測圖像與僅進行雙向預測時所得的預測圖像相比，包含更多之高頻成分。如上述般，因複數個運動補償圖像之像素值之平均值係作為像素值而求出，故而藉由進行雙向預測而生成之預測圖像中會失去高頻成分。
又，於加法電路15中，將包含較多之高頻成分之預測圖像與解碼圖像相加，因此最終自解碼裝置1所輸出之圖像亦成為包含較多之高頻成分之高精細之圖像。
進而，與僅進行單向預測之情形相比，可更有效地利用圖像之時間相關性而生成預測圖像。如上述般，因使用複數個運動補償圖像中之任一運動補償圖像之像素值，故而藉由單向預測而生成之預測圖像係無法充分利用圖像之時間相關性而生成。
如此，解碼裝置1可於抑制負載之增大之同時提高編碼效率。
[解碼處理之流程之說明]
此處，針對具有以上之構成之解碼裝置1之處理進行說明。
首先，參考圖11之流程圖針對解碼裝置1之解碼處理進行說明。
當藉由可逆解碼電路12自例如累積緩衝器11中所記憶之資訊而讀出16×16像素之巨集區塊等特定尺寸之圖像時，便開始進行圖11之處理。圖11之各步驟之處理可適當與其他步驟之處理並行進行，或與其他步驟改變順序而進行。下述各流程圖中之各步驟之處理亦相同。
步驟S1中，可逆解碼電路12對自累積緩衝器11中讀出之圖像實施解碼處理，並將經量化之轉換係數輸出至逆量化電路13。又，可逆解碼電路12於解碼對象之圖像為經圖框內編碼之圖像之情形時，將圖框內預測模式資訊輸出至圖框內預測電路22，於解碼對象之圖像為經圖框間編碼之圖像之情形時，將運動向量與識別旗標輸出至運動預測‧補償電路21。
步驟S2中，逆量化電路13以與編碼側之量化方式對應的方式進行逆量化，並將轉換係數輸出至逆正交轉換電路14。
步驟S3中，逆正交轉換電路14對由逆量化電路13所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至加法電路15。
步驟S4中，加法電路15將由逆正交轉換電路14所供給之解碼圖像、與由運動預測.補償電路21或圖框內預測電路22所供給之預測圖像加以合成，並將合成圖像輸出至解塊濾波器16。
步驟S5中，解塊濾波器16藉由實施濾波而除去合成圖像中所包含之區塊失真，並輸出已除去區塊失真之圖像。
步驟S6中，圖框記憶體19暫時記憶由解塊濾波器16所供給之圖像。
步驟S7中，控制電路31判定對象之圖像是否為經圖框內編碼之圖像。
當步驟S7中判定對象之圖像為經圖框內編碼之圖像時，於步驟S8中，圖框內預測電路22藉由進行圖框內預測而生成預測圖像，並將所生成之預測圖像輸出至加法電路15。
另一方面，當步驟S7中判定對象之圖像並非為經圖框內編碼之圖像，即，為經圖框間編碼之圖像時，於步驟S9中，藉由運動預測‧補償電路21進行運動預測‧補償處理。藉由進行運動預測‧補償處理而生成之預測圖像被輸出至加法電路15中。以下將參考圖12之流程圖針對運動預測‧補償處理進行敍述。
步驟S10中，控制電路31判定是否已針對1圖框之所有巨集區塊進行以上之處理，當判定為未對1圖框之所有巨集區塊進行處理時，則針對其他巨集區塊重複步驟S1以後之處理。
另一方面，當步驟S10中判定為已針對1圖框之所有巨集區塊進行處理時，於步驟S11中，重排序緩衝器17依據控制電路31之控制，將所生成之圖框輸出至D/A轉換電路18。
步驟S12中，D/A轉換電路18對由重排序緩衝器17所供給之圖框實施D/A轉換，並將類比之信號輸出至外部。以上之處理係以各圖框作為對象而進行。
接著，參考圖12之流程圖，針對圖11之步驟S9中所進行之運動預測.補償處理進行說明。
步驟S31中，運動預測.補償電路21之預測模式決定電路41，判定由可逆解碼電路12所供給之識別旗標是否表示以濾波預測模式進行處理。
當步驟S31中判定為表示以濾波預測模式進行處理時，處理進入步驟S32。步驟S32中，預測電路44進行擷取運動補償圖像之擷取處理。以下針對該擷取處理之詳細情況進行敍述。
若擷取出運動補償圖像，則於步驟S33中，由濾波電路45進行濾波預測處理。以下針對該濾波預測處理之詳細情況進行敍述。
若步驟S33之處理結束，則運動預測，補償處理結束，處理返回到圖11之步驟S9，並進入步驟S10。
又，當步驟S31中判定為不表示以濾波預測模式進行處理時，於步驟S34中，進行單向預測或雙向預測，並生成預測圖像。
即，當識別旗標表示以單向預測模式進行處理時，自預測模式決定電路41對單向預測電路42供給運動向量，並於單向預測電路42中進行單向預測。又，當識別旗標表示以雙向預測模式進行處理時，自預測模式決定電路41對雙向預測電路43供給運動向量，並於雙向預測電路43中進行雙向預測。在將預測圖像輸出至加法電路15之後，運動預測‧補償處理結束，從而處理返回到圖11之步驟S9，並進入步驟S10。
接著，參考圖13之流程圖，針對圖12之步驟S32中所執行之擷取處理之流程之例進行說明。
當開始進行擷取處理時，預測電路44於步驟S51中使變數i=0。步驟S52中，運動補償電路51自第i參考圖框，即，參考面0開始進行運動補償，並擷取出運動補償圖像MC[0]。步驟S53中，運動補償電路51將運動補償圖像MC[0]輸出至濾波電路45。
步驟S54中，預測電路44判定變數i之值是否為N以下。當判定為變數i之值為特定自然數N以下時，處理進入步驟S55。
步驟S55中，運動預測電路52使變數i增量。步驟S56中，運動預測電路52使用運動補償圖像MC[0]對參考面i進行例如匹配等運動預測，並生成運動補償圖像MC[i]。步驟S57中，運動預測電路52輸出運動補償圖像MC[i]。當步驟S57之處理結束時，處理返回到步驟S54，並執行步驟S54之後之處理。
步驟S54中，當判定為變數i之值大於特定自然數N時，擷取處理結束，從而處理返回到圖12之步驟S32，並進入步驟S33。
接著，參考圖14之流程圖，針對圖12之步驟S33中所執行之濾波處理之流程之例進行說明。
當擷取出運動補償圖像並開始進行濾波處理時，濾波電路45之差分計算電路61於步驟S71中，計算出運動補償圖像MC0與運動補償圖像MC1之差分，並將差分圖像輸出至低通濾波器電路62。
步驟S72中，低通濾波器電路62對由差分計算電路61所供給之差分圖像實施低通濾波，並將所得之圖像輸出至增益調整電路63與高通濾波器電路64。
步驟S73中，增益調整電路63調整由低通濾波器電路62所供給之圖像之增益，並將增益已調整之圖像輸出至加法電路66。
步驟S74中，高通濾波器電路64對由低通濾波器電路62所供給之差分圖像實施高通濾波，並將所得之圖像輸出至增益調整電路65。
步驟S75中，增益調整電路65調整由高通濾波器電路64所供給之差分圖像之增益，並將增益已調整之圖像輸出至加法電路66。
步驟S76中，加法電路66將由增益調整電路63所供給之圖像(低通濾波器之輸出)與由增益調整電路65所供給之圖像(高通濾波器之輸出)相加後求出圖像之高頻成分。所求出之高頻成分係自加法電路66供給至加法電路67。
步驟S77中，加法電路67對運動補償圖像MC0補充由加法電路66所供給之圖像(高頻成分)，並將所得之圖像作為預測圖像而輸出至加法電路15。步驟S78中，濾波電路45判定是否已對所有運動補償圖像進行處理。當判定為存在未處理之運動補償圖像時，處理返回到步驟S71，並重複步驟S71以後之處理。
又，步驟S78中，當判定已對所有運動補償圖像進行處理時，濾波預測處理結束，從而處理返回到圖12之步驟S33，若運動預測‧補償處理結束，則返回到圖11之步驟S9，並進入步驟S10。
如上述般，使用藉由濾波預測而生成之預測圖像進行解碼，藉此可獲得高精細之解碼圖像。又，此時，係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測(匹配等)而求出剩餘之運動補償圖像。藉此，可減少編碼之運動向量之數量。即，解碼裝置1能以較少之控制資訊生成精度較高之預測圖像。
<2.第2實施形態>
[編碼裝置之構成]
接著，針對編碼側之裝置之構成與動作進行說明。圖15係表示編碼裝置101之構成例之方塊圖。藉由編碼裝置101編碼所得的壓縮圖像資訊被輸入至圖4之解碼裝置1。
A/D轉換電路111對輸入信號實施A/D轉換後將圖像輸出至重排序緩衝器112。
重排序緩衝器112相應於壓縮圖像資訊之GOP(Group of Pictures，視像群組)構造進行圖框之重排序，並輸出巨集區塊等特定單位之圖像。自重排序緩衝器112輸出之圖像被供給至加法電路113、模式決定電路123、運動預測‧補償電路125及圖框內預測電路126。
加法電路113求出由重排序緩衝器112所供給之圖像、與藉由運動預測‧補償電路125或圖框內預測電路126而生成且經由開關127供給的預測圖像之差，並將殘差輸出至正交轉換電路114。預測圖像越接近原圖像、即此處所求出之殘差越少，則殘差中所分配之碼量越少即可，因此編碼效率較高。
正交轉換電路114對由加法電路113所供給之殘差實施離散餘弦轉換、KL轉換等正交轉換，並將藉由實施正交轉換所得之轉換係數輸出至量化電路115。
量化電路115依據速率控制電路118之控制對由正交轉換電路114所供給之轉換係數進行量化，且輸出經量化之轉換係數。藉由量化電路115而量化之轉換係數被供給至可逆編碼電路116與逆量化電路119。
可逆編碼電路116藉由實施可變長度編碼、算術編碼等可逆編碼而壓縮由量化電路115所供給之轉換係數，且將資訊輸出至累積緩衝器117。
又，可逆編碼電路116依據由模式決定電路123所供給之資訊而設定識別旗標之值，並將識別旗標記述於圖像之標頭中。根據藉由可逆編碼電路116所記述之識別旗標，如上述般於解碼裝置1中決定預測模式。
可逆編碼電路116亦將由運動預測，補償電路125或圖框內預測電路126所供給之資訊記述於圖像之標頭中。自運動預測.補償電路125供給有進行圖框間預測時所檢測出的運動向量等，且自圖框內預測電路126供給有與所適用之圖框內預測模式相關的資訊。
累積緩衝器117暫時記憶由可逆編碼電路116所供給之資訊，並於特定時序將其作為壓縮圖像資訊而輸出。累積緩衝器117將產生碼量之資訊輸出至速率控制電路118。
速率控制電路118根據累積緩衝器117所輸出之碼量而算出量化位階，並控制量化電路115，以使其按照所算出之量化位階進行量化。
逆量化電路119對藉由量化電路115而量化之轉換係數實施逆量化，且將轉換係數輸出至逆正交轉換電路120。
逆正交轉換電路120對由逆量化電路119所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至解塊濾波器121。
解塊濾波器121將經局部解碼之圖像中所呈現之區塊失真除去，且將已除去區塊失真之圖像輸出至圖框記憶體122。
圖框記憶體122記憶由解塊濾波器121所供給之圖像。圖框記憶體122中所記憶之圖像係藉由模式決定電路123而適當讀出。
模式決定電路123根據圖框記憶體122中所記憶之圖像與由重排序緩衝器112所供給之原圖像，而決定是進行圖框內編碼還是進行圖框間編碼。又，模式決定電路123於決定進行圖框間編碼之情形時，決定單向預測模式、雙向預測模式、濾波預測模式中之任一模式。模式決定電路123將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。
模式決定電路123於決定進行圖框間編碼之情形時，將圖框記憶體122中所記憶之經局部解碼所得的圖框，經由開關124而輸出至運動預測‧補償電路125。
又，模式決定電路123於決定進行圖框內編碼之情形時，將圖框記憶體122中所記憶之經局部解碼所得的圖框輸出至圖框內預測電路126。
開關124於進行圖框間編碼之情形時係連接於端子a11，於進行圖框內編碼之情形時係連接於端子b11。開關124之切換例如藉由控制電路131而控制。
運動預測‧補償電路125根據由重排序緩衝器112所供給之原圖像與自圖框記憶體122中讀出之參考圖框而檢測運動向量，且將所檢測出之運動向量輸出至可逆編碼電路116。又，運動預測‧補償電路125藉由使用所檢測出之運動向量與參考圖框進行運動補償而生成預測圖像，並將所生成之預測圖像經由開關127輸出至加法電路113。
圖框內預測電路126根據由重排序緩衝器112所供給之原圖像與經局部解碼完成記憶於圖框記憶體122中之參考圖框而進行圖框內預測，並生成預測圖像。圖框內預測電路126將所生成之預測圖像經由開關127輸出至加法電路113，並將圖框內預測模式資訊輸出至可逆編碼電路116。
開關127連接於端子a12或端子b12，以將藉由運動預測‧補償電路125或圖框內預測電路126所生成之預測圖像輸出至加法電路113。
控制電路131相應於藉由模式決定電路123所決定之模式而切換開關124、127之連接等，從而控制編碼裝置101之全體之動作。
圖16係表示圖15之模式決定電路123之構成例之方塊圖。
如圖16所示，模式決定電路123包括圖框內預測電路141、圖框間預測電路142、預測誤差計算電路143及決定電路144。於模式決定電路123中，將大小各不相同之區塊作為對象而進行圖框內預測、圖框間預測，並根據其結果而決定以哪一預測模式進行預測。關於圖框間預測，係以單向預測模式、雙向預測模式、濾波預測模式之各個預測模式進行處理。由重排序緩衝器112所供給之原圖像被輸入至圖框內預測電路141、圖框間預測電路142及預測誤差計算電路143。
圖框內預測電路141係根據原圖像與自圖框記憶體122中讀出之圖像而以尺寸各不相同之區塊單位進行圖框內預測，並將所生成之預測圖像輸出至預測誤差計算電路143。於4×4預測電路151-1中，以4×4像素之區塊單位進行圖框內預測，於8×8預測電路151-2中，以8×8像素之區塊單位進行圖框內預測。於16×16預測電路151-3中，以16×16像素之區塊單位進行圖框內預測。
圖框間預測電路142之預測電路161係根據原圖像與自圖框記憶體122中讀出之參考圖框而以尺寸各不相同之區塊單位檢測運動向量。又，預測電路161根據所檢測出之運動向量進行運動補償，並輸出用於預測圖像之生成之運動補償圖像。
於16×16預測電路161-1中，以16×16像素之區塊單位之圖像作為對象而進行處理，於16×8預測電路161-2中，以16×8像素之區塊單位之圖像作為對象而進行處理。又，於4×4預測電路161-(n-1)中，以4×4像素之區塊單位之圖像作為對象而進行處理。於跳過/直接預測電路161-n中，以跳過預測模式、直接預測模式檢測出運動向量，且使用所檢測出之運動向量進行運動補償。
以當前之圖框為基準，自處於單向之複數張參考圖框中所擷取之運動補償圖像係從預測電路161之各電路供給至單向預測電路162。又，以當前之圖框為基準，自處於雙向之複數張參考圖框中所擷取之運動補償圖像係從預測電路161之各電路供給至雙向預測電路163。
於使用如上述般自處於單向之複數張參考圖框中所擷取之運動補償圖像進行濾波預測之情形時，自預測電路161之各電路對濾波電路164供給自處於單向之參考圖框中所擷取之運動補償圖像。於使用自處於雙向之複數張參考圖框中所擷取之運動補償圖像進行濾波預測之情形時，自預測電路161之各電路對濾波電路164供給自處於雙向之參考圖框中所擷取之運動補償圖像。
單向預測電路162藉由使用預測電路161之各電路所供給之尺寸各不相同之運動補償圖像進行單向預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。例如，單向預測電路162將由預測電路161-1所供給之16×16像素之複數個運動補償圖像中之任一圖像的像素值設為預測圖像之像素值，藉此生成預測圖像。
雙向預測電路163藉由使用預測電路161之各電路所供給之尺寸各不相同之運動補償圖像進行雙向預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。例如，雙向預測電路163將由預測電路161-1所供給之16×16像素之複數個運動補償圖像之像素值的平均值設為預測圖像之像素值，藉此生成預測圖像。
濾波電路164藉由使用預測電路161之各電路所供給之尺寸各不相同之運動補償圖像進行濾波預測而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。濾波電路164相應於解碼裝置1之濾波電路45而具有與圖10所示之構成相同之構成。
例如，濾波電路164於以預測電路161-1所供給之16×16像素之運動補償圖像MC0、MC1作為對象而生成預測圖像之情形時，係求出運動補償圖像MC0、MC1之差分，並對所求出之差分圖像實施低通濾波。又，濾波電路164對低通濾波器之輸出實施高通濾波，並將該輸出之增益已調整之圖像、與低通濾波器之輸出之增益已調整之圖像進行相加。濾波電路164藉由將表示高頻成分之相加結果之圖像與運動補償圖像MC0相加而生成預測圖像，並將所生成之預測圖像輸出至預測誤差計算電路143。
預測誤差計算電路143針對由圖框內預測電路141之各電路所供給之各個預測圖像求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路144。又，預測誤差計算電路143針對由圖框間預測電路142之單向預測電路162、雙向預測電路163、濾波電路164所供給之各個預測圖像求出與原圖像之差，並將表示所求出之差的殘差信號輸出至決定電路144。
決定電路144測定由預測誤差計算電路143所供給之殘差信號之強度，並將用於生成與原圖像之差較少之預測圖像的預測方法決定為用於生成編碼中所使用之預測圖像的預測方法。決定電路144將表示決定結果之資訊作為模式資訊而輸出至可逆編碼電路116。模式資訊中亦包含表示將哪個尺寸之區塊作為處理單位之資訊等。
又，決定電路144於決定藉由圖框間預測生成預測圖像之情形時(決定進行圖框間編碼之情形時)，將自圖框記憶體122中讀出之參考圖框與模式資訊一併輸出至運動預測‧補償電路125。決定電路144於決定藉由圖框內預測生成預測圖像之情形時(決定進行圖框內編碼之情形時)，將自圖框記憶體122中讀出之用於圖框內預測的圖像與模式資訊一併輸出至圖框內預測電路126。
圖17係表示圖15之運動預測‧補償電路125之構成例之方塊圖。
如圖17所示，運動預測‧補償電路125包括運動向量檢測電路181、單向預測電路182、雙向預測電路183、預測電路184及濾波電路185。除了設置運動向量檢測電路181代替預測模式決定電路41之外，運動預測‧補償電路125具有與圖8所示之運動預測‧補償電路21相同之構成。
運動向量檢測電路181根據由重排序緩衝器112所供給之原圖像與由模式決定電路123所供給之參考圖框而進行區塊匹配等，藉此檢測出運動向量。運動向量檢測電路181參考由模式決定電路123所供給之模式資訊，並將運動向量與參考圖框一併輸出至單向預測電路182、雙向預測電路183、及預測電路184中之任一者。
運動向量檢測電路181於選擇進行單向預測之情形時，將運動向量與參考圖框一併輸出至單向預測電路182，於選擇進行雙向預測之情形時，將該等資訊輸出至雙向預測電路183。運動向量檢測電路181於選擇進行濾波預測之情形時，將運動向量與參考圖框一併輸出至預測電路184。
單向預測電路182係與圖8之單向預測電路42同樣，係藉由進行單向預測而生成預測圖像。單向預測電路182將所生成之預測圖像輸出至加法電路113。
雙向預測電路183係與圖8之雙向預測電路43同樣，藉由進行雙向預測而生成預測圖像。雙向預測電路183將所生成之預測圖像輸出至加法電路113。
預測電路184係與圖8之預測電路44同樣，自2張等複數張參考圖框中分別擷取出運動補償圖像，並將所擷取之複數個運動補償圖像輸出至濾波電路185。
濾波電路185係與圖8之濾波電路45同樣，藉由進行濾波預測而生成預測圖像。濾波電路185將所生成之預測圖像輸出至加法電路113。再者，濾波電路185具有與圖12所示之濾波電路45之構成相同之構成。以下，適當引用圖12所示之濾波電路45之構成作為濾波電路185之構成而進行說明。
藉由濾波預測所生成之預測圖像比起藉由單向預測、雙向預測所生成之預測圖像，為含有更多之高頻成分且與原圖像之差較少之圖像。因此，分配給殘差之碼量較少即可，從而可提高編碼效率。
又，因參考圖框之數量只要為至少2張便可進行濾波預測，故而以此方式便能實現編碼效率之提高而不會導致處理變得複雜。例如，亦可藉由增加圖框間預測中所使用之參考圖框之數量而生成精度較高之預測圖像，並使用該預測圖像而減小與原圖像之殘差，從而提高編碼效率，但此時會因參考圖框之數量增多而導致處理變得複雜。
再者，於選擇預測方法時，亦可考慮到預測所需之運動向量或稱作編碼模式之資訊之碼量，將與碼量相應之權重加上殘差信號之強度而選擇出最佳預測方法。藉此，能夠進一步改善編碼效率。又，為了簡化編碼處理，亦可利用所輸入之原圖像之時間.空間方向之特徵量而適應性地選擇出預測方法。
[編碼處理之流程之說明]
接著，針對具有以上構成之編碼裝置101之處理進行說明。
參考圖18之流程圖針對編碼裝置101之編碼處理進行說明。當自重排序緩衝器112輸出巨集區塊等特定單位之圖像時便開始進行該處理。
步驟S101中，加法電路113求出由重排序緩衝器112所供給之圖像、與藉由運動預測‧補償電路125或圖框內預測電路126而生成之預測圖像之差，並將殘差輸出至正交轉換電路114。
步驟S102中，正交轉換電路114對由加法電路113所供給之殘差實施正交轉換，並將轉換係數輸出至量化電路115。
步驟S103中，量化電路115將由正交轉換電路114所供給之轉換係數量化，並輸出經量化之轉換係數。
步驟S104中，逆量化電路119對藉由量化電路115而量化之轉換係數實施逆量化，並將轉換係數輸出至逆正交轉換電路120。
步驟S105中，逆正交轉換電路120對由逆量化電路119所供給之轉換係數實施逆正交轉換，並將所得之圖像輸出至解塊濾波器121。
步驟S106中，解塊濾波器121藉由實施濾波而除去區塊失真，並將已除去區塊失真之圖像輸出至圖框記憶體122。
步驟S107中，圖框記憶體122記憶由解塊濾波器121所供給之圖像。
步驟S108中，藉由模式決定電路123進行模式決定處理。藉由模式決定處理決定以哪一預測模式生成預測圖像。以下針對模式決定處理進行敍述。
步驟S109中，控制電路131根據模式決定電路123之決定，判定是否進行圖框內預測。
當步驟S109中判定為進行圖框內預測時，於步驟S110中，圖框內預測電路126進行圖框內預測，並將預測圖像輸出至加法電路113。
另一方面，當步驟S109中判定為不進行圖框內預測、即進行圖框間預測時，於步驟S111中，藉由運動預測‧補償電路125進行運動預測‧補償處理，並將預測圖像輸出至加法電路113。以下針對運動預測‧補償處理進行敍述。
步驟S112中，可逆編碼電路116壓縮由量化電路115所供給之轉換係數，並將其輸出至累積緩衝器117。又，可逆編碼電路116依據由模式決定電路123所供給之資訊而將識別旗標記述於圖像之標頭中，或將由運動預測‧補償電路125所供給之運動向量記述於圖像之標頭中。
步驟S113中，累積緩衝器117暫時記憶由可逆編碼電路116所供給之資訊。
步驟S114中，控制電路131判定是否已對1圖框之所有巨集區塊進行以上之處理，當判定為未針對1圖框之所有巨集區塊進行處理時，則針對其他巨集區塊重複進行步驟S111以後之處理。
另一方面，當步驟S114中判定為已針對1圖框之所有巨集區塊進行處理時，於步驟S115中，累積緩衝器117依據控制電路131之控制而輸出壓縮圖像資訊。以上之處理係以各圖框為對象而進行。
接著參考圖19之流程圖針對圖18之步驟S108中所進行之模式決定處理進行說明。
步驟S131中，圖框內預測電路141、圖框間預測電路142分別以不同大小之區塊作為對象而進行圖框內預測、圖框間預測，並生成預測圖像。所生成之預測圖像被供給至預測誤差計算電路143。
步驟S132中，預測誤差計算電路143針對由圖框內預測電路141之各電路、圖框間預測電路142之單向預測電路162、雙向預測電路163、濾波電路164所供給之各個預測圖像而求出與原圖像之差。預測誤差計算電路143將殘差信號輸出至決定電路144。
步驟S133中，決定電路144根據由預測誤差計算電路143所供給之殘差信號之強度，決定用於生成供給至加法電路113之預測圖像之預測方法。
步驟S134中，決定電路144將與所決定之預測方法相關的資訊即模式資訊輸出至可逆編碼電路116。然後，返回到圖18之步驟S108，並進行步驟S108以後之處理。
接著，參考圖20之流程圖針對圖18之步驟S111中所進行之運動預測‧補償處理進行說明。
步驟S151中，運動向量檢測電路181根據原圖像與參考圖框檢測運動向量。
步驟S152中，運動向量檢測電路181藉由模式決定電路123決定是否以濾波預測模式進行處理。
當判定為決定以濾波預測模式進行處理時，處理進入步驟S153。步驟S153及步驟S154之各處理分別以與圖12之步驟S32及步驟S33之情形相同之方式而執行。即，步驟S153中，以參考圖13之流程圖所說明之方式執行擷取處理，步驟S154中，以參考圖14之流程圖所說明之方式執行濾波預測處理。
若步驟S154之處理結束，則運動預測‧補償處理結束，從而處理返回到圖18之步驟S111，並進入步驟S112。
又，圖20之步驟S152中，當判定為並未決定以濾波預測模式進行處理時，處理進入步驟S155。步驟S155中，單向預測電路182或雙向預測電路183進行單向預測或雙向預測，從而生成預測圖像。
即，當決定以單向預測模式進行處理時，自運動向量檢測電路181對單向預測電路182供給運動向量，並於單向預測電路182中進行單向預測。又，當決定以雙向預測模式進行處理時，自運動向量檢測電路181對雙向預測電路183供給運動向量，並於雙向預測電路183中進行雙向預測。預測圖像被輸出至加法電路113，若圖20之步驟S155之處理結束，則運動預測‧補償處理結束，從而處理返回到圖18之步驟S111，並進入步驟S112。
如以上方式，使用藉由濾波預測而生成之預測圖像進行編碼，藉此可提高編碼效率。
<3.第3實施形態>
[濾波電路之變形例]
以上，濾波電路45、185具有如圖10所示之構成，而該構成可進行適當變更。
圖21係表示濾波電路45之另一構成例之方塊圖。對與圖10所示之構成對應之構成附上相同之符號。並適當省略重複之說明。
圖21之差分計算電路61計算出運動補償圖像MC0與運動補償圖像MC1之差分，並將差分圖像輸出至低通濾波器電路62。
低通濾波器電路62對由差分計算電路61所供給之差分圖像實施低通濾波，並將所得之圖像輸出至加法電路67。
加法電路67對運動補償圖像MC0補充由低通濾波器電路62所供給之圖像，並將所得之圖像作為預測圖像而輸出。
藉由使用如圖21所示之構成，與使用圖10之構成之情形相比可減少處理量，從而可實現高速之動作。
圖22係表示濾波電路45之又一構成例之方塊圖。對與圖10所示之構成對應之構成附上相同符號。並適當省略重複之說明。
圖22之濾波電路45中，係以頻率區域之信號作為對象實施濾波，而非以時間區域之信號作為對象實施濾波。而圖10、圖21所示之濾波電路45均係對時間區域之信號實施濾波。
圖22之差分計算電路61計算出運動補償圖像MC0與運動補償圖像MC1之差分，並將差分圖像輸出至正交轉換電路201。
正交轉換電路201對差分圖像實施以DCT(Discrete Cosine Transform，離散餘弦轉換)、Hadamard(哈達馬德)轉換、KLT(Karhunen Loeve Transformation，KL轉換)為代表之正交轉換，並將正交轉換後之信號輸出至帶通濾波器電路202。藉由進行正交轉換而對頻率區域之信號實施濾波，從而與對時間區域之信號實施濾波之情形相比，能夠進行更靈活、精度更高之濾波處理。
於將DCT用作正交轉換之情形時，正交轉換後之輸出DF係藉由以下之式(12)而表示。式(12)之DCT(X)係表示對信號X進行二維DCT處理。
[數12]
DF=DCT(D)　…(12)
帶通濾波器電路202對正交轉換電路201之輸出實施濾波，並輸出特定頻帶之信號。
增益調整電路203將帶通濾波器電路202之輸出之增益調整為α倍，並且進行頻率成分之調整。增益調整電路203之輸出XF係藉由以下之式(13)而表示。式(13)之BPF(X)表示對信號X實施帶通濾波處理。
[數13]
XF=α‧BPF(DF)　…(13)
逆正交轉換電路204以與正交轉換電路201之正交轉換對應的方式進行逆正交轉換，且將由增益調整電路203所供給之頻率區域之信號轉換為時間區域之信號。例如，於正交轉換電路201中DCT被用作正交轉換之情形時，於逆正交轉換電路204中進行IDCT。逆正交轉換電路204之輸出X係藉由以下之式(14)而表示。式(14)之IDCT(X)係表示對信號X進行二維IDCT處理。
[數14]
X=IDCT(XF)　…(14)
加法電路67對運動補償圖像MC0，以時間區域補充由逆正交轉換電路204所供給之信號X，並將所得之圖像作為預測圖像而輸出。作為加法電路67之最終輸出之預測圖像S(i，j)係藉由以下之式(15)而表示。
[數15]
S(i,j)=MC0 (i,j)+X(i,j)　…(15)
如此，亦可藉由對頻率區域之信號進行濾波而生成精度較高之預測圖像。
又，以上係使用2張參考圖框進行濾波預測，亦可將2張以上之張數之圖框用作參考圖框。
圖23係表示使用3張參考圖框之情形之例的圖。
於圖23之例中，係以預測圖框之時刻為基準，將時間上處於1時刻前、再1時刻前及進而再1時刻前的3張圖框作為參考圖框。將更為接近預測圖框之1時刻前之圖框作為參考圖框R0，將參考圖框R0之1時刻前之圖框作為參考圖框R1，將參考圖框R1之1時刻前之圖框作為參考圖框R2。
圖24係表示使用3張參考圖框之情形時的濾波電路之構成例之方塊圖。
如圖24所示，濾波電路211包括濾波電路221與濾波電路222。濾波電路221與濾波電路222分別具有如圖10、圖21、圖22所示之構成。即，濾波電路211藉由將2輸入1輸出時所使用之濾波電路45級聯連接而可作為3輸入1輸出之電路進行動作。
此處，將自參考圖框R0中所擷取之運動補償圖像作為運動補償圖像MC0，將自參考圖框R1中所擷取之運動補償圖像作為運動補償圖像MC1，將自參考圖框R2中所擷取之運動補償圖像作為運動補償圖像MC2而進行說明。運動補償圖像MC1、MC2輸入至濾波電路221，運動補償圖像MC0輸入至濾波電路222。
濾波電路221將運動補償圖像MC1、MC2分別設為圖10等中之運動補償圖像MC0、MC1而進行濾波，並將作為濾波之結果之中間輸出X輸出至濾波電路222。
濾波電路221將中間輸出X與運動補償圖像MC0分別設為圖10等中之運動補償圖像MC0、MC1而進行濾波，並將濾波之結果作為預測圖像輸出。
如上述之處理3張參考圖框之濾波電路211亦可代替濾波電路45而設置於圖4之解碼裝置1或圖15之編碼裝置101中。
再者，濾波電路221與濾波電路222無需具有相同之構成，亦可各自之構成不同，如一者具有圖10所示之構成、而另一者具有圖21所示之構成。又，亦可考慮到濾波前後之輸入輸出特性，而使濾波器中所使用之參數不同。
亦可不以自時間上處於一方之參考圖框中所擷取之運動補償圖像作為對象，而以自處於前後之3張參考圖框中所擷取之運動補償圖像作為對象，於濾波電路211中實施濾波。
再者，於包括參考圖8所說明之情形在內之以預測圖框之時刻為基準將處於前後之圖框用作參考圖框之情形時，亦可相應於參考圖框之時間方向或距離而動態地變更濾波時之結點係數等參數。
自編碼裝置101對解碼裝置1之壓縮圖像資訊之傳送，係經由光碟、磁碟、快閃記憶體等記錄媒體，衛星廣播、有線電視、網際網路、行動電話網路等各種媒體而進行。
上述一連串之處理可藉由硬體執行，亦可藉由軟體執行。於藉由軟體執行一連串之處理之情形時，構成該軟體之程式係自程式記錄媒體而安裝於組裝在專用之硬體中之電腦中、或者可藉由安裝各種程式而執行各種功能之通用之個人電腦等中。
圖25係表示藉由程式執行上述一連串處理之電腦300之硬體之構成例的方塊圖。
CPU(Central Processing Unit，中央處理單元)301、ROM(Read Only Memory，唯讀記憶體)302、RAM(Random Access Memory，隨機存取記憶體)303係藉由匯流排304而彼此連接。
匯流排304進而連接有輸入輸出介面310。輸入輸出介面310上連接有：由鍵盤、滑鼠、麥克風等構成之輸入部311，由顯示器、揚聲器等構成之輸出部312，由硬碟或非揮發性記憶體等構成之記憶部313，由網路介面等構成之通信部314，及驅動光碟或半導體記憶體等可移動媒體321之驅動315。
於以上之方式構成之電腦300中，CPU301例如將記憶部313中所記憶之程式經由輸入輸出介面310及匯流排304而載入至RAM303中並執行該程式，藉此進行上述一連串處理。
CPU301所執行之程式，例如記錄於可移動媒體321中，或者，經由區域網路、網際網路、數位廣播之類的有線或無線傳送媒體而提供，並安裝於記憶部313中。
再者，電腦所執行之程式可為按照本說明書所說明之順序並以時間序列進行處理之程式，亦可為並列進行處理、或者於呼叫時等必要之時序進行處理之程式。
又，本說明書中，記述記錄媒體中所記錄之程式之步驟，當然包括按照所記載之順序並以時間序列而進行之處理，亦包括不必以時間序列進行處理而是並列執行或個別執行之處理。
又，本說明書中，所謂系統係表示包括複數個裝置(device)之裝置全體。
又，亦可將以上之作為1個裝置(或處理部)所說明之構成進行分割，作為複數個裝置(或處理部)而構成。相反，亦可將以上之作為複數個裝置(或處理部)所說明之構成匯總為1個裝置(或處理部)而構成。又，當然亦可將上述以外之構成附加於各裝置(或各處理部)之構成中。進而，只要作為系統全體之構成或動作實質相同，則某一裝置(或處理部)之構成之一部分亦可包含於另一裝置(或另一處理部)之構成中。即，本發明之實施形態並非限定於上述實施形態，在不脫離本發明之主旨之範圍內可進行各種變更。
例如，上述解碼裝置1及編碼裝置101可適用於任意之電子設備中。以下針對該例進行說明。
圖26係表示使用有適用本發明之解碼裝置1之電視機的主要構成例之方塊圖。
圖26所示之電視機1000包括地波調諧器1013、視訊解碼器1015、視像信號處理電路1018、圖形生成電路1019、面板驅動電路1020及顯示面板1021。
地波調諧器1013經由天線接收並解調地面類比廣播之廣播信號，取得視像信號，並將該視像信號供給至視訊解碼器1015。視訊解碼器1015對由地波調諧器1013所供給之視像信號實施解碼處理，並將所得之數位之分量信號供給至視像信號處理電路1018。
視像信號處理電路1018對由視訊解碼器1015所供給之視像資料實施雜訊除去等特定處理，並將所得之視像資料供給至圖形生成電路1019。
圖形生成電路1019生成顯示於顯示面板1021之節目之視像資料、或基於經由網路所供給之應用程式之處理所得的圖像資料等，並將所生成之視像資料或圖像資料供給至面板驅動電路1020。又，圖形生成電路1019亦適當進行如下處理：生成用於在項目之選擇等時顯示供使用者使用之畫面的視像資料(圖形)，並將藉由將該視像資料重疊於節目之視像資料所得的視像資料供給至面板驅動電路1020。
面板驅動電路1020根據由圖形生成電路1019所供給之資料而驅動顯示面板1021，使節目之視像或上述各種畫面顯示於顯示面板1021。
顯示面板1021由LCD(Liquid Crystal Display，液晶顯示器)等構成，並依據面板驅動電路1020之控制而顯示節目之視像等。
又，電視機1000亦包括聲音A/D(Analog/Digital，類比/數位)轉換電路1014、聲音信號處理電路1022、回音消除/聲音合成電路1023、聲音放大電路1024及揚聲器1025。
地波調諧器1013藉由解調所接收之廣播信號，不僅取得視像信號亦取得聲音信號。地波調諧器1013將所取得之聲音信號供給至聲音A/D轉換電路1014。
聲音A/D轉換電路1014對由地波調諧器1013所供給之聲音信號實施A/D轉換處理，並將所得之數位之聲音信號供給至聲音信號處理電路1022。
聲音信號處理電路1022對由聲音A/D轉換電路1014所供給之聲音資料實施雜訊除去等特定處理，並將所得之聲音資料供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023將由聲音信號處理電路1022所供給之聲音資料供給至聲音放大電路1024。
聲音放大電路1024對由回音消除/聲音合成電路1023所供給之聲音資料實施D/A轉換處理、放大處理，並調整為特定音量之後，使聲音自揚聲器1025輸出。
進而，電視機1000亦包括數位調諧器1016及MPEG解碼器1017。
數位調諧器1016經由天線接收並解調數位廣播(數位地面廣播、BS(Broadcasting Satellite，廣播衛星)/CS(Communications Satellite，通信衛星)數位廣播)之廣播信號，從而取得MPEG-TS(Moving Picture Experts Group-Transport Stream，動態視像專家組-傳送流)，並將其供給至MPEG解碼器1017。
MPEG解碼器1017解除對由數位調諧器1016供給之MPEG-TS所實施之加密，並擷取出包含成為再生對象(視聽對象)之節目之資料之流。MPEG解碼器1017對構成所擷取之流之聲音封包進行解碼，將所得之聲音資料供給至聲音信號處理電路1022，並且對構成流之視像封包進行解碼，將所得之視像資料供給至視像信號處理電路1018。又，MPEG解碼器1017將自MPEG-TS中所擷取之EPG(Electronic Program Guide，電子節目指南)資料經由未圖示路徑而供給至CPU1032。
電視機1000使用上述解碼裝置1作為以此方式解碼視像封包之MPEG解碼器1017。再者，自廣播電台等發送之MPEG-TS藉由編碼裝置101而編碼。
與解碼裝置1之情形相同，MPEG解碼器1017係使用藉由濾波預測而生成之預測圖像進行解碼。又，此時，與解碼裝置1之情形相同，MPEG解碼器1017係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，MPEG解碼器1017可減少編碼之運動向量之數量。
與由視訊解碼器1015所供給之視像資料之情形相同，由MPEG解碼器1017所供給之視像資料係於視像信號處理電路1018中被施以特定處理，並於圖形生成電路1019中與所生成之視像資料等適當重疊，且經由面板驅動電路1020而被供給至顯示面板1021，從而顯示出該圖像。
與由聲音A/D轉換電路1014所供給之聲音資料之情形相同，由MPEG解碼器1017所供給之聲音資料係於聲音信號處理電路1022中被施以特定處理，並經由回音消除/聲音合成電路1023而被供給至聲音放大電路1024，且被施以D/A轉換處理或放大處理。其結果，已調整為特定音量之聲音自揚聲器1025輸出。
又，電視機1000亦包括麥克風1026及A/D轉換電路1027。
A/D轉換電路1027接收藉由作為聲音會話用而設置於電視機1000之麥克風1026所取得的使用者之聲音信號，並對所接收之聲音信號實施A/D轉換處理，且將所得之數位之聲音資料供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023於自A/D轉換電路1027供給有電視機1000之使用者(使用者A)之聲音資料之情形時，以使用者A之聲音資料作為對象而進行回音消除，並將與其他聲音資料合成等所得之聲音資料經聲音放大電路1024而自揚聲器1025輸出。
進而，電視機1000亦包括聲音編解碼器1028、內部匯流排1029、SDRAM(Synchronous Dynamic Random Access Memory，同步動態隨機存取記憶體)1030、快閃記憶體1031、CPU1032、USB(Universal Serial Bus，通用串列匯流排)I/F1033及網路I/F1034。
A/D轉換電路1027接收藉由作為聲音會話用而設置於電視機1000之麥克風1026所取得的使用者之聲音信號，並對所接收之聲音信號實施A/D轉換處理，且將所得之數位之聲音資料供給至聲音編解碼器1028。
聲音編解碼器1028將由A/D轉換電路1027所供給之聲音資料轉換為用於經由網路而發送之特定格式的資料後，經由內部匯流排1029而供給至網路I/F1034。
網路I/F1034經由安裝於網路端子1035之纜線而連接於網路。網路I/F1034例如係對於連接於該網路之其他裝置發送由聲音編解碼器1028所供給之聲音資料。又，網路I/F1034例如經由網路端子1035而接收自經網路連接之其他裝置發送的聲音資料，並將該聲音資料經由內部匯流排1029而供給至聲音編解碼器1028。
聲音編解碼器1028將由網路I/F1034所供給之聲音資料轉換為特定格式之資料後，將其供給至回音消除/聲音合成電路1023。
回音消除/聲音合成電路1023以由聲音編解碼器1028所供給之聲音資料。為對象而進行回音消除，並將與其他聲音資料合成等所得的聲音資料經由聲音放大電路1024而自揚聲器1025輸出。
SDRAM1030中記憶有CPU1032進行處理時所需的各種資料。
快閃記憶體1031記憶有藉由CPU1032而執行之程式。快閃記憶體1031中所記憶之程式係於電視機1000之起動時等特定時序而藉由CPU1032讀出。快閃記憶體1031中亦記憶有經數位廣播所取得之EPG資料、經網路而自特定伺服器所取得之資料等。
例如，快閃記憶體1031中記憶有包含藉由CPU1032之控制而經網路自特定伺服器所取得之內容資料的MPEG-TS。快閃記憶體1031例如藉由CPU1032之控制將該MPEG-TS經由內部匯流排1029而供給至MPEG解碼器1017。
與由數位調諧器1016所供給之MPEG-TS之情形相同，MPEG解碼器1017係對由上述快閃記憶體1031供給之MPEG-TS進行處理。如此，電視機1000經由網路接收包含視像或聲音等之內容資料，並使用MPEG解碼器1017進行解碼，從而可顯示該視像或輸出聲音。
又，電視機1000亦包括接收自遙控器1051發送之紅外線信號之受光部1037。
受光部1037接收來自遙控器1051之紅外線，並將表示解調所得之使用者操作之內容的控制碼輸出至CPU1032。
CPU1032執行快閃記憶體1031中所記憶之程式，並相應於由受光部1037所供給之控制碼等控制電視機1000之全體之動作。CPU1032與電視機1000之各部係經由未圖示之路徑而連接。
USB I/F1033與經由安裝於USB端子1036之USB纜線而連接的電視機1000之外部設備之間進行資料之發送接收。網路I/F1034經由安裝於網路端子1035之纜線而連接於網路，亦與連接於網路之各種裝置進行聲音資料以外之資料的發送接收。
電視機1000藉由使用解碼裝置1作為MPEG解碼器1017，從而於針對構成流之視像封包之解碼中，能以較少之控制資訊生成精度較高之預測圖像。結果，電視機1000可於抑制負載之增大之同時提高編碼效率。
圖27係表示使用有適用本發明之解碼裝置1及編碼裝置101之行動電話的主要構成例之方塊圖。
圖27所示之行動電話1100包括能夠總括地控制各部之主控制部1150、電源電路部1151、操作輸入控制部1152、圖像編碼器1153、相機I/F部1154、LCD控制部1155、圖像解碼器1156、解多工部1157、記錄再生部1162、調變解調電路部1158及聲音編解碼器1159。該等係經由匯流排1160而彼此連接。
又，行動電話1100包括操作鍵1119、CCD(Charge Coupled Devices，電荷耦合元件)相機1116、液晶顯示器1118、記憶部1123、發送接收電路部1163、天線1114、麥克風(microphone)1121及揚聲器1117。電源電路部1151在藉由使用者之操作而成為結束通話及電源鍵接通之狀態時，自電池組對各部供給電力，藉此將行動電話1100起動為可動作之狀態。
行動電話1100根據由CPU、ROM及RAM等構成之主控制部1150之控制，以聲音通話模式或資料通信模式等各種模式進行聲音信號之發送接收、電子郵件或圖像資料之發送接收、圖像拍攝或資料記錄等各種動作。
例如，於聲音通話模式中，行動電話1100將麥克風(microphone)1121所收集之聲音信號藉由聲音編解碼器1159轉換為數位聲音資料，並利用調變解調電路部1158對該數位聲音資料進行頻譜擴散處理，且利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話1100將藉由上述轉換處理所得之發送用信號經由天線1114而向未圖示之基站發送。向基站傳送之發送用信號(聲音信號)經由共用電話網而供給至通話對方之行動電話。
又，例如，於聲音通話模式中，行動電話1100利用發送接收電路部1163將由天線1114所接收之接收信號放大，進而進行頻率轉換處理及類比數位轉換處理，且利用調變解調電路部1158進行頻譜逆擴散處理，並藉由聲音編解碼器1159而轉換為類比聲音信號。行動電話1100將該轉換所得之類比聲音信號自揚聲器1117輸出。
此外，例如，於資料通信模式中發送電子郵件之情形時，行動電話1100於操作輸入控制部1152中受理藉由操作鍵1119之操作而輸入之電子郵件之正文資料。行動電話1100於主控制部1150中處理該正文資料，並經由LCD控制部1155而使其作為圖像顯示於液晶顯示器1118。
又，行動電話1100於主控制部1150中，根據操作輸入控制部1152所受理之正文資料或使用者指示等生成電子郵件資料。行動電話1100利用調變解調電路部1158對該電子郵件資料進行頻譜擴散處理，並利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話1100將藉由該轉換處理所得之發送用信號經由天線1114而向未圖示之基站發送。向基站傳送之發送用信號(電子郵件)經由網路及郵件伺服器等而供給至特定之收件人。
又，例如，於資料通信模式中接收電子郵件之情形時，行動電話1100經由天線1114而由發送接收電路部1163接收自基站發送之信號，並將該信號放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話1100利用調變解調電路部1158對該接收信號進行頻譜逆擴散處理而將其恢復為原來之電子郵件資料。行動電話1100將得以恢復之電子郵件資料經由LCD控制部1155而顯示於液晶顯示器1118。
再者，行動電話1100亦可將所接收之電子郵件資料經由記錄再生部1162而記錄(記憶)於記憶部1123中。
該記憶部1123為可覆寫之任意之記憶媒體。記憶部1123例如可為RAM或內置型快閃記憶體等半導體記憶體，可為硬碟，亦可為磁碟、光磁碟、光碟、USB記憶體、或記憶卡等可移動媒體。當然亦可為該等以外之記憶媒體。
進而，例如，於資料通信模式中發送圖像資料之情形時，行動電話1100藉由CCD相機1116進拍攝而生成圖像資料。CCD相機1116包括透鏡或光圈等光學器件及作為光電轉換元件之CCD，對被寫體進行拍攝，將已受光之光的強度轉換為電氣信號，並生成被寫體之圖像之圖像資料。CCD相機1116將該圖像資料經由相機I/F部1154而利用圖像編碼器1153進行編碼，從而轉換為編碼圖像資料。
行動電話1100使用上述編碼裝置101作為進行此種處理之圖像編碼器1153。與編碼裝置101之情形相同，圖像編碼器1053係使用藉由濾波預測而生成之預測圖像進行編碼。又，此時，與編碼裝置101之情形相同，圖像編碼器1153係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。藉此，圖像編碼器1153可減少編碼之運動向量之數量。
再者，與此同時，行動電話1100於聲音編解碼器1159中對CCD相機1116拍攝過程中由麥克風(microphone)1121所收集之聲音進行類比數位轉換，進而加以編碼。
行動電話1100於解多工部1157中，以特定方式對由圖像編碼器1153所供給之編碼圖像資料、及由聲音編解碼器1159所供給之數位聲音資料加以多重化。行動電話1100利用調變解調電路部1158對結果所得之多重化資料進行頻譜擴散處理，並利用發送接收電路部1163進行數位類比轉換處理及頻率轉換處理。行動電話1100將藉由上述轉換處理所得之發送用信號經由天線1114而向未圖示之基站發送。向基站傳送之發送用信號(圖像資料)經由網路等而供給至通信對方。
再者，於不發送圖像資料之情形時，行動電話1100亦可將CCD相機1116中所生成之圖像資料不經由圖像編碼器1153而經由LCD控制部1155顯示於液晶顯示器1118。
又，例如，於資料通信模式中，於接收鏈接於簡易主頁等之動態圖像文件之資料之情形時，行動電話1100經由天線1114而由發送接收電路部1163接收自基站發送之信號，並將其放大，進而進行頻率轉換處理及類比數位轉換處理。行動電話1100利用調變解調電路部1158對該接收信號進行頻譜逆擴散處理而恢復原來之多重化資料。行動電話1100於解多工部1157中，將該多重化資料分離並分為編碼圖像資料與聲音資料。
行動電話1100於圖像解碼器1156中對編碼圖像資料進行解碼，藉此生成再生動態圖像資料，並使其經由LCD控制部1155而顯示於液晶顯示器1118。藉此，例如，鏈接於簡易主頁之動態圖像文件中所包含的動態視像資料顯示於液晶顯示器1118。
行動電話1100使用上述解碼裝置1作為進行此種處理之圖像解碼器1156。即，與解碼裝置1之情形相同，圖像解碼器1156根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，圖像解碼器1156可減少編碼之運動向量之數量。
此時，行動電話1100同時於聲音編解碼器1159中，將數位之聲音資料轉換為類比聲音信號，並將其自揚聲器1117輸出。藉此，例如，鏈接於簡易主頁之動態圖像文件中所包含之聲音資料得以再生。
再者，與電子郵件之情形相同，行動電話1100亦可將所接收之鏈接於簡易主頁等之資料經由記錄再生部1162而記錄(記憶)於記憶部1123中。
又，行動電話1100於主控制部1150中，對由CCD相機1116拍攝所得之二維碼進行解析，從而可取得二維碼中所記錄之資訊。
進而，行動電話1100可利用紅外線通信部1181而藉由紅外線與外部之設備進行通信。
行動電話1100藉由使用編碼裝置101作為圖像編碼器1153，可減少例如對CCD相機1116中所生成之圖像資料進行編碼並加以傳送時的運動向量之傳送數，從而可提高編碼效率。
又，行動電話1100藉由使用解碼裝置1作為圖像解碼器1156，例如於接收鏈接於簡易主頁等之動態圖像文件之資料(編碼資料)時的解碼中，能以較少之控制資訊生成精度較高之預測圖像。結果，行動電話1100可於抑制負載之增大之同時提高編碼效率。
再者，以上係以行動電話1100使用CCD相機1116之方式進行了說明，亦可代替該CCD相機1116，而使用使用了CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)之影像感測器(CMOS影像圖像感測器)。該情形時，亦與行動電話1100使用CCD相機1116之情形相同，可對被寫體進行拍攝並生成被寫體之圖像之圖像資料。
又，以上係說明了行動電話1100，而只要是具有與該行動電話1100相同之拍攝功能或通信功能之裝置，例如，PDA(Personal Digital Assistants，個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer，超攜性個人電腦)、小筆電、筆記型個人電腦等任一裝置，亦與行動電話1100之情形相同，可適用解碼裝置1及編碼裝置101。
圖28係表示使用有適用本發明之解碼裝置1及編碼裝置101之硬碟錄影機的主要構成例之方塊圖。
圖28所示之硬碟錄影機(HDD recorder)1200為如下裝置，即，將藉由調諧器所接收之、自衛星或地面天線等發送的廣播信號(電視信號)中所包含之廣播節目之音訊資料與視像資料保存於內置之硬碟中，並於相應於使用者之指示的時序而將該保存之資料提供給使用者。
硬碟錄影機1200例如可自廣播信號中擷取出音訊資料與視像資料，並對該等進行適當解碼，且使其等記憶於內置之硬碟中。又，硬碟錄影機1200例如亦可經由網路而自其他裝置取得音訊資料及視像資料，並對該等進行適當解碼，且使其等記憶於內置之硬碟中。
進而，硬碟錄影機1200例如可對內置之硬碟中所記錄之音訊資料及視像資料進行解碼，並供給至監控器1260，使其圖像顯示於監控器1260之畫面上，並自監控器1260之揚聲器輸出該圖像之聲音。又，硬碟錄影機1200例如亦可對經調諧器所取得之廣播信號中所擷取的音訊資料與視像資料、或者經網路而自其他裝置取得之音訊資料及視像資料進行解碼並供給至監控器1260，使其圖像顯示於該監控器1260之畫面上，並自監控器1260之揚聲器輸出該圖像之聲音。
當然上述硬碟錄影機1200亦可進行其他動作。如圖28所示，硬碟錄影機1200包括接收部1221、解調部1222、解多工器1223、音訊解碼器1224、視訊解碼器1225及錄影機控制部1226。硬碟錄影機1200進而包括EPG資料記憶體1227、程式記憶體1228、工作記憶體1229、顯示器轉換器1230、OSD(On Screen Display，屏幕顯示器)控制部1231、顯示器控制部1232、記錄再生部1233、D/A轉換器1234及通信部1235。
又，顯示器轉換器1230包括視訊編碼器1241。記錄再生部1233包括編碼器1251及解碼器1252。
接收部1221接收來自遙控器(未圖示)之紅外線信號，將其轉換為電氣信號後輸出至錄影機控制部1226。錄影機控制部1226例如由微處理器等構成，依據記憶於程式記憶體1228中之程式而執行各種處理。錄影機控制部1226此時視需要而使用工作記憶體1229。
通信部1235連接於網路，並經由網路而進行與其他裝置之通信處理。例如，通信部1235受到錄影機控制部1226之控制，與調諧器(未圖示)進行通信，並主要對調諧器輸出頻道選擇控制信號。
解調部1222對由調諧器所供給之信號進行解調後將其輸出至解多工器1223。解多工器1223將由解調部1222所供給之資料分離為音訊資料、視像資料及EPG資料，並分別輸出至音訊解碼器1224、視訊解碼器1225或錄影機控制部1226。
音訊解碼器1224對所輸入之音訊資料進行解碼完成將其輸出至記錄再生部1233。視訊解碼器1225對所輸入之視像資料進行解碼完成將其輸出至顯示器轉換器1230。錄影機控制部1226將所輸入之EPG資料供給並記憶於EPG資料記憶體1227中。
顯示器轉換器1230藉由視訊編碼器1241而將由視訊解碼器1225或錄影機控制部1226所供給之視像資料，編碼為例如NTSC(National Television Standards Committee，國家電視標準委員會)方式之視像資料，並輸出至記錄再生部1233。又，顯示器轉換器1230將由視訊解碼器1225或錄影機控制部1226所供給之視像資料之畫面尺寸轉換為與監控器1260之尺寸對應之尺寸，且藉由視訊編碼器1241轉換為NTSC方式之視像資料後，轉換為類比信號，並輸出至顯示器控制部1232。
顯示器控制部1232根據錄影機控制部1226之控制，將OSD(On Screen Display)控制部1231所輸出之OSD信號重疊於自顯示器轉換器1230所輸入之視訊信號後，輸出至監控器1260之顯示器中以使其顯示。
又，音訊解碼器1224所輸出之音訊資料藉由D/A轉換器1234而轉換為類比信號後被供給至監控器1260。監控器1260將該音訊信號自內置之揚聲器輸出。
記錄再生部1233係包括硬碟作為記錄視像資料及音訊資料等之記憶媒體。
記錄再生部1233例如藉由編碼器1251對由音訊解碼器1224所供給之音訊資料進行編碼。又，記錄再生部1233藉由編碼器1251對由顯示器轉換器1230之視訊編碼器1241所供給之視像資料進行編碼。記錄再生部1233藉由多工器合成該音訊資料之編碼資料與視像資料之編碼資料。記錄再生部1233對該合成資料進行通道編碼並加以放大後，將其經由記錄頭而寫入至硬碟中。
記錄再生部1233經由再生頭將記錄於硬碟中之資料加以再生並放大，且藉由解多工器而將其分離為音訊資料與視像資料。記錄再生部1233藉由解碼器1252對音訊資料及視像資料進行解碼。記錄再生部1233對經解碼之音訊資料進行D/A轉換後將其輸出至監控器1260之揚聲器。又，記錄再生部1233對經解碼之視像資料進行D/A轉換後將其輸出至監控器1260之顯示器。
錄影機控制部1226根據藉由經接收部1221而接收之來自遙控器的紅外線信號所示之使用者指示，自EPG資料記憶體1227中讀出最新之EPG資料，並將其供給至OSD控制部1231。OSD控制部1231產生與所輸入之EPG資料對應之圖像資料，並將其輸出至顯示器控制部1232。顯示器控制部1232將自OSD控制部1231輸入之視像資料輸出至監控器1260之顯示器以使其顯示。藉此，監控器1260之顯示器中顯示有EPG(電子節目指南)。
又，硬碟錄影機1200可取得經網際網路等網路而由其他裝置供給之視像資料、音訊資料、或EPG資料等各種資料。
通信部1235受到錄影機控制部1226之控制，取得經網路而自其他裝置發送之視像資料、音訊資料及EPG資料等編碼資料，並將該資料供給至錄影機控制部1226。錄影機控制部1226例如將所取得之視像資料及音訊資料之編碼資料供給至記錄再生部1233，並記憶於硬碟中。此時，錄影機控制部1226及記錄再生部1233亦可視需要而進行再編碼等處理。
又，錄影機控制部1226對所取得之視像資料及音訊資料之編碼資料進行解碼，並將所得之視像資料供給至顯示器轉換器1230。與由視訊解碼器1225供給之視像資料相同，顯示器轉換器1230對由錄影機控制部1226供給視像資料進行處理，並經由顯示器控制部1232而供給至監控器1260以顯示其圖像。
又，亦可配合該圖像顯示，錄影機控制部1226將已解碼之音訊資料經由D/A轉換器1234而供給至監控器1260，並使該圖像之聲音自揚聲器輸出。
進而，錄影機控制部1226對所取得之EPG資料之編碼資料進行解碼，並將已解碼之EPG資料供給至EPG資料記憶體1227。
以上之硬碟錄影機1200係使用解碼裝置1作為視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226之解碼器。即，與解碼裝置1之情形相同，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226之解碼器係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，視訊解碼器1225、解碼器1252、及內置於錄影機控制部1226之解碼器可減少編碼之運動向量之數量。
因此，硬碟錄影機1200例如於調諧器或通信部1235之視像資料(編碼資料)之接收時、或記錄再生部1233之視像資料(編碼資料)自硬碟之再生時的解碼中，能以較少之控制資訊生成精度較高之預測圖像。結果，硬碟錄影機1200可於抑制負載之增大之同時提高編碼效率。
又，硬碟錄影機1200係使用編碼裝置101作為編碼器1251。因此，與編碼裝置101之情形相同，編碼器1251係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，編碼器1251可減少編碼之運動向量之數量。
因此，硬碟錄影機1200例如可減少將編碼資料記錄於硬碟時的運動向量之數量，從而可提高編碼效率。
再者，以上係針對將視像資料及音訊資料記錄於硬碟之硬碟錄影機1200進行了說明，而記錄媒體當然可為任一者。即便是適用例如快閃記憶體、光碟、或錄影帶等硬碟以外之記錄媒體的錄影機，亦與上述硬碟錄影機1200之情形相同，可適用解碼裝置1及編碼裝置101。
圖29係表示使用有適用本發明之解碼裝置1及編碼裝置101之相機的主要構成例之方塊圖。
圖29所示之相機1300對被寫體進行拍攝，使被寫體之圖像顯示於LCD1316，或者將其作為圖像資料而記錄於記錄媒體1333。
透鏡塊1311使光(即，被寫體之視像)入射至CCD/CMOS1312中。CCD/CMOS1312為使用有CCD或CMOS之影像感測器，且將接收之光之強度轉換為電氣信號後供給至相機信號處理部1313。
相機信號處理部1313將由CCD/CMOS1312所供給之電氣信號轉換為Y、Cr、CB之色差信號後供給至圖像信號處理部1314。圖像信號處理部1314於控制器1321之控制之下，對由相機信號處理部1313所供給之圖像信號實施特定之圖像處理，或者利用編碼器1341對該圖像信號進行編碼。圖像信號處理部1314將對圖像信號編碼所生成之編碼資料供給至解碼器1315。進而，圖像信號處理部1314取得屏幕顯示器(OSD)1320中所生成之顯示用資料，並將其供給至解碼器1315。
以上之處理中，相機信號處理部1313適當利用經匯流排1317而連接之DRAM(Dynamic Random Access Memory)1318，且視需要將圖像資料或該圖像資料編碼所得之編碼資料等保持於該DRAM1318中。
解碼器1315對由圖像信號處理部1314所供給之編碼資料進行解碼，並將所得之圖像資料(解碼圖像資料)供給至LCD1316。又，解碼器1315將由圖像信號處理部1314所供給之顯示用資料供給至LCD1316。LCD1316適當合成由解碼器1315所供給之解碼圖像資料之圖像與顯示用資料之圖像，並顯示該合成圖像。
屏幕顯示器1320於控制器1321之控制之下，將包含符號、文字或圖形之菜單畫面或圖符等顯示用資料經由匯流排1317而輸出至圖像信號處理部1314。
控制器1321根據表示使用者使用操作部1322所指令之內容的信號執行各種處理，並且經由匯流排1317控制圖像信號處理部1314、DRAM1318、外部介面1319、屏幕顯示器1320及媒體驅動1323等。FLASH ROM1324中儲存有控制器1321執行各種處理時所需之程式或資料等。
例如，控制器1321可代替圖像信號處理部1314或解碼器1315，而對記憶於DRAM1318中之圖像資料進行編碼，或對記憶於DRAM1318中之編碼資料進行解碼。此時，控制器1321可藉由與圖像信號處理部1314及解碼器1315之編碼‧解碼方式相同之方式而進行編碼‧解碼處理，亦可藉由並不與圖像信號處理部1314及解碼器1315對應之方式而進行編碼‧解碼處理。
又，例如，於自操作部1322指示圖像印刷之開始之情形時，控制器1321自DRAM1318中讀出圖像資料，並將其經由匯流排1317而供給至連接於外部介面1319的印表機1334以印刷該圖像資料。
進而，例如，於自操作部1322指示圖像記錄之情形時，控制器1321自DRAM1318中讀出編碼資料，並將其經由匯流排1317而供給並記憶於媒體驅動1323中所安裝的記錄媒體1333中。
記錄媒體1333例如為磁碟、光磁碟、光碟或半導體記憶體等可讀寫之任意之可移動媒體。對於記錄媒體1333而言，作為可移動媒體之種類當然亦為任意，可為磁帶裝置，可為碟片，亦可為記憶卡。當然亦可為非接觸IC卡等。
又，亦可將媒體驅動1323與記錄媒體1333一體化，而包括例如內置型硬碟驅動或SSD(Solid State Drive，固態驅動)等非可移動性之記憶媒體。
外部介面1319例如由USB輸入輸出端子等構成，且於進行圖像之印刷之情形時與印表機1334連接。又，外部介面1319視需要而連接有驅動1331，並適當安裝有磁碟、光碟或光磁碟等可移動媒體1332，且視需要將自該等讀出之電腦程式安裝於FLASH ROM1324。
進而，外部介面1319包括連接於LAN(local area network，區域網路)或網際網路等特定網路之網路介面。控制器1321例如可依據來自操作部1322之指示，自DRAM1318讀出編碼資料，並將其自外部介面1319供給至經網路而連接之其他裝置。又，控制器1321可經由外部介面1319而取得經網路而自其他裝置供給之編碼資料或圖像資料，並將其保持於DRAM1318中，或供給至圖像信號處理部1314。
以上之相機1300係使用解碼裝置1作為解碼器1315。即，與解碼裝置1之情形相同，解碼器1315係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，解碼器1315可減少編碼之運動向量之數量。
因此，相機1300例如於讀出CCD/CMOS1312中所生成之圖像資料，或自DRAM1318或記錄媒體1333讀出視像資料之編碼資料時，或者於經由網路而取得視像資料之編碼資料時，能以較少之控制資訊生成精度較高之預測圖像。結果，相機1300可於抑制負載之增大之同時提高編碼效率。
又，相機1300係使用編碼裝置101作為編碼器1341。與編碼裝置101之情形相同，編碼器1341係根據運動向量求出一部分運動補償圖像，並藉由根據運動向量所求出之運動補償圖像之運動預測而求出剩餘之運動補償圖像。因此，編碼器1341可減少編碼之運動向量之數量。
因此，相機1300可減少例如將編碼資料記錄於DRAM1318或記錄媒體1333時、或將編碼資料提供給其他裝置時的運動向量之數量，從而可提高編碼效率。
再者，亦可將解碼裝置1之解碼方法用於控制器1321所進行之解碼處理中。同樣，亦可將編碼裝置101之編碼方法用於控制器1321所進行之編碼處理中。
又，相機1300拍攝之圖像資料可為動態圖像，亦可為靜態圖像。
解碼裝置1及編碼裝置101當然亦可適用於上述裝置以外之裝置或系統中。
又，巨集區塊之大小為任意。本發明中，例如可適用於圖30所示之所有大小之巨集區塊。例如，本發明不僅可適用於通常之16×16像素之巨集區塊，亦可適用於如32×32像素般之被擴大之巨集區塊(擴大巨集區塊)。
圖30中，於上段，自左開始依序表示有被分割為32×32像素、32×16像素、16×32像素、及16×16像素之區塊(分區)的由32×32像素構成之巨集區塊。又，於中段，自左開始依序表示有被分割為16×16像素、16×8像素、8×16像素、及8×8像素之區塊的由16×16像素構成之區塊。進而，於下段，自左開始依序表示有被分割為8×8像素、8×4像素、4×8像素、及4×4像素之區塊的8×8像素之區塊。
即，32×32像素之巨集區塊中，能夠以上段所示之32×32像素、32×16像素、16×32像素、及16×16像素之區塊進行處理。
上段之右側所示之16×16像素之區塊，與H.264/AVC方式相同，能夠以中段所示之16×16像素、16×8像素、8×16像素及8×8像素之區塊進行處理。
中段之右側所示之8×8像素之區塊，與H.264/AVC方式相同，能夠以下段所示之8×8像素、8×4像素、4×8像素、及4×4像素之區塊進行處理。
該等區塊可分為以下之3階層。即，將圖30之上段所示之32×32像素、32×16像素、16×32像素之區塊稱作第1階層。將上段之右側所示之16×16像素之區塊、以及中段所示之16×16像素、16×8像素、及8×16像素之區塊稱作第2階層。將中段之右側所示之8×8像素之區塊、以及下段所示之8×8像素、8×4像素、4×8像素及4×4像素之區塊稱作第3階層。
藉由採用上述階層構造，可確保16×16像素之區塊以下與H.264/AVC方式之互換性，同時可定義更大之區塊作為該區塊之超集。
例如，解碼裝置1及編碼裝置101亦可針對每一階層生成預測圖像。又，例如，解碼裝置1及編碼裝置101亦可針對第2階層而使用區塊尺寸大於第2階層之階層即第1階層中所生成的預測圖像。
如第1階層或第2階層般使用相對較大之區塊尺寸進行編碼之巨集區塊並不含有相對高頻之成分。對此，認為如第3階層般使用相對較小之區塊尺寸進行編碼之巨集區塊含有相對高頻之成分。
因此，相應於區塊尺寸不同之各階層而分別生成預測圖像，藉此可實現適合於圖像所具有之局部性質之編碼性能提高。
1．．．解碼裝置
21．．．運動預測‧補償電路
41．．．預測模式決定電路
42．．．單向預測電路
43．．．雙向預測電路
44．．．預測電路
45．．．濾波電路
51．．．運動補償電路
52．．．運動預測電路
61．．．差分計算電路
62．．．低通濾波器電路
63．．．增益調整電路
64．．．高通濾波器電路
65．．．增益調整電路
66．．．加法電路
67．．．加法電路
圖1係表示單向預測之例之圖。
圖2係表示雙向預測之例之圖。
圖3係說明本發明之預測圖像生成之概要之圖。
圖4係表示本發明之一實施形態之解碼裝置之構成例的方塊圖。
圖5係表示第3預測模式之概念圖。
圖6係表示圖3之運動預測‧補償電路之構成例之方塊圖。
圖7係表示參考圖框之例之圖。
圖8係表示參考圖框之另一例之圖。
圖9係表示圖6之預測電路之構成例之方塊圖。
圖10係表示圖6之濾波電路之構成例之方塊圖。
圖11係針對解碼裝置之解碼處理進行說明之流程圖。
圖12係針對圖11之步驟S9中所進行之運動預測‧補償處理進行說明之流程圖。
圖13係說明擷取處理之流程之例之流程圖。
圖14係說明濾波預測處理之流程之例之流程圖。
圖15係表示編碼裝置之構成例之方塊圖。
圖16係表示圖15之模式決定電路之構成例之方塊圖。
圖17係表示圖15之運動預測‧補償電路之構成例之方塊圖。
圖18係針對編碼裝置之編碼處理進行說明之流程圖。
圖19係針對圖18之步驟S108中所進行之模式決定處理進行說明之流程圖。
圖20係針對圖18之步驟S111中所進行之運動預測‧補償處理進行說明之流程圖。
圖21係表示濾波電路之另一構成例之方塊圖。
圖22係表示濾波電路之又一構成例之方塊圖。
圖23係表示使用3張參考圖框之情形之例的圖。
圖24係表示使用3張參考圖框之情形之濾波電路之構成例的方塊圖。
圖25係表示個人電腦之構成例之方塊圖。
圖26係表示適用本發明之電視機之主要構成例之方塊圖。
圖27係表示適用本發明之行動電話之主要構成例之方塊圖。
圖28係表示適用本發明之硬碟錄影機之主要構成例之方塊圖。
圖29係表示適用本發明之相機之主要構成例之方塊圖。
圖30係表示巨集區塊尺寸之例之圖。
19．．．圖框記憶體
41．．．預測模式決定電路
44．．．預測電路
45．．．濾波電路
51．．．運動補償電路
52．．．運動預測電路

Claims (16)

  1. 一種圖像處理裝置，其包括：解碼機構，其對經編碼之圖像進行解碼；生成機構，其將藉由上述解碼機構所解碼之圖像與預測圖像相加，而生成解碼完成之圖像；第1擷取機構，其將包含藉由上述生成機構所生成之解碼完成之圖像的圖框作為參考圖框，使用經編碼之上述圖像之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；第2擷取機構，其於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為對應於上述預測圖像之運動補償圖像；以及預測圖像生成機構，其對於藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性而補償高頻成分之濾波處理，藉此生成上述預測圖像。
  2. 如請求項1之圖像處理裝置，其中上述第2擷取機構使用與編碼上述圖像之編碼裝置所共有之特定之成本函數，自上述參考圖框中擷取出與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分，作為與上述預測圖像對應之運動補償圖像。
  3. 如請求項2之圖像處理裝置，其中上述成本函數係如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像、與上述參考圖框之處理對象區塊的各像素值之差分值之絕對值的總和者。
  4. 如請求項2之圖像處理裝置，其中上述成本函數係如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像、與上述參考圖框之處理對象區塊的各像素值之最小平方誤差者。
  5. 如請求項1之圖像處理裝置，其中上述預測圖像生成機構包括：第1濾波器機構，其對藉由上述第1擷取機構所擷取之上述運動補償圖像與藉由上述第2擷取機構所擷取之上述運動補償圖像的差分圖像實施低通濾波；第2濾波器機構，其對藉由上述第1濾波器機構實施低通濾波所得之圖像實施高通濾波；以及加法機構，其將藉由上述第1濾波器機構實施低通濾波所得之圖像與藉由上述第2濾波器機構實施高通濾波所得之圖像，加上藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像中之任一者，而生成上述預測圖像。
  6. 如請求項5之圖像處理裝置，其中上述加法機構對於以上述預測圖像之時刻為基準而自1時刻前之圖框擷取出之上述運動補償圖像，加上藉由上述第1濾波器機構實施低通濾波所得之圖像、及藉由上述第2濾波器機構實施高通濾波所得之圖像。
  7. 如請求項1之圖像處理裝置，其中進而包括：單向預測機構，其使用複數個上述運動補償圖像進行單向預測，而生成上述預測圖像；雙向預測機構，其使用複數個上述運動補償圖像進行雙向預測，而生成上述預測圖像；以及判定機構，其藉由經編碼之上述圖像之標頭中所包含之識別旗標，判定上述預測圖像是藉由上述單向預測機構之單向預測而生成、或是藉由上述雙向預測機構之雙向預測而生成、抑或是藉由上述預測圖像生成機構之上述濾波處理而生成。
  8. 一種圖像處理方法，其係對經編碼之圖像進行解碼；將經解碼之圖像與預測圖像相加，而生成解碼完成之圖像；將包含所生成之解碼完成之圖像之圖框作為參考圖框，使用經編碼之上述圖像之運動向量進行運動補償，並自上述參考圖框中擷取出對應於上述預測圖像之運動補償圖像；於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為與上述預測圖像對應之運動補償圖像；對於所擷取之複數個上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性而補償高頻成分之濾波處理，藉此生成上述預測圖像。
  9. 一種圖像處理裝置，其包括：編碼機構，其對作為編碼對象之圖像之原圖像進行編碼，而生成經編碼之圖像；檢測機構，其根據基於表示上述原圖像與預測圖像之差的殘差信號而局部解碼所得之圖像及上述原圖像，而檢測運動向量；第1擷取機構，其將包含局部解碼所得之上述圖像之圖框作為參考圖框，使用藉由上述檢測機構所檢測之運動向量進行運動補償，並自上述參考圖框中擷取對應於上述預測圖像之運動補償圖像；第2擷取機構，其於與擷取出上述運動補償圖像之上述參考圖框不同的參考圖框中，將與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為與上述預測圖像對應之運動補償圖像；以及生成機構，其對於藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性而補償高頻成分之濾波處理，藉此生成上述預測圖像。
  10. 如請求項9之圖像處理裝置，其中上述第2擷取機構使用與對經編碼之上述圖像進行解碼之解碼裝置所共有的特定之成本函數，自上述參考圖框中擷取出與藉由上述第1擷取機構所擷取之上述運動補償圖像一致或近似之部分，作為與上述預測圖像對應之運動補償圖像。
  11. 如請求項10之圖像處理裝置，其中上述成本函數係如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像、與上述參考圖框之處理對象區塊的各像素值之差分值之絕對值的總和者。
  12. 如請求項10之圖像處理裝置，其中上述成本函數係如下函數，即，求出藉由上述第1擷取機構所擷取之上述運動補償圖像、與上述參考圖框之處理對象區塊的各像素值之最小平方誤差者。
  13. 如請求項9之圖像處理裝置，其中上述生成機構包括：第1濾波器機構，其對藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像之差分圖像實施低通濾波；第2濾波器機構，其對藉由上述第1濾波器機構實施低通濾波所得之圖像實施高通濾波；以及加法機構，其將藉由上述第1濾波器機構實施低通濾波所得之圖像與藉由上述第2濾波器機構實施高通濾波所得之圖像，加上藉由上述第1擷取機構所擷取之上述運動補償圖像及藉由上述第2擷取機構所擷取之上述運動補償圖像中之任一者，而生成上述預測圖像。
  14. 如請求項13之圖像處理裝置，其中上述加法機構對於以上述預測圖像之時刻為基準而自1時刻前之圖框中所擷取之上述運動補償圖像，加上藉由上述第1濾波器機構實施低通濾波所得之圖像及藉由上述第2濾波器機構實施高通濾波所得之圖像。
  15. 如請求項9之圖像處理裝置，其中上述編碼機構係將識別旗標包含於經編碼之上述圖像之標頭中，該識別旗標係識別與解碼裝置中解碼之圖像相加之預測圖像是藉由單向預測而生成、或是藉由雙向預測而生成、抑或是藉由上述濾波處理而生成。
  16. 一種圖像處理方法，其係對作為編碼對象之圖像之原圖像進行編碼，而生成經編碼之圖像；根據基於表示上述原圖像與預測圖像之差的殘差信號而局部解碼所得之圖像及上述原圖像，而檢測運動向量；將包含局部解碼所得之上述圖像的圖框作為參考圖框，使用經檢測之運動向量進行運動補償，並自上述參考圖框中擷取出與上述預測圖像對應之運動補償圖像；於與擷取出上述運動補償圖像之上述參考圖框不同之參考圖框中，將與所擷取之上述運動補償圖像一致或近似之部分自上述參考圖框中擷取出，作為與上述預測圖像對應之運動補償圖像；對於所擷取之複數個上述運動補償圖像，進行利用上述運動補償圖像中所包含之時間方向之相關性補償高頻成分之濾波處理，藉此生成上述預測圖像。
TW098140834A 2009-02-19 2009-11-30 Image processing apparatus and method TWI463878B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036498 2009-02-19

Publications (2)

Publication Number Publication Date
TW201043041A TW201043041A (en) 2010-12-01
TWI463878B true TWI463878B (zh) 2014-12-01

Family

ID=42633840

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098140834A TWI463878B (zh) 2009-02-19 2009-11-30 Image processing apparatus and method

Country Status (9)

Country Link
US (7) US8457422B2 (zh)
EP (3) EP3422715A1 (zh)
JP (2) JP5532346B2 (zh)
KR (2) KR101629993B1 (zh)
CN (3) CN102396226B (zh)
BR (1) BRPI1008504A2 (zh)
RU (3) RU2524872C2 (zh)
TW (1) TWI463878B (zh)
WO (1) WO2010095557A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
SG188255A1 (en) 2010-09-30 2013-04-30 Panasonic Corp Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
US10778969B2 (en) 2010-12-17 2020-09-15 Sun Patent Trust Image coding method and image decoding method
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
WO2013109124A1 (ko) 2012-01-19 2013-07-25 삼성전자 주식회사 쌍방향 예측 및 블록 병합을 제한하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP6232828B2 (ja) * 2013-08-13 2017-11-22 日本電気株式会社 静止画像提供装置
US9737375B2 (en) * 2015-06-11 2017-08-22 Avid, Inc. Dental handpiece and prophy angle
US10758185B2 (en) * 2015-11-25 2020-09-01 Texas Instruments Incorporated Heart rate estimation apparatus using digital automatic gain control
US10321831B2 (en) 2015-11-25 2019-06-18 Texas Instruments Incorporated Heart rate estimation apparatus with state sequence optimization
US10729381B2 (en) 2016-06-24 2020-08-04 Texas Instruments Incorporated Photoplethysmogram with motion artifact compensation
EP3561447B1 (en) * 2017-01-25 2023-11-22 National Institute of Advanced Industrial Science and Technology Image processing method
US11274993B2 (en) * 2017-03-28 2022-03-15 Kobe Steel, Ltd. Tire testing method and tire testing device for locating a position on a tire based on a reference point on the tire and a rotation origin of a spindle
US10248891B2 (en) 2017-06-20 2019-04-02 At&T Intellectual Property I, L.P. Image prediction
JP6904200B2 (ja) * 2017-09-27 2021-07-14 株式会社Ｊｖｃケンウッド 動きベクトル検出装置
KR20250004165A (ko) 2019-03-08 2025-01-07 후아웨이 테크놀러지 컴퍼니 리미티드 인터 예측을 위한 인코더, 디코더 및 대응하는 방법
CN112492249B (zh) * 2019-09-11 2024-04-09 瑞昱半导体股份有限公司 图像处理方法及电路
CN115173886B (zh) * 2022-09-06 2022-11-29 深圳市国芯物联科技有限公司 应用于远距离uhf rfid读写器的回波抵消系统
US20250024079A1 (en) * 2023-07-13 2025-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wavelet-based encoding of a video sequence and wavelet-based decoding of a bit stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0833520A2 (en) * 1996-09-30 1998-04-01 Hyundai Electronics Industries Co., Ltd. Video predictive coding apparatus and method
WO2006076602A1 (en) * 2005-01-13 2006-07-20 Ntt Docomo, Inc. A nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794455A (en) * 1987-01-07 1988-12-27 Pictel Corporation Method and apparatus employing adaptive filtering for efficiently communicating image sequences
JPH0832047B2 (ja) * 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
JPH06113265A (ja) * 1992-09-25 1994-04-22 Fujitsu Ltd 動き補償予測器
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JP2947103B2 (ja) 1994-11-25 1999-09-13 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
DE69718749T2 (de) * 1996-05-17 2003-10-16 Matsushita Electric Industrial Co., Ltd. Bilddecodierer
JPH1079947A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 動きベクトル検出装置
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6088047A (en) * 1997-12-30 2000-07-11 Sony Corporation Motion compensated digital video decoding with buffered picture storage memory map
EP0926899A3 (en) * 1997-12-25 1999-12-15 SANYO ELECTRIC Co., Ltd. An apparatus and process for decoding motion pictures
KR20010072074A (ko) 1999-05-27 2001-07-31 요트.게.아. 롤페즈 비디오 신호의 인코딩
JP3478209B2 (ja) * 1999-11-01 2003-12-15 日本電気株式会社 音声信号復号方法及び装置と音声信号符号化復号方法及び装置と記録媒体
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
EP2938071B1 (en) * 2001-11-29 2017-11-15 Godo Kaisha IP Bridge 1 Coding distortion removal method
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4643447B2 (ja) 2003-07-24 2011-03-02 日本電信電話株式会社 画像符号化装置，画像復号装置，画像符号化方法および画像復号方法
MXPA06002210A (es) * 2003-08-26 2006-05-19 Thomson Licensing Metodo y aparato para la decodificacion de bloques intra-inter codificados hibridos.
US7295612B2 (en) * 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
JP4289126B2 (ja) * 2003-11-04 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
WO2005055606A1 (en) * 2003-12-01 2005-06-16 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
JP2005217940A (ja) * 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
EP1599046A1 (en) * 2004-05-19 2005-11-23 THOMSON Licensing Method for coding video data of a sequence of pictures
US20080037642A1 (en) * 2004-06-29 2008-02-14 Sony Corporation Motion Compensation Prediction Method and Motion Compensation Prediction Apparatus
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
WO2006016028A1 (fr) * 2004-07-13 2006-02-16 France Telecom S.A. Procede et dispositif de codage d’une sequence d’images video
KR100644620B1 (ko) * 2004-07-29 2006-11-10 삼성전자주식회사 포스트 필터링을 적용한 동영상 디코딩 방법 및 그 장치
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
EP1646243B1 (en) * 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP2006108811A (ja) * 2004-09-30 2006-04-20 Sanyo Electric Co Ltd 画像符号化方法
JP4501676B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7564652B2 (en) * 2005-07-06 2009-07-21 Sae Magnetics (H.K.) Ltd. Head gimbal assembly including a one-piece structural suspension and an accessory plate, and method of manufacturing the same
EP1902586B1 (en) 2005-07-11 2014-09-24 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
KR101299848B1 (ko) 2005-07-21 2013-08-23 톰슨 라이센싱 스케일러블 비디오 코딩용 가중 예측을 위한 방법 및 장치
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US7743912B2 (en) * 2005-08-05 2010-06-29 Finley Dana J Liquid seal bulk feeder for destructive distillation of lightweight materials
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
KR100763194B1 (ko) 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
JP2007221208A (ja) * 2006-02-14 2007-08-30 Toshiba Corp 動画像符号化方法および装置
EP1835749A1 (en) * 2006-03-16 2007-09-19 THOMSON Licensing Method for coding video data of a sequence of pictures
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
EP2453657A1 (en) 2006-04-28 2012-05-16 NTT DoCoMo, Inc. Image predictive decoding device
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CN101455087B (zh) * 2006-05-24 2011-01-12 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码用集成电路
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
FR2907630A1 (fr) 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009059152A1 (en) 2007-10-31 2009-05-07 Boston Scientific Neuromodulation Corp. Connector assemblies for implantable stimulators
KR101590663B1 (ko) 2008-07-25 2016-02-18 소니 주식회사 화상 처리 장치 및 방법
KR101612977B1 (ko) 2008-07-25 2016-04-15 소니 주식회사 화상 처리 장치 및 방법
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
JPWO2010092740A1 (ja) * 2009-02-10 2012-08-16 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
JP2011030184A (ja) * 2009-07-01 2011-02-10 Sony Corp 画像処理装置、及び、画像処理方法
JP5253312B2 (ja) * 2009-07-16 2013-07-31 ルネサスエレクトロニクス株式会社 動画像処理装置およびその動作方法
JP5321439B2 (ja) * 2009-12-15 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
WO2011121894A1 (ja) * 2010-03-31 2011-10-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2012034225A (ja) * 2010-07-30 2012-02-16 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
US9706214B2 (en) * 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
CN108141603B (zh) * 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
US11924409B2 (en) * 2021-02-21 2024-03-05 Alibaba (China) Co., Ltd. Systems and methods for inter prediction compensation
US20220360814A1 (en) * 2021-05-06 2022-11-10 Apple Inc. Enhanced motion vector prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0833520A2 (en) * 1996-09-30 1998-04-01 Hyundai Electronics Industries Co., Ltd. Video predictive coding apparatus and method
WO2006076602A1 (en) * 2005-01-13 2006-07-20 Ntt Docomo, Inc. A nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Also Published As

Publication number Publication date
US9462294B2 (en) 2016-10-04
KR101629993B1 (ko) 2016-06-13
RU2658891C2 (ru) 2018-06-25
BRPI1008504A2 (pt) 2016-03-08
RU2524872C2 (ru) 2014-08-10
CN104023240B (zh) 2018-08-31
JP5532346B2 (ja) 2014-06-25
CN104023239A (zh) 2014-09-03
US10334244B2 (en) 2019-06-25
US10931944B2 (en) 2021-02-23
JP2014195263A (ja) 2014-10-09
US20180109788A1 (en) 2018-04-19
US20210144367A1 (en) 2021-05-13
KR101736015B1 (ko) 2017-05-15
KR20110129861A (ko) 2011-12-02
JPWO2010095557A1 (ja) 2012-08-23
EP2637408B1 (en) 2018-08-22
US9872020B2 (en) 2018-01-16
CN104023239B (zh) 2019-05-31
US20190268592A1 (en) 2019-08-29
CN102396226B (zh) 2014-07-23
EP2400761A1 (en) 2011-12-28
RU2658890C2 (ru) 2018-06-25
EP2637408A2 (en) 2013-09-11
US20150181222A1 (en) 2015-06-25
KR20160067983A (ko) 2016-06-14
US8457422B2 (en) 2013-06-04
EP3422715A1 (en) 2019-01-02
US20110293195A1 (en) 2011-12-01
RU2014121707A (ru) 2015-12-10
US8995779B2 (en) 2015-03-31
CN102396226A (zh) 2012-03-28
EP2400761A4 (en) 2012-10-31
CN104023240A (zh) 2014-09-03
JP5928849B2 (ja) 2016-06-01
US20160373737A1 (en) 2016-12-22
WO2010095557A1 (ja) 2010-08-26
US20130243095A1 (en) 2013-09-19
EP2637408A3 (en) 2014-06-18
RU2014121708A (ru) 2015-12-10
RU2011134046A (ru) 2013-02-20
TW201043041A (en) 2010-12-01

Similar Documents

Publication Publication Date Title
TWI463878B (zh) Image processing apparatus and method
JP5812372B2 (ja) 復号装置および方法
TWI468020B (zh) Image processing apparatus and method
WO2011040302A1 (ja) 画像処理装置および方法
WO2011024685A1 (ja) 画像処理装置および方法
WO2010101064A1 (ja) 画像処理装置および方法
JPWO2010035731A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
KR20110046444A (ko) 화상 처리 장치 및 방법
KR101612977B1 (ko) 화상 처리 장치 및 방법
JPWO2010035735A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees