TWI552576B

TWI552576B - 圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置

Info

Publication number: TWI552576B
Application number: TW101139467A
Authority: TW
Inventors: Viktor Wahadaniah; Chong Soon Lim; Sue Mon Thet Naing; hai wei Sun; Takahiro Nishi; Hisao Sasai; Youji Shibahara; Kyoko Tanikawa; Toshiyasu Sugio; Kengo Terada; Toru Matsunobu
Original assignee: Sun Patent Trust
Priority date: 2011-10-28
Filing date: 2012-10-25
Publication date: 2016-10-01
Also published as: AR111961A2; US20240121429A1; US12225228B2; KR20140092760A; CN107948656A; US20140064377A1; RU2646328C1; ES2780188T3; RU2609083C2; JP5995102B2; US8913665B2; PL2782341T3; US20190261017A1; US11115677B2; CA2836244A1; JP2014030241A; CA2836244C; US11902568B2; EP2782341A4; JP5414942B1

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置

發明領域

本發明係有關於對多數圖片中之多數區塊分別進行編碼之圖像編碼方法。

發明背景

有關於對多數圖片中之多數區塊分別進行編碼之圖像編碼方法之技術諸如有非專利文獻1所記載之技術。

先行技術文獻 [非專利文獻]

[非專利文獻1]ISO/IEC 14496-10「MPEG-4 Part10 Advanced Video Coding」

發明概要

惟，在習知之圖像編碼方法中，有無法得到夠高之編碼效率之情況。

在此，本發明乃提供一種在圖像之編碼中能提昇編碼效率之圖像編碼方法。

本發明一態樣之圖像編碼方法係將多數圖片中之多數區塊分別進行編碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有編碼對象之前述現行區塊之圖片不同之圖片中所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及編碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊進行編碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片是長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片是長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標(scaling)之第1導出方式，而由前述共置區塊之移動向量導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，則藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量導出前述候選。

此外，其等一般或具體的態樣亦可以系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM(Compact Disc Read Only Memory)等非暫時性的記錄媒體予以實現，亦可以系統、裝置、方法、積體電路、電腦程式及記錄媒體之任意組合予以實現。

本發明之圖像編碼方法係於圖像之編碼中可提昇編碼效率。

500,1300‧‧‧圖像編碼裝置

501‧‧‧減法部

502‧‧‧變換部

503‧‧‧量化部

504‧‧‧熵編碼部

505,602‧‧‧反量化部

506,603‧‧‧反變換部

507,604‧‧‧加法部

508,605‧‧‧區塊記憶體

509,606‧‧‧圖片記憶體

510,607‧‧‧內預測部

511,608‧‧‧間預測部

512,609,1303,1403‧‧‧選擇部

600,1400‧‧‧圖像解碼裝置

601‧‧‧熵解碼部

1301,1401‧‧‧導出部

1302,1402‧‧‧追加部

1304‧‧‧編碼部

1404‧‧‧解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex107‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧行動電話機

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車

ex211‧‧‧車用導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236,ex239,ex242,ex245‧‧‧PES封包列

ex237,ex240,ex243,ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801,ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900,ex1000‧‧‧構成

ex901,ex902,ex1001~ex1003‧‧‧解碼處理部

圖1係顯示參考例之圖像編碼裝置之動作之流程圖。

圖2係顯示參考例之圖像解碼裝置之動作之流程圖。

圖3係顯示參考例之導出處理之詳細流程圖。

圖4係用以說明參考例之共置區塊之圖。

圖5係實施形態1之圖像編碼裝置之方塊圖。

圖6係實施形態1之圖像解碼裝置之方塊圖。

圖7係顯示實施形態1之圖像編碼裝置之動作之流程圖。

圖8係顯示實施形態1之圖像解碼裝置之動作之流程圖。

圖9係顯示實施形態1之導出處理之詳細流程圖。

圖10係顯示實施形態2之導出處理之詳細流程圖。

圖11係用以說明實施形態2之共置區塊之圖。

圖12係顯示實施形態3之導出處理之詳細流程圖。

圖13A係實施形態4之圖像編碼裝置之方塊圖。

圖13B係顯示實施形態4之圖像編碼裝置之動作之流程圖。

圖14A係實施形態4之圖像解碼裝置之方塊圖。

圖14B係顯示實施形態4之圖像解碼裝置之動作之流程圖。

圖15A係顯示參數之儲存位置之第1例之圖，該參數係顯示參考圖片之分類者。

圖15B係顯示參數之儲存位置之第2例之圖，該參數係顯示參考圖片之分類者。

圖15C係顯示參數之儲存位置之第3例之圖，該參數係顯示參考圖片之分類者。

圖16係顯示參數之儲存位置之例之圖，該參數係顯示預測模式者。

圖17係實現內容發送服務之內容供給系統之整體構成圖。

圖18係數位播放用系統之整體構成圖。

圖19係顯示電視機之構成例之方塊圖。

圖20係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

圖21係顯示光碟之記錄媒體之構成例之圖。

圖22A係顯示行動電話機一例之圖。

圖22B係顯示行動電話機之構成例之方塊圖。

圖23係顯示多工資料之構成圖。

圖24係模式地顯示各串流如何在多工資料進行多工處理之圖。

圖25係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。

圖26係顯示多工資料中之TS封包及原始封包之構造圖。

圖27係顯示PMT之資料構成圖。

圖28係顯示多工資料資訊之內部構成圖。

圖29係顯示串流屬性資訊之內部構成圖。

圖30係顯示識別影像資料之步驟圖。

圖31係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

圖32係顯示將驅動頻率進行切換之構成圖。

圖33係顯示識別影像資料且切換驅動頻率之步驟圖。

圖34係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。

圖35A係顯示共有訊號處理部之模組之一構成例之圖。

圖35B係顯示共有訊號處理部之模組之另一構成例之圖。

用以實施發明之形態

(成為本發明基礎之知見)

本發明人對於在「背景技術」欄中記載之圖像編碼方法發現了衍生有以下的問題。此外，在後文中，圖像亦可為以多數圖片所構成之動態圖像、以1個圖片所構成之靜態圖像、及圖片之一部分等。

近年來的圖像編碼方式諸如有MPEG-4 AVC/H.264、及HEVC(High Efficiency Video Coding)。在其等圖像編碼方式中，使用已編碼完畢之參考圖片之間預測乃可利用。

又，在其等圖像編碼方式中，有使用被稱為長期參考圖片之參考圖片之情況。例如，若在DPB(Decoded Picture Buffer：解碼圖片緩衝器)長期維持參考圖片時，參考圖片亦可被當作為長期參考圖片使用。

又，在HEVC中，有一種被稱為合併模式之模式。在合併模式中，經由鄰接區塊之移動向量等預測現行區塊之移動向量而所得到之預測移動向量，做為現行區塊之移動向量，而用在現行區塊之編碼者。即，在合併模式中，預測移動向量可被當作為現行區塊之移動向量來處理。在合併模式中，預測移動向量及現行區塊之移動向量有被稱為合併向量的時候。

進而，在HEVC中，時間預測移動向量為可利用者。時間預測移動向量係由編碼完畢之共置圖片內之共置區塊之移動向量所導出者。共置圖片中之共置區塊之座標係對應於編碼對象之現行圖片中之現行區塊之座標。

在此，有將共置區塊之移動向量稱為共置移動向量的時候。又，有將共置區塊之參考圖片稱為共置參考圖片之時候。共置區塊係使用共置移動向量及共置參考圖片而編碼。此外，共置(co-located)有時會被記載為英字「collocated」或日字「」。

同樣，有將現行區塊之移動向量稱為現行移動向量之時候。又，有將現行區塊之參考圖片稱為現行參考圖片之時候。現行區塊係使用現行移動向量及現行參考圖片而編碼。

上述之現行區塊及共置區塊各為預測單元(PU：Prediction Unit)。預測單元為圖像之區塊，而被定義為預測之資料單位。在HEVC中，與預測單元區別，另外將編碼單元(CU：Coding Unit)定義為編碼之資料單位。預測單元是編碼單元內之區塊。在以下所記載之單元亦可換成預測單元或是編碼單元。

編碼單元及預測單元之尺寸不是固定的。例如包括一個圖片含有各種尺寸之多數編碼單元的時候，又，亦包括1個圖片含有各種尺寸之多數預測單元的時候。

為此，在現行區塊之領域內亦有正確地符合之區塊在共置圖片中未被定義之情況。因此，HEVC中，共置區塊係藉已事先訂定之選擇方法，從共置圖片所含之多數區塊選擇者。

時間預測移動向量依照POC(圖像序列號，picture order count)距離，將所選擇之共置區塊之移動向量定標而產生者。POC係在顯示順序中分配給圖片之序號。POC距離係對應2個圖片間之時間性距離。根據POC距離之定標亦被稱為POC為本的定標。下列所示之式1係相對於共置區塊之移動向量進行POC為本的定標之算式。

pmv=(tb/td)×colmv‧‧‧(式1)

在此，colmv為共置(co-located)區塊之移動向量。pmv為由共置區塊之移動向量所導出之時間預測移動向量。tb為附有編碼之POC距離，且為從現行圖片到現行參考圖片間之差值。td為附有編碼之POC距離，且為從共置圖片到共置參考圖片間之差值。

在有有效的時間預測移動向量存在時，將該時間預測移動向量放進現行移動向量之候選之附有順序之列表。由現行移動向量之候選之附有順序之列表，選擇用於現行區塊之編碼之移動向量。接著，所選擇之移動向量係藉編碼流中之參數顯示者。

圖1係顯示參考例之圖像編碼裝置之動作之流程圖。尤其圖1顯示藉間預測而將圖像進行編碼之處理。

首先，圖像編碼裝置係將多數參考圖片分別分類成短期參考圖片或是長期參考圖片(S101)。圖像編碼裝置係將顯示多數參考圖片各分類之資訊寫入編碼流之標頭(S102)。

其次，圖像編碼裝置係界定現行參考圖片(S103)。其次，圖像編碼裝置係導出現行移動向量(S104)。導出處理之內容容後詳述。

其次，圖像編碼裝置係使用現行參考圖片及現行移動向量而進行移動補償，藉此產生預測區塊(S105)。

其次，圖像編碼裝置係由現行區塊減去預測區塊，產生剩餘區塊(S106)。最後，圖像編碼裝置係將剩餘區塊進行編碼，產生含有經編碼之剩餘區塊之編碼流(S107)。

圖2係顯示參考例之圖像解碼裝置之動作之流程圖。尤其圖2是顯示藉間預測而將圖像解碼之處理。

首先，圖像解碼裝置係取得編碼流且解析(parse)編碼流之標頭，藉此取得顯示多數的參考圖片各自的分類之資訊(S201)。又，圖像解碼裝置係解析編碼流，藉此取得剩餘區塊(S202)。

其次，圖像解碼裝置界定現行參考圖片(S203)。其次，圖像解碼裝置係導出現行移動向量(S204)。針對導出處理，容後詳述。其次，圖像解碼裝置係使用現行參考圖片及現行移動向量而進行移動補償，藉此產生預測區塊(S205)。最後，圖像解碼裝置係將預測區塊加到剩餘區塊，產生再構成區塊(S206)。

圖3係顯示圖1及圖2所示之導出處理之詳細流程圖。以下顯示圖像編碼裝置之動作。若將編碼改讀成解碼時，圖像解碼裝置之動作亦與圖像編碼裝置之動作同樣。

首先，圖像編碼裝置係選擇共置圖片(S301)。其次，圖像編碼裝置係選擇共置圖片內之共置區塊(S302)。接著，圖像編碼裝置係界定共置參考圖片及共置移動向量(S303)。其次，圖像編碼裝置係依照進行POC為本的定標之導出方式，導出現行移動向量(S304)。

圖4係用以說明圖3所示之導出處理所使用之共置區塊之圖。共置區塊係由共置圖片內之多數區塊選擇者。

共置圖片係與含有現行區塊之現行圖片不同。例如，共置圖片係指以顯示順序上在現行圖片之前或之後之圖片。更具體來說，例如共置圖片係指用於B圖片之編碼(雙預測之編碼)之2個參考圖片列表中任一者之第1個參考圖片。

在共置圖片中，含有樣本c0之第1區塊為共置區塊之第1個候選，亦稱為主要(primary)共置區塊。在共置區塊中，含有樣本c1之第2區塊為共置區塊之第2個候選，亦稱為次要(secondary)區塊。

在現行區塊之左上邊的樣本t1之座標為(x,y)，現行區塊之寬度為w，現行區塊之高度為h時，樣本c0之座標為(x+w,y+h)。又，此時，樣本c1之座標為(x+(w/2)-1,y+(h/2)-1)。

當第1區塊不是可利用時，選擇第2區塊作為共置區塊。以第1區塊不是可利用之情況而言，由於現行區塊在圖片之右邊或下方之邊緣處，因此諸如有第1區塊不存在之情況，或第1區塊已藉內預測編碼之情況等。

以下再次參考圖3，說明導出時間預測移動向量而作為現行移動向量之處理之更具體的例子。

首先，圖像編碼裝置選擇共置圖片(S301)。其次，圖像編碼裝置選擇共置區塊(S302)。在圖4所示之含有樣本c0之第1區塊是可利用時，選擇第1區塊作為共置區塊。在第1區塊不是可利用，且圖4所示之含有樣本c1之第2區塊為可利用時，選擇第2區塊作為共置區塊。

當已選擇可利用之共置區塊時，圖像編碼裝置係將時間預測移動向量設定為可利用者。當可利用之共置區塊不被選擇時，圖像編碼裝置則將時間預測移動向量設定為不可利用者。

在時間預測移動向量被設定為可利用時，圖像編碼裝置係將共置移動向量界定為基準移動向量。又，圖像編碼裝置係界定共置參考圖片(S303)。接著，圖像編碼裝置係由基準移動向量，且藉式1之定標，可導出時間預測移動向量(S304)。

藉以上的處理，圖像編碼裝置及圖像解碼裝置係導出時間預測移動向量，作為現行移動向量。

惟，依現行圖片、現行參考圖片、共置圖片及共置參考圖片的關係，有難以導出適當的現行移動向量的時候。

例如，在現行參考圖片為長期參考圖片時，有由現行參考圖片迄至現行圖片之時間性距離很長的可能性存在。又，在共置參考圖片為長期參考圖片時，有由共置參考圖片迄至共置圖片之時間性距離很長的可能性存在。

在其等的情況下，藉POC為本的定標，會有產生極大或極小之現行移動向量之可能性存在。因此，使預測精度劣化，且使編碼效率劣化。尤其是在固定的位元數，不能適當地表現極大或極小之現行移動向量，使預測精度的劣化及編碼效率之劣化更為顯著。

為解決如此問題，本發明一態樣之圖像編碼方法係將多數圖片中之多數區塊個別進行編碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，該共置區塊為與含有編碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表選擇前述現行區塊之移動向量者；及編碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，將前述現行區塊編碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，由前述共置區塊之移動向量導出前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，由前述共置區塊之移動向量導出前述候選。

藉此，使現行移動向量之候選不會極端變大或極端變小而能適當地導出者。因此，能做到預測精度之提昇，且能做到編碼效率之提昇。

例如，在前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片之中，其中一者被判斷是長期參考圖片，且另一者被判斷是短期參考圖片時，不由前述共置區塊之移動向量導出前述候選，且在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，或，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，由前述共置區塊之移動向量導出前述候選，亦可。

藉此，當預料著預測精度低時，現行移動向量之候選就不由共置區塊之移動向量導出者。因此可抑制預測精度之劣化。

又，例如在前述編碼步驟中，進而將顯示前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊、及顯示前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊編碼者，亦可。

藉此，顯示各參考圖片為長期參考圖片或是短期參考圖片之資訊可由編碼側通知到解碼側。因此，在編碼側及解碼側得到同樣的判斷結果，進行同樣的處理。

又，例如，在前述導出步驟中，使用由前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片，且使用由前述共置區塊之參考圖片迄至含有共置區塊之圖片之時間性距離，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片，亦可。

藉此，各參考圖片為長期參考圖片或者為短期參考圖片是可根據時間性距離而能簡潔且適當地予以判斷。

又，例如，在前述導出步驟中，亦可在進行前述共置區塊之編碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或者為短期參考圖片。

藉此，共置區塊之參考圖片為長期參考圖片或者為短期參考圖片是可更正確地予以判斷。

又，例如，在前述導出步驟中，亦可在進行前述現行區塊之編碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或者為短期參考圖片。

藉此，共置區塊之參考圖片為長期參考圖片或者為短期參考圖片之資訊亦可無須長期固持。

又，例如，在前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，導出前述共置區塊之移動向量，作為前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，使用由前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離相對於由前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離之比值，進行前述共置區塊之移動向量之定標，藉此導出前述候選，亦可。

藉此，在2個參考圖片為長期參考圖片時，能省略定標，減少運算量。接著，在2個參考圖片為短期參考圖片時，現行移動向量之候選能根據時間性距離而適當地導出者。

又，例如，在前述導出步驟中，進而在前述現行區塊之參考圖片被判斷是短期參考圖片，且前述共置區塊之參考圖片被判斷是長期參考圖片時，不由前述共置區塊導出前述候選，而選擇已參考短期參考圖片而編碼之另一共置區塊，藉前述第2導出方式而由前述另一共置區塊之移動向量導出前述候選，亦可。

藉此，能選擇用以導出預測精度高之候選之區塊。因此，提昇預測精度。

又，本發明一態樣之圖像解碼方法係將多數圖片中之多數區塊分別進行解碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有解碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及解碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，將前述現行區塊進行解碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量導出前述候選，亦可。

藉此，當預料預測精度低時，現行移動向量之候選不由共置區塊之移動向量導出者。因此可抑制預測精度劣化。

又，例如在前述解碼步驟中，進而將顯示前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊、及顯示前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊解編碼；在前述導出步驟中，使用顯示前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片，且使用顯示前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片，亦可。

藉此，各參考圖片為長期參考圖片或是短期參考圖片是可根據時間性距離而能簡潔且適當地予以判斷。

又，例如，在前述導出步驟中，亦可在進行前述共置區塊之解碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片。

又，例如，在前述導出步驟中，亦可在進行前述現行區塊之解碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或者為短期參考圖片。

藉此，顯示共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊亦可無須長期固持。

又，例如，在前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，導出前述共置區塊之移動向量，作為前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，使用從前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離相對於從前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離之比值，進行前述共置區塊之移動向量之定標，藉此導出前述候選，亦可。

又，例如，在前述導出步驟中，進而在前述現行區塊之參考圖片被判斷是短期參考圖片，且前述共置區塊之參考圖片被判斷是長期參考圖片時，不由前述共置區塊導出前述候選，選擇已參考短期參考圖片而編碼之另一共置區塊，藉前述第2導出方式，而由前述另一共置區塊之移動向量導出前述候選，亦可。

又，本發明一態樣之內容供給方法係因應來自外部終端機之要求，由記錄有藉前述圖像編碼方法而編碼之圖像資料之伺服器傳送前述圖像資料者。

此外，其等全體或具體的態樣亦可以系統、裝置、積體電路、電腦程式或電腦可讀取之CD-ROM等之非暫時性的記錄媒體予以實現，亦可以系統、裝置、方法、積體電路、電腦程式或記錄媒體之任意組合實現者。

以下，一邊參考附圖一邊具體說明實施形態。又，以下說明之實施形態任一者都是顯示概括性的或具體性的例子。以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟之順序等只是一例，主旨不在於限定本發明者。又，在以下實施形態中之構成要素之中，將未記載於顯示最上位概念之獨立請求項之構成要素，當作為任意的構成要素予以說明。

(實施形態1)

圖5係顯示本實施形態之圖像編碼裝置之方塊圖。圖5所示之圖像編碼裝置500係將圖像依每區塊進行編碼，且將含有經編碼之圖像之編碼流予以輸出者。具體來說，圖像編碼裝置500包含有：減法部501、變換部502、量化部503、熵編碼部504、反量化部505、反變換部506、加法部507、區塊記憶體508、圖片記憶體509、內預測部510、間預測部511、及選擇部512。

減法部501係由已輸入於圖像編碼裝置500之圖像減去預測圖像，藉此輸出差值圖像。變換部502係將由減法部501所輸出之差值圖像進行頻率變換，藉此產生多數頻率係數。量化部503係將經變換部502所產生之多數頻率係數進行量化，藉此產生多數量化係數。熵編碼部504係將經量化部503所產生之多數量化係數進行編碼，藉此產生編碼流。

反量化部505係將經量化部503所產生之多數量化係數進行反量化，藉此將多數頻率係數復原。反變換部506係將經反量化部505所復原之多數頻率係數進行反頻率變換，藉此將差值圖像復原。加法部507係將預測圖像加在經反變換部506復原之差值圖像，藉此將圖像復原(再構成)。加法部507係將所復原之圖像(再構成圖像)儲存在區塊記憶體508及圖片記憶體509。

區塊記憶體508係用以依每區塊記憶經加法部 507所復原之圖像之記憶體。又，圖片記憶體509係用以依每圖片記憶經加法部507所復原之圖像之記憶體。

內預測部510係參考區塊記憶體508而進行內預測。即，內預測部510係由圖片內之其他像素值，預測該圖片內之像素值。藉此，內預測部510產生預測圖像。又，間預測部511係參考圖片記憶體509，進行間預測。即，間預測部511係由其他圖片內之像素值，預測圖片內之像素值。藉此，間預測部511產生預測圖像。

選擇部512係選擇內預測部510所產生之預測圖像及間預測部511所產生之預測圖像之其中一者，且將所選擇之預測圖像輸出至減法部501及加法部507。

雖未示於圖5，但圖像編碼裝置500亦可具有解塊濾波部。接著，解塊濾波部係對經加法部507所復原之圖像進行解塊濾波處理，除去區塊境界附近之雜訊，亦可。又，圖像編碼裝置500亦可具有控制圖像編碼裝置500中之各處理之控制部。

圖6係顯示本實施形態之圖像解碼裝置之方塊圖。圖6所示之圖像解碼裝置600係取得編碼流，且將圖像依每區塊進行解碼者。具體來說，圖像解碼裝置600包含有：熵解碼部601、反量化部602、反變換部603、加法部604、區塊記憶體605、圖片記憶體606、內預測部607、間預測部608、及選擇部609。

熵解碼部601係將編碼流所含之已編碼之多數量化係數進行解碼。反量化部602係將經熵解碼部601所解碼之多數量化係數進行反量化，藉此將多數頻率係數復原。反變換部603係將經反量化部602所復原之多數頻率係數進行反頻率變換，藉此將差值圖像復原。

加法部604係將預測圖像加在經反變換部603復原之差值圖像，藉此將圖像復原(再構成)。加法部604係輸出所復原之圖像(再構成圖像)。又，加法部604係將所復原之圖像儲存在區塊記憶體605及圖片記憶體606。

區塊記憶體605係用以依每區塊記憶經加法部 604所復原之圖像之記憶體。又，圖片記憶體606係用以依每圖片記憶經加法部604所復原之圖像之記憶體。

內預測部607係參考區塊記憶體605而進行內預測。即，內預測部607係由圖片內之其他像素值，預測該圖片內之像素值。藉此，內預測部607產生預測圖像。又，間預測部608係參考圖片記憶體606，進行間預測。即，間預測部608係由其他圖片內之像素值，預測圖片內之像素值。藉此，間預測部608產生預測圖像。

選擇部609係選擇內預測部607所產生之預測圖像及間預測部608所產生之預測圖像之其中一者，且將所選擇之預測圖像輸出至加法部604。

雖未示於圖6，但圖像解碼裝置600亦可具有解塊濾波部。接著，解塊濾波部係對經加法部604所復原之圖像進行解塊濾波處理，除去區塊境界附近之雜訊，亦可。又，圖像解碼裝置600亦可具有控制圖像解碼裝置600中之各處理之控制部。

上述之編碼處理及解碼處理係依每編碼單元進行者。變換處理、量化處理、反變換處理及反量化處理係依編碼單元內之變換單元(TU：Transform Unit)分別進行。預測處理係依編碼單元內之預測單元分別進行者。

圖7係顯示圖5所示之圖像編碼裝置500之動作之流程圖。特別是圖7顯示藉間預測而將圖像編碼之處理。

首先，間預測部511係將多數參考圖片分別分類成短期參考圖片或是長期參考圖片(S701)。

長期參考圖片係適於長期間使用之參考圖片。又，長期參考圖片係定義成用以比短期參考圖片更長期使用之參考圖片。為此，長期參考圖片為長期固持在圖片記憶體509之可能性高。又，長期參考圖片係以不依賴於現行圖像之絕對性的POC予以指定者。另一方面，短期參考圖片係以來自現行圖片之相對性的POC予以指定者。

其次，熵編碼部504係於編碼流之標頭寫入顯示多數參考圖片之各分類之資訊(S702)。即，熵編碼部504係寫入顯示多數參考圖片分別為長期參考圖片或是短期參考圖片之資訊。

其次，間預測部511係界定編碼對象(預測對象)之現行區塊之參考圖片(S703)。間預測部511亦可界定鄰接於現行區塊之區塊之參考圖片，作為現行參考圖片。或，間預測部511亦可以事先訂定之參考索引，界定現行參考圖片。其次，間預測部511係導出現行移動向量(S704)。針對導出處理，容後詳述。

其次，間預測部511係使用現行參考圖片及現行移動向量，進行移動補償，藉此產生預測區塊(S705)。其次，減法部501係由現行區塊(原圖像)減去預測區塊，而產生剩餘區塊(S706)。最後，熵編碼部504係將剩餘區塊進行編碼，而產生含有剩餘區塊之編碼流(S707)。

圖8係顯示圖6所示之圖像解碼裝置600之動作之流程圖。尤其圖8顯示藉間預測而將圖像解碼之處理。

首先，熵解碼部601係取得編碼流，解析(parse)編碼流之標頭，藉此取得顯示多數參考圖片之各分類之資訊(S801)。即，熵解碼部601係取得顯示多數參考圖片各為長期參考圖片或者是短期參考圖片之資訊。又，熵解碼部601係解析編碼流，藉此取得剩餘區塊(S802)。

其次，間預測部608係界定現行參考圖片(S803)。間預測部608亦可界定鄰接於現行區塊之區塊之參考圖片，作為現行參考圖片。或，間預測部608亦可以事先訂定之參考索引，界定現行參考圖片。

接著，間預測部608係導出現行移動向量(S804)。針對導出處理，容後詳述。其次，間預測部608係使用現行參考圖片及現行移動向量而進行移動補償，藉此產生預測區塊(S805)。最後，加法部604係將預測區塊加在剩餘區塊，而產生再構成區塊(S806)。

圖9係顯示圖7及圖8所示之導出處理之詳細流程圖。以下主要是顯示圖5之間預測部511之動作。若將編碼改讀成解碼時，圖6之間預測部608之動作亦與圖5之間預測部511之動作相同。

首先，間預測部511係由可利用之多數參考圖片，選擇共置圖片(S901)。可利用之多數參考圖片為已編碼完畢之圖片，且為固持於圖片記憶體509之圖片。

其次，間預測部511係選擇共置圖片內之共置區塊(S902)。接著，間預測部511係界定共置參考圖片及共置移動向量(S903)。

其次，間預測部511判斷現行參考圖片及共置參考圖片之其中一者是否為長期參考圖片(S904)。然後，在於現行參考圖片及共置參考圖片之中，其中一者被判斷是長期參考圖片時(在步驟S904中，是)，間預測部511按照第1導出方式而導出現行移動向量(S905)。

第1導出方式為使用共置移動向量之方式。具體來說，第1導出方式係於不採用POC為本的定標之狀態下，直接導出共置移動向量，作為現行移動向量之方式。第1導出方式亦可為以事先訂定之一定比值，而將共置移動向量定標，藉此導出現行移動向量之方式。

在現行參考圖片及共置參考圖片之任一者都被判斷為不是長期參考圖片時(在步驟S904中，否)，間預測部511係按照第2導出方式，而導出現行移動向量(S906)。即，當現行參考圖片及共置參考圖片兩者都被判斷是短期參考圖片時，間預測部511按照第2導出方式而導出現行移動向量。

第2導出方式係使用現行參考圖片、共置參考圖片、及共置移動向量之方式。更具體來說，第2導出方式係對共置移動向量進行POC為本的定標(式1)，藉此導出現行移動向量之方式。

以下，再次參考圖9，說明導出現行移動向量之處理之更具體的例子。先前說明的導出處理亦可變更如下。

首先，間預測部511選擇共置圖片(S901)。更具體來說，在切片標頭參數slice_type為B，且，切片標頭參數collocated_from_10_flag為0時，選擇圖片RefPicList1[0]作為共置圖片。圖片RefPicList1[0]為附有順序之參考圖片列表RefPicList1中之第1個參考圖片。

在切片標頭參數slice_type不是B時，或是切片標頭參數collocated_from_10_flag不是0時，選擇圖片RefPicList0[0]作為共置圖片。圖片RefPicList0[0]是附有順序的參考圖片列表RefPicList0中之第1個參考圖片。

其次，間預測部511選擇共置區塊(S902)。當圖4 所示之含有樣本c0之第1區塊為可利用時，選擇第1區塊作為共置區塊。當第1區塊不是可利用，且，圖4所示之含有樣本c1之第2區塊是可利用時，選擇第2區塊作為共置區塊。

在已選擇可利用之共置區塊時，間預測部511係將時間預測移動向量設定為可利用。當未選擇可利用之共置區塊時，間預測部511則將時間預測移動向量設定為不可利用。

在時間預測移動向量被設定為可利用時，間預測部511係界定共置移動向量作為基準移動向量。又，間預測部511係界定共置參考圖片(S903)。在共置區塊具有多數移動向量時，即，在共置區塊已使用多數移動向量而編碼時，間預測部511按照預定之優先順位，選擇基準移動向量。

例如，在現行參考圖片為短期參考圖片時，間預測部511係於多數移動向量之中，優先選擇指示短期參考圖片內之位置之移動向量，作為基準移動向量，亦可。

即，間預測部511係於存在有指示短期參考圖片內之移動向量時，選擇該移動向量作為基準移動向量。接著，間預測部511係於沒有指示短期參考圖片內之位置之移動向量存在時，選擇指示長期參考圖片內之位置之移動向量作為基準移動向量。

然後，在現行參考圖片及共置參考圖片之其中一者為長期參考圖片時(在步驟S904中，是)，間預測部511導出基準移動向量，作為時間預測移動向量(S905)。

另一方面，在2個參考圖片任一者都不是長期參考圖片時(在步驟S904中，否)，間預測部511係藉POC為本的定標，而由基準移動向量導出時間預測移動向量(S906)。

如上述，時間預測移動向量係設定為可利用或不可利用者。間預測部511係將設定為可利用之時間預測移動向量放入現行移動向量之候選之附有順序之列表。附有順序之列表不限於時間預測移動向量，亦可固持各種移動向量，作為預測移動向量候選。

間預測部511係由附有順序之列表選擇1個作為現行移動向量。此時，間預測部511係由附有順序之列表，選擇現行區塊之預測精度最高之移動向量、或是能以最高的編碼效率而將現行區塊編碼之移動向量。與所選擇之移動向量對應之索引係寫入編碼流。

藉以上的處理，現行移動向量不會在變得極大或極小之狀態下而能適當地導出者。因此，能提昇預測精度，且將編碼效率提昇。

此外，各參考圖片是長期參考圖片或是短期參考圖片，亦可藉時間變更。例如，短期參考圖片在之後變更成長期參考圖片，亦可。反之，長期參考圖片亦可在之後變更成短期參考圖片。

又，間預測部511亦可在進行共置區塊之編碼之期間，判斷共置參考圖片是長期參考圖片或是短期參考圖片。接著，圖像編碼裝置500亦可具有用以從進行共置區塊之編碼開始到進行現行區塊之編碼之前，固持判斷結果之追加之記憶體。

此時，共置參考圖片是長期參考圖片或是短期參考圖片能更正確地予以判斷。

或，間預測部511亦可在進行現行區塊之編碼之期間，判斷共置參考圖片是長期參考圖片或是短期參考圖片。

此時，共置參考圖片是長期參考圖片或是短期參考圖片之資訊，亦可不長期地固持者。

又，間預測部511使用從現行參考圖片迄至現行圖片之時間性距離，判斷現行參考圖片是長期參考圖片或是短期參考圖片，亦可。

例如，在從現行參考圖片迄至現行圖片之時間性距離大於預定之極限值時，間預測部511係判斷現行參考圖片是長期參考圖片者。接著，在時間性距離為預定之極限值以下時，間預測部511係判斷現行參考圖片為短期參考圖片。

同樣，間預測部511使用從共置參考圖片迄至共置圖片之時間性距離，判斷共置參考圖片是長期參考圖片或是短期參考圖片，亦可。

例如在從共置參考圖片迄至共置圖片之時間性距離大於預定之極限值時，間預測部511判斷共置參考圖片為長期參考圖片。接著，在時間性距離為預定之極限值以下時，間預測部511判斷共置參考圖片為短期參考圖片。

然後，圖像解碼裝置600之間預測部608係與圖像編碼裝置500之間預測部511同樣，亦可根據時間性距離，判斷各參考圖片是長期參考圖片或是短期參考圖片。此時，顯示各參考圖片是長期參考圖片或是短期參考圖片之資訊亦可不被編碼。

針對在本實施形態所示之其他處理，圖像解碼裝置600之各構成要素係進行與在圖像編碼裝置500中對應之構成要素同樣之處理，藉此能適當地將以高編碼效率編碼之圖像解碼。

又，以上所示之動作在其他實施形態亦能適用。本實施形態所示之構成及動作亦可編入其他實施形態，其他實施形態所示之構成及動作亦可編入於本實施形態。

(實施形態2)

本實施形態之圖像編碼裝置及圖像解碼裝置之構成係與實施形態1同樣。為此，使用圖5之圖像編碼裝置500之構成、及圖6之圖像解碼裝置600之構成，說明本實施形態之其等動作。

又，本實施形態之圖像編碼裝置500係與實施形態1同樣，進行圖7所示之動作。又，本實施形態之圖像解碼裝置600係與實施形態1同樣，進行圖8所示之動作。在本實施形態中，現行移動向量之導出處理係與實施形態1不同。以下詳細說明之。

圖10係顯示本實施形態之導出處理之詳細流程圖。本實施形態之間預測部511係進行圖10所示之動作，取代圖9所示之動作。以下主要顯示圖5之間預測部511之動作。若將編碼改讀成解碼時，圖6之間預測部608之動作亦與圖5之間預測部511之動作同樣。

首先，間預測部511係由可利用之多數參考圖片，選擇共置圖片(S1001)。其次，間預測部511係選擇共置圖片內之共置區塊(S1002)。接著，間預測部511係界定共置參考圖片及共置移動向量(S1003)。

其次，間預測部511係判斷現行參考圖片是否為長期參考圖片(1004)。接著，在現行參考圖片被判斷是長期參考圖片時(在S1004中，是)，間預測部511係按照與實施形態1同樣之第1導出方式，而導出現行移動向量(S1005)。

在現行參考圖片被判斷為不是長期參考圖片時 (在S1004中，否)，間預測部511判斷共置參考圖片是否為長期參考圖片(S1006)。

然後在共置參考圖片被判斷為不是長期參考圖片時(在S1006中，否)，間預測部511係按照與實施形態1同樣之第2導出方式，而導出預測移動向量(S1007)。即，在現行參考圖片及共置參考圖片兩者被判斷是短期參考圖片時，間預測部511係按照第2導出方式，而導出現行移動向量。

在共置參考圖片被判斷是長期參考圖片時(在 S1006中，是)，間預測部511選擇共置圖片內之另一共置區塊(S1008)。在圖10之例中，是選擇參考短期參考圖片而編碼之區塊作為另一共置區塊。

然後，間預測部511係界定對應於另一共置區塊之共置參考圖片及共置移動向量(S1009)。其次，間預測部511係按照使用POC為本的定標之第2導出方式，而導出現行移動向量(S1010)。

即，在現行區塊之參考圖片為短期參考圖片，且共置區塊之參考圖片為長期參考圖片時，間預測部511係不由其共置區塊之移動向量導出現行移動向量。此時，間預測部511係選擇經參考短期參考圖片而編碼之另一共置區塊，且由所選擇之另一共置區塊之移動向量，導出現行移動向量。

例如，在現行區塊之參考圖片為短期參考圖片，且共置區塊之參考圖片為長期參考圖片時，間預測部511搜尋經參考短期參考圖片而編碼之區塊。接著，間預測部511係選擇經參考短期參考圖片而編碼之區塊，作為另一共置區塊。

以另一例來說，在現行區塊之參考圖片為短期參考圖片，且共置區塊之參考圖片為長期參考圖片時，間預測部511才開始搜尋經參考短期參考圖片而編碼之區塊。

然後，在存在有經參考短期參考圖片而編碼之區塊時，間預測部511係選擇該區塊，作為另一共置區塊。在沒有經參考短期參考圖片而編碼之區塊存在時，其次，間預測部511搜尋經參考長期參考圖片而編碼之區塊。接著，選擇經參考長期參考圖片而編碼之區塊，作為另一共置區塊。

又，例如，首先，間預測部511係選擇圖4之第1區塊，作為共置區塊。接著，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，其次，間預測部511重新選擇圖4之第2區塊，作為共置區塊。

在上述之例中，只有在圖4之第2區塊的參考圖片為短期參考圖片時，間預測部511亦可選擇第2區塊，作為共置區塊。進而，選作為共置區塊之區塊不限於圖4之第2區塊，亦可選擇其他區塊作為共置區塊。

圖11係用以說明本實施形態之共置區塊之圖。在圖11中，顯示在共置圖片內有樣本c0、c1、c2及c3。圖11 之樣本c0及c1係與圖4之樣本c0及c1同等。不只是含有樣本c1之第2區塊，亦可選擇含有樣本c2之第3區塊、或是含有樣本c3之第4區塊作為另一共置區塊。

樣本c2之座標為(x+w-1,y+h一1)。樣本c3之座標為(x+1,y+1)。

間預測部511係按照第1區塊、第2區塊、第3區塊及第4區塊之順序，判斷其等是否為可利用者。然後，間預測部511係將可利用之區塊決定為最後的共置區塊。區塊不能利用之例子諸如沒有區塊存在之形態、或是區塊是以內預測編碼之形態等。

間預測部511係於現行參考圖片為短期參考圖片時，亦可將參考長期參考圖片而編碼之區塊判斷為不是可利用者。

在上述中，已說明了共置區塊之選擇方法之例，但共置區塊之選擇方法不限於上述所說明過的例子。含有樣本c0、c1、c2或c3以外之樣本之區塊亦可被選作為共置區塊。又，其等的優先順位不限於本實施形態所示之例子。

以下，再次參考圖10，說明導出現行移動向量之處理之更具體的例子。先前所說明之導出處理亦變更如下。

首先，間預測部511係與實施形態1同樣，選擇共置圖片(S1001)。接著，間預測部511係選擇圖11所示之含有c0之第1區塊，作為共置區塊，且界定共置參考圖片(S1002及S1003)。

其次，間預測部511係判斷共置區塊是否為可利用者。此時，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，間預測部511係判斷共置區塊不是可利用者(S1004及S1006)。

在共置區塊不是可利用時，間預測部511係搜尋可利用之另一共置區塊，且選擇之(S1008)。具體來說，間預測部511係由圖11之含有樣本c1之第2區塊、含有樣本c2之第3區塊及含有樣本c3之第4區塊之中，選擇經參考短期參考圖片而編碼之區塊。接著，間預測部511係界定共置區塊之參考圖片(S1009)。

在選擇了可利用之共置區塊時，間預測部511係將時間預測移動向量設定為可利用者。在未選擇可利用之共置區塊時，間預測部511係將時間預測移動向量設定為不可利用者。

在將時間預測移動向量設定為可利用時，間預測部511係界定共置移動向量，作為基準移動向量(S1003及S1009)。在共置區塊具有多數移動向量時，即，在利用多數移動向量而將共置區塊編碼時，間預測部511係與實施形態1同樣，按照預定之優先順位，選擇基準移動向量。

其次，在現行參考圖片及共置參考圖片之任一者為長期參考圖片時(在S1004中，是)，間預測部511係導出基準移動向量，作為時間預測移動向量(S1005)。

另一方面，在現行參考圖片及共置參考圖片之任一者都不是長期參考圖片時，(在S1004中，否)，間預測部511係藉POC為本的定標，而由基準移動向量導出時間預測移動向量(S1007及S1010)。

在將時間預測移動向量設定為不可利用時，間預測部511不導出時間預測移動向量。

與實施形態1同樣，間預測部511係將設定為可利用之時間預測移動向量，作為現行移動向量之候選，而追加至列表。然後，間預測部511係由列表選擇現行移動向量。

如上述，在本實施形態中，在現行區塊之參考圖片為短期參考圖片，且共置區塊之參考圖片為長期參考圖片時，不由該共置區塊之移動向量導出現行移動向量。

在現行參考圖片及共置參考圖片之中，其中一者為長期參考圖片，另一者為短期參考圖片時，要導出預測精度很高之現行移動向量是極為困難。在此，本實施形態之圖像編碼裝置500及圖像解碼裝置600係藉上述動作，來抑制預測精度劣化。

(實施形態3)

本實施形態之圖像編碼裝置及圖像解碼裝置之構成係與實施形態1同樣。為此，利用圖5之圖像編碼裝置500之構成、及圖6之圖像解碼裝置600之構成，說明本實施形態之其等之動作。

圖12係顯示本實施形態之導出處理之詳細流程圖。本實施形態之間預測部511係進行圖12所示之動作，取代圖9所示之動作。以下，主要是顯示圖5之間預測部511之動作。若將編碼改讀成解碼時，圖6之間預測部608亦與圖5之間預測部511之動作同樣。

首先，間預測部511係由可利用之多數參考圖片，選擇共置圖片(S1201)。其次，間預測部511係選擇共置圖片內之共置區塊(S1202)。接著，間預測部511係界定共置參考圖片及共置移動向量(S1203)。

接著，間預測部511判斷現行參考圖片是否為長期參考圖片(S1204)。然後，在現行參考圖片被判斷是長期參考圖片時(在步驟S1204中，是)，間預測部511係按照與實施形態1同樣之第1導出方式而導出現行移動向量(S1205)。

在現行參考圖片被判斷為不是長期參考圖片時 (在步驟S1204中，否)，間預測部511係判斷共置參考圖片是否為長期參考圖片(S1206)。

然後，在共置參考圖片被判斷為不是長期參考圖片時(在S1206中，否)，間預測部511係按照與實施形態1同樣之第2導出方式，而導出現行移動向量(S1207)。即，在現行參考圖片及共置參考圖片兩者都被判斷是短期參考圖片時，間預測部511按照第2導出方式而導出現行移動向量。

在共置參考圖片被判斷是長期參考圖片時(在S1206中，是)，間預測部511係選擇另一共置圖片(S1208)。接著，間預測部511係選擇另一共置圖片內之另一共置區塊 (S1209)。在圖12之例中，選擇經參考短期參考圖片而編碼之區塊，作為另一共置區塊。

之後，間預測部511係界定對應於另一共置區塊之共置參考圖片及共置移動向量(S1210)。接著，間預測部511係按照使用POC為本的定標之第2導出方式，而導出現行移動向量(S1211)。

即，在現行區塊之參考圖片為短期參考圖片，且共置區塊之參考圖片為長期參考圖片時，間預測部511不由該共置區塊導出現行移動向量。

此時，間預測部511選擇另一共置圖片。接著，間預測部511係由所選擇之另一共置圖片，選擇經參考短期參考圖片而編碼之另一共置區塊。間預測部511係由所選擇之另一共置區塊之移動向量，導出現行移動向量。

例如，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，間預測部511搜尋含有經參考短期參考圖片而編碼之區塊之圖片。接著，間預測部511係選擇含有經參考短期參考圖片而編碼之區塊之圖片，作為另一共置圖片。

以另一例來說，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，間預測部511才開始搜尋含有經參考短期參考圖片而編碼之區塊之圖片。

接著，在存在有含有經參考短期參考圖片而編碼之區塊之圖片時，間預測部511選擇該圖片，作為另一共置圖片。

在沒有含有經參考短期參考圖片而編碼之區塊之圖片存在時，其次，間預測部511搜尋含有經參考長期參考圖片而編碼之區塊之圖片。接著，間預測部511選擇含有經參考現行參考圖片而編碼之區塊之圖片，作為另一共置圖片。

又，例如，在圖片RefPicList0[0]為共置圖片時，圖片RefPicList1[0]為另一共置圖片。在圖片RefPicList1[0]為共置圖片時，圖片RefPicList0[0]為另一共置圖片。

即，在於B圖片之編碼(雙預測之編碼)中所使用之2個參考圖片列表之中，其中一個參考圖片列表之第1個圖片為共置圖片，另一個參考圖片列表之第1個圖片為另一共置圖片。

以下，再次參考圖12，說明導出現行移動向量之處理之更具體的例子。先前說明的導出處理亦可變更如下。

首先，間預測部511係選擇圖片RefPicList0[0]及圖片RefPicList1[0]之中之一者，作為共置圖片(S1201)。接著，間預測部511係由所選擇之共置圖片，選擇圖11所示之含有樣本c0之第1區塊，作為共置區塊，界定共置參考圖片(S1202及S1203)。

其次，間預測部511係判斷共置區塊是否為可利用者。此時，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，間預測部511判斷共置區塊不是可利用者(S1204及S1206)。

在共置區塊不是可利用時，間預測部511重新選擇可利用之共置區塊。例如，間預測部511係選擇圖11之含有樣本c1之第2區塊，作為共置區塊。接著，間預測部511界定共置參考圖片。

在未選擇可利用之共置區塊時，間預測部511選擇另一共置圖片。此時，間預測部511係選擇圖片RefPicList0[0]及圖片RefPicList1[0]中之另一者，作為共置圖片(S1208)。

然後，間預測部511係由所選擇之共置圖片，選擇圖11所示之含有樣本c0之第1區塊，作為共置區塊，界定共置參考圖片(S1209及S1210)。

其次，間預測部511係判斷共置區塊是否為可利用者。此時，與前面的判斷同樣，在現行參考圖片為短期參考圖片，且共置參考圖片為長期參考圖片時，間預測部511判斷為共置區塊不是可利用者。

在共置區塊不是可利用時，間預測部511重新選擇可利用之共置區塊(S1209)。具體來說，間預測部511選擇圖11之含有樣本c1之第2區塊，作為共置區塊。接著，間預測部511界定共置參考圖片(S1210)。

最後，在選擇了可利用之共置區塊時，間預測部 511將時間預測移動向量設定為不可利用者。在未選擇可利用之共置區塊時，間預測部511係將時間預測移動向量設定為不可利用者。

在時間預測移動向量被設定為可利用時，間預測部511界定共置區塊之移動向量，作為基準移動向量(S1203 及S1210)。在共置區塊具有多數移動向量時，即，在共置區塊使用多數移動向量而編碼時，間預測部511係與實施形態1同樣，按照預定之優先順序，選擇基準移動向量。

然後，在現行參考圖片及共置參考圖片任一者為長期參考圖片時(在S1204中，是)，間預測部511導出基準移動向量，作為時間預測移動向量(S1205)。

另一方面，在現行參考圖片及共置參考圖片任一者都不是長期參考圖片時(在S1204中，否)，間預測部511係藉POC為本的定標，而由基準移動向量導出時間預測移動向量(S1207及S1211)。

在時間預測移動向量設定為不可利用時，間預測部511不導出時間預測移動向量。

如上述說明，本實施形態之圖像編碼裝置500及圖像解碼裝置600係由多數圖片，選擇適於導出現行移動向量之區塊，且由所選擇之區塊之移動向量，導出現行移動向量。藉此，可提昇編碼效率。

(實施形態4)

本實施形態係確認性地顯示實施形態1~3所含之特徵性的構成及特徵性的順序。

圖13A係本實施形態之圖像編碼裝置之方塊圖。圖13A所示之圖像編碼裝置1300係將多數圖片中之多數區塊分別進行編碼。又，圖像編碼裝置1300包含有導出部1301、追加部1302、選擇部1303及編碼部1304。

例如，導出部1301、追加部1302及選擇部1303 對應於圖5之間預測部511等。編碼部1304係對應於圖5之熵編碼部504等。

圖13B係顯示圖13A所示之圖像編碼裝置1300之動作之流程圖。

導出部1301係由共置區塊之移動向量，導出現行區塊之移動向量之候選(S1301)。共置區塊為與含有編碼對象之現行區塊之圖片不同之圖片所含之區塊。

在候選之導出中，導出部1301係判斷現行區塊之參考圖片為長期參考圖片或是短期參考圖片。又，導出部1301係判斷共置區塊之參考圖片是長期參考圖片或是短期參考圖片。

在此，在現行區塊之參考圖片及共置區塊之參考圖片分別被判斷是長期參考圖片時，導出部1301係藉第1導出方式，而由共置區塊之移動向量導出候選。第1導出方式為不進行根據時間性距離之定標之導出方式。

另一方面，在現行區塊之參考圖片及共置區塊之參考圖片分別被判斷是短期參考圖片時，導出部1301係藉第2導出方式，而由共置區塊之移動向量導出候選。第2導出方式為進行根據時間性距離之定標之導出方式。

追加部1302係於列表追加所導出之候選 (S1302)。選擇部1303係由已追加有候選之列表，選擇現行區塊之移動向量(S1303)。

編碼部1304係使用所選擇之移動向量及現行區塊之參考圖片而將現行區塊編碼(S1304)。

圖14A係本實施形態之圖像解碼裝置之方塊圖。圖14A所示之圖像解碼裝置1400係將多數圖片中之多數區塊分別進行解碼。又，圖像解碼裝置1400包含有導出部1401、追加部1402、選擇部1403及解碼部1404。

例如，導出部1401、追加部1402及選擇部1403 對應於圖6之間預測部608等。解碼部1404係對應於圖6之熵解碼部601等。

圖14B係顯示圖14A所示之圖像解碼裝置1400之動作之流程圖。

導出部1401係由共置區塊之移動向量，導出現行區塊之移動向量之候選(S1401)。共置區塊為與含有解碼對象之現行區塊之圖片不同之圖片所含之區塊。

在候選之導出中，導出部1401係判斷現行區塊之參考圖片為長期參考圖片或是短期參考圖片。又，導出部1401係判斷共置區塊之參考圖片是長期參考圖片或是短期參考圖片。

在此，在現行區塊之參考圖片及共置區塊之參考圖片分別被判斷是長期參考圖片時，導出部1401係藉第1導出方式，而由共置區塊之移動向量導出候選。第1導出方式為不進行根據時間性距離之定標之導出方式。

另一方面，在現行區塊之參考圖片及共置區塊之參考圖片分別被判斷是短期參考圖片時，導出部1401係藉第2導出方式，而由共置區塊之移動向量導出候選。第2導出方式為進行根據時間性距離之定標之導出方式。

追加部1402係於列表追加所導出之候選 (S1402)。選擇部1403係由已追加有候選之列表，選擇現行區塊之移動向量(S1403)。

解碼部1404係使用所選擇之移動向量及現行區塊之參考圖片而將現行區塊之移動向量解碼(S1404)。

藉以上之處理，現行移動向量之候選係於不會變得極大或極小之狀態下而可從共置區塊之移動向量適當地導出。因此，可提昇預測精度，且能達成編碼效率之提昇。

此外，導出部1301及1401係於現行區塊之參考圖片及共置區塊之參考圖片之中，判斷其中一者為長期參考圖片，且另一者為短期參考圖片時，亦可無須從共置區塊之移動向量導出候選。

此時，導出部1301及1401進而選擇經參考短期參考圖片而編碼或解碼之另一共置區塊，且藉第2導出方式而由另一共置區塊導出候選，亦可。或，此時，導出部1301及1401亦可以另一導出方式導出候選。或，此時，導出部1301及1401亦可在最後不導出與時間預測移動向量對應之候選。

又，導出部1301及1401亦可使用由現行區塊之參考圖片迄至含有現行區塊之圖片之時間性距離，判斷現行區塊之參考圖片是否為長期參考圖片或是短期參考圖片。

又，導出部1301及1401亦可使用由共置區塊之參考圖片迄至含有共置區塊之圖片之時間性距離，判斷共置區塊之參考圖片是否為長期參考圖片或是短期參考圖片。

又，導出部1301及1401亦可在進行共置區塊之編碼或解碼之期間，判斷共置區塊之參考圖片是否為長期參考圖片或是短期參考圖片。

又，導出部1301及1401亦可在進行現行區塊之編碼或解碼之期間，判斷共置區塊之參考圖片是否為長期參考圖片或是短期參考圖片。

又，第1導出方式亦可為導出共置區塊之移動向量，作為候選之方式。第2導出方式亦可下列方式，即，使用從現行區塊之參考圖片迄至含有現行區塊之圖片之時間性距離相對於從共置區塊之參考圖片迄至含有共置區塊之圖片之時間性距離之比值，進行共置區塊之移動向量之定標，藉此導出候選者。

又，編碼部1304進而，亦可將顯示現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊、及顯示共置區塊之參考圖片是長期參考圖片或是短期參考圖片之資訊進行編碼者。

又，解碼部1404進而，亦可將顯示現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊、及顯示共置區塊之參考圖片是長期參考圖片或是短期參考圖片之資訊進行解碼者。

然後，導出部1401亦可使用所解碼之資訊，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片。又，導出部1401亦可使用所解碼之資訊，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片。

又，顯示參考圖片之分類之資訊亦可作為參數而儲存在於編碼流中下一個顯示之位置。

圖15A係顯示參數之儲存位置之第1例之圖，該參數係顯示參考圖片之分類者。如圖15A所示，顯示參考圖片之分類之參數亦可儲存在順序標頭。順序標頭亦被稱為順序參數組。

圖15B係顯示參數之儲存位置之第2例之圖，該參數顯示參考圖片之分類者。如圖15B所示，顯示參考圖片之分類之參數亦可儲存在圖片標頭。圖片標頭亦被稱為圖片參數組。

圖15C係顯示參數之儲存位置之第3例之圖，該參數顯示參考圖片之分類者。如圖15C所示，顯示參考圖片之分類之參數亦可儲存在切片標頭。

又，顯示預測模式(間預測或內預測)之資訊亦可作為參數而儲存在於編碼流中下一個顯示之位置。

圖16係顯示參數之儲存位置之例子之圖，該參數顯示預測模式者。如圖16所示，該參數亦可儲存在CU標頭(編碼單元標頭)。該參數係顯示編碼單元內之預測單元是否已藉間預測編碼或已藉內預測編碼者。在共置區塊是否為可利用之判斷上亦可採用該參數。

又，在上述各實施形態中，各構成要素亦可以專用的硬體構成，或執行適於各構成要素之軟體程式予以實現。各構成要素亦可藉使CPU或處理器等之程式執行部讀出記錄在硬碟或半導體記憶體等之記錄媒體之軟體程式且予以執行，而附諸實現。在此，實現上述各實施形態之圖像編碼裝置等之軟體為如下之程式。

即，該程式係於電腦執行圖像編碼方法，該圖像編碼方法為將多數圖片中之多數區塊分別進行編碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有編碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及編碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊編碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片是長期參考圖片或是短期參考圖片，且前述共置區塊之參考圖片是長期參考圖片或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片各被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量，導出前述候選者，在前述現行區塊之參考圖片及前述共置區塊之參考圖片各被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量，導出前述候選者。

又，該程式係於電腦執行圖像解碼方法，該圖像解方法為將多數圖片中之多數區塊分別進行解碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有解碼對象之現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及解碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊進行解碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片是長期參考圖片或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量，導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量，導出前述候選者。

又，各構成要素亦可為電路。其等電路整體上亦可構成為單一電路，亦可為各為不同之電路。又，各構成要素可以萬用的處理器予以執行，亦可以專用的處理器予以實現。

以上，已根據實施形態，而針對一個或多數態樣之圖像編碼裝置說明，但本發明並不限於該實施形態者。在不脫離本發明旨趣下，熟悉此項技藝之人士(該業者)所思及之各種變形在本實施形態實施者、或是將不同實施形態中之構成要素相組合而構建成之形態，亦包含在一個或多數態樣之範疇內。

例如，圖像編碼解碼裝置亦可包含有圖像編碼裝置及圖像解碼裝置。又，亦可讓另一處理部執行特定處理部所執行之處理。又，亦可變更執行處理之順序，亦可使多數處理並列執行。

(實施形態5)

藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，就可在獨立的電腦系統上簡單實施上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。

進而在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該應用例之系統。該系統係以具有使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置者為特徵所在。針對系統中之其他構成，能因應情況而做適當的變更。

圖17係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。

惟，內容供給系統ex100不限定於如圖17之構成，亦可連接組合任一種要素構成者。又，亦可使各機器直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接者。又，各機器亦可經由近距離無線等而直接相連接者。

相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動畫攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。

在內容供給系統ex100上，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明一態樣之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而將所傳送之內容資料進行串流發送。對於客戶，有諸如可將業經上述編碼處理之資料進行解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料解碼處理後予以再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能者)。

此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。

又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可將以該相機所取得之動畫資料傳送者。此時之動畫資料係以行動電話機ex114所具有之LSIex500進行編碼處理之資料。

又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人播放。

又，不限於內容供給系統ex100之例，如圖18所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明一態樣之圖像編碼裝置而編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置而不是在機上盒安裝者。

圖19係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之影像訊號之顯示器等之顯示部ex308 之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312之外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法而解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303進行多工處理，並輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料之外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不限於進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖20。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀取資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將藉內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

圖21係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛 ex210所具有之車用導航系統ex211等之顯示裝置將動畫再生。此外，車用導航系統ex211之構成可考慮如圖19所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。

圖22A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於與基地台ex110之間接送電波之天線ex350、可攝影影像、靜態圖像之相機部ex365、及顯示以相機部ex365所攝影之影像、將天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有：具有操作鍵部ex366之本體部、諸如用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態影像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話機ex114之構成例，使用圖 22B予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部 ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。

行動電話機ex114係根據具有CPU、ROM、RAM 等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話機ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明一態樣之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將業已編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

在於資料通訊模式時接收連到網頁等之動態圖像檔案之資料時，或在接收附有影像或聲音之電子郵件時，為了將經由天線ex350而所接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370，而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將影像訊號進行解碼(即，作為本發明一態樣之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網頁之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，還有只具編碼器之傳送終端機、只有解碼器之接收終端機等共三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料之外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態6)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等相異規格之動態圖像編碼方法或裝置，產生影像資料者。

在此，在產生有依據各自不同規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

圖23係顯示多工資料之構成圖。如圖23所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主影像及副影像，聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。

圖24係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進而變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

圖25係進一步詳細顯示在PES封包列中如何儲存視訊流。圖25中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖25之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

圖26係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送至解碼器之PID濾波器之轉送開始時間。多工資料中，如圖26下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流之外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。

圖27詳細說明PMT之資料構造之圖。PMT之前頭係配置著記有該PMT所含之資料之長度等之PMT標頭。在其後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符有於多工資料所存在之串流數這樣多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如圖28所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如圖28所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於多工資料末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如圖29所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、是對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中設置相對於PMT所含之串流型式或視訊流屬性資訊，設定固有資訊之步驟或手法，固有資訊係顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖30。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷是藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷是依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。

如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態7)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖31顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而適當地分成多次等，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係於上述各實施形態所說明之編碼處理。在訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台 ex107傳送，或寫入記錄媒體ex215。在進行多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。

此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於一個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。

又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制部ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊號處理部ex507之局部例如聲音訊號處理部之構成。在如此情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPUex502之構成者。

另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。

又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。

進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。

(實施形態8)

在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼之情況相比，處理量更為增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。

為解決該課題，電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。圖32係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料解碼者。

更具體來說，驅動頻率切換部ex803係由圖31之 CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於圖31之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態6所記載之識別資訊者。有關於識別資訊，不限於實施形態6所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等之外部訊號，能識別影像資料是依據哪一規格時，亦可根據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，考慮到利用例如根據如圖34所示之影像資料之規格與驅動頻率對應之查找表進行者。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參考該查找表，即可選擇驅動頻率者。

圖33係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202 中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。

進而，連動於驅動頻率之切換，變更供給至 LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。

進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於在處理上有餘裕，因此亦可考慮將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。該情況係與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。

(實施形態9)

在電視機或行動電話機等上述機器暨系統上輸入有依據不同規格之多數影像資料之情況。如此，為於有依據不同規格之多數影像資料輸入之情況下亦能解碼，有必要使LSIex500之訊號處理部ex507對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就有造成LSIex500之電路規模變大，又，成本增加之課題衍生。

為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部、與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在圖35A之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、動量補償等之處理中，處理內容有局部共通者。考慮一種構成，其針對共通之處理內容係共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明一態樣所特有之其他處理內容則使用專用之解碼處理部ex901之構成。尤其是本發明係於間預測有特徵，所以例如針對間預測，使用專用之解碼處理器ex901，針對除此之外之熵解碼、解塊濾波器、反量化任一者或全部的處理，則考慮共有解碼處理部。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。

又，將處理局部共有之另一例顯示在圖35B之 ex1000。在該例中，使用與本發明一態樣所特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、與本發明一態樣之動態圖像解碼方法與另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為針對本發明一態樣或其他習知規格特有之處理內容特殊設計者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此便能將LSI之電路規模縮小、且降低成本者。

產業之可利用性

本發明可利用在諸如電視機、數位錄放影機、車用導航系統、行動電話機、數位相機、或數位錄影機等。

S1301~S1304‧‧‧步驟

Claims

一種圖像編碼方法，係將多數圖片中之多數區塊分別進行編碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有編碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及編碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊進行編碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片是長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片是長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標(scaling)之第1導出方式，由前述共置區塊之移動向量導出前述候選，且在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，由前述共置區塊之移動向量導出前述候選。
如申請專利範圍第1項之圖像編碼方法，其係於前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片之中，其中一者被判斷是長期參考圖片，且另一者被判斷是短期參考圖片時，不由前述共置區塊之移動向量導出前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，或在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，由前述共置區塊之移動向量導出前述候選。
如申請專利範圍第1或2項之圖像編碼方法，其係於前述編碼步驟中，進而將顯示前述現行區塊之參考圖片是長期參考圖片或是短期參考圖片之資訊、及顯示前述共置區塊之參考圖片是長期參考圖片或是短期參考圖片之資訊進行編碼。
如申請專利範圍第1或2項之圖像編碼方法，其係於前述導出步驟中，使用從前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離，判斷前述現行區塊之參考圖片是長期參考圖片或是短期參考圖片，且使用從前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離，判斷前述共置區塊之參考圖片是長期參考圖片或是短期參考圖片。
如申請專利範圍第1或2項之圖像編碼方法，其中前述導出步驟是在進行前述共置區塊之編碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片。
如申請專利範圍第1或2項之圖像編碼方法，其中前述導出步驟是在進行前述現行區塊之編碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片。
如申請專利範圍第1或2項之圖像編碼方法，其係於前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，導出前述共置區塊之移動向量，作為前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，使用從前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離相對於從前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離之比值，進行前述共置區塊之移動向量之定標，藉此導出前述候選。
如申請專利範圍第1或2項之圖像編碼方法，其係於前述導出步驟中，進而於前述現行區塊之參考圖片被判斷是短期參考圖片，且前述共置區塊之參考圖片被判斷是長期參考圖片時，不由前述共置區塊導出前述候選，而選擇經參考短期參考圖片而編碼之另一共置區塊，藉前述第2導出方式，而由前述另一共置區塊之移動向量導出前述候選。
一種圖像解碼方法，係將多數圖片中之多數區塊分別進行解碼者，包含有：導出步驟，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有解碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加步驟，係將所導出之前述候選追加至列表者；選擇步驟，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及解碼步驟，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，將前述現行區塊進行解碼者；在前述導出步驟中，判斷前述現行區塊之參考圖片為長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量，導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量，導出前述候選。
如申請專利範圍第9項之圖像解碼方法，其係於前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片之中，其中一者被判斷是長期參考圖片，且另一者被判斷是短期參考圖片時，不由前述共置區塊之移動向量導出前述候選，且於前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，或在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，由前述共置區塊之移動向量導出前述候選。
如申請專利範圍第9或10項之圖像解碼方法，其係於前述解碼步驟中，進而將顯示前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊、及顯示前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊進行解碼，在前述導出步驟中，使用顯示前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊，判斷前述現行區塊之參考圖片為長期參考圖片或是短期參考圖片，使用顯示前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片之資訊，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片。
如申請專利範圍第9或10項之圖像解碼方法，其係於前述導出步驟中，使用從前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離，判斷前述現行區塊之參考圖片是長期參考圖片或是短期參考圖片，使用從前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離，判斷前述共置區塊之參考圖片是長期參考圖片或是短期參考圖片。
如申請專利範圍第9或10項之圖像解碼方法，其中前述導出步驟是在進行前述共置區塊之解碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片。
如申請專利範圍第9或10項之圖像解碼方法，其中前述導出步驟是在進行前述現行區塊之解碼之期間，判斷前述共置區塊之參考圖片為長期參考圖片或是短期參考圖片。
如申請專利範圍第9或10項之圖像解碼方法，其係於前述導出步驟中，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，導出前述共置區塊之移動向量，作為前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，使用從前述現行區塊之參考圖片迄至含有前述現行區塊之圖片之時間性距離相對於從前述共置區塊之參考圖片迄至含有前述共置區塊之圖片之時間性距離之比值，進行前述共置區塊之移動向量之定標，藉此導出前述候選。
如申請專利範圍第9或10項之圖像解碼方法，其係於前述導出步驟中，進而於前述現行區塊之參考圖片被判斷是短期參考圖片，且前述共置區塊之參考圖片被判斷是長期參考圖片時，不由前述共置區塊導出前述候選，且選擇經參考短期參考圖片而編碼之另一共置區塊，而藉前述第2導出方式，由前述另一共置區塊之移動向量導出前述候選。
一種圖像編碼裝置，係將多數圖片中之多數區塊分別進行編碼者，包含有：導出部，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有編碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加部，係將所導出之前述候選追加至列表者；選擇部，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及編碼部，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊進行編碼者；前述導出部係判斷前述現行區塊之參考圖片為長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，由前述共置區塊之移動向量，導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，由前述共置區塊之移動向量，導出前述候選。
一種圖像解碼裝置，係將多數圖片中之多數區塊分別進行解碼者，包含有：導出部，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有解碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加部，係將所導出之前述候選追加至列表者；選擇部，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及解碼部，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，將前述現行區塊進行解碼者；前述導出部係判斷前述現行區塊之參考圖片為長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量，導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量，導出前述候選。
一種圖像編碼解碼裝置，包含有：如申請專利範圍第17項之圖像編碼裝置；及將多數圖片中之多數區塊分別進行解碼之圖像解碼裝置；前述圖像解碼裝置包含有：導出部，係由共置區塊之移動向量導出現行區塊之移動向量之候選者，前述共置區塊為與含有解碼對象之前述現行區塊之圖片不同之圖片所含之區塊；追加部，係將所導出之前述候選追加至列表者；選擇部，係由已追加有前述候選之前述列表，選擇前述現行區塊之移動向量者；及解碼部，係使用所選擇之前述移動向量及前述現行區塊之參考圖片，而將前述現行區塊進行解碼者；前述導出部係判斷前述現行區塊之參考圖片為長期參考圖片、或是短期參考圖片，且前述共置區塊之參考圖片為長期參考圖片、或是短期參考圖片，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是長期參考圖片時，藉不進行根據時間性距離之定標之第1導出方式，而由前述共置區塊之移動向量，導出前述候選，在前述現行區塊之參考圖片及前述共置區塊之參考圖片分別被判斷是短期參考圖片時，藉進行根據時間性距離之定標之第2導出方式，而由前述共置區塊之移動向量，導出前述候選。
一種內容供給方法，係因應來自外部終端機之要求，由記錄有圖像資料之伺服器傳送前述圖像資料，前述圖像資料為包含有已藉如申請專利範圍第1項之圖像編碼方法所編碼之多數區塊者。