TW200412152A - Picture coding method and picture decoding method - Google Patents

Description

200412152 玖、發明說明 (發明說明應敘明：發明所屬之技術領域、先前技術、内容、實施方式及圖式簡單說明） C ^ 發明領域 本發明是有關於利用影像間之相關性將動晝像訊號有 5 效率地壓縮之影像編碼方法與將之正確解碼之影像解碼方 法，以及用以將之以軟體實施之程式等。 【先前技術3 發明背景 近年，迎接將音聲、影像及其他像素值統合處理之多 10 媒體時代’以往之資訊媒體’亦即報紙、雜諸、電視、廣 播、電話等將資訊傳達給人之方法，皆納做多媒體之對象 。一般來說，所謂多媒體指的不僅是文字，更同時牵扯到 圖形、音聲、尤其是影像等來顯示，而在上述以往之資訊 媒體作為多媒體對象時，必須將該資訊作成數位形式來顯 15 示。 然而，若將上述各資訊媒體所具有之資訊量作為數位 資訊量來估計，則文字之情況為每個文字之資訊量為1〜2 位元組數，相對於此，音聲之情況為每1秒64kbits (電話 品質），動晝方面則更需要每1秒lOOMbits (現行電視接 20 收品質）以上之資訊量，上記資訊媒體實際上無法將該膨 脹之資訊以數位形式直接處理。例如，視訊電話藉著具有 64kbps〜1.5Mbps之傳送速度之整合服務數位網路（ISDN : Integrated Services Digital Network)而已經實用化，但電 視、攝影機之映像無法直接以ISDN傳送。 6 200412152 玖、發明說明 於是，所需要的是資訊之壓縮技術，例如視訊電話之 情況’是使用藉ITU-T (國際電信聯盟-電信標準部門）而 國際標準化之H.261或H.263規格之動畫壓縮技術。又， 藉著MPEG-1規格之資訊壓縮技術，可在通常之音樂用 5 CD (光碟）中，與音聲資訊同時加入影像資訊。 在此，所謂 MPEG (Moving Picture Experts Group)是 動畫面訊號之數位壓縮之國際規格，MPEG-1是將動畫面 訊號壓縮到1.5Mbps為止，亦即將電視訊號之資訊壓縮到 約1〇〇分之1為止之規格。又，以MPEG-1規格為對象之 10 傳送速度主要限制於約1.5Mbps，因此，在需滿足更高晝 質化要求之規格化MPEG-2中，動畫像訊號壓縮為 2〜15Mbps 〇 又，目前藉著發展MPEG_l，MPEG-2與標準化之作業 群（ISO/IECJTC1/SC29/WG11)，壓縮率更高之 MPEG-4 已 15 經規格化。MPEG-4中，當初不僅可以低速率達到高效率 之編碼化，還導入了在發生傳送路錯誤時仍可降低主觀性 晝質低劣化之強力容錯率技術。又，在ISO/IEC與ITU之 共同推動下，JVT (Joint Video Team)之標準化活動進展 而作為次世代影像編碼方式，目前最新的是被稱為J〇int 20 model (JM2)者。 JVT係與以往之動畫像編碼不同，可從多數影像（圖 像（picture))選擇任意影像（圖像（picture))作為前方 參考影像。在此，所謂圖像是表示框或欄位。 第1 (a)圖是參考從保存於記憶體之多數參考影像中 7 ^^12152 坎、發明說明 選出之影像來編碼之影像編碼之說明圖。第丨（b)圖是顯 不保存影像之記憶體之構成之構成圖。 如第1 (b)圖所示，記憶體是由短時間保存記憶體與 長時間保存記憶體構成。短時間保存記憶體是記憶最新解 螞之數個影像，相當於所謂MPEG」或MpEG_2之p圖像 (則向預測編碼圖像）& B圖像（雙向預測編碼圖像）之 參考影像。長時間保存記憶體係用以將影像訊號較短時間 保存記憶體更長時間保存。 ίο 15 通常’短時間保存記憶體是FIF0 (先入先出）記憶體 ’當將超過記憶體上限之料保存純時㈣存記憶體中 時，則短時間記憶體内最早時刻之影像就會被刪除而將新 影像保存於該領域中。因此，通常因fif〇之構造，當想 參考從記憶體刪除之參考影像時，藉由事先將該=像: 時間保存記憶體移動到長時間保存記憶體内保存，就可長 時間參考。長時間記憶體是明示保存之領域之方法，只要 不指定相同領域並重寫，皆可參考保存於該領域之圖像、。 第1(a)圖係顯示影像編碼時之預測狀況，圖像編號 2之影像參考圖像號碼0之影像，圖像號瑪】之參 圖像號碼G或圖像號碼2之影像。同樣的，圖像^ 影像參考圖像號碼0、2之影像，圖傻 像就碼6之影像參考圖 像編號〇之影像。更，圖像號瑪5之影像可 〇、2、4、6之影像。 _像就碼 該圖⑴）中，圖像編號0、6、12之影像可在比較 上較長時間後被參考，相對於此，圖像編號2、4、^ 、8之影 20 玖、發明說明 像等僅讓短時間後之影像來參考。在此，保存影像之記憶 體領域係如第i⑴圖所示地分割為短時間保存用記憶體 與長時間保存兄憶體，需要長時間保存之記憶體中可保存 圖像（框（frame))號碼〇、6、12之影像。 又，為了有效率地使用如該第i (a)圖所示之記憶體 ’需要高度之記憶體管理，而JVT中導人了用以控制記憶 體之結構。 控制記憶體之指令為如下所述者。 1·選擇可參考之影像之指令。 2. 在短時間保存記憶體中，將保存了不需作為預測編 碼之參考影像之圖像之記憶體領域開放之指令。 3. 將短時間保存記憶體之内容移動到長時間保存記憶 體之指令。 影像編碼、解碼時，由於會從可參考之影像中選出以 區塊單位預測誤差較小之影像來作為參考影像，故需要以 區塊單位指示參考影像之訊號。藉由預先選擇可參考之影 像，可將參考影像之候補數縮小至適當值，可節約在區塊 單位中所需之參考影像指示訊號之位元數。 又，從短時間保存記憶體移動到長時間保存記憶體時 ，即使將㈣内耗存純時_存域體與長時間保存 記憶邀兩方面也只是浪費，故可除去短時間保存記憶體内 之影像。 第2 (a) (b)圖是顯示以往之影像編碼方法及影像解 碼方法之流程圖。 200412152 玖、發明說明 第2(a)圖是顯示將保存了不需作為預測編碼之參考 影像之圖像之記憶體領域開放時之影像編碼裝置之動作。 在第2(a)圖中，首先，影像編碼裝置將輸入之輸入影像 編碼（SteplOO )。編碼後調查記憶體内不需要的領域（在 5 今後之編碼中不會被參考之影像）（SteplOl )，判定是否有 不需要的記憶體領域（Stepl02 )。當判定有不需要的記憶 體領域時（Stepl02之Yes)，則將開放不需要之記憶體領 域之指令作為記憶體管理資訊而編碼（Stepl〇3 )，開放該 不扁要之a己憶體領域（除去記憶體内影像）（（Step 1 〇4 )) 10 ，並完成處理。另一方面，當影像編碼裝置判斷沒有不需 要之記憶體領域時（Stepl02之No)，則不進行stepl〇3及 Stepl〇4，完成處理。 接著沿第2 ( b )圖之流程圖，說明將保存了不需作為 預測編碼之參考影像之圖像之記憶體領域開放時之影像解 15碼裝置之動作。首先，影像解碼裝置將記憶體管理資訊解 碼（StepllO)，然後從編碼訊號將影像訊號解碼（StepUi) 。影像解碼裝置判定是否有已調查之結果記憶體開放指令 (Stepll2)，若有記憶體開放指令（Stepll2之Yes)，則判 疋疋否有應藉该指令除去之影像、或是否已記憶體開放完 20成（影像除去完成）（SteP113 )。若判定為開放完成（ SteP113之Yes)，則為錯誤（ERROR)。在JVT中，從記 憶體除去影像後，發送再度除去相同影像之指令是禁止的 ，因此再度開放已開放完成之記憶體就視為錯誤。另一方 面，若影像解碼裝置判定未開放完成時（StepU32N〇)， 10 200412152 玖、發明說明 則開放記憶體（SteP114)，完成處理。又 憶體開放指令時（stepll2之No)，則不進行

StepU4之動作，並完成處理。又，，m與steplll亦 可順序不同，互相調換。 5 f 3 (a)(b) ^是顯示習知之其他影像編碼方法及影 像解碼方法之流程圖。 第3⑴圖顯示影像從短時間保存記憶體移動到長時 間保存記憶體時之影像編碼裝置所進行之動作。 第3 (a)圖中，首先，影像編碼裝置將輸入影像編碼 1〇 (Stepl2〇)。編碼後調查是否有必須移動到長時間保存記 憶體之影像（SteP121 )，判定是否有需移動之影像（ Stepl22)。若有需移動之影像（stepl22之則將顯 示如何移動到長時間保存記憶體之指令作為記憶體管理資 訊而編碼（SteP123)，且依該指令將影像移動到長時間保 15存記憶體（Stepl24)，完成處理。另一方面，影像編碼裝 置判定沒有應移動到長時間保存記憶體之影像時（Stepl22 之No)，則不進行stepl23及Stepl24，完成處理。 接著，沿第3 (b)圖之流程圖，說明影像從短時間保 存圮憶體移動到長時間保存記憶體時之影像解碼裝置所進 20行之動作。首先，影像解碼裝置將記憶體管理資訊解碼（ SteP130)，然後從編碼訊號將影像訊號解碼（stepl31)。 接著’影像解碼裝置判定已解碼之記憶體管理資訊中是否 有移動到長時間保存記憶體之指令（Stepl32 )，若判定為 有（SteP130之Yes)，接著判定是否有藉該指令應移動之 11 200412152 玖、發明說明 影像、或是否已移動完成（由於移動後已除去故影像不存 在）（Stepl33)。在JVT中，移動到長時間保存記憶體後， 發送再度將相同影像移動到長時間保存記憶體之指令是禁 止的，因此將已移動至長時間保存記憶體之影像再度移動 5 到長時間保存記憶體時就視為錯誤。因此，影像解碼裝置 若判定已移動完成至長時間保存記憶體（Stepl33之Yes) ，則為錯誤（ERROR )，若判定未移動完成，則移動到長 時間保存記憶體（Stepl34)，完成處理。 另一方面，·影像解碼裝置判定沒有移動到長時間保存 10 記憶體之指令時（Stepl32之No)，則不進行Stepl33及 Stepl34，完成處理。又，Stepl30與Stepl31亦可順序不 同，互相調換。 第4(a)(b)圖是顯示習知之又一其他影像編碼方法 及影像解碼方法之流程圖。 15 首先，沿第4 (a)圖之流程圖說明影像編碼裝置在選 擇可參考影像時所進行之動作。 首先，影像編碼裝置選擇出預測與被編碼影像之相關 性高之參考影像（通常為時間上接近之參考影像）來作為 參考影像之候補（Step200 )。接著將顯示已選擇之參考影 20 像之候補之指示資訊（記憶體管理資訊之一種）編碼（ Step201 )，從已選擇之參考影像之候補中以區塊單位參考 適當之參考影像來編碼（Step202 )，完成處理。又， Step201與Step202亦可順序不同，互相調換。 接著，沿第‘ 4 (b)圖之流程圖說明解碼裝置在選擇可 12 200412152 玖、發明說明 參考之影像時所進行之動作。 首先，影像解碼裝置將記憶體管理資訊之一種之指示 資訊解碼（Step210)，從記憶體中選擇參考影像之候補作 為結果（Step211 )，從已選擇之參考影像之候補中以區塊 5 單位選擇適當之參考影像一面參考一面解碼（Step212)， 完成處理。 其次，以這種習知之影像編碼方法及影像解碼方法， 可將從記憶體除去不需要之影像之指令、或將影像從短時 間保存記憶體移動到長時間保存記憶體之指令在影像編碼 10 裝置編碼後輸出，傳送到影像解碼裝置後解碼，然而由於 該傳送次數僅限定於1個圖像，故當伴隨該指令之影像因 傳送錯誤而消失時，則記憶體内之影像配置無法正確復原 ，導致影像無法解碼。 又，在影像之編碼及解碼中，選擇參考影像時，純粹 15 僅以時間上較近之影像作為參考影像候補，則無法做出考 慮到影像之解碼之延展性（指第1 (a)圖之預測構造例中 ，即使B圖像無法解碼，I圖像或P圖像仍可解碼，即使 圖像號碼4、10、16之P圖像無法解碼，其他之P圖像仍 可解碼）之最適當編碼。亦即，雖然時間上最接近圖像號 20 碼6之影像為亂像號碼4、2之影像，但由於實際上只能參 考圖像號碼0之影像，故若將無法參考之圖像號碼4、2之 影像納入參考影像之候補，則編碼效率不佳。 更，在習知之影像編碼方法中，由於隨著沒有保存於 記憶體之影像傳送除去記憶體内之不需要之影像之指令、 13 200412152 玖、發明說明 或將影像從短時間保存記憶體移動到長時間保存記憶體之 指令是禁止的，’因此阻礙了靈活的記憶體管理資訊之指令 傳送。之所以禁止隨著未保存於記憶體之影像傳送該指令 有下述理由，亦即，由於未保存於記憶體之影像重要度最 5 低、無法以延展性解碼之可能性很高，故必須避免隨附於 該未保存於記憶體之影像之該指令因無法解碼而導致記憶 體内之影像配置無法正確復原。 於是，為了解決上述課題，故本發明之目的在於提供 一種即使因傳送路錯誤而使部分記憶體管理資訊消失，仍 10 可正確復原之影像編碼方法及影像解碼方法等、與更適切 地選擇可參考之參考影像之候補來提高編碼效率之影像編 碼方法及影像解碼方法。 【發明内容】 為了解決該課題，故有關本發明之影像編碼方法，係 15 參考自保存於記憶體内之多數參考圖像選出之參考圖像來 編碼者，包含有：圖像編碼步驟，係參考前述已選擇之參 考圖像，將編碼對象圖像編碼；管理資訊編碼步驟，係將 用以控制管理保存於前述記憶體之參考圖像之記憶體管理 資訊隨著前述已編碼之編碼對象圖像來編碼；以及管理資 20 訊再編碼步驟，.係將前述記憶體管理資訊與在前述管理資 訊編碼步驟中之編碼不同地另外再度編碼。 藉此，由於將記憶體管理資訊多數次編碼並輸出，故 即使在傳送到解碼裝置時，發生傳送路錯誤，多數次傳送 之記憶體管理資訊當中任一者仍會被傳送並解碼，故可正 14 200412152 玖、發明說明 確復原圖像之可能性提高。 又’可在前述管理資訊再編碼步驟中，使特定前述管 理資訊編碼步驟中使ό己憶體管理資訊隨附之前述編碼對象 圖像之資訊隨附於前述已再編碼之記憶體管理資訊。 5 藉此’隨附於編碼對象圖像而最初被編碼之記憶體管 理資訊在傳送到影像解碼裝置時’即使發生傳送錯誤，作 由於記憶體管理資訊所隨附之編碼對象圖像被特定，故可 檢出在哪個時點發生傳送錯誤。 又，可在前述管理資訊編碼步驟中，係當前述記憶體 10管理資訊隨附於前述記憶體中未保存之編碼對象圖像時， 則在前述管理資訊再編碼步驟中，使前述記憶體管理資訊 亦隨附於前述記憶體中保存之編碼對象圖像。 藉此，由於記憶體管理資訊隨附於已解碼並保存於記 憶體之重要影像，故可確實進行記憶體管理資訊之解碼， 15 使圖像正確復原之可能性提高。 又，本發明之影像解碼方法，係參考自保存於記憶體 内之多數參考圖像選出之參考圖像來解碼者，其係將用以 控制管理前述記憶體中保存之參考圖像之記憶體管理資訊 解碼，依據已解碼之記憶體管理資訊開放前述記憶體所不 2〇需要之§己憶體領域時，若開放之記憶體領域未開放完成則 開放記憶體領$，若開放<記憶體領$已開放完成則不對 前述記憶體進行任何處理。 藉此’即使多數次接收到顯示從記憶體除去圖像之記 憶體管理資訊’’也不會錯誤處理，可正確解碼圖像。 15 200412152 玖、發明說明 又了以疋-種影像解碼方法，係參考自保存於記憶 體内之多數參考圖像選出之參考圖像來編碼者，其中前述 Zlt體包3 •參考圖像之保存時間較短之短時間保存記憶 體、與參考圖像之保存時間較前述短時間保存記憶體長之 5長時間保存記憶體，又，前述影像解碼方法係將用以控制 管理保存於前述記憶體之參考圖像之記憶趙管理資訊解碼 ，依據已解碼之記憶體管理資訊將前述記憶體内所保存之 參考圖像從前述短時間保存記憶體移動到前述長時間保存 記憶體時，若释動對象之參考圖像存在於前述短時間保存 10记憶體，則將該參考圖像從前述短時間保存記憶體移動到 前述長時間保存記憶體，若移動對象之參考圖像未存在於 前述短時間保存記憶體時，則不進行前述記憶體内之移動 0 藉此，即使多數次接收到記憶體管理資訊，也不會錯 15 誤處理，可正確解碼圖像。 又，可以是-種影像編碼方法，係參考自保存於記憶 體内之多數參考圖像選出之參考圖像來編碼者，其係將保 存於前述記憶體内且重要度在編碼對象圖像以上之參考圖 像作為參考圖像之候補而編碼。 20 藉此’可更適切地選擇可參考之圖像之候補，提高編 碼效率。 又，有關本發明之影像編碼方法，包含：將編碼對象 圖像編碼之步驟；判斷記憶體内是否有在將前述編碼對象 圖像編碼後未被參考之參考圖像之步驟；若有前述未被參 16 200412152 玖、發明說明 考之圖像，則在將編碼數據解碼之解碼裝置中，將顯示開 放在將前述編碼對象圖像解碼後前述變得不需要之記憶體 領域之指令編碼來作為開放因未被參考而變得不需要之記 憶體領域之指令之步驟；開放前述變得不需要之記憶體領 5 域之步驟；及在將編碼晚於前述編碼對象圖像之其他編碼 對象圖像編碼時，將顯示將前述其他編碼對象圖像解碼前 開放前述變得不需要之記憶體領域之指令編碼之步驟。 藉此，即使在欠缺顯示開放不需要之記憶體領域之最 初之指令之狀況下，由於接著傳送之指令係在圖像解碼前 10執行，故可減少指令之執行延誤。 15 又，有關本發明之影像解碼方法，包含：將管理隨附 於解碼對象圖像之記憶體之記憶體管理資訊解碼之步驟； 判斷刖述έ己憶體管理資訊是否為在將前述解碼對象圖像解 碼前顯示進行管理記憶體之處理之解碼前用指令之第一判 斷步驟’在則述第-判斷步驟中，判斷出前述記憶體管理 資訊為前述解碼前用指令時，則判斷管理記憶體之處理是 否完成之第三騎步驟；以及在前述第二麟步驟中，判 斷出管理記憶體之處理已完成時，則將前述編碼對象圖像 解碼，在前述第二判斷步驟中判斷出管理記憶體處理未完 成時，則依據前述記憶體管理資訊進行管理記憶體之處理 後將前述解碼對象圖像解碼之步驟。 藉此即使在人缺顯示開放不需要之記憶體領域之最 初之指令之狀況下，由於接著傳送之指令係在时解碼前 執行’故可減少.指令之執行延誤。 17 20 坎、發明說明 又’有關本發明之影像編碼方法，包含：將編碼對象 圖像編螞之步驟；在將前述解碼對象圖像編碼後，判斷記 Μ體内之參考圖像是否全為未被參考之圖像之判斷步驟； 在别述判斷步驟中，判斷出前述記憶體内之參考圖像全為 、參考之影像時，將前述記憶體内之參考影像全部刪除 之命令之初期化指令編碼之步驟；將前述記憶體内之參考 圖像全部刪除之初期化步驟；以及在將編碼晚於前述編碼 對象圖像之其他編碼對象圖像編碼時，則依據編碼前述編 碼對象®料所職且早於前述編碼對㈣像保存在前記 記憶體内之全參考圖像作為刪除對象之附加資訊，將顯示 刪除記憶體内之參考圖像之命令之初期化再送指令編碼之 步驟。 … 藉此，當初期化指令傳送到解碼裝置時，即使因傳送 路錯誤而欠缺初期化指令，仍可依據初期化再送指令之附 加資訊正常地進行記憶體内之初期化。 π剛令赞明之影像解碼方法.匕贫：將管理隨附 於解碼對象圖像之記憶體之記憶體管理資訊解碼之步驟· 將前述解碼對象圖像解碼之步驟；判斷前述記憶體管理次 訊中，是否有將存在於記憶體内之參考圖像全部刪 令之初期化指令之初期化_步驟；在前述初期化判: 驟中，無法判斷前述記憶體管理f訊中有Ι 時，前述記憶體管理資訊中，為了刪除在將 解碼對象圖像之其他解碼對象圖像解碼時應初期化、別W 且早於前述其他解碼對象圖像存在於記憶邇内 200412152 玖、發明說明 ，故依據顯示刪除對像之附加資 於記憶體内之參考圖像之命

藉此，當初期化指令傳送到解碼裝置時，即使因傳送 10路錯誤而欠缺初期化指令，仍可依據初期化再送指令之附 加資訊正常地進行記憶體内之初期化。 又，可以是一種記錄媒體，係記4 係記錄有參考自保存於記 憶體内之多數參考圖像選出之參考圖像以諸單位來編碼 之資料流者， 且該記錄媒體記錄有··從記憶體除去保存於 15前述記憶體内之參考圖像時，使指定除去之對t之參考圖 像之資訊至少隨附於2個片段來編碼之資料流。 藉此，在以片段單位進行編碼之情況下，即使在傳送 到解碼裝置時發生傳送路錯誤，但由於多數次傳送之指定 從δ己憶體除去之對象之參考圖像之資訊當中任一者會被傳 20送並解碼，故以片段單位正確復原該圖像之可能性提高。 又，可以是一種記錄媒體，係記錄有參考自保存於記 憶體内之多數參考圖像選出之參考圖像以片段單位來編碼 之資料流者，其中記錄有：從記憶體除去保存於前述記憶 體内之參考圖像時，使指定除去之對象之參考圖像資訊至 19 200412152 玖、發明說明 少隨附於2個片段來編碼，更使顯示出前述片段具有指定 前述除去之對象之參考圖像資訊之資訊附隨於前述片段而 編碼，且以不具有指定前述除去之對象之參考圖像資訊之 片段來參考指定前述除去之對象之參考圖像之資訊時，將 5 顯示參考指定前述除去之對象之參考圖像資訊之資訊解碼 之資料流。 藉此，在沒有上述指定除去之對象之圖像之資訊之片 段中，可省略上述資訊之附加，提高編碼效率。 如上所述，藉由有關本發明之影像編碼方法及影像解 10 碼方法，可實現即使因傳送路錯誤導致局部記憶體管理資 訊消失，仍可正確復原之影像編碼方法與影像解碼方法、 以及更適切地選擇可參考之參考影像之候補而提高編碼效 率之影像編碼方法與影像解碼方法，故其實用價值很高。 又，本發明不僅可作為這種影像編碼方法與影像解碼 15 方法來實現，更可作為利用這種方法之影像編碼裝置與影 像解碼裝置來實現、作為記錄有藉影像編碼方法而編碼之 資料流之記錄媒體來實現、或作為使電腦執行影像編碼方 法與影像解碼方法中之步驟之程式來實現。又，當然這種 程式可經由CD-ROM等記錄媒體或網際網路等傳送媒體來 20 發送。 又，本說明書吸取了之前曰本專利申請「特願2002-110424」「特願2002-190955」、「特願2003-49711」及美國 臨時申請「60/377656」之内容。 圖式簡單說明 20 200412152 玖、發明說明 第1 (a)圖是參照從保存於記憶體之多數參照影像選 出之影像來編碼之影像編碼之說明圖，第！⑴圖是顯示 保存有影像之記憶體之構成之構成圖。 第2 (a)圖是顯示習知之影像編碼方法之流程圖，第 5 2W圖是顯示習知之影像解碼方法之流程圖。 第3 (a)圖是顯示習知之影像編碼方法之其他流程圖 ，第3 (b)圖是顯示習知之影像解碼方法之其他流程圖。 第4 (〇圖是顯示習知之影像編碼方法之又一其他流 程圖’第4 (b)圖是顯示習知之影像解碼方法之又一其他 10 流程圖。 第5圖是顯示本發明之影像解碼裝置之構成之方塊圖 〇 第6圖是顯示本發明之實施型態i中之影像編碼方法 之流程圖。 15 帛7圖是顯示本發明之影像解碼裝置之構成之方塊圖 0 第8圖是顯示本發明之實施型態2巾之影像解碼方法 之流程圖。 第9圖是顯示本發明之實施型態3中之影像編碼方法 2〇 之流程圖。 *1 pv 圖是顯示本發明之實施型態4中之影像解碼方法 之流程圖。 ' 第11圖是顯示本發明之實施型態5中之影像編螞方法 之流程圖。 21 200412152 玖、發明說明 第12圖是顯示本發明之實施型態6中之影像編碼方法 之流程圖。 第13圖是顯示本發明之實施型態7中之影像編碼方法 之流程圖。 5 第14 ( a )圖是顯示影像之圖像編號、保存圖像蝙號 與傳送順序之關係之說明圖，第14(b)圖是顯示解螞之 圖像編號、保存之圖像編號與刪除之圖像編號之關係圖， 第14(c)圖是顯示解碼之圖像編號、保存之圖像編號與 刪除之圖像編號之另一關係圖。 10 第15圖是顯示本發明中之記憶體管理資訊之指令之對 應圖。 第16圖是顯示本發明之實施型態8中之指令實行程序 之流程圖。 第17圖是顯示在各影像之編碼訊號之標頭資訊與框數 15 據之關係之模式圖。 第18圖是顯示在編碼訊號之標頭資訊中之記憶體管理 資訊之指令之模式圖。 第19圖是顯示各影像之圖像號碼、保存圖像號碼與傳 送順序之關係之說明圖。 20 第20圖是顯示編碼初期化指令之方法之流程圖。 第21圖是顯示將已編碼之初期化指令解碼之方法之流 程圖。 第22圖是顯示本發明之實施型態8中所使用之記憶體 管理資訊之指令.之對應圖。 22 200412152 玖、發明說明 第23圖是顯示使用本發明之初期化再送指令之影像編 碼方法之流程圖.。 第24圖是顯示將本發明之已編碼之初期化再送指令之 影像解碼之方法之流程圖。 5 第25圖是顯示各影像之圖像編號、保存圖像編號與傳 送順序之又一關係之說明圖。 第26圖是顯示本發明之實施型態9中所使用之記憶體 管理資訊之指令之對應圖。 第27圖是顯示本發明之實施型態9中之影像編碼方法 10 之流程圖。 第28圖是顯示本發明之實施型態9中之影像解碼方法 之流程圖。 第29 ( a ).圖是顯示指令内容與附加資訊之對應圖， 第29 (b)圖是顯示指令之實行時機之對應圖。 15 第3G ®是㈣編碼訊號之標頭資訊巾之記憶體管理資 訊之指令之模式圖。 第31圖是顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。? 第32圖是顯示已以片段單位編碼之資料流構造之 20 圖。 、工 第33(a) (b)圖任一者皆是顯示已以片段單位

之資料流構造之模式圖。 W 第34(a)(b)(c)圖任一者皆是說明有關用以 用以藉電腦系統.實現本發明之實施型態丨到實施型熊W子 23 200412152 玖、發明說明 影像編碼方法及影像解碼方法之程式之記憶媒體之說明圖 〇 第35圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之内容供給系統之全體構成之方塊圖。 5 第36圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之行動電話之一例之外觀圖。 第37圖是顯示同一行動電話之構成之方塊圖。 第38圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之數位傳輸系統之構成之構成圖。 10 【實施方式】 以下，使用圖式說明有關本發明之實施型態。 (實施型態1) 首先，說明.有關實施型態1。 第5圖是顯示用以實現本實施型態中之影像編碼方法 15 之影像編碼裝置之構成之方塊圖。 影像編碼裝置100係由：記憶體資訊控制部101、短 時間保存記憶體管理部102、長時間保存記憶體管理部103 、非保存記憶體管理資訊部104、管理資訊編碼部105、參 照影像選擇部106、保存領域指定部107、參照領域指定部 20 108、影像記憶體109、影像解碼部111、影像編碼部110 、可變長度編碼部112、計數器113、及計數器114等構成 〇 參照影像選擇部106是從自外部輸入之重要度指示訊 號Pri及圖像類型資訊PicType來選擇參照影像之候補，通 24 200412152 玖、發明說明 知記憶體資訊控制部101。 記憶體資訊控制部101藉圖像類型資訊來判斷前方及 後方之任一者或兩方之影像（圖像（Picture))是否可參照 ，對參照領域指定部108下指令，從影像記憶體1〇9將對 5 應之參照影像輸出到影像編碼部11〇。 影像編碼部110參照從影像記憶體109輸出之參照影 像來編碼輸入影像訊號Vin，可變長度編碼部112更進行 可變長度編碼，輸出影像編碼流VideoStr。影像編碼部 馨 11〇之輸出再由影像解碼部111解碼而變成解碼影像，作 1〇 為參照影像而儲存於影像記憶體109。 這時，位於影像記憶體109内之解碼影像之可儲存之 記憶體位置如下所述地受指定。記憶體資訊控制部1〇1詢 問記憶體管理部102,特定出短時間記憶體内影像遭除去 之記憶體位置，保存領域指定部1〇7對影像記憶體1〇9輸 15出指示以於該記憶體位置記錄解碼影像。 短時間保存記憶體管理部102檢出短時間保存記憶體 籲 内所不需要（不被參照）之影像，而將除去（開放記憶冑 )之指令通知記憶體資訊控制單元部1〇1。又，長時間保 存記憶體管理部1G3對記憶體資訊控制部HH通知將_ 間保存舌己憶體内之影像移動到長時間保存記憶體之指令。 該除去不需要之影像（記憶體開放）之指令、或將短時Μ - =存=憶體内之影像移動到長時間保存記憶體之指令，在 貝訊編碼口p 1〇5編碼，成為記憶體管理資訊流⑶此 25 200412152 玖、發明說明 另-方面，為了防止因傳送路錯誤使記憶體管理資訊 流CtlStr之一部份消失而導致記憶體管理資訊受損，故短 時間保存記憶體用之計數器113及長時間保存記:體用= 計數器m計測不需要之影像之除去指令或將短時間保存 5圮憶體内之影像移動到長時間保存記憶體之指令之編碼文 數，因應需要而可多數次傳送上述指令。 又，非保存記憶體管理資訊部1〇4管理不需要之影像 之除去指令或將短時間保存記憶體内之影像移動到長時間 保存記憶體之指令是否已隨著重要度低且難以解碼之影像 1〇而編碼，當上述指令隨著重要度低之影像編碼時，則對記 憶體資訊控制部101下達指示，將指令隨著更高重要度之 衫像再度編碼。 接著，說明有關本發明之實施型態1中之影像編碼方 法。第6圖是顯示實施型態丨中之影像編碼方法之流程圖 15 ，顯示出第5圖中所示之影像編碼裝置100所進行之動作 。又’第6圖中，與第2(a)圖動作相同者則賦予相同標 號。 第6圖所示之影像編碼方法之特徵係當記憶體内存在 有不需作為預測編碼之參照影像之影像（圖像（Picture)) °時’則重複將開放保存該影像之記憶體領域（除去該影像 )之記憶體管理資訊之指令編碼。如此藉著重複將記憶體 管理資訊之指令編碼，則即使單方之記憶體管理資訊之指 令因傳送路錯誤而消失，仍可據另一方之記憶體管理資訊 之指令將保存於記憶體内之影像之管理資訊復原，因此即 26 200412152 玖、發明說明 使有傳送路錯誤，正麵原影狀可能性仍很高。 第6圖中，首先，將輸入影像編碼（Stepl〇〇)。編碼 後調查記憶體内不需要之領域（今後之編碼中不被參狀 衫像）（SteplOl )，判定是否有不需要之記憶體領域（ 5 Stepl〇2 )。若有不需要之記憶體領域（Stepl02之Yes), 則管理資訊編碼部105會將開放不需要之記憶體領域之指 令作為記憶體管理資訊來編碼（Stepl〇3)。然後，開放該 不需要之記憶體領域（Stepl〇4)。若無不需要之記憶體領 · 域（Stepl〇2之No),則不進行Stepl〇3及Stepl〇4之動作 10 〇 接著，記憶體資訊控制部1〇1判定開放不需要之記憶 體領域之指令是否作為記憶體管理資訊隨附於最新編碼之 &像（早於編碼對象之影像）之編碼被編碼（Stepl〇5)， 指令未被編碼時（Stepl〇5之No)則結束處理，指令被編 15碼時（Step105之Yes)，則管理資訊編碼部105再次將開 放忒不4要之纪憶體之領域之指令作為記憶體管理資訊來 鲁 編碼（Stepl〇6)·，結束處理。 如此，若藉編碼最新之影像而將開放不需要之記憶體 (η己憶體管理資訊之）指令編碼，則記憶體管理資訊之指 7會再次被編碼。隨著眼前之影像之編碼而被編碼之記憶 體管理資訊、與再度編碼之記憶體管理資訊各自從影像編 碼裝置輸出，傳送到影像解碼裝置而被解碼。 又’開放不需要之記憶體領域之指令隨著Stepl〇5中 最新被編碼之影像之編碼訊號而被編碼時，則將指令再度 27 200412152 玖、發明說明 編碼，但亦可不隨附於最新影像，而也可隨附於數個影像 前之影像，更可重複將上述指令作為記憶體管理資訊來編 碼，隨附於多數影像來傳送。 又，只要可將開放上述不需要之記憶體領域之指令作 5 為記憶體管理資訊來多數次傳送即可，將該指令再次編碼 來傳送時，未必一定要隨附於影像之編碼訊號來傳送。 又，再傳送記憶體管理資訊之指令時，該再傳送之指 令並非與被編碼之圖像相同流，例如亦可使之作為其他流 來傳送，記錄於儲存媒體之其他領域。 10 如上所述，藉由多數次傳送開放不需要之記憶體領域 (記憶體管理資訊之）指令，則即使傳送路錯誤發生，但 多數次傳送之指令中其中一者會被傳送並解碼，因此可提 高使影像正確復原之可能性。 (實施型態2) 15 接著說明有關本發明之實施型態2。 第7圖是用以實現實施型態2中之影像解碼方法之影 像解碼裝置之方塊圖。 影像解碼裝置200係由：記憶體資訊控制部201、短 時間保存記憶體管理部202、長時間保存記憶體管理部203 20 、管理資訊解碼部205、保存領域指定部207、參照領域指 定部208、影像記憶體209、影像解碼部210、可變長度解 碼部212等構成。 記憶體資訊控制部201藉圖像類型資訊PicType，對編 碼對象判斷前方及後方之任一者或兩方之影像是否可參照 28 200412152 玖、發明說明 ，對參照領域指定部208下指令，從影像記憶體209將對 應之參照影像輸出到影像解碼部210。 . ， 可變長度解碼部212將編碼流VideoStr解碼，影像解 碼部210更將之解碼，作為解碼影像訊號Vout輸出，同時 5 作為參照影像儲存於影像記憶體209。 這時，位於影像記憶體209内之解碼影像之可儲存之 記憶體位置如下所述地受指定。記憶體資訊控制部201詢 問短時間保存記憶體管理部202，特定出影像遭除去之記 0 憶體位置，保存領域指定部207對影像記憶體209輸出指 10 示以於該記憶體位置記錄解碼影像。 管理資訊解碼部205將記憶體管理資訊流CtlStr解碼 ，通過記憶體資訊控制部201，將短時間保存記憶體内之 不需要（不被參照）之影像之資訊通知短時間保存記憶體 管理部202，並將短時間保存記憶體内之影像移動到長時 15 間保存記憶體之指令通知長時間保存記憶體管理部203。 接著，說明有關本發明之實施型態2中之影像解碼方 ® 法。第8圖是顯示實施型態2中之影像解碼方法之流程圖 ，顯示出第7圖中所示之影像解碼裝置200所進行之動作 。又，第8圖中，與第2 (b)圖動作相同者則賦予相同標 20 號。 影像編碼裝置多數次傳送開放不需要之記憶體領域之 指令時，只要指令不因傳送路錯誤而消失，影像解碼裝置 就會多數次接收到開放記憶體内之相同影像之領域之指令 。因此，即使影像解碼裝置接收到將已開放之記憶體領域 29 200412152 玖、發明說明 再次開放之指令，也不會當作錯誤而不進行處理，相反地 ，必須實現判斷為可正確接收之影像解碼方法。本實施型 態中，實現了這種影像解碼方法。 第8圖中，首先，管理資訊解碼部2〇5解碼記憶體管 5理資til (StepllO)。接著，依據解碼訊號來解碼影像訊號 (Steplll)。然後，記憶體資訊控制部2〇1判定已解碼之 記憶體管理資訊中是否有開放記憶體之指令（Stepll2 )。 若有開放記憶體領域之指令（Stepl 12之Yes )，則判定是 馨 否有依该指令應除去之影像或是否已開放完成（除去完成） 10 (Stepll3)，若記憶體已開放完成（StepU3之如），則不 進行任何處理而結束，若非如此則開放記憶體（StepU4) 而結束處理。 另一方面，若沒有記憶體開放指令（Stepll2之N〇)， 則不進行StepllO及Steplll之動作而結束處理。又， 15 StepllO及Steplll之順序可不同，彼此調換亦可。 藉以上動作，即使將實施型態1之影像編碼方法中， · 開放記憶體内之相同影像之領域之指令多數次編碼傳送， 影像解碼裝置200多數次接收到該指令，也不會作為錯誤 來處理，因此可實現可正確解碼之影像解碼方法。 1〇 又’只要可將開放上述不需要之記憶體領域之指令作 為記憶體管理資訊來多數次傳送即可，將該指令再次編碼 來傳送時，未必一定要隨附於影像之編碼訊號來傳送。 又，再傳送記憶體管理資訊之指令時，該再傳送之指 令並非與被編碼之圖像相同流，例如亦可使之作為其他流 30 200412152 玖、發明說明 來傳送，記錄於儲存媒體之其他領域。 (實施型態3) 接著，說明關於在實施型態3中之影像編碼方法。第 9圖是顯示實施型態3中之影像編碼方法之流程圖，顯示 5影像編碼裝置100所進行之動作。第9圖中，與第3 ( a) 圖動作相同者則，賦予相同標號。 本實施型態之特徵在於，當記憶體内有應從短時間保 存記憶體移動到長時間保存記憶體之影像時，則將移動該 影像之記憶體管理資訊之指令重複編碼。藉由重複編碼記 1〇憶體管理資訊之指令，即使單側之記憶體管理資訊之指令 因傳送路錯誤而消失，仍可依據另一側之記憶體管理資訊 之指令來使保存於記憶體内之影像管理資訊復原，因此即 使有傳送路錯誤，正確復原影像之可能性仍很高。 第9圖中，首先編碼輸入影像（Stepl2〇)。編碼後， 15調查是否有應移動到長時間保存記憶體之影像（SteP121) 然後，记憶體資訊控制部1〇1判定是否有移動到長時間 保存兒憶體之影像（Stepl22 )。若有應移動之影像（ Stepl22之Yes)，則管理資訊編碼部1〇5將顯示如何移動 到長時間保存記憶體之指令作為記憶體管理 資訊來編碼（

Stepl23 )。然後’如該指令所示地將圖像移動到長時間保 存記憶體（Step.124)。 接著’記憶體資訊控制部1〇1判定是否將隨著最新編 碼之影像（早於編碼對象之影像）之編碼訊號而移動到長 時間保存記憶體之指令作為記憶體管理資訊來編碼（ 31 200412152 玖、發明說明

Stepl25),若未編碼（stepl25之No)則結束處理，若已 編碼（Stepl25之Yes)，則管理資訊編碼部1〇5將該移動 到長時間保存記憶體之指令再度作為記憶體管理資訊而編 碼（Stepl26)，結束處理。 5 如此，一旦移動到長時間保存記憶體（記憶體管理資 訊）之指令藉最新之影像之編碼而被編碼，則記憶體管理 f訊之指令會再度被編碼。隨著最新之影像之編碼而被編 碼之圯憶體管理資訊、與再度被編碼之記憶體管理資訊， 各自藉影像編碼裝置輸出，傳送到影像解碼裝置而被解碼 10 〇 又，在stepl25中，當隨著最新編碼之影像之編碼訊 號而移動到長時間保存記憶體之指令被編碼時，會再度將 指令編碼’不過亦可不隨著最新影像，而是隨著數影：前 之影像，更可重複將上述指令作為記憶體管理資訊來編碼 15 ’使之隨附於多數影像。 又’只要可將上述移動到長時間保存記憶體之指令作 為記憶體管理實訊來多數次傳送即可，在再度編碼該指令 並傳送時ϋ要使之隨㈣像之編钱號來傳送。 又，再次傳送記憶體管理資訊之指令時，該再傳送之 2〇指令未必位於與已被編碼之圖像相同流，例如可作為其他 流來傳送，亦可記錄於儲存媒體之其他領域。 、 如上述做法，藉由多數次編碼並傳送將影像移動到長 時間保存記憶體之指令，則即使發生傳送路錯誤，多數次 傳送之指令當中任-者仍能被傳送並解碼，故使影像正^ 32 玖、發明說明 復原之可能性很高。 (實施型態4) 接著’說明有關實施型態4之影像解碼方法。 影像編碼裝置多數次傳送移動到長時間保存記憶體之 才曰7時’只要指令不因傳送路錯誤而消失，影像解碼裝置 即可多數次接收將短時間保存記憶體内之相同影像之領域 移動到長時間保存記憶體之指令。因此，即使影像解碼裝 置接收到將已移動之影像再度移動之指令也不會視之為錯 誤而不處理，相反地必須實現判斷為可正確接收之影像解 忉碼方法。本實施型態中之影像解碼方法之特徵即是實現這 種圖像解碼方法者。 第10圖是顯示實施型態4中之影像解碼方法之流程圖 ，顯示第7圖所示之影像解碼裝置2〇〇之動作。第1〇圖中 與第3 (b)圖動作相同者則賦予相同標號。 第ίο圖中，首先，管理資訊解碼部2〇5解碼記憶體管 理資訊（Stepl30)。接著，依據編碼訊號來解碼影像訊號 (Stepl31)〇 接下來，記憶體資訊控制部2〇1判定已解碼之記憶體 管理資訊中是否有移動影像到長時間保存記憶體中之指令 2〇 ( SteP132 )。若有移動到長時間保存記憶體之指令（ Stepl32之Yes.),則判定是否有依該指令應移動之影像、 或疋否已移動完成（由於移動後已除去故影像不存在）（ Stepl33)，右已移動到長時間保存記憶體（之 )則不做任何處理而結束，若非如此，則移動到長時間保 33 200412152 玖、發明說明 存記憶體（Step 134 )，結束處理。 另一方面，若無移動到長時間保存記憶體之指令（ SteP132之No)，則不進行stepl33及&邛134之動作，結 束處理。又，SteP130與Stepl31亦可順序不同，位置對調 5 〇 藉以上之動作，實施型態3之影像編碼方法中，即使 多數次編碼並傳送移動影像到長時間保存記憶體之指令， 仍可實現可正確解碼之影像解碼方法。 又，只要可將上述移動到長時間保存記憶體之指令作 H)為記憶體管理資訊來多數次傳送即可，在再度編碼該指令 並傳送時’不要使之隨著影像之編碼訊號來傳送。 又，再次傳送記憶體管理資訊之指令時，該再傳送之 指令未必位於與已被編碼之圖像相同流，例如可作為其他 流來傳送，亦可記錄於儲存媒體之其他領域。 15 (實施型態5) 接著，說明有關本實施型態中之影像編碼方法。第u 圖是顯示實施型態5中之影像編瑪方法之流程圖，顯示第 5圖所不之影像解碼裝置100之動作。帛^圖中與第6 圖動作相同者則賦予相同標號。 〇 帛U目所示之本實施型態之特徵在於，當記憶體内存 在有不需要之影像時，則重複編碼除去該影像之記憶體管 凝Λ之扣々，並至少一次隨著保存於記憶體之重要晝面 來傳送即使重複編碼記憶體管理資訊之指令，但隨著重 要度不高之影像來傳送記憶體管理資訊之指♦，則在重要 34 200412152 坎、發明說明 度不鬲之影像未全部解碼時，就無法取得記憶體管理資訊 之指令。 例如’在第1 (a)圖中，圖像編號4之影像在編碼圖 像編號5之影像後就變得不需要，因此可將開放圖像編號 4之影像之記憶體領域之指令，隨著圖像編號5之影像來 編碼。 然而，將開放該圖像編號4之記憶體領域之指令隨著 圖像編號5之影像編碼以外，也隨著圖像編號7之影像編 · 碼，則上述指令變成皆隨著重要度低（即使未解碼也很少 1〇畫質降低）之Β圖像來編碼。這些Β圖像有可能無法解碼 ’因此開放圖像編號4之影像之記憶體領域之指令也變得 無法解碼，記憶體内之管理資訊就無法正確再現。因此， 必須至少1次將開放影像領域之指令隨著重要度高、一定 會被解碼、且保存於記憶體之影像來編碼。 15 第11圖中，首先，將輸入之輸入影像編碼（SteplOO) 。編碼後調查記憶體内不需要的領域（在今後之編碼中不 · 會被參考之影像）（SteplOl )，判定是否有不需要的記憶體 領域（Stepl02 )。當判定有不需要的記憶體領域時（

Stepl〇2之Yes)，則管理資訊編碼部1〇5將開放不需要之 2〇 記憶體領域之指令作為記憶體管理資訊而編碼（Stepl03) 。接著，開放該不需要之記憶體領域（Stepl04)。若沒有 不需要之記憶體領域時（Stepl02之No )，則不進行 Stepl03 及 Stepl04 之動作。 接著，記憶體資訊控制部101判定過去已解碼之開放 35 200412152 玖、發明說明 不需要之記憶體領域之指令是否隨著重要影像（解碼並保 存於記憶體）編碼（Stepl40 )，若已隨著重要影像編碼（ Stepl40之Yes)，則結束處理，若未隨著重要影像編碼（ Stepl40之No)，則管理資訊編碼部105將該開放不需要之 5 記憶體領域之指令再度作為記憶體管理資訊來編碼（ Step 141)，而完成處理。 藉此，開放不需要之記憶體領域之指令即隨著重要影 像而編碼。 如上所述，由於上述指令隨附於已編碼並保存於記憶 10 體之重要影像，故上述指令會被解碼，則傳送路錯誤發生 之際，仍可提高使影像正確復原之可能性。 又，只要可將上述開放不需要之記憶體領域之指令作 為記憶體管理資訊來多數次傳送即可，在再度編碼該指令 並傳送時，不一定要使之隨著影像之編碼訊號來傳送。 15 又，再傳送記憶體管理資訊之指令時，該再傳送之指 令並非與被編碼之圖像相同流，例如亦可使之作為其他流 來傳送，記錄於儲存媒體之其他領域。 (實施型態6) 接著，說明有關本實施型態之影像編碼方法。第12圖 20 是顯示實施型態6中之影像編碼方法之流程圖。第12圖顯 示出第5圖所示之影像編碼裝置100之動作。第12圖中， 與第9圖動作相同者則賦予相同標號。 第12圖所示之本實施型態之特徵在於，將移動影像到 長時間保存記憶體之記憶體管理資訊之指令重複編碼，並 36 200412152 玖、發明說明 至少1次隨著重要畫面（已解碼且保存於記憶體）來傳送 。即使將移動影像到長時間保存記憶體之記憶體管理資訊 之指令重複編碼，但若隨著重要度不高之影像傳送記憶體 管理資訊之指令，則當重要度不高之影像未全解碼時，會 5 無法取得記憶體管理資訊之指令。 第12圖中，首先編碼輸入影像（stepl20)。編碼後， 調查是否有應移動到長時間保存記憶體之影像（Stepl21 ) ’判定是否有應移動之影像（Stepl22)。 若有應移動之影像（Stepl22之Yes)，則管理資訊編 10碼部1〇5將顯示如何移動到長時間保存記憶體之指令作為 5己憶體管理資訊來編碼（step 123)，如該指令所示地將圖 像移動到長時間保存記憶體（Stepl24)。 接著，記憶體資訊控制部101判定過去已編碼之移動 到長時間保存記憶體之指令是否已隨著重要影像（已解碼 15並保存於$己憶體）被編碼（Step 150)，若已隨附於重要影 像（Stepl50之Yes)則結束處理，若未隨附於重要影像（ Stepl50之No)，則管理資訊編碼部1〇5將該移動到長時間 保存記憶體之指令再度作為記憶體管理資訊而編碼（ SteP151)，結束處理。 20 藉此，移動影像到長時間保存記憶體之指令即隨著重 要影像被編碼。. 如上述做法，由於上述指令隨附於已解碼並保存於記 憶體之重要影像，因此上述指令可被解碼，在發生傳送路 錯誤之際’使影像正確復原之可能性仍很高。 37 200412152 玖、發明說明 又，只要可將上述移動到長時間保存記憶體之指令作 為記憶體管理資訊來多數次傳送即可，在再度編碼該指令 並傳送時，不一定要使之隨著影像之編碼訊號來傳送。 又，再次傳送記憶體管理資訊之指令時，該再傳送之 5 指令未必位於與已被編碼之圖像相同流，例如可作為其他 流來傳送，亦可記錄於儲存媒體之其他領域。 (實施型態7) 說明關於在實施型態7中之影像編碼方法。 馨 本實施型態之特徵在於，因應影像之重要度來參考選 10出之參考影像進行編碼之影像編碼方法。 第13圖是顯示本發明之實施型態7之影像編碼方法之 流程圖。第13圖是顯示第5圖中所示之影像編碼裝置10〇 所進行之動作者。 第13圖中’首先設定編碼對象之各影像之重要度（ 15 Stepi60)。例如工圖像或p圖像之重要度高，b圖像之重 要度低。又，即使同樣是p圖像，為多數影像參考之p @ φ 像之重要度高，而不太被參考之P圖像重要度低。 ^接著，從記憶體内之參考影像選出重要度為編碼對象 同等以上之影像，作為參考影像之候補（Stepl61 )。 2〇 JxA κ ^ ，圖像可參考1圖像與P圖像，但P圖像把重要度 低之P圖像從參考影像之候補排除。 管=著’將顯示選出之參考影像之候補之資訊（記憶體 理貝5fi之—種）編瑪（Stepi62)，從選出之參考影像之 \補中U區塊單位參考適切之參考影像來編碼 (Stepl63 ) 38 200412152 玖、發明說明 。又，Stepl62與Stepl63順序可不同，調換亦可。 如此，在參考影像之候補中，不會加入重要度較編碼 對象影像之重要度低之影像。 如上所述，在參考影像之候補中，不加入重要度較編 5碼對象影像之重要度低之影像，藉此，在生成可實現延展 性之流時，可從參考影像中排除不可參考之影像，提高編 瑪效率。 在此，利用第14圖具體說明因應如上所述來設定之影 像之重要度所進行之影像編碼方法。 1〇 第14 ( a).圖是顯示賦予各框之編號（圖像（框）編 號）、各框保存於記憶體内時之編號（保存圖像（框）編號 )、與顯示各框傳送之順序之編號（傳送順序）之關係之說 明圖。 第14 (a)圖中，影像編號ϊ圖像由於不參考其他 15圖像，故保存於記憶體内，保存圖像編號為〇。接著，參 考圖像編號0之I圖像之圖像編號2之P圖像保存於記憶 體中，故關於圖像編號2之P圖像之保存圖像編號就變成 1。然後，由於參考圖像編號0之I圖像與圖像編號2之p 圖像之圖像編號1之B圖像保存於記憶體内，故圖像編號 20 1之B圖像之保存圖像編號變成2。各圖像之傳送順序為 保存於記憶體冬順序。圖像編號、保存圖像編號及傳送順 序關係以相同程序來決定。 接著’利用第14 (b)圖說明解碼（decode)之圖像 編號、保存於記憶體之圖像編號及被刪除之圖像編號之關 39 玖、發明說明 係之一例。 第14 〇〇圖是顯示解碼之圖像編號（框編號）、保存 之圖像編號（樞編號）與刪除之圖像編號（框編號）之關 係之關係圖。又，在此，使可保存於記憶體之圖像之最大 張數為5。記憶體中係依據傳送順序來保存圖像。 又，例如，圖像編號為4之P圖像被解碼時，由於圖 像編號為4之P圖像之保存圖像編號為3 ,故保存圖像編 號為0、1、2之圖像即保存於記憶體上。解碼之圖像編號 為3之B圖像被解碼時，如第14(b)圖所示，保存有圖 像編號為4，1，2，Q之圖像。在此，圖像編號丨之B圖像係如 第14 (a)圖所示，由於解碼圖像編號3之圖像後不能被 任何圖像所參考，故圖像編號3之圖像在被解碼時即刪除 〇 同樣的，解碼之圖像編號為5之B圖像被解碼時，如 第14 (b)圖所示，保存有圖像編號為6,3,4,2,0之圖像。 在此’圖像編號3之B圖像係在解碼圖像編號5之圖像後 不能被任何圖像參考，故圖像編號5之B圖像在被解碼時 即被刪除。 更’解碼之圖像編號為8之P圖像被解碼時，係如第 14 (b)圖所示，保存有圖像編號為5,6,4,2,0之圖像。在 此’由於記憶體中最大只能保存5個框，因此，為了於之 後參考圖像編號8之P圖像，必須刪除圖像編號5,6,4,2,0 任一者之圖像以確保記憶圖像編號8之P圖像之記憶體。 於是，在P圖像之解碼，亦即偶數編號之圖像編號之解碼 玖、發明說明 中，會在解碼圖像編號8之p圖像時，將時間上最舊之圖 像’在此即圖像編號為0之1圖像刪除作為第14 (b)圖 之刪除之框之選擇基準。 同樣的’在解碼之圖像編號為7之B圖像被解碼時， 如第14 (b)圖所示’保存有圖像編號為8,5,6,4,2之圖像 。在此，圖像編號5之B圖像係在解褐圖像編號7之B圖 像後即不被任何圖像參考，故在解碼圖像編號為7之B圖 像時即被删除。 更田解碼之圖像編號為之p圖像被解碼時，係如 第14(b)圖所示，保存了圖像編號為7,8，m，2之圖像。 在此，由於記憶體中最大只能保存5個框，因此，為了於 之後參考圖像編號1G t P圖像’必須刪除圖像編號 7,8,6,4,2,任一者之圖像以確保記憶圖像編號1〇之圖像之記 隱體於疋，在p圖像之解碼，亦即偶數編號之圖像編號 之圖像之解碼中，會在解碼圖像編號1〇之p圖像時，將時 間上最舊之圖像編號為2之圖像刪除作為第14 (b)圖之 刪除之框之選擇基準。 如此删除圖像之際，用以刪除圖像之記憶體管理資訊 之指令也被編碼而隨著被解碼之圖像之編碼來傳送。 上述第14 (b)圖所顯示之例中，是敘述有關記憶體 内存在有不需要之影像（圖像），而發送一次除去該影像之 呑己憶體管理資訊之指令之例子。如此，僅一次發送除去之 記憶體管理資訊之指令，則有可能無法執行隨著B圖像發 送之記憶體管理資訊之指令。這是由於B圖像要在p圖像 玖、發明說明 之編碼、解碼中作為參考圖像來使用之可能性很低，因此 在無法確保充分之記憶容量或傳送容量時，B圖像之數據 被優先放棄之可能性很高，結果，導致隨著B圖像發送之 記憶體管理資訊之指令可能無法執行。 5 為了解決這個問題，說明將除去影像之記憶體管理資 汛之指令重複編碼並傳送之例子。以下就第14(c)圖具 體說明之。 第14 (e)圖是顯示解碼之圖像編號（框編號）、保存 之圖像編號（框編號）與刪除之圖像編號（框編號）之另 10 一關係之關係圖。第14 ( c )圖中，係顯示把被刪除之圖 像編號之圖像刪除之指令隨附於解碼之圖像編號之圖像之 編碼訊號者。 如第14 (c)圖所示，圖像編號為3之B圖像被解碼 時，保存有圖像編號4，1，2,0之圖像。在此，圖像編號i之 15 B圖像係如第14 ( a)圖所示，在解碼圖像編號3之圖像 後即不被任何圖像參考。因此，在圖像編號為3之圖像被 解碼時，即删除圖像編號1之B圖像，而用以消除之記憶 體管理資訊之指令隨附於圖像編號3之圖像。 然而，由於圖像編號3之圖像為B圖像，故如前所述 20 ，在影像之再現這點上，相較於I圖像或P圖像其重要度 較低，發送之際數據容易被放棄，故隨著圖像編號3之B 圖像傳送之記憶體管理資訊之指令很可能無法執行（如第 25圖所示保存有框之情況）。 因此，使顯示出刪除隨附於圖像編號3之圖像編號1 42 200412152 玖、發明說明 之圖像之記憶體管理資訊之指令，隨附於接著解碼之在圖 像之再現這點上相較於圖像編號3之B圖像重要度高之圖 像編號6之P圖像（參考第14 (c)圖）。 同樣的，使隨附於圖像編號5之B圖像之記憶體管理 5 資訊之指令（顯示刪除圖像編號3之圖像）也隨附於圖像 編號8之P圖像，使隨附於圖像編號7之B圖像之記憶體 管理資訊之指令（顯示刪除圖像編號5之圖像）也隨附於 圖像編號10之P圖像。又，由於圖像編號8之圖像為P · 圖像，故如第14 (c)圖所示，雖未使隨附於圖像編號8 10 之圖像之記憶體管理資訊之指令隨附於圖像編號7之B圖 像，不過亦可使之噠附。 以上’如第14 (c)圖所示，使最初隨附於B圖像之 記憶體管理資訊之指令相同之記憶體管理資訊之指令重複 隨附於在影像之再現這點上重要度較B圖像高之圖像且保 15 存或傳送晚於記憶體管理資訊之指令最初隨附之B圖像之 圖像。藉此，即使欠缺記憶體管理資訊之指令最初隨附之 · B圖像’仍可正常執行記憶體管理資訊之指令。 又’如利用第14 ( c )圖說明的，即使已使記憶體管 理資訊之指令隨附於B圖像，又重複使記憶體管理資訊之 20指令隨附於p圖像時，這種情況即利用已設定之重要度。 又’重要度之設定並不限定於本實施型態所顯示者。 又’本實施型態中，因應各影像之重要度，決定是否 要發送各影像’並非使各影像中之重要度如上述實施型態 所不之記憶體管理資訊般隨附於各影像來編碼。因此，本 43 200412152 玖、發明說明 實施型態中，已編碼之數據之解碼處理與習知方法相同。 (實施型態8) 接著，說明·有關實施型態8。 本實施型態之特徵係多數次編碼並傳送刪除記憶體内 5 之全影像（圖像）、進行記憶體領域之初期化（記憶體管理 資訊）之指令。 上述各實施型態中所示之記憶體管理資訊係作為如第 15圖所示之編碼資訊來賦予。 第15圖是顯示記憶體管理資訊之指令之對應圖，顯示 10 編碼編號（Code )、指令内容（指令）與該附加資訊（附 加資訊）。 例如，開放短時間保存記憶體之不需要之領域之指令 (短時間保存記憶體開放）係作為編碼資訊Codel來賦予 ，開放之圖像編號（框編號）係作為附加資訊被賦予。 15 又，編碼資訊係作為第17圖所示之各框之標頭資訊被 賦予。 第17圖是顯示在各影像之編碼訊號之標頭資訊與框數 據之關係之模式圖。第17圖中，各編碼訊號顯示後述之框 Frml2、Frmll、Frml4之編碼訊號。各編碼訊號具備了具 20 有標頭資訊之框標頭及關於影像編碼之框數據。例如，框 Frml2之編碼訊號具備了框標頭Fnnl2Hdr與由各數據 MB12a，MB12b，MB12c，MB12d 等形成之框數據。 該編碼訊號之詳細内容顯示於第18圖之模式圖。 第18圖是顯示在編碼訊號之標頭資訊中之記憶體管理 44 200412152 玖、發明說明 資訊之指令之模式圖。 如第18圖所示，框FrmA之編碼訊號具備了具有標頭 資訊之框標頭FrmAHdr、及由各數據MBa，MBb，MBc，MBd 等形成之框數據。然後，繼指令之編碼資訊CodeA之後編 5 碼資訊CodeA之附加資訊AddA，接著應緊接在編碼資訊 CodeA之指令之後執行之指令之編碼資訊CodeB、編碼資 訊CodeB之附力σ資訊AddB附加於框標頭FrmAHdr。若無 附加資訊則如編碼資訊CodeC般僅附加編碼資訊。 接著，於第16圖顯示指令執行之程序。 10 第16圖是顯示指令實行程序之流程圖。 第16圖中，首先取得指令（StepCO)，判定指令之取 得是否已結束（StepCl)。若指令之取得未結束，而已取得 指令（StepCl之No )，則進行已取得之指令之執行（ StepC2)，回到.StepCO重複該動作。另一方面，若指令之 15 取得已結束而未取得指令（StepCl之Yes)，則結束指令執 行之處理。該手續於每個框進行。又，即使指令資訊是以 由多數巨區塊形成之片段單位來發送時，指令也以同上之 程序來執行。 又，上述實施型態1中說明了有關除去不需要之影像 20 (開放記憶體）之記憶體管理資訊之指令。更，實施型態 1中顯示，藉由將除去不需要之影像之記憶體管理資訊之 指令重複編碼，則即使單方之記憶體管理資訊之指令因傳 送路錯誤而消失，仍可依據另一方之記憶體管理資訊之指 令來將保存於記憶體内之影像之管理資訊復原，使得可正 45 200412152 玖、發明說明 確復原影像之可能性提高。 在此，就第15圖所示之編碼資訊中，除去記憶體内所 有資訊之初期化指令C〇de5進行檢討。 初期化指令Code5只傳送一次時，若該初期化指令 5 Code5因傳送路錯誤而消失，則會對本來初期化後所進行 之δ己憶體管理等之處理造成影響。因此，利用第丨9圖來說 明與實施型態1同樣地將初期化指令code5重複編碼並傳 送之情況。 第19圖是顯示賦予各框之編號（圖像（框）編號）、 10各框保存於記憶體内時之編號（保存圖像（框）編號）、及 各框傳送之順序（傳送順序）之關係之說明圖。 以下，具體說明第19圖。首先，影像編號oij圖像 由於不參考其他圖像，故保存於記憶體内，保存圖像編號 為〇。接著，參.考圖像編號〇之j圖像之圖像編號2之p 15圖像保存於記憶體中，故關於圖像編號2之P圖像之保存 圖像編號就變成1。然後，由於參考圖像編號〇之j圖像 與圖像編號2之P圖像之圖像編號丨之B圖像保存於記憶 體内，故圖像編號1之B圖像之保存圖像編號變成2。各 圖像之傳送順序為保存於記憶體之順序。圖像編號、保存 20圖像編號及傳送順序之關係以相同程序來決定。 在編碼第19圖所示之圖像編號12之j圖像時，發送 第15圖所示之初期化指令code5。由於圖像編號12之I 圖像之保存圖像編號為11，故藉該初期化指令，可 從記憶體内將保存圖像編號為1〇以下之圖像全部除去。 46 200412152 玖、發明說明 在此，利用第20圖說明編碼初期化指令Code5之方 法。 第20圖是顯示編碼初期化指令Code5之方法之流程 圖，顯示出第5圖所示之影像編碼裝置100所進行之動作 5 〇 首先，將輸入影像編碼（StepAO)。編碼後調查記憶體 内所有可參考圖像是否需要（今後之編碼中是否任一影像 皆不被參考）（初期化調查）（StepAl )，判定儲存於記憶之 圖像今後是否不被參照而可初期化（StepA2)。 10 若可初期化（StepA2之Yes)，則使將記憶體領域初期 化之初期化指令Code5作為記憶體管理資訊來編碼（ StepA3 )，進行初期化（StepA4 )，結束處理。另一方面， 若沒有初期化之必要時（StepA2之No )，則不進行StepA3 及StepA4之動作，結束處理。 15 接著利用第21圖說明有關將已編碼之初期化指令

Code5解碼之方法。 第21圖是顯示將已編碼之初期化指令Code5解碼之 方法之流程圖，顯示出第7圖所示之影像編碼裝置200所 進行之動作。 20 首先，將記憶體管理資訊解碼（StepAlO)，依據編碼 訊號來解碼影像訊號（StepAll )。接著，判定已解碼之記 憶體管理資訊是否有初期化指令Code5 (StepA12)，若有 初期化指令Code5 (StepA12之Yes)，則將記憶於記憶體 内之圖像全部除去並初期化（StepA13)，結束處理。但， 47 200412152 玖、發明說明 這時，不除去已解碼之影像（在StepAll中）。 另一方面，若記憶體管理資訊中沒有初期化指令 Code5 ( StepA12之No )，則結束處理。 以下，利用第19圖具體說明關於進行記憶體初期化之 5 方法。第19圖所示之圖像編號π之b圖像中，賦予了與 賦予圖像編號12之I圖像之初期化指令c〇de5相同之初期 化指令Code5。 依第17圖所示，則框Frml2 (圖像編號12)之框標 10 15 頭Frml2Hdr、與框Frmll (圖像編號n )之框標頭 FrmllHdr皆被賦予了初期化指令code5。初期化指令 Code5係如第15圖所示不具有附加資訊，故在被解碼之時 ’即將保存於記憶體内之圖像全部除去。 因此，若賦予圖像編號12 (保存圖像編號之j圖 像之初期化指令Code5因傳送路錯誤而消失，而執行賦予 圖像編號H (保存圖像編號12) U圖像之初期化指令 Code5，則保存圖像編號^之前所解碼之圖像中，所有保 存於記憶體之圖像全被料。亦即，連本來不能除去之圖 像編號12 (保存圖像編號u)之j圖像也被除去。 如此，將與賦予圖像編號U之！圖像之初期化指令 ㈤以相同之初期化指令Code5賦予圖像編號i!之B圖像 時，就變成欠缺了1張圖像（圖像編號12之I圖像）。另 -方面’將與賦予圖像編號12(保存圖像編號⑴之⑼ 像之初期化指令⑽相同之初期化指令C〇de5賦予圖像 編號14 (保存圖像編號13)之P圖像，若賦予圖像編號 48 20 200412152 玖、發明說明 12之I圖像之初期化指令Code5因傳送路錯誤而消失，而 執行賦予圖像編號14之P圖像之初期化指令Code5，則變 成欠缺2張圖像（圖像編號11之B圖像與圖像編號12之 I圖像）。 5 又，若將初期化指令Code5重複編碼，最初傳送之初 期化指令Code5與後續傳送之初期化指令Code5都未發生 傳送路錯誤而被執行時，也會發生與上述相同之問題。這 是因為記憶體藉最初傳送之初期化指令Code5被初期化， 更藉後續送到之初期化指令Code5而再度被初期化。 10 接著說明為了解決這種記憶體之初期化中之問題之方 法。 第22圖是顯示用以解決記憶體之初期化中之問體之記 憶體管理資訊之指令。 與第15圖不同之處是，第22圖中新追加了初期化再 15 送指令Code6這一點。又，該初期化再送指令Code6具有 初期化圖像（框）編號（將記憶體領域初期化之初期化指 令Code5所隨附之框之編號）作為附加資訊。 以下，利用第23圖說明有關使用該初期化再送指令 Code6之影像編碼之處理流程。 20 第23圖是顯示使用初期化再送指令Code6之影像編 碼方法之流程圖，顯示出第5圖所示之影像編碼裝置100 所進行之動作。第23圖中，與第20圖相同動作者則賦予 相同標號。 首先，將輸入影像編碼（StepAO)。編碼後調查記憶體 49 200412152 玖、發明說明 内所有圖像是否需要（今後之編碼中是否任一影像皆不被 參考）（初期化調查）（StepAl)。記憶體資訊控制101判定 是否需要初期化（StepA2 )，若有初期化之必要（StepA2 之Yes)，則管理資訊編碼部105使將記憶體領域初期化之 5 初期化指令Code5作為記憶體管理資訊而編碼（StepA3) ，進行初期化（StepA4 )。若無初期化之必要時（StepA2 之No)則不進行StepA3及StepA4之動作。 接著，記憶體資訊控制部101判定將記憶體領域初期 化之初期化指令Code5是否已作為記憶體管理資訊而隨著 10 最新編碼之影像（早於編碼對象之影像）之編碼訊號來編 碼（StepA30 )，若已編碼（StepA30之Yes )，則管理資訊 編碼部105會使該將記憶體領域初期化之初期化再送指令 Code6作為記憶體管理資訊來編碼（StepA31)，而結束處 理。 15 又，若是將記憶體領域初期化之初期化指令Code5並 未作為記憶體管理資訊隨著最新編碼之影像（早於編碼對 象之影像）之編碼訊號而編碼（StepA30之No)，則結束 處理。 又，第23圖所示之方法中，係當將記憶體領域初期化 20 之初期化指令Code5隨著最新編碼之影像之編碼訊號而被 編碼，則編碼初期化再送指令Code6，不過，當將記憶體 領域初期化之初期化指令Code5不是隨著最新之影像，而 是隨著數影像前已編碼之影像被編碼時，亦可編碼初期化 再送指令Code6，又，亦可使將記憶體領域初期化之初期 50 200412152 玖、發明說明 化再送指令Code6作為記憶體管理資訊而隨著多數影像重 複編碼。 具體而言，.係如第19圖所示，將初期化指令c〇de5 隨著圖像編號12之I圖像之編碼來編碼時，亦可隨著圖像 5編號11之B圖像之編碼來將初期化再送指令c〇de6編碼

，又，亦可將初期化再送指令c〇de6隨著圖像編號14之P 圖像之編碼來編碼。 前者之情況，若以第17圖顯示，則係將初期化指令 Code5賦予框Frml2之框標頭Frml2Hdr，更將初期化再送 10指令c〇de6賦予框Frmll之框標頭FrmllHdr，又，後者 之情況，係將初期化指令C〇de5賦予框Frml2之框標頭 FrmUHdr，而將初期化再送指令c〇de6賦予框Frml4之框 標頭 Frml4Hdr。 更可在將初期化再送指令c〇de6隨著圖像編號^之b 15圖像之編碼之同時，亦使初期化再送指令Code6隨著圖像 編號14之P圖像之編碼而編碼。這種情況以第17圖顯示 ，則變成將初期化指令C〇de5賦予框Frml2之框標頭 Frml2Hdr，而將初期化再送指令c〇de6賦予框FrmU之框 標頭FrmllHdr與框FrmU之框標頭F〇nl4Hdr。 2〇 接著，利用第24圖說明要將編碼上述初期化再送指令

Code6之數據解碼時之處理。第24圖是顯示將已編碼之初 期化再送指令Code6解碼之方法之流程圖，顯示出第7圖 所不之影像解碼裝置200之動作。第24圖中與第21圖相 同動作則賦予相同標號。 51 200412152 玖、發明說明 首先，管理資訊解碼部205將記憶體管理資訊解碼（ StepAlO)。接著，依據編碼訊號來解碼影像訊號（StepAll )° 判定已解碼之記憶體管理資訊中是否有初期化指令 5 Code5 ( StepA12)，若有初期化指令 Code5 ( StepA12 之 Yes )，則除去記憶體内所有圖像並初期化（StepA13 )，若 無初期化指令C.ode5 ( StepA12之No)，則不進行初期化。 接著，記憶體資訊控制部101判定記憶體管理資訊中 是否有初期化再送指令Code6 ( StepA40)。若無初期化再 10 送指令Code6 ( StepA40之No)，則結束處理，若有初期化 再送指令Code6 ( StepA40之Yes )，則調查初期化是否已 完成（StepA41)。若初期化已完成（StepA41之Yes)則結 束處理，若尚未初期化（StepA41之No )，則依據初期化 再送指令Code6之附加資訊，刪除初期化框（將記憶體領 15 域初期化之初期化指令Code5所隨附之框）以前之保存框 (初期化框之編碼當時儲存於參考用影像記憶體之框），更 將長時間保存記憶體大小設為0 ( StepA42 )而結束處理。 又，不使用長時間保存框時，則沒必要將長時間保存記憶 體大小設為0。 20 因此，將初期化指令Code5隨著第19圖所示之圖像 編號12之圖像編碼、且將初期化再送指令Code6隨著圖 像編號14而編碼時，若初期化指令Code5未因傳送路錯 誤而消失，則藉著初期化指令Code5將保存圖像編號為10 以下之圖像且保存於記憶體之圖像全部删除，若初期化指 52 200412152 玖、發明說明 令Code5因傳送路錯誤而消失，則藉著初期化再送指令 Code6將保存圖像編號為10以下之圖像且保存於記憶體之 圖像全部刪除。 如此，將初期化指令Code5重複編碼傳送之際，第2 5 次以後，由於將附加資訊即附加於初期化圖像編號之初期 化再送指令Code6編碼並傳送，故依據該附加資訊，刪除 初期化框以前之保存框（最初初期化指令Code5所隨附之 初期化框在編碼時儲存於參考用影像記憶體之框）。因此， 可解決如上述之欠缺必要之影像（圖像）之問題。 10 又，即使如第25圖，保存圖像編號之賦予方法與第 19圖不同之情況，上述所說明之初期化再送指令Code6仍 有效。 以下具體說明。 第25圖是顯示在賦予各框之編號（圖像（框）編號） 15 、各框保存於記憶體内時之編號（保存圖像（框）編號） 與顯示各框傳送之順序之編號（傳送順序）上其他關係之 說明圖。 說明關於這些編號之賦予方法。首先，圖像編號0之 I圖像由於不參考其他圖像，故保存於記憶體内，保存圖 20 像編號為0。接著，參考圖像編號0之I圖像之圖像編號2 之P圖像保存於記憶體中，故關於圖像編號2之P圖像之 保存圖像編號就變成1。然後，參考圖像編號0之I圖像 與圖像編號2之P圖像之圖像編號1之B圖像雖保存於記 憶體内，但該B圖像不被其他圖像所參考，故保存圖像編 53 200412152 玖、發明說明 號係與最新保存之圖像編號2之P圖像之保存圖像編號同 樣變成1。各圖像之傳送順序為保存於記憶體之順序。圖 像編號、保存圖像編號及傳送順序關係以相同程序來決定 〇 5 如第25圖所示，在編碼圖像編號12之I圖像時，隨 附了第15圖所示之初期化指令Code5而傳送。由於圖像 編號12之I圖像之保存圖像編號為6，故藉該初期化指令 Code5,保存圖像編號在5以下之圖像可自記憶體内全部 除去。 10 在此，說明重複編碼初期化指令Code5之情況，具體 而言，是對圖像編號14之P圖像賦予一與賦予圖像編號 12之I圖像之初期化指令Code5同一初期化指令Code5時 之情況。 初期化指令Code5係如第15圖所示，由於沒有附加 15 資訊，故在被解碼之時即除去所有保存於參考用記憶體内 之圖像。因此，若賦予圖像編號12 (保存圖像編號6)之 I圖像之初期化指令Code5因傳送路錯誤而消失，而執行 賦予圖像編號14 (保存圖像編號7)之P圖像之初期化指 令Code5，則保存圖像編號6以下之圖像且保存於記憶體 20 之圖像會全部遭除去。亦即，連本來不可被除去之圖像編 號12 (保存圖像編號6)之I圖像也遭到除去。 然而，藉由使上述初期化再送指令Code6取代初期化 指令Code5隨附於圖像編號14之P圖像，則當隨附於圖 像編號12之I圖像之初期化指令Code5未因傳送路錯誤而 54 200412152 玖、發明說明 消失時，則是藉初期化指令Code5將保存圖像編號為5以 下之圖像且保存於記憶體内之圖像全部刪除，而若初期化 指令Code5因傳送路錯誤而消失時，則藉隨附於圖像編號 14之P圖像之初期化再送指令Code6，將保存圖像編號為 5 5以下之圖像且保存於記憶體内之圖像全部刪除。 亦即，由於對初期化再送指令Code6附加初期化框（ 這時為圖像編號12)編號作為附加資訊，因此初期化框以 前之保存框（保存初期化框時儲存於參考用影像記憶體之 保存圖像編號在5以下之保存框）會被刪除。 10 如上所述，藉著具有附加資訊之初期化再送指令

Code6，即使初期化指令Code5因傳送路錯誤而欠缺，可 正常執行初期化之可能性仍很高。又，本實施型態中所示 之初期化再送指令中，亦可使將附加資訊作為隨附有初期 化再送指令之圖像編號者作為初期化指令代用，以1個指 15 令實現第22圖所示之Code5與Code6。這是因為在為了初 期化資訊之再送而進行初期化再送時，由於指定初期化指 令所隨附之框編號，故再送該框之圖像編號不會用到。這 時，亦可使初期化指令Code5無效。 又，如此以1指令實現上述實施型態所示之初期化再 20 送指令與初期化指令Code5時，，亦可以具有上述實施型 態中所示之初期化再送指令中不使用之特別值作為附加資 訊之初期化再送指令，作為與最初發送之初期化指令 Code5具有相同機能之指令。 又，如上述各實施型態中所說明的，當再度傳送開放 55 412152 玖、發明說明 ，之記憶體領域之指令或初期化指令等之記憶體管理 資訊時，如帛17圖及帛18 0所示地，亦可不含在附加於 關於影像之編號之框數據之標頭資訊中，而是記憶體管理 資訊所含之標頭資訊與框數據個別分離來傳送。亦即，可 5使再送之上述指令不與被編碼之圖像相同流，而是例如作 為其他流來傳送。又，亦可記錄於儲存媒體之其他領域。 進一步，本實施型態中，再送初期化指令時是於初期 化再送才日令中附加初期化指令最初隨附之圖像之圖像編號 (初期化框編號）作為附加資訊，不過當然亦可在上述各 10實施型態中所示的，在再送指定顯示開放之記憶體領域之 指令、或從短時間保存記憶體移動到長時間保存記憶體之 對象之圖像之指令等之記憶體管理資訊之指令時，包含該 扣令最初隨附而傳送之編碼對象圖像之圖像編號（將圖像 特定之資訊）作為參數來傳送。藉由如此做，則傳送該圖 15 像時可檢查出是否發生傳送錯誤。 (實施型態9) 接著，說明有關實施型態9中之影像編碼方法及影像 解碼方法。 本實施型態之特徵是在於當多數次傳送記憶體管理資 20訊時，變更依據第2次以後傳送之記憶體管理資訊之處理 時機。 將重複編碼上述實施型態中所示之記憶體管理資訊之 數據解碼時，進行重複發送之記憶體管理資訊之處理前， 一定會將隨附有記憶體管理資訊之影像訊號解碼。就實施 56 200412152 玖、發明說明 型態2中說明之多數次傳送開放不需要之記憶體領域之指 令之情況，利用第19圖再度說明以作為具體例。 使第22圖所示之Codel之指令隨附於第19圖所示之 圖像編號12之圖像並編碼，更使Codel之指令也隨附於 5 圖像編號11之圖像並編碼。這時，解碼是依據第8圖而成 首先，將隨,附於圖像編號12之圖像之Codel解碼（ StepllO)。接著解碼圖像編號12之圖像（Steplll)。在此 ，若本來應隨附於圖像編號12之圖像之Codel在傳送途 10 中欠缺（Stepll2之No)，則結束有關該框之處理。 依傳送順序，圖像編號12之圖像後下一個進行解碼處 理的是圖像編號11之圖像。 首先，將隨附於圖像編號11之圖像而編碼之Codel解 碼（StepllO)。接著解碼圖像編號12之圖像（Steplll)。 15 該Codel在傳送途中未欠缺而傳送到時，則由於被解碼之 記憶體管理資訊中存在有記憶體開放之指令之Codel ( Stepll2之Yes)，因此進行下一部處理（Stepll3)。 在此，當將圖像編號11之圖像被解碼前所解碼之圖像 編號12之圖像解碼時，由於並未進行記憶體開放（ 20 Stepll3之No)，故進行記憶體開放（Stepll4)。 如上述具體例所示，伴隨著多數次傳送開放不需要之 記憶體領域之指令，對未執行本來最初之指令之圖像（圖 像編號12)所應執行之指令，變成晚於之後送到之圖像（ 圖像編號11)之影像訊號解碼處理，導致指令之執行發生 57 200412152 玖、發明說明 延遲。 因此，在本實施型態中，利用第26、27及28圖來說 明用以解決上述課題之方法。 第26圖是顯示本實施型態中使用之記憶體管理資訊與 5 指令之關係之對應圖。 第26圖中，Code是表示指令之編號，指令是表示指 令之内容，附加資訊是表示附加於指令之附加資訊，處理 位置是表示執行指令之時機。 與第15圖相異之點是，第26圖中係使CodeAl到 10 CodeA4為在影像解碼處理後執行之指令，另一方面，使對 應於CodeAl到CodeA4之CodeA6到CodeA9為在影像解 碼前執行之指令這一點。 然後，重複發送記憶體管理資訊時，使最初編碼之記 憶體管理資訊之指令作為處理位置在解碼後之（影像解碼 15 後執行）指令（CodeAl到CodeA4)，而使重複（第2次以 後）編碼之指令為處理位置在解碼前之（影像解碼前執行 )指令（CodeA6 到 CodeA9) 〇 藉此，即使欠缺最初發送之記憶體管理資訊，應該藉 本來最初發送之記憶體管理資訊執行之指令仍可在早期執 20 行，而不易引起延遲等問題。 以下，利用第27及28圖說明利用第26圖之指令時之 處理程序。 第27圖是顯示本實施型態中之影像編碼方法之流程圖 ，顯示出第5圖所示之影像編碼裝置100之動作。 58 200412152 玖、發明說明 第27圖中，首先，將影像編碼（StepBO)。編碼後調 查記憶體内不需要的領域（在今後之編碼中不會被參考之 影像）（StepBl )，判定是否有不需要的記憶體領域（ StepB2)。若有不需要的記憶體領域（StepB2之Yes)，則 5 將開放不需要之記憶體領域之指令作為影像訊號解碼後執 行者，而將解碼後用記憶體管理資訊編碼（StepB3)，開放 該不需要之記憶體領域（StepB4)。另一方面，若沒有不需 要之記憶體領域時（StepB2之No)，則不進行StepB3及 StepB4 〇 10 接著，記憶體資訊控制部101判定開放不需要之記憶 體領域之指令是否隨著最新編碼之影像（早於編碼對象之 影像）之編碼而作為記憶體管理資訊來編碼（StepB30 )， 若未編碼（StepB30之No )，則結束處理，若已編碼（ StepB30之Yes)，則管理資訊編碼部105會將開放該不需 15 要之記憶體領域之指令作為影像訊號解碼前執行者而將解 碼前用記憶體管理資訊編碼（StepB31)，結束處理。 又，在StepB30中，當隨著最新編碼之影像之編碼訊 號而將開放不需要之記憶體領域之指令編碼時，會再度將 指令編碼，不過亦可不隨著最新影像，而是隨著數影像前 20 之影像，更可重複將上述指令作為記憶體管理資訊來編碼 ，使之隨附於多數影像來傳送。 接著利用第.28圖與第19圖來說明關於依據第27圖之 程序來解碼已編碼之數據之程序。 第28圖是顯示本實施型態中之影像解碼方法之流程圖 59 200412152 玖、發明說明 ，顯示出第7圖所示之影像解碼裝置200所進行之動作。 在以下說明中，第19圖中係第26圖所示之CodeAl 之指令隨附於圖像編號12之圖像而編碼，更使CodeA6之 指令隨附於圖像編號11之圖像而編碼。依第17圖所示， 5 將CodeAl賦予圖像編號12之框Frml2之框標頭 Frml2Hdr中，將CodeA6賦予圖像編號11之框Frmll之 框標頭FrmllHdr。 又，圖像解碼裝置中，只要指令不因傳送路錯誤而消 失，則會多數次接收到開放記憶體内之相同影像之領域之 10 指令。因此，影像解碼裝置所進行之影像解碼方法中，即 使接收到將已開放之影像再度開放之指令，也不會作為錯 誤而不處理，相反地必須判斷是否可正確接收。 首先，針對關於圖像編號12之圖像之解碼處理來說明 〇 15 第28圖中，首先，將圖像編號12之圖像之記憶體管 理資訊解碼（StepB5)，調查該記憶體管理資訊是否為解碼 前用記憶體管理資訊（StepB7)。在此，由於該記憶體管理 資訊（CodeAl )為解碼後用記憶體管理資訊（StepB7之 No)，故圖像編號12之影像訊號被解碼。接著，如上所述 20 地，由於記憶體管理資訊（CodeAl)是解碼後用記憶體管 理資訊（StepB9之Yes)，故記憶體被開放（StepBll)，關 於圖像編號12之圖像之記憶體管理資訊之處理結束。 另一方面，記憶體管理資訊之CodeAl欠缺時，在 StepB7中不會被判斷為解碼前用記憶體管理資訊（StepB7 60 200412152 玖、發明說明 之No)，又，在StepB9中不會被判斷為解碼後用記憶體管 理資訊（StepB9之No)，只進行圖像編號12之影像訊號 之解碼（StepB6)，結束關於圖像編號12之記憶體管理資 訊之處理。 5 接著，利用第28圖針對關於圖像編號11之框之解碼 處理來說明。 首先，將圖像編號11之記憶體管理資訊解碼（StepB5 )，调查该δ己憶體管理資訊是否為解碼前用記憶體管理資訊 (StepB7)。在此，由於CodeA6是解碼前用記憶體管理資 1〇訊（StePB7之Yes)，故調查記憶體是否已開放（StepB8) 。在圖像編號1.2之處理中，若執行了 c〇deAl，則由於記 憶體已開放完成（StepB8之yes )，故不進行記憶體開放處 理（StepB 10)’而做成圖像編號η之影像訊號之解碼（ StepB6)。接著，判定記憶體管理資訊是否為解碼後用（ 15 StepB9)，而由於CodeA6為解碼前用記憶體管理資訊（ StepB9之No)，故結束有關圖像編號η之圖像之記憶體 管理資訊之處理。 然而，在傳送過程中，若因封包之欠缺等而使圖像編 號12之記憶體管理資訊欠缺，導致在有關圖像編號a之 20處理中，未做記憶體開放的話，則在有關圖像編號11之處 理中，會判定為記憶體開放未完成（StepB8之No)，而在 接著的步驟中開放記憶體（StepB 10 )。記憶體開放後，解 碼圖像編號11之影像訊號（StepB6)。接著，由於c〇deA6 是解碼前用記憶體管理資訊（StepB9之No)，故結束有關 61 200412152 玖、發明說明 圖像編號11之圖像之記憶體管理資訊。 如此，關於再送份係使指令在解碼影像訊號之前就被 執行，藉此，則即使最初發送之指令欠缺，仍可減少指令 之執行之延遲。 5 又，就記憶體管理資訊為CodeAl與CodeA6之情況作 為具體例而說明，不過使用CodeA2與CodeA7之情況也可 以相同處理來實現，利用CodeA3與CodeA8、CodeA4與 CodeA9之情況也可以相同處理來實現。 又，亦可使第26圖所示之初期化指令CodeA5為解碼 10 後用記憶體管理資訊，而第22圖所示之初期化再送指令 CodeA6為解碼前用記憶體管理資訊，各自為對來使用。 又，於1框賦予1個解碼後用記憶體管理資訊與多數 解碼前用記憶體管理資訊作為標頭資訊時，可使多數解碼 前用記憶體管理資訊先於解碼後用記憶體管理資來處理。 15 亦即，於第· 17圖所示之標頭資訊之前頭賦予解碼前用 記憶體管理資訊來編碼即可。 又，藉著第29 (a)圖及第29 (b)圖中所示之命令之 組合，亦可將記憶體管理資訊為解碼前用管理資訊或解碼 後用管理資訊作為其他資訊，實現上述實施型態中所示之 20 指令。 第29 (a)圖是顯示指令内容與附加資訊之對應圖， 第29 (b)圖芩顯示指令之實行時機（處理位置）之對應 圖。 第30圖是顯示編碼訊號之標頭資訊中之記憶體管理資 62 200412152 玖、發明說明 訊之指令之模式圖。 第30圖中，框FrmB之編碼訊號具有框標頭FrmBHdr 與MBa，MBb等之框數據等，而框標頭FrmBHdr具有編碼 訊號CodeD等作為標頭資訊。 5 這時，例如第30圖所示地，將框FrmB之框標頭

FrmBHdr從前頭作為指令之編碼資訊CodeD、顯示處理位 置之FlagD、顯示指令之附加資訊之附加資訊AddD即可 。沒有附加資訊時，則如第30圖所示地將指令之CodeE、 顯示處理位置之FlagE附加於框標頭FrmBHdr即可。在顯 10 示指令之Code之後不是顯示附加資訊之Add，而是顯示處 理位置之Flag，，藉此可使第28圖所示之StepB7或StepB9 之處理最適當化。 又，為了區別指令之執行時機是在影像訊號之解碼前 或解碼後任一者，可使用顯示指令之處理位置之新指令， 15 使位於顯示該處理位置之指令之框標頭的位置前之指令在 解碼後實施，而位於顯示該處理位置之指令之框標頭之位 置後之指令在解碼前實施。藉此，當有多數指令時，可以 1個指令顯示各個指令之執行時機（處理位置），相較於每 個指令發送顯示處理位置之Flag，則發送之資訊減少，編 20 碼效率提高。 利用第31圖說明具體例。 第31圖是顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。 第31圖中，框FrniC之編碼訊號具有框標頭FrmCHdr 63 200412152 玖、發明說明 及MBa，MBb等之框數據等，框標頭FrmCHdr從前面起依 序是指令CodeF、指令dif、指令CodeG、附加資訊AddG 、指令CodeH作為標頭資訊。 接著，判斷顯示處理位置之指令dif是否位於框標頭 5 FrinCHdr，亦可使位於顯示處理位置之指令dif之前之指令 CodeF是在框FrmC之解碼後執行，而位於指令dif後之指 令Code或指令CodeH則是在框FrmC之解碼前執行。這 時，若無顯示處理位置之指令dif，則框標頭FrmCHdr内 所有指令都在框FrmC之解碼處理後執行。 10 又，如上述各實施型態中所說明的，當再度傳送開放 不需要之記憶體領域之指令或初期化指令等之記憶體管理 資訊時，可以不含在附加於影像之編碼訊號之標頭資訊中 ，而是將含有記憶體管理資訊之標頭資訊與影像編碼訊號 分別傳送。亦即，再送之上述指令可以不與被編碼之圖像 15 位於相同流，而可作為例如其他流來傳送。又，亦可記錄 於儲存媒體之其他領域。 (實施型態10) 接著，說明有關本發明之實施型態10。 本實施型態中，進行編碼之單位與上述各實施型態不 20 同，亦即，上述實施型態1中，多數次傳送開放不需要之 記憶體領域之指令時，相當於上述指令之第5圖所示之記 憶體管理資訊流CtlStl與影像編碼流VideoStr是以影像（ 圖像）單位來編碼，而本實施型態中，可如第32圖所示之 流構造般，以片段單位將1框編碼。 64 200412152 玖、發明說明 所謂以片段單位編瑪，係如第32圖之框！之片段i具 有標頭i•卜Ctl_、VideQStr…框2之収2具^標頭 1-2、CtlStrl、VideoStrl-2 般，在夂妲裕目士 取在各框所具有之每個片段中 編碼標頭、記憶體管理資訊户 貝Λ々,L CtiStr、影像編碼流

Vide秦。以影像編碼裝置編碼後，影像編碼裝置將資料 流輸出。又，片段為同步轉回單位，是由丨或多數之區塊 形成之帶狀領域’由多數片段構成圖像。又，圖像是對應 1張影像之基本編碼單位，而區塊是編碼、解碼之基本單 位。 10 又，如上所述地多數次傳送記憶體管理資訊流ctlstr 時之内容是在同-框内作為同一資訊。藉著作為同一資訊 ，可省略在該記憶體管理資訊流c綠之片段單位之附加 例如於片4又之標頭附加顯示在該片段中可否省略多數 次傳送之資訊，若多數次傳送上述指令之動作在該片段中 15可省略時，則附加「〇」，若上述指令在該片段中被傳送時 (無法省略時）則附加「丨」。具體來說，第33 (a)圖中 顯示出一例，以下說明。框i之片段j到片段3中之標頭 及影像編碼流VideoStr各自不同。另一方面，片段1及片 段2中具有同一記憶體管理資訊流CtlStr，片段1及片段2 20各自具有顯示出同一記憶體管理資訊流CtlStr在同一框中 之多數片段中被編碼之資訊「1」。又，片段3具有顯示出 省略記憶體管理資訊流CtlStr之資訊「0」。藉此，在該片 段中多數次傳送被省略時，藉由參考在前頭之片段等顯示 出上述「1」之片段中之記憶體管理資訊流CtlStr,可省略 65 200412152 玖、發明說明 記憶體管理資訊流CtlStr之附加，而可減少位元數。 亦即，顯示出省略上述之記憶體管理資訊流CtlStrl之 資訊「〇」，是不具有指定除去之對象之圖像之資訊之片段 (片段3)，且是參考指定除去之對象之圖像之資訊時，顯 5 示出參考指定除去之對象之圖像之資訊。 由於在傳送過程中記憶體管理資訊流CtlStr多數次欠 缺之可能性很少，因此可以省略這種記憶體管理資訊流 CtlStr之附加之方法很有效。 更進一步，若記憶體管理資訊流CtlStr之有無可在無 10 顯示出省略記憶體管理資訊流CtlStr之資訊之情況下判別 時，則亦可如第33 ( b )圖般將之省略。例如，記憶體管 理資訊流CtlStr之前頭可與影像編碼流Video之前頭區別 時，如第33 ( b )圖所示地，可將判別是否有顯示出記憶 體管理資訊流CtlStrl是否被編碼之資訊，藉由從各片段之 15 前頭到預定位置.是否有預定資訊來確認。 這種可省略記憶體管理資訊流CtlStr之附加之方法， 對削減編碼記憶體管理資訊流CtlStr之次數，減少位元數 很有效。 以上，是就編碼加以說明，同樣的也可以片段單位進 20 行1框之解碼。在上述實施型態2中，多數次傳送開放不 需要之記憶體領域之指令時，在第7圖所示之影像解碼裝 置200中，係將具有相當於上述指令之第32圖所示之記憶 體管理資訊流CtlStr與影像編碼流VideoStr之流構造分離 ，各自以影像（圖像）單位輸入，不過亦可各自以片段單 66 200412152 玖、發明說明 位輸入。 又’在其他實施型態中之編碼、解碼中也同樣可以用 片段單位將1框編碼、解碼。 又’上記實施型態1到實施型態1〇所示之編碼方法、 5解碼方法係可藉LSI等半導體實裝於行動電話或汽車導航 系統等移動通訊機器、數位攝影機或數位相機等攝影機器 中。又，除了具有編碼器、解碼器兩者之發送接收型之端 末之外，還可考慮僅編碼器之發送端末、僅解碼器之接收 端末等3種。 、 10 (實施型態11 ) 接著’說明有關本發明之實施型態丨i。 本實施型態中，更藉由將用以實現實施型態1到實施 型態10中所示之影像編碼方法或影像解碼方法之構成之程 式記錄於軟碟等記憶媒體中，使得上述實施型態中所示之 15處理可在獨立之電腦系統中簡單地實施。 第34圖是說明使用儲存有上述實施型態i之影像編碼 方法或影像解碼方法之軟碟，藉電腦系統實施之情況之說 明圖。 第34(b)·圖是顯示從軟碟正面所見之外觀、截面構 20造及軟碟，第34 (a)圖是顯示記錄媒體本體之軟碟之物 理格式之例子。軟碟FD1内藏於殼體F内，該軟碟之表面 以同心圓狀從外周向内周形成有多數之磁軌Tr，各磁執於 角度方向分割為16個扇區。因此，儲存有上述程式之軟碟 中，在上记軟碟FD1上所分配之領域中，記錄有作為上述 67 200412152 玖、發明說明 程式之影像編碼方法。 又，第34 (c)圖係顯示用以於軟碟FD1進行上述程 式之記錄播放之構成。於軟碟FD1記錄上述程式時，從電 腦Cs經由軟碟驅動器FDD寫入作為上述程式之影像編碼 5 方法或影像解碼方法。又，藉由軟碟FD1内之程式將上述 影像編碼方法構築於電腦系統中時，藉軟碟驅動器FDD從 軟碟FD1讀取程式，傳送到電腦Cs。 又，在上述說明中，是就使用軟碟作為記錄媒體來進 行說明，使用光碟也可同樣進行。又，記錄媒體並不限定 10 於此，凡1C卡、ROM卡等可記錄媒體者皆可同樣實施。 又，上述實施型態中所示之影像編碼方法、影像解碼 方法可藉LSI等半導體實裝於行動電話或汽車導航系統等 移動通訊機器、數位攝影機或數位相機等攝影機器中。又 ，實裝形式除了具有編碼器、解碼器兩者之發送接收型之 15 端末之外，還可考慮僅編碼器之發送端末、僅解碼器之接 收端末等3種。 在此，說明上述實施型態1到實施型態10中所示之影 像編碼方法或影像解碼方法之應用例及利用該等之系統。 第35圖是顯示實現内容傳遞服務之内容供給系統 20 exlOO之全體構成之方塊圖。將通訊服務之提供區域分割 為所希望之大小，各細胞内各自設置有固定無線台之基地 台之 exl07〜exl 10。 該内容供給系統exlOO經由例如網路exlOl中網路服 務供應者exl02、電話網exl04及基地台exl07〜exllO，連 68 200412152 玖、發明說明 接於電腦 exlll、PDA (Personal digital assistant) exll2、 攝影機exll3、行動電話exll4、附相機之行動電話exll5 等各機器。 然而，内容供給系統exlOO並不限定於第35圖這種組 5 合，亦可組合任一者來連接。又，亦可不經過固定無線台 之基地台exl07〜exllO，而將各機器直接連接於電話網 exl04 〇 攝影機exll3為數位攝影相機等可進行動畫攝影之機 器。又，行動電話可以是PDC ( Personal Digital 10 Communication )方式、CDMA ( Code Division Multiple Access )方式、W-CDMA ( Wideband-Code Division Multiple Access )方式、或 GSM ( Global System for Mobile Communications )方式之行動電話機，或PHS ( Personal Handyphone System)等任一者皆可。 15 又，資料流,伺服器exl03是從攝影機exii3通過基地 台exl09、電話網exl04而連接，可依據使用者利用攝影 機exl 13所發送之業已編碼處理之數據進行實況傳遞。以 攝影之數據之編碼處理可在攝影機exll3進行，亦可在進行 數據發送處理之伺服器等進行。又，在攝影機ex116拍得 20 之動畫數據亦可經由電腦exl 11發送到資料流伺服器 exl03。攝影機exll6是數位相機等可拍攝靜止影像、動畫 之機器。這時，動晝數據之編碼在攝影機exll6或電腦 exlll進行皆可。又，編碼處理是在電腦exlll或攝影機 exll6所具有之LSIexll7中處理。又，影像編碼、解碼用 69 200412152 玖、發明說明 之軟體亦可安裝於可以電腦exlll等讀取之記錄媒體之某 種儲存媒體（CD-ROM、軟碟、硬碟等）中。更，亦可以 附相機之行動電話exll5來發送動畫數據。這時的動晝數 據是藉行動電話.exl 15所具有之LSI編碼處理之數據。 5 該内容供給系統exlOO中，將使用者以攝影機exll3 、攝影機exll6等拍攝之内容（例如拍攝音樂實況之映像 等）進行與上述實施型態相同的編碼處理並發送到資料流 伺服器exl03，另一方面，對資料流伺服器exl03有要求 之客戶進行上述内容數據之資料流傳遞。客戶有可將上述 10 業經編碼處理之數據解碼之電腦exlll、PDAexll2、攝影 機exl 13、行動電話ex 114等。藉由如此做，内容供給系 統exlOO成為可將被編碼之數據在客戶被接收並播放，更 藉由在客戶即時接收並解碼、播放，而可實現個人播放之 系統。 15 構成該系統之各機器之編碼、解碼只要使用上述各實 施型態中所示之影像編碼方法或影像解碼方法即可。 就行動電話作為一例來說明。 第36圖是顯示使用上述實施型態中所說明之影像編碼 方法與影像解碼方法之行動電話exl 15之圖。行動電話 20 exll5具有：用以與基地台exllO間發送接收電波之天線 ex201、可攝影CCD攝影機等之映像、靜止畫像之攝影部 ex203、顯示出攝影部ex203攝影之映像、天線ex201接收 之映像等已解碼之數據之液晶顯示器等之顯示部ex202、 由操作按鍵ex204群構成之本體部、用以輸出音聲之揚聲 70 200412152 玖、發明說明 器等之音聲輸出部ex208、用以輸入音聲之麥克風等之音 聲輸入部ex205、用以儲存攝影之動畫或靜止影像之數據 、接收之郵件之數據、動畫數據或靜止影像之數據等已編 碼之數據或已解碼之數據之記錄媒體ex207、用以將記錄 5 媒體ex207裝於行動電話exll5之槽部ex206。記錄媒體 ex207是在SD卡等塑膠殼體内收藏有可進行電性改寫或消 去之不揮發性記憶體之EEPROM ( Electrically Erasable and Programmable Read Only Memery)之一種之快閃記憶體元 件者。 10 更進一步利用第37圖說明行動電話exll5。行動電話 exll5係相對於統括地控制具有顯示部ex2〇2及操作按鍵 ex204之本體部之各部之主控制部ex311，電源線路部 ex310、操作輸入控制部ex3〇4、影像編碼部ex312、攝影 機"面 ex3〇3、LCD (Liquid Crystal Display)控制部 15 20 似丨不肝％部、夕里，刀、雕部、沁鄉榴机 ^ 6X307、調變解調線路部ex306及音聲處理部ex305經 由同步匯流排ex313而相互連接。 ^電源線路部ex31〇係一旦暫線及電源按鍵藉使用者之 、而成為啟動狀態’則藉由從電池組對各部供給電力， 攝〜機之數位行動電話exll5啟動為可動作狀態。 行動電話ex 1 1 S 依據CPU、ROM、RAM等主控制部 ex3ll之控制， 立士 、 工’精9聲處理部ex305將在音聲通話模式時 乂曰聲輸入部 2〇$隹 ， 集音之音聲訊號變換為數位音聲數據 在調變解調線略部ex3G6進行頻譜擴散處理，在發 71 200412152 玖、發明說明 送接收線路部ex301施以數位類比變換處理及頻率變換處 理後，經由天線ex201發送。又，行動電話機exll5將音 聲通話模式時由天線ex201接收之接收數據增幅，施以頻 率變換處理及類比數位變換處理，再以調變解調線路部 5 ex306進行頻譜逆擴散處理，藉音聲處理部ex305變換為 類比音聲數據後，經由音聲輸出部ex208輸出。 更，在數據通訊模式下發送電子郵件時，藉操作本體 部之操作按鍵ex204而輸入之電子郵件之正文資料，是經 由操作輸入控制部ex304送出到主控制部ex311。主控制 10 部ex311係由調變解調線路部ex306將正文資料進行頻譜 擴散處理，由發送接收線路部ex301施以數位類比變換處 理及頻率變換處理後，經由天線ex201朝基地台exllO發 送。 在數據通訊模式下發送影像數據時，由攝影部ex203 15 攝得之影像數據經由攝影機介面部ex303供給影像編碼部 ex312。又，未發送影像數據時，由攝影部ex203攝得之影 像數據亦可經由攝影機介面部ex303及LCD控制部ex302 而直接顯示於顯示部ex202。 影像編碼部ex312是具有本申請發明中所說明之影像 20 編碼裝置之構成，藉在上述實施型態中顯示之影像編碼裝 置所使用之編碼方法將攝影部ex203供給之影像數據壓縮 編碼，藉此變換為編碼影像數據，再將之送到多重分離部 ex308。又，在此同時，行動電話機exll5係將當攝影部 ex203在攝影中時由音聲輸入部ex205集音之音聲經由音 72 200412152 玖、發明說明 聲處理部ex305作為數位之音聲數據發送到多重分離部 ex308 〇 多重分離部ex308係以預定方式將由影像編碼部 ex312供給之編碼影像數據及由音聲處理部ex305供給之 5 音聲數據多重化，結果得到之多重化數據由調變解調線路 部ex306進行頻譜擴散處理，在發送接收線路部ex301施 以數位類比變換處理及頻率變換處理後經由天線ex201發 送。 在數據通訊模式下接收到連接到網頁等之動畫像檔案 10 之數據時，係將經由天線ex201從基地台exl 10接收之接 收數據在調變解調線路部ex306做頻譜逆擴散處理，將結 果得到之多重化數據送到多重分離部ex308。 又，要解碼經由天線ex201接收到之多重化數據，多 重分離部ex308係藉分離多重化數據，分為影像數據之位 15 元流與音聲數據之位元流，經由同步匯流排ex313將該編 碼影像數據供給於影像解碼部ex309，同時將該音聲數據 供給音聲處理部ex305。 接著，影像解碼部ex309是具有本申請發明中所說明 之影像解碼裝置之構成，以對應於上述實施型態中所示之 20 編碼方法之解碼方法來解碼影像數據之位元流，藉此生成 播放動晝像數據，並將之經由LCD控制部ex302供給於顯 示部ex202，藉此，顯示出例如鏈接於網頁之動畫像檔案 中所含之動畫數據。這時，音聲處理部ex305同時將音聲 數據變換為類比音聲數據，然後將之供給於音聲輸出部 73 200412152 玖、發明說明 ex208，藉此，可播放例如鏈接於網頁之動晝像檔案中所含 之音聲數據。 又，不限於上述系統之例子，最近藉衛星、地面電波 之數位廣播成為話題，如第38圖所示的，數位廣播用系統 5 中可安裝上述實施型態之影像編碼裝置或影像解碼裝置之 至少任一者。具體來說，在廣播局ex409，映像資訊之位 元流經由電波通訊或傳送到廣播衛星ex410。接收到該位 元流之廣播衛星ex410發送廣播用電波，該電波由具有衛 星廣播接收設備之家庭之天線ex406接收，藉電視（接收 10 機）ex401或轉頻器（STB) ex407等裝置解碼位元流而將 之播放。又，讀取記錄媒體之CD或DVD等儲存媒體 ex402中記錄之位元流並解碼之播放裝置ex403上也可實 裝上述實施型態中所示之影像解碼裝置。這時，被播放之 映像訊號顯示於顯示器ex404。又，在連接於有線電視用 15 之電纜ex405或衛星/地面電波廣播之天線ex406之轉頻器 ex407内實裝影像解碼裝置，將之在電視之顯示器ex408 上播放之構成亦可。這時，亦可將影像解碼裝置安裝於電 視内而不是轉頻器。又，亦可在具有天線ex411之車子 ex412從衛星ex410或基地台exl07等接收訊號，於車子 20 ex412所具有之導航系統ex413等之顯示裝置播放動晝。 更，亦可在上述實施型態中所示之影像編碼裝置將影 像訊號編碼、記錄於記錄媒體。具體例有記錄影像訊號於 DVD碟ex421之DVD記錄器、或記錄於硬碟之磁碟記錄 器等之記錄器ex420。記錄器ex420若具備上述實施型態 74 200412152 玖、發明說明 中所示之影像解碼裝置，則可播放記錄於DVD碟ex421或 SD卡ex422之影像訊號，並顯示於顯示器ex408。 又，汽車導航系統ex413之構成可以是例如第37圖所 示之構成中，除去攝影部ex203、攝影機介面部ex303及 5 影像編碼部ex312之構成，同樣的構成也可用於電腦 exlll或電視（接收機）ex401等中。 又，上述行動電話exll4等之端末，除了具有編碼器 、解碼器兩者之發送接收型之端末之外，還可考慮僅編碼 器之發送端末、僅解碼器之接收端末等3種實裝形式。 10 像這樣，可將上述實施型態中所示之影像編碼方法或 影像解碼方法用於上述任一機器、系統，如此，即可得到 上述實施型態中說明之效果。 本發明並不限定於上述實施型態，可在不脫離本發明 範圍而做各種變形或修正。 15 產業上之可利用性 關於本發明之影像編碼裝置，可作為具有通訊機能之 個人電腦、PDA、數位傳輸之廣播電台及行動電話機等所 具備之影像編碼裝置而善加利用。 又，關於本發明之影像解碼裝置，可作為具有通訊機 20 能之個人電腦、PDA、接收數位傳輸之STB及行動電話機 等所具備之影像解碼裝置而善加利用。 【圖式簡單說明】 第1(a)圖是參照從保存於記憶體之多數參照影像選 出之影像來編碼之影像編碼之說明圖，第1 (b)圖是顯示 75 200412152 玖、發明說明 保存有影像之記憶體之構成之構成圖 第2⑴圖是顯Μ知之影像^方法之流程圖，第 2⑴圖《示習知之影像解碼方法之流程圖。 圖 之又一其他 第3⑴圖是顯示習知之影像㈣方法之其他流程 ’第3⑴圖是顯示f知之影像解喝方法之其他流程圖 第4⑴圖是顯示習知之影像編碼方法之又一其他流 程圖’第4 (b)圖是顯示習知之影像解碼方法 流程圖 圖 第5圖是㈣本發明之影像解碼裝置之構成之方塊 10 第6圖是顯示本發明之實施型態j中之影像編碼方法 之流程圖。 第7圖是顯示本發明之影像解碼裝置之構成之方塊圖 15 第8圖是顯示本發明之實施型態2中之影像解碼方法 之流程圖。 第9圖是顯示本發明之實施型態3中之影像編碼方法 之流程圖。 第10圖是顯示本發明之實施型態4中之影像解碼方法 20 之流程圖。 第11圖是顯示本發明之實施型態5中之影像編碼方法 之流程圖。 第12圖是顯示本發明之實施塑態6中之影像編碼方法 之流程圖 76 200412152 玖、發明說明 第13圖是顯示本發明之實施型態7中之影像編碼方法 之流程圖。 第14(a)圖是顯示影像之圖像編號、保存圖像編號 與傳送順序之關係之說明圖，第14 (b)圖是顯示解瑪之 5圖像編號、保存之圖像編號與刪除之圖像編號之關係圖， 第14(c)圖是顯示解碼之圖像編號、保存之圖像編號與 刪除之圖像編號之另一關係圖。 第U圖是顯示本發明中之記憶體管理資訊之指令之對 應圖。 1〇 第I6圖是顯示本發明之實施型態8中之指令實行程序 之流程圖。 第17圖是顯示在各影像之編碼訊號之標頭資訊與框數 據之關係之模式圖。 第18圖是顯示在編碼訊號之標頭資訊中之記憶體管理 15 資訊之指令之模式圖。 第19圖是顯示各影像之影像號碼、保存影像號碼與傳 送順序之關係之說明圖。 第20圖是顯示編碼初期化指令之方法之流程圖。 第21圖是顯示將已編碼之初期化指令解碼之方法之流 2〇 程圖。 第22圖是顯示本發明之實施型態8中所使用之記憶體 管理資訊之指令之對應圖。 第23圖是顯示使用本發明之初期化再送指令之影像編 碼方法之流程圖。 77 200412152 玖、發明說明 第24圖是顯示將本發明之已編碼之初期化再送指令之 影像解碼之方法之流程圖。 第25圖是顯示各影像之圖像編號、保存圖像編號與傳 送順序之又一關係之說明圖。 5 第26圖是顯示本發明之實施型態9中所使用之記憶體 管理資訊之指令之對應圖。 第27圖是顯示本發明之實施型態9中之影像編碼方法 之流程圖。 第28圖是顯示本發明之實施型態9中之影像解碼方法 10 之流程圖。 第29 (a)圖是顯示指令内容與附加資訊之對應圖， 第29 (b)圖是顯示指令之實行時機之對應圖。 第30圖是顯示編碼訊號之標頭資訊中之記憶體管理資 訊之指令之模式圖。 15 第31圖是顯示其他編碼訊號之標頭資訊中之記憶體管 理資訊之指令之模式圖。 第32圖是顯示已以片段單位編碼之資料流構造之模式 圖。 第33 (a) (b)圖任一者皆是顯示已以片段單位解碼 20 之資料流構造之模式圖。 第34U)(b)⑴圖任一者皆是說明有關用以餘存 用以藉電腦系統實現本發明之實施型態1到實施型熊1 〇 影像編碼方法及影像解碼方法之程式之記憶媒體之說明 圖 78 200412152 玖、發明說明 第35圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之内容供給系統之全體構成之方塊圖。 第36圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之行動電話之一例之外觀圖。 5 第37圖是顯示同一行動電話之構成之方塊圖。 第38圖是顯示使用有關本發明之影像編碼方法及影像 解碼方法之數位傳輸系統之構成之構成圖。 【圖式之主要元件代表符號表】 100···影像編碼裝置 202···短時間保存記憶體管理部 101···記憶體資訊控制部 203…長時間保存記憶體管理部 102…短時間保存記憶體管理部 205…管理資訊解碼部 103…長時間保存記憶體管理部 207…保存領域指定部 104···非保存記憶體管理資訊部 208…參照領域指定部 105…管理資訊編碼部 209…影像記憶體 106…參照影像選擇部 210…影像解碼部 107…保_或指定部 212…可變長度解碼部 108…參照領域指定部 Cs…電腦 109···影像記憶體 F…殼體 110…影像編碼部 FDl···軟碟 111··.影像觸部 FDD…軟碟驅動器 112···可變長度編碼部 Se…扇區 113，114···計數器 Tr…磁軌 200…影像解碼裝置. exlOO…内容供給系統 201···記憶體資訊控制部 exlOl…網路 79 200412152 玖、發明說明 exl02···網路服務供應者 ex305…音聲處理部 exl03…資料流祠服器 ex306…調變解調線路部 exl04…電話網 ex307…記錄播放部 exl07-exl 10···基地台 ex308…多重分離部 exlll···電腦 ex309…影像觸部 exll2 …PDA ex310…電源線路部 exll3·.·攝影機 ex311…主控制部 exll4···行動電話 ex3U…影像編碼部 exl 15…附相機之行動電話 ex313…同步匯流排 exll6···攝影機 ex401···電視（接收機） exll7".LSI ex402…儲存媒體 ex201…天線 ex403…播放裝置 ex202…顯示部 ex404…顯示器 ex203…攝影部 ex405…電纜 ex204…操作機 ex406…天線 ex205…音聲輸入部 ex407…轉頻器（STB) ex206…槽部 ex408…電視之顯示器 ex207…記錄媒體 ex409…廣播局 ex208…音聲輸出部 ex410···廣播衛星 ex301…發送接收線路部 ex411…天線 ex302…LCD控制部 ex412…車子 ex303 · · ·攝影機介面部 ex413…導航系統 ex304…操作輸入控制部 ex420···記錄器 80 200412152 玖、發明說明 ex421".DVD 碟 ex422…SD 卡

Claims (1)

1. 200412152 拾、申請專利範圍 1 · 一種影像編碼方法，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來編碼者，包含有： 圖像編碼步驟，係參考前述已選擇之參考圖像， 將編碼對象圖像編碼； 5 管理資訊編碼步驟，係將用以控制管理保存於前 述記憶體之參考圖像之記憶體管理資訊隨著前述已編 碼之編碼對象圖像來編碼；以及 管理資訊再編碼步驟，係將前述記憶體管理資 與在前述管理資訊編碼步驟中之編碼不同地另外再度 10 編碼。 2·如申請專利範圍第i項之影像編碼方法，其中前述管 理資訊再編碼步驟係使特定前述管理資訊編碼步驟中 使圮憶體管理資訊隨附之前述編碼對象圖像之資訊隨 附於前述已再編碼之記憶體管理資訊。 ^ 3. Μ請專利範圍第i項之影像編碼方法，其中前述管 理資訊再編碼步驟係重複前述記憶體管理資訊之編碼 20 4·如申請專利範圍第2項之影像編媽方法，其中前述管 理資訊再編碼步驟係重複前述記憶體管理資訊之編瑪 5. 如申請專利範圍第1項 •隱體管理資訊係指定前 憶體領域之資訊。 如申請專利範圍第2項 之影像編碼方法，其中前述記 述記憶體所不需要而開放之記 之影像編碼方法，其中前述記 82 6. 412152 拾、申請專利範圍 憶體管理資訊係指定前述記憶體所不需要而開放之記 憶體領域之資訊。 7·如申請專利範圍第3項之影像編碼方法，其中前述記 憶體管理資訊係指定前述記憶體所不需要而開放之記 5 憶體領域之資訊。 8·如申請專利範圍第4項之影像編碼方法，其中前述記 憶體管理資訊係指定前述記憶體所不需要而開放之記 憶體領域之資訊。 9·如申請專利範圍第1項之影像編碼方法，其中前述記 憶體包含：參考圖像之保存時間較短之短時間保存記 憶體、與參考圖像之保存時間較前述短時間保存記憶 體長之長時間保存記憶體，前述記憶體管理資訊係指 定從前述短時間保存記憶體移動到前述長時間保存記 憶體之對象之參考圖像之資訊。 15 1〇·如申請專利範圍第2項之影像編碼方法，其中前述記 憶體包含：參考圖像之保存時間較短之短時間保存記 憶體、與參考圖像之保存時間較前述短時間保存記憶 體長之長時間保存記憶體，前述記憶體管理資訊係指 定從前述短時間保存記憶體移動到前述長時間保存記 20 憶體之對象之參考圖像之資訊。 11·如申請專利範圍第3項之影像編碼方法，其中前述記 憶體包含：參考圖像之保存時間較短之短時間保存記 憶體、與參考圖像之保存時間較前述短時間保存記憶 體長之長時間保存記憶體，前述記憶體管理資訊係指 83 拾、申請專利範圍 定從前述短時間保存記憶體移動到前述長時間保存記 憶體之對象之參考圖像之資訊。 &如中請專利範圍第4項之影像編碼方法，其中前述記 憶體包含：參考圖像之保存時間較短之短時間保存記 5 隐冑、與參考圖像之保存時間較前述短時間保存記惊 體長之長時間保存記憶體，前述記憶體管理資訊係指 定從前述短時間保存記憶體移動到前述長時間保存記 憶體之對象之參考圖像之資訊。 β ⑺13·如巾料㈣圍第1至12項巾任n像編碼方法 其中則述^理 > 訊再編碼步驟係使前述記憶體管理 二貝汛隨附於與在前述管理資訊編碼步驟中使前述記憶 體管理資訊障附之編碼對象圖像不同之至少1個其他 編碼對象圖像而再編碼。 14.如申請專利範圍第13項之影像編碼方法，其中在前述 15 管理資訊編碼步驟中， 當前述記憶體管理資訊隨附於前述記憶體中未保 存之編碼對象圖像時，則在前述管理資訊再編碼步驟 中’使前述記憶體管理資訊亦隨附於前述記憶體中保 存之編碼對象圖像。 2〇 15· 一種影像解碼方法，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來解碼者，其係將用以控制 管理前述記憶體中保存之參考圖像之記憶體管理資訊 解碼，依據已解碼之記憶體管理資訊開放前述記憶體 所不需要之記憶體領域時，若開放之記憶體領域未開 84 200412152 拾、申請專利範圔 放完成則開放記憶體領域，若開放之記憶體領域已開 放完成則不對前述記憶體進行任何處理。 5 10 15 20 16. —種影像解碼方法，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來編碼者，其中前述記憶體 包含：參考圖像之保存時間較短之短時間保存記憶體 、與參考圖像之保存時間較前述短時 之長時間保存一，前述影像解媽:=用長 以控制管理保存於前述記憶體之參考圖像之記憶體管 理資訊解碼，依據已解碼之記憶趙管理資訊將前述記 憶體内所保存之參考圖像從前述短時間保存記憶體移 動到前述長時間保存記憶體時，若移動對象之參考圖 像存在於前述短時間保存記憶體，則將該參考圖像從 則杨時間保存記憶體移動到前述長時間保存記憶體 動對象之參考圖像未存在於前述短時間保存記 憶體時，則不進行前述記憶體内之移動。 17. —種影像編碼方法 參考圖像”之憶體内之多數 圖像來編碼者，其係將保存於前 述5己憶體内且重嚴 要度在編碼對象圖像以上之參考圖像 作為參考圖像之候補而編碼。 18· —種記錄媒體， 、，、圮錄有參考自保存於記憶體内之多 像選出之參考圖像來編碼之資料流者，包含 有· 編碼數據，係參考前述 對象圖像編碼； 已選擇之參考圖像將編碼 85 200412152 拾、申請專利範圍 管理資訊編碼數據，使用以控制管理保存於前述 記憶體之參考圖像之記憶體管理資訊隨著前述已編碼 之編碼數據編碼；以及 管理資訊再編碼數據，係將前述記憶體管理資訊 5 與在前述管理資訊編碼數據不同地另外再度編碼。 19. 一種記錄媒體，係記錄有參考自保存於記憶體内之多 數參考圖像選出之參考圖像來編碼之資料流者，其包 含有管理資訊再編碼數據，係使前述記憶體管理資訊 隨附於已參考前述已選擇之參考圖像而編碼之編碼對 10 象圖像而與最初被編碼之記憶體管理資訊不同地再編 碼0 20·如申請專利範圍第19項之記錄媒體，其中前述管理資 訊再編碼數據中隨附有特定前述已編碼之編碼對象圖 像之資訊。 15 21. —種影像編碼裝置，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來編碼者，具有： 圖像編碼機構，係參考前述已選擇之參考圖像， 將編碼對象圖像編碼； 管理資訊編碼機構，係使用以控制管理保存於前 20 述記憶體之’參考圖像之記憶體管理資訊隨著前述已編 碼之編碼對象圖像來編碼；以及 管理資訊再編碼機構，係將前述記憶體管理資訊 與前述管理資訊編碼機構所進行之編碼不同地另外再 度編碼。 86 拾、申請專利範圍 22.如申凊專利輯圍第21項之影像編碼裝置，其中前述管 理為汛再編碼機構係使特定使記憶體管理資訊隨附於 則述管理資訊編碼機構之前述編碼對象圖像之資訊隨 附於前述已再編碼之記憶體管理資訊。 5 23·如申請專利範圍第21項之影像編碼裝置，其中前述記 隐體皆理貝訊係指定前述記憶體所不需要而開放之記 憶體領域之資訊。 24·如申睛專利範圍第22項之影像編碼裝置，其中前述記 隱體管理身訊係指定前述記憶體所不需要而開放之記 10 憶體領域之資訊。 25·如申請專㈣㈣21項之影像編碼裝置，其中前述記 μ體I έ參考圖像之保存時間較短之短時間保存記 憶體、與參考圖像之保存時間較前述短時間保存記憶 體長之長時間保存記憶體，前述記憶體管理資訊係指 15 冑從前述短時間保存記憶體移動到前述長時間保存記 憶體之對象之參考圖像之資訊。 26·如申請專利範圍第22項之影像編碼裝置，其中前述記 -體參考圖像之保存時間較短之短時間保存記 -體與參考圖像之保存時間較前述短時間保存記憶 20 ^長:長時間保存記憶體，前述記憶體管理資訊係指 疋從月J述短時間保存記憶體移動到前述長時間保存記 憶體之對象之參考圖像之資訊。 27·如申請專利範圍第 置’其中前述管理 21至26項中任一項之影像編碼裝 資訊再編碼機構係使前述記憶體管 87 200412152 拾、申請專利範圍 理資訊隨附於與前述管理資訊編碼機構使前述記憶體 管理資訊隨附之編碼對象圖像不同之至少1個其他編 碼對象圖像而再編碼。 28· —種影像解碼裝置，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來解碼者，具有： 管理資訊解碼機構，係將用以控制管理前述記憶 體中保存之參考圖像之記憶體管理資訊解碼；及 記憶體管理資訊控制機構，係在依據前述管理資 訊解碼機構所解碼之記憶體管理資訊，開放前述記憶 體之記憶體領域時，若開放之記憶體領域未開放完成 則開放記憶體領域，若開放之記憶體領域已開放完成 則不對前述記憶體進行任何處理。 29· —種影像解碼裝置，係參考自保存於記憶體内之多數 參考圖像選出之參考圖像來解碼者，該記憶體包含： 參考圖像之保存時間較短之短時間保存記憶體、與參 考圖像之保存時間較前述短時間保存記憶體長之長時 間保存記憶體，而該影像解碼裝置具有： 、&理。貝讯解碼機構，係將用以控制管理保存於前 述α己隐體之圖像之記憶體管理資訊解碼丨及 η己憶體管理資訊控制機構，係指定前述管理資訊 解竭機構所解碼之記憶體管理資訊’且當將前述記憶 、内所保存之圖像從前述短時間保存記憶體移動到前 =長時間保存記憶體之對象之參考圖像存在於記憶體 、’則將該參考輯從前述短時間保存記憶體移動到 88 桕、甲請專利範圍 I:::::存:憶體，若移動對象之參考圖像未存 隱體時’則不對記憶體進行任何處理。 3〇·^影像編㈣置，係參考自保存於記憶 5 參考圖像多數 ，係將相像來編碼者，其具有編竭機構 以上之來去〜述6己憶體内且重要度在編碼對象圖像 之參考圖像作為參考㈣之候補而編碼。 31:=二用以藉電腦來進行參考自保存於記憶體 10 I數參考圖像選出之參考圖像來編碼之影像編媽 方法者，該程式係使電腦執行·· 圖像編碼步驟，係參考前述已選擇之參考圖像， 將編碼對象圖像編竭； f理資訊編碼步驟，係將用以控制管理保存於前 述記憶體之參考圖像之記憶體管理資訊隨著前述已編 碼之編碼對象圖像來編碼；以及 15 管理資訊再編碼步驟，係將前述記憶體管理資訊 與在前述管理資訊編碼㈣中之編碼不同地另外再度 編碼。 32. 如申請專利範圍第31項之程式，其中前述管理資訊編 碼步驟中之前述記憶體管理資訊係指定前述記憶體内 所不需要而開放之記憶體領域之資訊。 33. 如申請專利範圍帛31項之程式，其中前述記憶體包含 :參考圖像之保存時間較短之短時間保存記憶艘、與 參考圖像之保存時間較前述短時間保存記憶體長之長 時間保存s己憶體’前述記憶體管理資訊係指定從前述 89 拾、申請專利範圍 短時間保存記憶體移動到前述長時間保存記憶體之對 象之參考圖像之資訊。 34. 一種程式，係用以藉電腦來進行參考自保存於記憶體 内之多數參考圖像選出之參考圖像來解碼之影像解碼 方法者，該程式係使電腦執行： 10 將用以控制管理前述記憶體中保存之參考圖像之 s己憶體管理資訊解碼’依據已解碼之記憶體管理資訊 開放前述記憶體所不需要之記憶體領域時，若開放之 f憶體領域未開放完成則開放記憶體領域，若開放之 兄憶體領域已開放完成則不對前述記憶體進行任何處 理之步驟。 15 20 35·—種程式’係用以藉電腦來進行參考自保存於記憶體 内之多數參考圖像選出之參考圖像來解碼之影像解碼 方法者，其中前述記憶體包含：參考圖像之保存時間 較短之短時間保存記憶體、與參考圖像之保存時間較 月'J述短時間保存記憶體長之長時間保存記憶體，該程 ^係使電職行《影像解碼方法，即：制以控制 保存於别述§己憶體之參考圖像之記憶體管理資訊 解辱依據已解碼之記憶體管理資訊將前述記憶體内 所保存之參考圖像從前述短時間保存記憶體移動到前 述長時間保存記憶體時，若移動對象之參考圖像存在 於前述短時間保存記憶體，則將該參考圖像從前述短 時間保存記憶體移動到前述長時間保存記憶體，若移 動對象之參考圖像未存在於前述短時間保存記憶體時 90 412152 拾、申請專利範圍 ，則不進行前述記憶體内之移動之步驟。 36.-種程式，係用以藉電腦來進行參考自保存於記憶體 内之多數參考圖像選出之參考圖像來編喝之影像編瑪 方法者，該程式係使電腦執行·· 5 #保存於前述記憶體内且重要度在編碼對象圖像 以上之參考圖像作為參考圖像之候補而編碼之步驟。 37· —種影像編碼方法，包含·· 將編碼對象圖像編碼之步驟，· 判斷記憶體内是否有在將前述編碼對象圖像編碼 10 後未被參考之參考圖像之步驟； 若有前述未被參考之圖像，則在將編碼數據解碼 之解碼裝置中，將顯示開放在將前述編碼對象圖像解 碼後前述變得不需要之記憶體領域之指令編碼來作為 開放因未被參考而變得不需要之記憶體領域之指令之 15 步驟； 開放前墀變得不需要之記憶體領域之步驟；及 在將編碼晚於前述編碼對象圖像之其他編碼對象 圖像編碼時，將顯示將前述其他編碼對象圖像解碼前 開放前述變得不需要之記憶體領域之指令編碼之步驟 20 〇 38· —種影像解碼方法，包含： 將管理隨附於解碼對象圖像之記憶體之記憶體管 理資訊解碼之步驟； 判斷前述記憶體管理資訊是否為在將前述解竭對 91 200412152 拾、申請專利範圍 象圖像解碼前顯㈣行㈣記憶體之處理之解 指令之第一判斷步驟； 在前述第-判斷步驟中，判斷出前述記憶體管理 資訊為前述解碼前用指令時，則判斷管理 理是否完成之第二判斷步驟；以及 在前述第二判斷步驟中，判斷出管理記憶體之處 理已完成時’則將前述編碼對象®像解碼，在前述 二判斷步驟中判斷出管理記憶體處理未完依 ίο 據前述記憶體管理資訊進行管理記憶體之處理後將前 述解碼對象圖像解碼之步驟。 39· —種影像解碼方法，包含： 將管理隨附於解碼對象圖像之記憶體之記憶體管 理資訊解碼之步驟； 15 碼前用 判斷前述記憶體管理資訊是否為在將前述解碼對 象圖像解碼前顯示進行管理記憶體之處理之解碼前用 指令之第一判斷步驟； 將前述解碼對象圖像解碼之解碼步驟； 在前述第一判斷步驟中，判斷出前述記憶體管理 資訊非前述解碼前用指令時，則判斷前述記憶體管理 資訊是否為將解碼對象圖像解碼後顯示進行管理記情、 體之處理之解碼後用指令之第三判斷步驟；以及 在前述第三判斷步驟中，判斷出前述記憶體管理 資訊為前述解碼後用指令時，則依據前述記憶體管理 資訊進行管理記憶體之處理之步驟。 92 20 200412152 拾、申請專利範圍 40. —種影像編碼方法，包含： 將編碼對象圖像編碼之步驟； 在將前述解碼對象圖像編碼後，判斷記憶體内之 參考圖像是否全為未被參考之圖像之判斷步驟； 5 纟前述判斷步驟中，判斷出前述記憶體内之參考 圖像全為未被參考之影像時，將前述記憶體内之參考 影像全部刪除之命令之初期化指令編碼之步驟； 將前述記憶體内之參考圖像全部刪除之初期化步 驟；以及 1〇 纟將編碼晚於前述編碼對象ffl狀其他編碼對象 圖像編碼時’則依據編碼前述編碼對象圖像時所冊j除 且早於前述編碼對象圖像保存在前記記憶體内之全參 考圖像作為刪除對象之附加資訊，將顯示刪除記憶體 内之參考圖像之命令之初期化再送指令編碼之步驟。 15 41. 一種影像解碼方法，包含： 將管理隨附於解碼#象圖像之記憶趙之記憶體管 理資訊解碼之步驟； 將前述解碼對象圖像解碼之步驟； 判斷前述記憶體管理資訊中，是否有將存在於記 20 憶、體内之參考圖像全部刪除之命令之初期化指令之初 期化判斷步驟； 在刖述初期化判斷步驟中，無法判斷前述記憶體 管理身訊中有前述初期化指令時， 刖述圮憶體管理資訊中，為了刪除在將解碼早於 93 200412152 拾、申請專利範圍 :述解瑪對象圖像之其他解，象圖像解碼時應初期 Γ刪除且早於前述其他㈣對象圖像存在於記憶體 内之參考圖像，故依據顯示刪除對像之附加資訊，判 5 10 15 斷是否有刪除存在於記憶體内之參考圖像之命令之初 期化再送指令之初期化再送判斷步驟. «述《化再送判斷步驟中，判斷出前述記憶 資訊為前述初期化再送指令時’則判斷存在於 吞己憶體内之參考圖像是丕八 王口P刪除之初期化完成判斷 步驟；及 在前述初期化完成判斷步驟中，判斷出存在於記 憶體内之參考圖像未全部刪除時，則依據前述附加資 訊刪除存在於記憶體内之參考圖像之刪除步驟。 A如申請專利_第41項之影像解碼方法，其中前述記 憶體具有先入先出記憶體之短時間保存記憶體、與用 以將參考圖像較前述短時間保存記憶體更長時間保存 之長時間保存記憶體， 又，在前述刪除步驟中，使前述長時間保存記憶 體之大小為0。 43. -種記錄媒體，係記錄有參考自保存於記憶體内之多 數參考圖像選出之參考圖像以片段單位來編碼之資料 流者，且該記錄媒體記錄有··從記憶體除去保存於前 述記憶體内之參考圖像時，使指定除去之對象之參考 圖像之資訊至少隨附於2個>{段來編碼之資料卜 从一種記錄媒體，係記錄有參考自保存於記憶體^之多 94 20 200412152 拾、申請專利範圍 t參考圖像選出之參考圖像以片段單位來編碼之資料 流者，其中記錄有： 從記憶體除去保存於前述記憶體内之參考圖像時 使扎疋除去之對象之參考圖像資訊至少隨附於2個片 段來編碼，更使顯示出前述片段具有指定前述除去之 對象之參考圖像資訊之資訊附隨於前述片段而編碼， 且以不具有指定前述除去之對象之參考圖像資訊之片 段來參考指定前述除去之對象之參考圖像之資訊時， 將顯示參考指定前述除去之對象之參考圖像資訊之資 訊解碼之資料流。 95