TW200813893A - Motion picture encoding device, motion picture encoding emthod, motion picture decoding device, motion picture decoding method, motion picture recording device, program, and data structure - Google Patents
Motion picture encoding device, motion picture encoding emthod, motion picture decoding device, motion picture decoding method, motion picture recording device, program, and data structure Download PDFInfo
- Publication number
- TW200813893A TW200813893A TW96121964A TW96121964A TW200813893A TW 200813893 A TW200813893 A TW 200813893A TW 96121964 A TW96121964 A TW 96121964A TW 96121964 A TW96121964 A TW 96121964A TW 200813893 A TW200813893 A TW 200813893A
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- frame
- animation
- decoding
- pictures
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000033001 locomotion Effects 0.000 title abstract description 35
- 239000000463 material Substances 0.000 claims description 123
- 230000006870 function Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 14
- 230000009471 action Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 33
- 230000008859 change Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101001096355 Homo sapiens Replication factor C subunit 3 Proteins 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 102100037855 Replication factor C subunit 3 Human genes 0.000 description 1
- 101150003530 Tsnax gene Proteins 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
200813893 九、發明說明: 【發明所屬之技術領域】 本發明係有關於一種動畫編碼裝置、一種動畫 法、一種動畫解碼裝置、一種動畫解碼方法、一種 錄裝置、程式以及使用訊框間預測技術的資料結構 【先前技術】 目前,眾所周知動畫 MPEG(Motion Picture Group)格式一般說來係用來作爲壓縮編碼以及資料 技術,例如在日本專利公開公報特開2003 - 1 7993 1 對於MPEG格式的資料結構有詳細的敘述。 槪略而言,在該MPEG格式中,構成動畫的每 框(圖片)係分類成三種類型的圖片一I圖片(內部 片,Intra-coded picture,或者內部訊·框編碼 Intra-frame coded picture),P 圖片(預測編碼 P r e d i c t i v e c 〇 d e d p i c t u r e ),以及 B 圖片(雙向預湏 片 ’ Bi-directionally predictive coded picture) 一並 進行編碼。 該I圖片係至少一張的圖片資料將被配 GOP(Group Of Picture)之內的一種圖片,其中係辦 多數張圖片資料收集起來,以維持該G Ο P的獨立/ 圖片係僅利用該訊框的資訊進行編碼(訊框內編碼 使用訊框間預測。另一方面,該P圖片則係一種預測 框間預測編碼),其係由將過去的一* I圖片或者一k 1 編碼方 動畫記 〇 Experts 結構等 號中, 一個訊 編碼圖 圖片, 圖片, 丨編碼圖 :且隨後 置在一 P預定的 生。此I ),並未 圖片(訊 >圖片視
200813893 爲一參考圖片(reference picture),並且從此參 用以編碼的單方向運動所構成的。此外,該B 預測圖片(雙向預測編碼).,其係由將位在一時 前面的或者接下來的I圖片或者P圖片,視爲-並且從此參考圖片預測用於編碼的雙向運動所 精確地來說,該圖片以及該B圖片係以運動 vectors,MV)來表示,.彼等運動向量係由真有 的一個巨區塊單元,以及當該預測的圖片與該 Φ 訊框(實際圖片)進行比較所獲得的一個差分β 差)之該編碼 DCT(Discrete Cosine Transform, 換)係數資料所得到的。 在已進行壓縮編碼成MPEG格式的一動畫 中,對於該I圖片,係執行解碼以回復在該原 該圖片資料。對於該P圖片以及該B圖片,係 及反向的DCT變換來獲得該預測誤差,並且在 將彼等在先前已經解碼的其它訊框(在該P圖片 訊框,在該B圖片中爲過去的以及未來的訊框 考圖片,並且使用這個參考圖片以及彼等運動 以創建一預測圖片。該原始時間軸的圖片資料 的預測圖片及該預測誤差進行創建而獲得。 【發明內容】 本發明欲解決的問題 如同在前面中所敘述的,在播放已經過 MPEG格式的動畫時,爲使得該P圖片以及該 考圖片預測 圖片係一種 間軸上,在 -參考圖片, 構成的。更 句量(motion 1 6 X 1 6像素 相同時間的 B片(預測誤 離散餘弦轉 的播放過程 始時間軸的 藉由解碼以 :同一時間, 中爲過去的 ),視爲一參 向量(MV), 將由該創建 壓縮編碼成 B圖片,形 200813893 成可被顯示的圖片資料,無可避免的必須進行例如解碼、 反向DCT變換,以及創建用於從一 I圖片開始的一系列訊 框的一預測圖片等程序,其中該I圖片係由這些訊框直接 或者間接參照,作爲一起始點。 因此,在藉由訊框薄化(frame thinning)以進行顯示的 情況中,必須針對實際上並未顯示的非必要的訊框(P圖片 以及/或者B圖片).,也進行例如解碼的程序。換言之,在 隨著訊框薄化之動畫播放事件中,會有處理效_極低的問
第24A至24C圖爲描述這些問題的槪念圖。第24a圖 描繪一 I圖片(10 )、使用該I圖片作爲一起始點的數個p圖 片(P1, P2, P3,…)、以及將被參照以用於編碼每一個p圖片 的彼等參考圖片,全部皆係包含在以該MPEG格式爲基礎 的動畫之該已編碼資料當中。第24B圖顯示存在/缺少該解 碼程序的情況,以及在錄影與播放時之訊框率皆.爲 240fps(當訊框薄化並未執行時)的情況中,每一個訊框的顯 示情形。第24C圖顯示存在/缺少該解碼程序的情況,以及 在播放時之訊框率爲60fps(當訊框薄化被執行時)的情況 中’每一個訊框的顯示情形。更進一步地,第24 A至24 C 圖在訊框的區段中,沒有B圖片出現的數個實例。雖然未 描繪於圖中,在創建一 B圖片的情況中,係參照位於時間 軸上之前或者之後的該I圖片或者P圖片的該訊框。 如同在第24B以及24C圖中所顯示的,當欲實行訊框 薄化的方式播放動畫時,由於與不實行訊框薄化的情況等 200813893 效的資料處理,需要浪費電功率的消耗。並且更進一步地, 在使用一 CPU(中央處理單元)等利用預定的軟體實行具有 訊框薄化的動畫播放的一種架構中,該CPU等之處理負載 將會非常顯著。因此,其它可以與動畫播放平行執行的程 序係被限制的,造成在CPU等中,維護過多處理程序的能 力之必要性,使得預先定義的程序,可以與該動畫播放平 行執行。
有鑑於這些傳統的問題,因此執行本發明,且其目的 係爲提供一種動畫編碼裝置,以及可獲得動畫編碼資料之 一種動畫編碼方法,可以有效的執行伴隨訊框薄化的動畫 播放;一種動畫解碼裝置與可解碼上述的編碼資料之一種 動畫解碼方法;以及可錄製擷取的動畫作爲如上面所敘述 之編碼資料之一種動畫錄製裝置,以及用於實現這些的一 種程式與資料結構。 .y 爲解決這些問題,依據本發明的第一觀點之動畫編碼 裝置,係一種動畫編碼裝置,其特徵在於包括: 一編碼元件(encoding component),用以輸入一動畫, 其中該動畫包含一系列以預定的圖片擷取訊框率 (picture-capturing frame rate)擷取的訊框所組成的圖片, 以及藉由包含使用其它訊框的圖片作爲參考圖片的訊框間 預測編碼之一種編碼程序,用以編碼每一個訊框的圖片; 以及 一編碼控制元件(encoding control component),用以 限定該參考圖片於其它多個被指定的圖片’當彼等被指定 200813893 的圖片由該編碼元件執行訊框間預測編碼,其中假設由該 圖片擷取訊框率以及顯示訊框率所決定的每一個預先定義 的訊框區間中的彼等圖片爲被指定的圖片,其將在以較該 圖片擷取訊框率低的預定顯示訊框率,顯示該動畫的情況 中,成爲顯示的目標。 更進一步地,依據本發明的第二觀點之動畫編碼裝 置,其特徵在於包括:
一編碼元件,用以編碼一系列訊框的圖片,經由包含 使用其它訊框的圖片作爲一參考圖片的訊框間預測編碼之 一種編碼程序,彼等圖片將被個別輸入至以一預定的訊框 率進行擷取的一動畫中;以及 一編碼控制元件,用以限定該參考儀片於其它多數個 被指定的圖片,當彼等被指定的圖片由該編碼元件執行訊 框間預測編碼,其中係將每一個預定訊框區間的圖片視爲 被指定的圖片,當該顯示係以匹配該播放時間以及在一訊 框率之下的該圖片擷取時間來完成時,彼等被指定的圖片 將被視爲該顯示的目標,其中在該訊框率之下,該動畫在 經過編碼之後的訊框率係低於圖片擷取時的訊框率。 更進一步地,依據本發明的第三觀點之動畫編碼方 法,其係一種動畫編碼方法,其特徵在於: 包含以一預定的圖片擷取訊框率擷取的一系列訊框的 多數個圖片之動畫的每一個訊框的圖片,將透過包含使用 其它訊框的圖片作爲參照圖片的訊框間預測編碼的一種編 碼程序進行編碼;以及 -10- 200813893 其它被指定圖片係用來作爲在彼等被指定圖片的訊框 間預測編碼的情況中的一參照圖片,假設由該圖片擷取訊 框率以及顯示訊框率所決定的每一個預定的訊框區間中的 彼等圖片爲被指定的圖片,其將以較該圖片擷取訊框率低 的一預定的顯示訊框率,顯示該動畫的情況中,成爲顯禾 的目標。
此外,依據本發明的第四觀點之一種程式,其特徵在 於可使得包含在一動畫編碼裝置中的電腦具備下列功能: 一種編碼元件(encoding component),用以編碼一動 畫,其中該動畫經由包含使用其它訊框的圖片作爲一參考 圖片的.訊框間預測編碼之編碼程序,包含一系列以一預定 的圖片擷取訊框率(picture-capturing frame rate)擷取的訊 框所組成的圖片;以及 一種編碼控制元件(encoding control component),用 以限定該參考圖片於其它的多數個被指定的圖片,假設由 該圖片擷取訊框率以及顯示訊框率所決定的每一個預定的 訊框區間的彼等圖片爲被指定的圖片,當彼等被指定的_ 片由該編碼元件執行訊框間預測編碼時,其將在以較該_ 片擷取訊框率低的一預定的顯示訊框率,顯示該動畫的情 況中,成爲顯示的目標。 此外,依據本發明的第五觀點之一種動畫錄製裝魔 (motion picture recording device),其特徵在於包括: 一種圖片擷取元件(picture-capt uring component),用 以拍攝一動畫; -11- 200813893 一種編碼兀件,用以輸入一動畫,該動畫包含一系列 以一預定的圖片擷取訊框率藉由該圖片擷取元件 (picture-capturing frame rate)擷取的訊框所組成的圖片, 以及經由包含使用其它訊框的圖片作爲一參考圖片的訊框 間預測編碼之一種編碼程序,用以編碼每一個訊框的圖片; 一種錄製兀件,用以錄製動畫資料,其包含已被該編 碼元件編碼的該動畫;以及 一* 種編碼控制兀件(encoding control component),用. β 以限定該參考圖片於其它的多數個被指定的個片,假設由 該圖片擷取訊框率以及顯示訊框率所決定的每一個預定的 訊框區間的彼等圖片爲被指定的圖片,當彼等被指定的圖 片由該編碼元件執行訊框間預測編碼,其以較該圖片擷取 訊框率爲低的一預定的顯示訊框率,基於錄製於該錄製元 件中之動畫資料而顯示該動畫的情況中,將成爲顯示的目 標。
更進一步地,依據本發明的第六觀點之一種動畫解碼 裝置,係一種動畫解碼裝置,用以解碼動畫資料,其中包 含一系列以一預定的圖片擷取訊框率擷取的訊框所組成的 圖片之動畫已經過編碼,其特徵在於包括: 一種解碼元件,透過包含使用其它的訊框圖片作爲一 參照圖片的訊框間預測解碼的一種解碼程序,用以輸入及 解碼已編碼的動畫;以及 一種解碼控制兀件(decoding control component),用 以利用該解碼元件,以限制該動畫資料的解碼目標僅爲每 -12- 200813893 一個預定的訊框區間之內的被指定的圖片,該訊框區間係 由該圖片擷取訊框率以及一預定的顯示訊框率來決定,彼 等被指定的圖片在以較該圖片擷取訊框率爲低的該顯示訊 框率顯示一動畫的情況中,成爲顯示目標,以及用以使得 該解碼元件在訊框間預測解碼的情況中,使用與該解碼目 標不同的其它被指定圖片作爲一參照圖片。 此外,依據本發明的第七觀點之一動畫解碼裝置,係 一種用以解碼動畫資料之動畫解碼裝置,其中以一預定的 Φ 圖片擷取訊框率擷取的動畫已經被編碼,該動畫解碼裝置 的特徵包括: 一種解碼元件,用以透過包含使用其它訊框圖片作爲 一參照圖片的訊框間預測解碼的一種解碼程序,對該動畫 資料進行解碼;以及
一種解碼控制元件,用以利用該解碼元件,以限制該 動畫資料的解碼目標僅爲每一個預定的訊框區間之內的被 指定的圖片,其將在以較擷取圖片時的該擷取率爲低的一 訊框率編碼之後,同時將該播放時間匹配於該圖片擷取時 間所顯示一動畫的情況中,成爲顯示目標,以及使得該解 碼元件,在訊框間預測解碼的情況中,使用與該解碼目標 不同的其它被指定圖片作爲一參照圖片。 此外,依據本發明的第八觀點之一種動畫解碼方法, 係一種用以解碼一動畫之動畫解碼方法,其中動畫包含已 編碼之以一預定的圖片擷取訊框率擷取的一系列訊框的多 數圖片,其特徵在於: 200813893 包含在動畫資料中的該已編碼動畫的每一個訊框的圖 片係透過包含使用其它的訊框圖片作爲一參照圖片的訊框 間預測解碼的一種解碼程序,對該圖片進行解碼·,以及 限制將進行該解碼程序的該解碼目標’藉由該圖片擷 取訊框率以及一預定的顯示訊框率決定僅於每一個預定的
訊框區間之內的被指定的圖片’彼等被指定的圖片在以較 該圖片擷取訊框率爲低的該顯示訊框率顯示一動畫的情況 中,將成爲顯示目‘標,以及使得該解碼元件,已指定圖片 之在訊框間預測解碼的情況中,使用與該解碼目標不相词 的其它被指定圖片,作爲一參照圖片。 此外,依據本發明的第九觀點之程式,其特徵在於使 得包含在用以解碼一動畫資料(其中包含以預定的圖片擷 取訊框率擷取的一系列訊框的圖片之已編碼動畫的一種動 畫解碼裝置中的電腦,具備下列元件的功能: 一種解碼元件·,用以輸入該動畫資料,以及透過包含 使用其它的訊框圖片作爲一參照圖片的訊框間預測解碼的 一種解碼程序,解碼每一訊框之圖片;以及 一種解碼控制元件(decoding control component),利 用該解碼元件,限制解碼目標僅對每一個預定的訊框區間 之內的被指定的圖片,該訊框區間係由該圖片擷取訊框率 以及一預定的顯示訊框率來決定,彼等被指定的圖片在以 較該圖片擷取訊框率爲低的該顯示訊框率上顯示一動畫的 情況中,成爲顯示目標,以及用以使得該解碼元件,在訊 框間預測解碼的情況中,使用與該解碼目標不同的其它被 -14- 200813893 指定圖片,作爲一'參照圖片。 更進一步地,依據本發明的第十觀點之一種資料結 構,係動畫資料的一種資料結構,其中包含以一預定的圖 片擷取訊框率擷取的一系列訊框的圖片之動畫已編碼’並 且也將利用動畫解碼裝置進行解碼,該資料結構的特徵包 含:
將訊框間預測編碼的已編碼資料視其它的被指定圖片 爲一參考圖片,其中已被指定的圖片的該已編碼資料,具 有由圖片擷取訊框率以及顯示訊框率來決定的每一個預定 的訊框區間,彼等被指定的圖片在以較該圖片擷取訊框率 爲低的該顯示訊框率顯示一動畫的情況中,經由該動畫解 碼裝置進行解碼,以成爲顯示目標;以及 參照圖片指示資訊(reference picture indication information),指出在解碼彼等被指定圖片時,作爲參照圖 片的彼等其它的被指定圖片。 (本發明的效益) 依據本發明,可有效率的實行伴隨訊框薄化的動畫播 放。 【實施方式】 本發明的較佳具體實施例,將參考於所附圖式,在下 文中詳加敘述。 (具體實施例1) 首先,描述第一具體實施例。第1圖爲關於本具體實 施例的一種動畫錄製裝置(數位攝影機)的電氣架構的槪略 -15- 200813893 方塊圖。該動畫錄製裝置包含一動畫錄製功能以及一動畫 播放功能,並且具備下列組件(constitution)。
換句話說,該動畫錄製裝置具有一圖片擷取元件(裝 置)1,用以擷取動畫。該圖片擷取元件1係一種動畫擷取 部分,係由例如CCD、CMOS以及其它類似的影像感測器, 與一 A/D轉換器等所構成。其中該影像感測器係用以透過 物件光線(object light)L從一光學系統進入而轉換光學影 像成爲電氣信號,以及該A/D轉換器係用以從彼等影像感 測器所得到的輸出信號,轉換成數位信號。該圖片擷取元 件1,在該轉換程序之後,輸出彼等數位信號,亦即圖片 擷取信號至圖片產生元件2。 該圖片產生元件(裝置)2,依序地由從該圖片擷取元件 1,以一預定的訊框率輸出彼等圖片擷取信號,產生圖片資 料。在此處所產生的該圖片資料,係由一亮度成分Y,以 及色差成分Cb與Cr所構成。在一系列的訊框資料構成一 動畫時,該圖片資料依序地透過一記憶體匯流排3儲存在 記憶體4中。一度儲存在該記憶體4中的該圖片資料,在 錄製的時候,再循序地輸入至該CODEC 5。此外,等效於 多數個訊框的圖片資料係儲存於該記憶體4中。 該CODEC 5係一種編碼元件且也爲一種解碼元件,藉 由使用訊框間預測技術的一編碼系統,透過動作補償用以 編碼動畫資料,以及用以解碼該已編碼資料。更具體而言, 該CODEC 5係由一正交轉換電路、——量化電路、一動作偵 測電路、一前向預測電路、一編碼電路、一解碼電路、一 16- 200813893 反向正交轉換電路、一訊框記憶體等所組成,用以編碼組 成該動畫的一系列訊框(圖片資料),成爲在該MPEG格式 (MPEG-1、MPEG-2、MPEG-4、H.2 64 等)中的 I 圖片(訊框 內編碼圖片)’以及P圖片(訊框間預測編碼圖片),並且用 以解碼該已編碼資料。
在錄製的時候,該CODEC 5編碼從該記憶體4連續地 輸入的該圖片資料(一系列的訊框資料)。當該CODEC 5編 碼該I圖片時’其進行僅使用該訊框資訊的一編碼(訊框內 編碼)程序,並且將其結果輸出至該記憶體4。此時,該 CODEC 5將該圖片資料儲存於該記憶體4中,作爲將在編 碼接下來的訊框的該P圖片時使用的圖片資料(參照圖片)。 更進一步地,當該CODEC 5編碼該P圖片時,從該記 憶體4中讀取儲存於其中的圖片資料(參照圖片),作爲在 編碼先前的多數個訊框時的參考之目的,並且使用該參照 圖片以及該相關的訊框的圖片進行一編碼(訊框間預測編 碼)程序,以將其輸出至該記憶體4。此外,該已編碼資料 在此處的輸出包括動作向量(MV)。此外,如同將在稍後所 提到的,除了相關的已編碼資料之外,也會加入例如顯示 哪一個圖片,例如該已編碼資料是否爲一 I圖片或者一 P 圖片的圖片類型資訊,以及顯示在解碼時的參照訊框的該 參照訊框資訊等屬性資訊。
此外,當該CODEC 5編碼一 P圖片時’該訊框的圖片 資料係儲存在該記憶體4中,作爲將在編碼接下來的訊框 的p圖片所使用之參照圖片的資料。更具體而言’該C0DEC 200813893 已局部 圖片的 資料), 預定的 並且儲 8加入 記錄在 該記憶 元件6 液晶顯 ,在播 已編碼 CODEC 前所敘 型的播 速率播 畫係儲 每一個 ,也同 5對於該已編碼的P圖片進行局部解碼,並且將該 解碼的圖片資料儲存於該記憶體4中,作爲該參照 資料◊並且,先前所敘述的I圖片與P圖片(已編碼 以及該參照圖片(圖片資料),每一個皆分開儲存在 區域,以維護在該記憶體4中的安全性。 如同在前面中所敘述的,由該C 〇 D E C 5所產生 存在該記憶體4中的該已編碼資料,當藉由一 CPU 該屬性資,訊並.且透過一記憶卡控制元件(控制器)9 # 一記憶卡1 〇中時,既爲一動晝檔案。 此外,由該圖片產生元件2所產生並且儲存在 體4中的該圖片資料’在錄製時,係由一顯不控制 讀取,並且也送至 一 LCD(Liquid Crystal Display, 示器)7,以在該LCD的螢幕上顯示。
另一方面,記錄在一記憶卡10中的該動畫檔案 放時係由一記憶卡控制元件9進行讀取,並且在該 資料部分已經由該CPU 8取出之後,再傳送至該 5。已經被傳輸的該已編碼資料(動畫資料),經由先 述的該CODEC 5,透過依據將在稍後敘述的三種類 放模式(正常速率播放模式、慢速播放模式以及可變 放模式)所採取的一種動作,進行解碼。該已解碼動 存在該記憶體4中,當該顯示控制元件6連續地對 訊框讀取出該儲存於記憶體4中之已解碼的動畫時 時將其送出至該LCD 7,以作爲一動畫在螢幕上顯示。 該CPU 8依據儲存在一程式記憶體1 1中的一預定的程 200813893 式,控制上述的每一個元件,同時連續地偵測在一按鍵輸 入元件12上的按鍵運作狀態,該按鍵輸入元件12包含各 種類型的蓮算鍵,經過適當配置以利於使用者操作該動畫 錄製裝置,並且依據該預定的按鍵運作進行控制。
該CPU 8使得該圖片擷取元件1、該圖片產生元件2 以及該CODEC 5以240 fps的訊框率執行錄製的動作,並 且進行高速的圖片擷取,以及使得該顯示控制元件6以60 fps的固定訊框率(在下文中稱爲顯示訊框率)動作。此外, 在一動畫錄製裝置中,在播放記錄在該記憶卡1 0中的動畫 時,該CPU 8會執行一解碼控制元件的功能,使得該CODEC 5以一 60 fps的訊框率動作,其與顯示訊框率相同,並且 依據將在稍後敘述的三種類型的播放模式(正常速率播放 模式、慢速播放模式以及可變速率播放模式)進行控制。 該程式記憶體1 1係一種非揮發性記憶體,例如 EEPROM或者Flush記憶體等,允許複寫,其中除了先前 所敘述的該預定的程式之外,該程式記憶體1 1儲存其它的 與該裝置設定的每一個功能有關的被指定的資料,或者使 用者所做的改變。 在該按鍵輸入元件 12中的配置包括一種模式切換 鍵,提供使用者在該錄.製模式以及播放模式之間,切換該 動畫錄製裝置的動作模式,以及其它的操作鍵等,用以指 示在該錄製模式中開始錄製與停止錄製,以及在該播放模 式中開始播放以及停止播放。 此外’在本具體實施例的播放模式中,提供先前所敘 -19- 200813893 述的三種類型的播放模式(正常速率播放模式、慢速播放模 式以及可變速率播放模式)。正常速率播放模式係一動畫的 移動速率(在下文中將稱之爲播放速率)與該錄製的目標的 實際移動速率(在下文中將稱之爲正常速率)相同的一個速 率的一種模式,以及該慢速播放模式係其中播放速率係1 /4 的速率的一種模式,其較該正常速率來得慢。這兩種播放 模式皆係使用於該播放速率係固定於前述的該速率的一種 狀態之動晝播放的情況。不同於正常速率播放模式以及慢 Φ 速播放模式,可變速率播放模式係在播放時,該動畫的播 放速率可以適當地改變至正常速率或者該正常速率的1/4 的速率的一種模式。此外,每一種播放模式可以在播放動 畫之前’先進行設定,允許使用者可以藉由操作該模式切 換鍵’在該動晝播放之前,選擇性地設定任意的播放模式。 此外,在該按鍵輸入元件1 2中,提供一速率切換鍵, 允許使用者在可變速率模式中,在動畫播放期間,於正常
速率以及1/4的速率之間切換該動畫播放速率,並且該運 作元件係以該按鍵輸入元件1 2來實現。 文中,將詳加敘述本具體實施例的動畫錄製裝置 的動作(運作或者程序)。 (錄製動作) 首先’說明當拍攝一動畫並且在錄製模式中進行錄製 時的動作。第2圖爲透過該CPU 8對該CODEC 5的控制內 容的一流程圖。在拍攝以及錄製該動畫時,該CPU 8會使 得動晝擷取元件i、動畫產生元件2、以及CODEC 5以240 •20- 200813893 fps的訊框率動作,並且將每一個元件依據訊框的單位進行 同步。 之後’在開始拍攝以及錄製時,該CPU 8首先初始化 該訊框數(i)(步驟SA1),此外,該訊框數的預設値(該第一 訊框的數値)爲”0”。此後,該CPU 8等待等效於一個訊框 的該圖片資料輸入(存入)至該記憶體4(步驟SA2),並且使 得該CODEC 5執行將在下文中敘述的一個編碼程序,同時 對每一個訊框,將該訊框編號(i)增加1。
首先’若該CPU 8判定該訊框編號⑴係120的倍數(在 步驟S A3中的”是”),緊接著該動作開始之後包含的第一訊 框(i = 〇) ’此時儲存在該記憶體4中的該圖片資料,被讀取 出來,並且輸入至該CODEC 5中,使得該CODEC 5編碼 一 I圖片。換句話說,該CODEC 5僅依據該輸入的圖片資 料,執行一訊框內編碼並且輸出該已編碼資料至該記憶體 4 (步驟SA4)。之後,該CODEC 5儲存該局部已解碼的圖片 資料’其中該已編碼資料已經從在該記憶體4中的該已編 碼資料分別被解碼成爲圖片資料(參照圖片),將在編碼接 下來的該訊框的P圖片時使用。此外,該CPU 8在該已編 碼資料中加入先前所敘述的屬性資訊(步驟SA5)。 之後,當該CPU 8判定該圖片擷取並未結束(在步驟 SA6中的”否”),在將該訊框編號⑴增加1之後(步驟SA7), 回到步驟SA2,並且重複上述程序。換句話說,每次當訊 框編號(i)變成”120”的倍數時,每隔0.5秒該CPU 8會令該 CODEC 5編碼輸入的該圖片資料成爲一 I圖片,因爲該訊 200813893 框率係240 fps。
此外,當重複上述程序時,若該CPU 8判定輸入至該 記憶體4中的該圖片資料的訊框編號(i),丨20之外的倍數, 並且同時爲4的倍數(在步驟SA3中的,,否,,,以及步驟SA8 中的”是”),則四個訊框之前的訊框的編碼程序的情況中儲 存在該記憶體4中的參照圖片,以及此時儲存在相同的該 記憶體4中的圖片資料,被讀取出來,並且輸入至該CODEC 5中,其將在執行該P圖片的編碼時(步驟SA9)被該CODEC 5使用。換句話說,該CPU 8將令該CODEC 5透過前向訊 框內預測編碼進行編碼,同時也進行動作補償,其中在三 個訊框之後,四個訊框之前的訊框的一圖片被用來當作參 照圖片,並且輸出該已編碼資料至該記憶體4。之後,該 CODEC 5對該已編碼的P圖片進行先前所敘述的該局部解 碼,並且將該局部已解碼的圖片資料與該已編碼資料分開 來儲存於該記憶體4中,作爲在解碼下一個訊框時的一參 照圖片(亦即P圖片)的資料。此外,該CPU 8在該已編碼 資料中,加入在先前所敘述的該屬性資訊(步驟SA5)。 另一方面,若該CPU 8判定輸入至該記憶體4中的該 圖片資料的訊框編號⑴並非4的倍數(在步驟SA3以及SA 8 兩者中的”否”),則儲存在該記憶體4中的該參照圖片,在 緊接在前面的訊框的一編碼程序的情況中,以及此時儲存 在相同的該記憶體4中的該圖片資料被讀取出來,並且輸 入至該CODEC 5,其在執行該P圖片的編碼時,爲該CODEC 5所使用,並且之後,將該已編碼資料輸出至該記憶體4 (步 -22- 200813893 驟SA 1 0)。換句話說,透過具有動作補償的訊框內預測編 碼執行編碼。此外,也在此情況中,該C0DEC 5對於該已 編碼的P圖片執行先前所敘述的該局部解碼’並且該局部 已解碼的圖片資料係與該已編碼資料分開儲存在該記憶體 4中,作爲在編碼下一個訊框時的一參照圖片的資料(亦即 P圖片)。此外,該CPU 8在該已編碼資料中’加入在先前 所敘述的該屬性資訊(步驟SA5)。 在下文中,當該CPU 8判定該圖片拍攝並未結束時(在 Φ 步驟SA6中的”否”),則重複上述的所有程序,且當判定該 圖片拍攝已經結束(在步驟SA6中的”是”),則該錄製動作 終止。此外,儲存在該記憶體4中的一系列的已編碼資料 以及加在每一個訊框中的該屬性資訊,透過該記憶卡控制 元件9,傳送至該記憶卡1 0,以利於以動晝檔案的方式錄 製。上述程序,係以訊框爲單位在該圖片擷取元件1以及 該圖片產生元件2之間進行同步。
第6 A圖係一示意圖,槪念性地描述由已經在前面敘述 的該程序所產生的該已編碼資料61,以及加在其上的該屬 性資訊62’亦即’圖片類型資訊62a以及參照訊框資訊 6 2b。此外,在H.264中,上述的已編碼資料61係儲存在 一動畫檔案中’作爲切片的資料本體。另一方面,該圖片 類型資訊62a係儲存在一切片檔頭中,作爲一切片之指出 每一個圖片的類型,同時該參照訊框資訊62b係與該已編 碼資料61 —起儲存在該切片資料本體,作爲在解碼每一個 圖片時指示參照圖片之參照圖片指定資訊。此外,關於參 -23- 200813893 照圖片指定資訊(參照訊框資訊6 2b),係提供隨著遠離該訊 框而增加的數値。例如,若該參照圖片係一緊接在前面的 參照圖片(被參照的圖片),其値爲,,〇”。若一參照圖片係一 個圖片之前的情況’則其値爲” 1 ”,並且若其爲再又一個之 前的一參照圖片,則其値爲”2”,以此類推。 此外,在該圖中所示的該已編碼資料61中,該”1”係 一 I圖片,該”P”係指除了彼等I圖片之外的訊框編號⑴係 4的倍數的訊框之P圖片,以及該” p”係指該訊框編號⑴係 ^ 除了 4的倍數之外的任意數目的訊框之p圖片。在本具體 實施例中,該”1”與” P”係具有一預定的訊框區間的特定圖 片(已被指定的圖片)。並且,.該箭號所指示的該訊框係編 碼每一個P圖片時的一參照訊框(參照圖片)。此外,在接 下來的敘述中,該”1”與” P”訊框將被稱爲主要訊框,以及 該”P”係爲次訊框。
此外,在上述的該已編碼資料61中,對於每一個訊框 皆加上一個數値,作爲圖片類型資訊62a,例如對於一 I 圖片加上”1”,對於一 P圖片則加上”P”。並且,對於P圖 片的彼等訊框,將加上先前所敘述的一預定的數値,作爲 參照訊框資訊62b。換句話說,作爲參照訊框資訊62b,對 於所有的次訊框(pl,p2,p3等)分別加上”〇”,表示一緊接 在前面的參照圖片(將被參照的圖片),以及對於主訊框(P4, P 8,P 1 2),每一個皆加上”3 ”,表示在訊框順序前四個訊框 之一參照圖片(被參照的圖片)。 (播放動作) -2 4 - 200813893 接下來,將參考於第3至5圖,依據前述的每一種播 放模式(正常速率播放模式、慢速播放模式以及可變速率播 放模式),詳加敘述在播放時的動作。 此處,假定透過前述的彼等錄製動作,錄製於該記憶 卡10中的動.畫(動畫檔案)將被播放。更進一步地,在每一 個播放模式中,首先該CPU 8讀取錄製在該記憶卡10中的 動畫檔案,並且由使用者透過該記憶卡控制元件9,隨意 選出。該CPU 8之後再取出已經被讀取的該動晝檔案中的 該已編碼資料邰分,並且以一 6 〇 fp s的訊框率開始傳輸該 已編碼的資料部分至該CODEC 5,開始該動晝的播放。 (播放動作,慢速播放) 首先,將依照第3圖中的流程圖,描述在慢速播放模 .式中的動作。當使用者設定慢速播放模式時,該CPU 8會 令該CODEC 5以及該顯示控制元件6以60 fps的訊框率開 始動作。
之後,一旦開始播放,該CPU 8首先初始化該訊框編 號(i)(步驟SB 1)。更進一步地,如同在錄製時的情況,該 訊框編號的初始値爲”0”。 接著’該CPU 8讀取附加於該訊框編號(i)的該已編碼 資料之該屬性資訊62(圖^類型資訊62a,參照訊框資訊 62b)(步驟SB2),以判定由該圖片類型資訊62a所指示之該 圖片類型是否爲一 I圖片(步驟SB3)。此處,類似於該播放 開始時的情況,若該CPU 8判定其係爲一 ϊ圖片(在步驟 SB3中的”是”),則由該CODEC 5解碼該I圖片·。換句話說, -25· 200813893 該CPU 8會令該CODEC 5透過訊框內解碼程序對該圖片資 料進行解碼,以輸出該圖片資料至該記憶體4(步驟SB4)。
此外,若該CPU 8判定該訊框編號⑴的該已編碼資料 並非一 I圖片(在步驟SB3中的”否”),則其將使得該CODEC 5解碼一 P圖片(該主訊框或者該次訊框的已編碼資料)。換 句話說,該· CPU 8透過訊框間預測解碼,對該圖片資料進 行解碼,其中已經在步驟SB2中被讀取出來的該參考訊框 資訊62b中所指出的一參照訊框的一個圖片,亦即在該主 訊框的P圖片的情況中,四個訊框之前的圖片,儲存在該 記憶體4中,以及在該次訊框的P圖片的情況中,一個訊 框之前的一個圖片,儲存在該記憶體4中,分別被用來作 爲一參照圖片。之後,該CPU 8令該CODEC 5輸出該圖片 資料至該記憶體4(步驟SB5)。 在該CPU 8等待下一個1/60秒的顯示訊框率的顯示時 機之後(步驟SB 6),該已解碼圖片資料從該記憶體4中被讀 取出來,並且將該圖片資料傳送至該顯示控制元件6 ;因 此,該CPU 8會令該顯示控制元件6,以依據該顯示訊框 率(步驟SB 7)的一顯示時機,更新在該LCD 7上的一顯示 圖片。 隨後,當該CPU 8判定該最後訊框的處理程序尙未完 成時(在步驟SB8中的”否”),在將該訊框編號(i)增加1之 後(步驟SB 9),回到步驟SB2,並且重複先前所敘述的該程 序。當該CPU 8判定全部的該已編碼資料的解碼(彼等全部 訊框的顯示)已經完成時(步驟SB8中的”是”),則結束播放。 -26- 200813893 是故,如同在第6B圖中所顯示的,該CPU 8使得該 CODEC 5解碼所有的已經被拍攝並且依順序以240 fps錄 製的彼等訊框,並且由於所有已被錄製的彼等訊框的圖片 資料係以-60 fps的速率在該LCD7上顯示,因此該圖片係 以該正常速率的1/4的一個速率,進行慢速播放。 (播放動作,正常速率播放)
接下來,將依照第4圖中的流程圖,描述在正常播放 模式中的動作。即使當使用者設定爲正常播放模式時,該 CPU 8仍然會令該CODEC 5以及該顯示控制元件6以6〇 f P s的訊框率開始動作。 之後,一旦開始播放,該CPU 8首先初始化該訊框編 號(0 (步驟SB 10 1)。更進一步地,如同在錄製時的情況, 該訊框編號的初始値爲”〇”。 ,接著,該CPU 8判定該訊框編號(i)是否爲4的倍數(包 含該初始値”〇”),亦即,是否爲前述的主訊框(步驟 SB 1 02)。在此,類似於緊接在開始播放之後,當該CPU 8 判定該訊框編號(i)係爲4的倍數(在步驟SB102中的” 是”),則從該已編碼資料循序讀取出該屬性資訊(步驟 SB103),以判定該屬性資訊所指示之該圖片類型是否爲一 I圖片(步驟SB104)。 之後,如同在前述的該慢速播放模式中的步驟SB4至 SB9,當該CPU 8判定其係一類似於在播放開始時的該初 始訊框之I圖片,在I圖片的情況中(在步驟SB 104中的” 是”),一 I圖片係由該CODEC 5進行解碼。換句話說’該 -27- 200813893 CPU 8會令該CODEC 5透過訊框內解碼對該圖片資料進行 解碼,並且該圖片資料係輸出至該記憶體4(步驟SB 105)。 另外,當該CPU 8判定其並非一 I圖片(在步驟SB 104中的” 否,,),則由該CODEC 5對一 P圖片進行解碼。換句話說, 該CPU 8會使得該CODEC 5使用由在步驟SB103中已讀 取出來的該屬性資訊所指示的一參照訊框的一個圖片(四 個訊框之前的一個圖片,並且已經被儲存在該記憶體4中= 緊接在前面個該主訊框的圖片),做爲一參照圖片,透過訊 Φ 框間預測解碼對該圖片資料進行解碼,並且該圖片資料被 輸出至該記憶體4(步驟SB 106)。然而,不同於在該慢速播 放模式中,在此處將被解碼的P圖片,僅限於該主訊框的 P圖片。 在該CPU 8等待1/60秒的顯示訊框率的顯示時機之後 (步驟SB 10 7),該已解碼圖片資料從該記憶體4中被讀取出
來,並且將該圖片資料傳送至該顯示控制元件6。因此, 該CPU 8會令該顯示控制元件6,以依據該顯示訊框率(步 驟SB108)的一顯示時機,更新在該LCD 7上的一顯示圖片。 當該CPU 8判定該最後訊框的處理程序尙未完成時 (在步驟SB 109中的”否”),在將該訊框編號⑴增加i之後 (步驟SB 110),回到步驟SB 102,並且重複先前所敘述的該 程序。 此時,當該CPU 8判定在步驟SB 102中的該識別結果 是”否”而且該新訊框編號(i)並非4的倍數時(亦即,當其判 定將成爲下一個處理目標的該已編碼資料係先前所敘述的 -28- 200813893 該次訊框的一 p圖片時),則省略該訊框編號(i)的該已編碼 資料。換句話說,該CPU 8省略已經從該動畫檔案中讀取 出來送至該CODEC 5的該已編碼資料的傳輸動作(步驟 SB 1 1 1 ),將該訊框編號⑴如同所需要的增加〗(步驟 SB112),並且回到步驟SB102,重複步驟SB111以及SB112 的彼等程序,一直到該訊框編號(i)變成4的倍數。
當該訊框編號⑴再一次變成4的倍數的瞬間,該CPU 8 執行先前所敘述的步驟S B 1 0 3至步驟S B 1 0 8的彼等程序, 使得該CODEC 5對下一個主訊框的該已編碼資料(I圖片或 者P圖片)進行解碼,並且在該LCD 7上顯示該已解碼的圖 片資料。 隨後,當該CPU 8判定該最後訊框的處理程序尙未完 成時(在步驟SB109中的”否”),在將該訊框編號(i)增加1 之後(步驟SB110),藉由回到步驟SB102重複先前所敘述 的該程序。換句話說,如同在第6C圖中所顯示的,該CPU 8會令該CODEC 5每四個訊框(在三個訊框之後)即顯示(解 碼)該動畫。換句話說,該CPU 8以正常的速率,藉由薄化 彼等將被顯示(解碼)的訊框至1/4,以播放該動畫。當該 CPU 8判定該最終訊框的處理程序已經完成(在步驟SB 109 中的”是”),該播放程序結束。更進一步地,當該CPU 8在 先前所敘述的該步驟SB 1 12中,將該訊框編號(i)增加1 時,若其判定將超過該最後訊框的該訊框編號(i)時,該播 放程序很明顯的在此點結束。 此處,上述正常播放模式中之動畫的播放過程中,在 29- 200813893
實際顯示的該主要訊框的該已編碼資料之中,該I圖片係 一訊框內編碼圖片,並且該P圖片係一訊框間預測編碼圖 片。然而,此P圖片係關於該I圖片或者最前面的該主訊 框的該P圖片爲一參照圖片而進行編碼。因此,如同在稍 早所描述的,該CPU 8可以在不解碼將不會被顯示的彼等 次訊框的該已編碼資料(P圖片)的情況下,毫無問題地顯示 每一個主訊框。換句話說,該CPU 8可以在伴隨訊框薄化 的正常播放模式中,有效率地執行動畫的播放。因此,相 較於過去,可以減低全部的資料處理量以及功率消耗。 (播放動作,可變速率播放) 接下來,依據第5A以及5B圖中的該流程圖,描述可 變速率播放模式中的動作。即使當使用者已設定爲可變速 率播放模式時,該CPU 8仍然會令該CODEC 5以及該顯示 控制元件6以60 fps的訊框率開始動作。 之後,一旦開始播放,該CPU 8首先初始化該播放模 式値(m),該數値係一參數,用以調節該CODEC 5的播放 動作(步驟SB 2 01)。換句話說,該CPU 8決定該播放模式 類型。在此,該播放模式値(m)有兩種類型,,,1,,或”4”。該,,1 ” 係慢速播放模式,以及該”4”係正常速率播放模式,並且該 CPU 8在該初始化的情況中,將該播放模式値(m)設定 爲”1”(慢速播放模式)。更進一步地,該CPU 8初始化該訊 框編號(i)(步驟SB202)。此外,該訊框編號的初始値在錄 製程序中係爲” 0 ”。 此後,該CPU 8判定該訊框編號(i)是否爲該播放模式 -30- 200813893 値(m)的一個倍數(假定”i = 0”也包含在內)(步驟SB203)。由 於i = 0且m == 1緊接在開始播放之後,該C P U 8判定爲”是”,
並且讀取附加於該已編碼資料(步驟SB204)的該附屬資訊 62(圖片類型資訊62a,參考訊框資訊62b),以判定由該圖 片類型資訊62a所指示之該圖片類型是否爲一 I圖片(步驟 SB205)。緊接著在開始播放之後(該第一訊框),該CPU 8 判定該已編碼資料係一 I圖片(在步驟SB205中的,,是,,), 並且令該CODEC 5對該I圖片進行解碼(訊框內解碼),且 輸出該解碼圖片資料至該記憶體4(步驟SB 206)。 在該CPU 8等待1/6 0秒的顯示訊框率的時機之後(步 驟SB20 7),該已解碼圖案資料從該記憶體4中被讀取出 來,並且將該圖片資料傳送至該顯示控制元件6。因此, 該CPU 8會令該顯示控制元件6,依據該顯示訊框率(步驟 SB208)的顯示時機,更新LCD 7上的一顯示圖片。 當該CPU 8判定該最後訊框的處理程序尙未完成時 (在步驟SB209中的”否”),在將該訊框編號⑴增加i之後 (步驟SB2 10),其判定該訊框編號⑴是否爲4的倍數(步驟 SB21 1)。由於緊接在開始播放之後i=l,因此在此處該CPU 8判定爲”否”,如同所需要的回到步驟SB203,並且重複先 前所敘述的該程序。 由於在此時卜1且m=l,因此在步驟SB203中該CPU8 判定爲”是”’並且讀取附加於該已編碼資料的該屬性資訊 62(步驟SB204),以判定其是否爲一 I圖片(步驟SB20 5)。 該第二訊框(i=l)係一次訊框,並且該解碼目標的該已編碼 200813893
資料係一 P圖片(在步驟SB205中的”否”)。因此,該CPU8 讀取伴隨於該訊框編號(i)的該已編碼資料的該參照訊框資 訊6 2b中所指示的一參照圖片,亦即從該記憶體4,——個 訊框之前的一圖片,並且使得該CPDEC 5對於一 P圖片進 行解碼,並且視其爲一參照圖片,且將其輸出至該記憶體 4(步驟SB212)。在該CPU 8等待1/60秒的顯示訊框率的時 機之後,該已解碼圖片資料從該記憶體4中被讀取出來。 該CPU 8將該圖片資料傳輸至該顯示控制元件6,使得該 顯示控制元件6更新在該LCD 7上的一顯示圖片,其顯示 時機係依據該顯示訊框率(步驟SB207以及SB208)。更進 一步地,對於該第三訊框以及第四訊框的已編碼資料,如 同在該第二訊框的情況中一樣,該CPU 8使用一個訊框之 前的一圖片,進行一解碼程序,並且使得該已解碼圖片資 料,在該LCD 7上顯示。 在此處,緊接在該第四訊框的圖片被顯示之後,該CPU 8判定在步驟SB210中,在將該訊框編號⑴增加1之後, 其値爲”4”(在步驟SB21 1中的”是”),並且立刻驗證使用者 是否有操作速率改變按鍵,且若速率改變按鍵並未被操作 (在步驟SB213中的”否”),則回到步驟SB203。第五訊框 (i = 4)係一主訊框,並且該解碼目標的該已編碼資料係一 P 圖片(在步驟SB205中的”否”)。因此,該CPU 8讀取附加 於該訊框編號(i)的該已編碼資料中的該屬性資訊所指示的 一參照圖片,亦即從該記憶體4中,四個訊框之前的一圖 片(最前两的主訊框圖片),並且使得該CODEC 5對該P圖 -32- 200813893 片進行解碼(訊框間預測解碼),且藉由使用它以將其輸出 至該記憶體4(步驟SB212)。該CPU 8接著令該圖片資料顯 示在該LCD 7上(步驟SB207以及SB208)。 此後,該CPU 8重複步驟SB203至SB213中的彼等程 序,並且,如同在第6B圖中所顯示的,藉由解碼所有顯示 的彼等訊框,如同在播放開始時,使用者設定爲慢速播放 模式的情況中,該動畫以該正常速率的1 /4速率慢速播放。 此外,在此同時,該CPU 8每隔四個訊框,亦即正好在處 φ 理該主訊框的已編碼資料之前,驗證該速率改變按鍵的運 作的存在性與不存在性。 若該CPU 8判定在該期僴中,在任何的驗證時機(步驟 SB2 1 3中的“是”)中,該速率改變按鍵有任何的運作,在該 時間點上,將該播放模式値(m)從”1”切換至”4”之後(步驟 SB214),藉由回到步驟SB203,完成切換至正常播放模式 的轉換。 緊接在轉換至正常播放模式之後,該CPU 8在步驟 φ SB203中判定爲”是”,並且讀取在步驟SB204中,附加於 該訊框i的該已編碼資料之屬性。若該CPU8在步驟SB205 中判定爲”否”,則其從該記憶體4中,讀取四個訊框之前 的一圖片(最前面的該主訊框的圖片),並且使得該CODEC 5藉由將其視爲一參照圖片以進行碼(訊框間預測解 碼),並且接著將該已解碼圖片資料,顯示在該LCD 7之 上。此外,若該CPU 8在步驟SB205中判定爲”是”,則其 使得該CODEC 5解碼一 I圖片(訊框內解碼),接著將該已 解碼資料顯示在該LCD 7上。 -33- 200813893 之後,當該CPU 8判定該訊框編號⑴並非4的倍數(在 步驟SB203中的”否”),則其省略在此點上的該訊框之已編 碼資料(P圖片)一亦即該次訊框。換句話說,該CPU 8省略 從一動晝檔案中所獲得的已編碼資料轉移至該CODEC 5的 動作(步驟SB 2 15) —在將訊框編號⑴增加1之後,回到步 驟SB203,其係一重複的程序(步驟SB216)。另一方面,當 該CPU 8判定該訊框編號⑴係爲4的倍數時(在步驟SB20 3 中的”是”),則執行步驟SB204之後的程序。換句話說,若 Φ 該CPU 8在步驟SB205中判定爲”否”,則在前面四個訊框 的圖片(最前面的該主訊框的圖片),從該記憶體4中被讀 取出來,並且在該主訊框的已編碼資料(P圖片)以其作爲一 參照圖片而由該CODEC 5進行解碼之後(訊框間預測解 碼),將已解碼圖片資料顯示在該LCD 7上。此外,若該 CPU 8在歩驟SB205中判定爲”是”,在該I圖片由該CODEC 5進行解碼之後(訊框間解碼)’則在該L C D 7上顯7^:已解碼 圖片資料。
接著,在重複彼等相同的步驟時’類似於設定爲正常 速率播放模式的情況中,如同在第6 C圖中所示,藉由每四 個訊框(每第四個訊框)(薄化將被顯示的彼等訊框至1/4)顯 示(解碼)一個動晝。該CPU 8以正常速率播放該動畫。此 外,在此同時,每四個訊框(亦即’正好在處理下一個主訊 框的已編碼資料之前的時機)該CPU 8檢查該速率改變按 鍵是否被操作(步驟SB213)。 之後,若該CPU 8判定該速率改變按鍵在任何的指定 -34- 200813893 時間上,已經被操作(在步驟S B 2 1 3中的,,是,,),在其將該 播放模式値(m)從”4”切換至”1”之後(步驟SB214),在該點 上藉由回到步驟SB203以移動至慢速播放模式,並且繼續 該播放動作。當該CPU 8判定該最後訊框的處理程序已經 完成(在步驟SB209中的”是”)時,則播放結束。此外,當 在前述的步驟SB216中,訊框的數目(i)增加1,若其判定 將超過該最後訊框的該訊框編號(i),則該播放程序應該在 那個點上結束。
如同在前面中所提到的,在可變速率播放模式中,既 使該動畫正在播放中,當使用者在一期望的點上操作該速 率改變按鍵時,該動畫的播放模式,亦即播放速率(移動速 率),可以即時地切換至正常速率以及正常速率1/4的速率。 更進一步地,當設定播放速率爲正常速率時,如同在 之前所提到的,在每四個訊框中的該主訊框可以被有效地 顯示,而不需要解碼將不會被顯示的該次訊框的已編碼資 料(P圖片)。因此,相較於傳統的方法,在本發明的方法中 該全部的資料處理量以及功率消耗可以降低。 此外,由於在Η·264(其係爲動畫壓縮的一種國際標準) 中,僅有包含I圖片以及Ρ圖片的動畫資料可以被接受’ 如同在本具體實施例中的情況,若該架構可以使得動畫資 料的播放與Η. 264相容,則其可以由任意的動畫播放裝S 播放。 [具體實施例2] 本發明的第二具體實施例將在下文中詳加敘述。類似 -35 - 200813893 於該第一具體實施例,本具體實施例係有關於一動畫錄製 裝置,包含一錄製功能用以壓縮與錄製以240 fps的高速訊 框率擷取的一動畫;以及一播放功能,用以解碼該錄製的 動畫資料,並且以60 fps的顯示訊框率播放。 本具體實施例的基本架構,與在該第一具體實施例中 所顯示的該動畫錄製裝置(第1圖)相同,但是該CODEC 5 的架構係詳述於第7圖。 第 7圖係一方塊圖,顯示在本具體實施例中的一 Φ CODEC 5的架構。如同第7圖中所示,CODEC 5主要係包 括一匯流排控制元件(bus control component)51、一參照緩 衝器(reference buffer)52、以及平行排列的一第一 CODEC 53 至第四 CODEC 56。
該第一 CODEC 53至該第四CODEC 56係一些部分, 包含主程序元件,用以編碼以及解碼動畫資料,並且每一 個皆具有完全相同的規格以及處理能力,可以在60 fps的 一處理速率,編碼以及解碼VGA(64〇x48 0像素)尺寸的圖 片資料。換句話說,該第一 CODEC53至該第四CODEC56 係由一正交轉換電路、一量化電路、一動作偵測電路、一 前向預測電路、一編碼電路、一解碼電路以及一反向正交 轉換電路所構成,其中每一電路皆已經在該第一具體實雄 例中,以作爲該CODEC 5的架構詳加敘述。 在本文中,在此具體實施例中使用CODEC 5以編碼動畫 的方法係與H.264相容,Η·;264係在該第一具體實施例中所 提到之該國際標準。此外,Η.264係一種用以壓縮編碼影像 -36- 200813893 的方法,其在西元2003年由JVT(Joint Video Team,聯合影 像團隊)標準化,JVT 係 ITU-T(International Telecommunication
Union-Telecommunication Standardization Sector,國際電信聯盟 -電信標準化部門)以及 MPEG(Moving Picture Experts Group,動畫專家群)的一聯合標準化委員會。Η.264係由 ITU-T標準化爲Η.264,以及MPEG標準化爲MPEG-4第 10 部分進階影音編碼(Advanced Video Coding,AVC),並 且也稱之爲 H.264/ MPEG-4 Avc。
參照緩衝器52對應於該第一具體實施例中所敘述之 該訊框記憶體。該參照緩衝器52讀取當該第一 CODEC 53 至該第四CODEC 56編碼以及解碼從該記憶體4(第1圖) 所得到的每一個訊框的圖片資料時所需要的部分參照圖 片,如同該程序所需要的,並且隨後將其儲存起來,傳送 共同的圖片資料至該第一 CODEC 53至該第四 CODEC 5 6。具體而言,一巨區塊在該相同的位置作爲用於每一個 程序的巨區塊,以及動作探索與動作預測所需要的一個部 分之圖片資料.,皆被暫時儲存。 該匯流排控制元件5 1控制該第一 c OD EC 53至該第四 CODEC 56所要求的用於該記憶體4之圖片資料以及編碼 資料的輸入與輸出。在此具體實施例中,該匯流排控制元 件5 1依據從該CPU 8所得到的指示所進行的控制,使得該 第一 CODEC 53至該第四CODEC 56獨立地對不同類型的 圖片進行編碼以及解碼,例如該第一 C O D E C 5 3用於I圖 片,而其它的CODEC用於P圖片。 -37- 200813893 此外,——參照訊框的圖片資料必須透過該參照緩衝器 52,傳送至該第一 CODEC 53至該第四CODEC 56。因此, 所有在相同時間進行編碼的P圖片,總是成爲以完全相同 的訊框作爲一參照訊框(參照圖片)的圖片。 在本具體實施例中,該CODEC 5的配置,與該第一具 體實施例中所敘述的有許多的不同。 本具體實施例中,該動晝錄製裝置的動作或者運作將 詳述如下。 Φ (錄製動作) 在一錄製模式中,動畫的拍攝以及錄製的動作將敘述 如下。第8A以及8B圖描繪在動畫拍攝以及錄製時,顯示 .該CPU 8對該CODEC 5的控制內容之流程圖。第9圖爲在 該第一 CODEC 53至該第四CODEC 56中,動畫資料的解 碼程序之時序圖。第10A至10B圖爲動畫拍攝以及錄製過
程中所產生的一系列動晝資料,亦即,顯示H. 2 64串流的 槪略架構之槪念圖。第11A至11C圖爲對應於在該第一具 體賓施例中的第6A至6C圖之數個圖形。第11D圖爲在該 兩倍慢速播放模式的播放過程中,顯示每一個訊框存在或 不存在解碼以及顯示的槪念圖。 首先,在具體敘述其動作之前,在第1 1 A至1 1 D圖中 描述與該第一具體實施例之間的差異。第11A圖係顯示在 本具體實施例中,在該動畫錄製程序中所產生的動晝資料 的該架構之槪念圖。類似於第6A圖,在第11A圖中,”P 係一 I圖片,”P”係除了具有4的倍數的一訊框編號的I圖 -38- 200813893 片以外的一 P圖片,以及”P”係具有除了 4的倍數之外的一 訊框編號之P圖片,並且每一個訊框皆以該編碼類型(I圖 片/P圖片)以及該訊框編_(該初始訊框爲”0”)的組合來表 示。此外,該箭號係指出每一個P圖片所參照的目標。此 外,在本具體實施例中,插入的I圖片的區間也爲〇 · 5秒(每 1 2 0個訊框)。
在動畫錄製過程中,類似於該第一具體實施例,該CPU 8將該初始訊框〇編碼爲一 I圖片(1〇),並且以位於最前面 的該主訊框的該I圖片(10)作爲參照圖片,對係爲一主訊框 之該訊框4 (P4)的一 P圖片進行編碼,以及,同樣地,以分 別爲最前面的彼等主訊框的P圖片(P4,P 8)爲參照圖片, 對彼等訊框8、12的P圖片(P8,P12)進行編碼。 同時,在本具體實施例中,該CPU 8也以最前面的該 主訊框的該I圖片(1〇)爲一參照圖片,對訊框1至3(其係爲 次訊框)的P圖片(P 1,P2,p3)進行編碼。同樣地,該CPU 8 也以最前面的彼等主訊框的P圖片(p4,p8)爲參照圖片,對 訊框5至7(其係爲其它的次訊框)的P圖片(P5,p6,p7)以及 P圖片(p9,pl0,pl 1)與訊框9至1 1進行編碼。換句話說, 該CPU 8以最前面的該主訊框的該I圖片或者該p圖片爲 一參照圖片,對所有的彼等次訊框的P圖片(pl,P2,P3),進 行編碼。
在本具體實施例中,在動畫拍攝中的動作之具體內 容,將在下文中’主要針對上述的該編碼程序,依據第8A 至8B圖,進行詳細的描述。在此,該動畫的尺寸係以vgA •39- 200813893 的尺寸錄製。此外,在錄製過程中,該CPU 8以240 fps 的訊框率操作一圖片擷取元件1以及一圖片產生元件2, 並且藉由訊框對每一個元件進行同步。然而,該CODEC 5 係以四個訊框同步於60 fps的一個訊框率。 如第8A以及8B圖所示,該CPU 8首先在錄製開始時 初始化訊框編號(i)(步驟SCI),該訊框編號(i)的預設値(該 初始訊框的數目)爲”0”。接下來,該CPU 8等待用於一個 訊框的圖片資料輸入至(累積在)該記憶體4中(步驟SC2), ^ 並且判定訊框編號(i)是否爲4的倍數(步驟SC3)。當該CPU 8判定訊框編號(i)並非4的倍數(在步驟SC3中的”否”), .其僅重複訊框編號:(i)的增加(步驟SC4)。另一方面,當該 CPU 8判定訊框編號(i)係爲4的倍數(在步驟SC3中的” 是”),其使得該CODEC 5執行將在下文中詳述之該編碼程 序。然而,緊接著該動作開始之後,該第一訊框(i = 〇)例外 的判定爲具有4的倍數的一訊框編號(i)。
首先,當該CPU 8判定該第一訊框的圖片資料係輸入 至該記憶體4(在步驟SC3與SC5中的”是”),其讀取儲存 在該記億體4中的該第一訊框的圖片資料,並且將其輸入 至該CODEC 5的第四個CODEC 56,並且輸入至CODEC 56 之圖片資料輸出至該記憶體4,藉由訊框間編碼(步驟SC6) 以作爲I圖片。在此時,由於該第一訊框並非參照訊框, 該CPU 8會使得該第四CODEC 56對該已編碼的〗圖片執 行局部解碼,並且輸出已經局部解碼的圖片資料至該記憶 體4中的一個預定的區域,作爲一參照圖片的資料。 -40- 200813893 接著,於上述的步驟SC6中,儲存在該記憶體4中的 已編碼資料,該 CPU 8附加”1”以作爲切片類型(slice type),”3” 爲 nal_ref_idc,”0” 爲 frame_num,以及 ”0” 爲 POC(步驟SC7至SC10卜 在本文中,附加於已編碼資料的該切片類型(寫在該 Η .264串流中),係在該第一具體實施例中描述爲圖片辨識 資訊62a的該圖片參數,以及nal —ref_idc、frame_num、與
POC 爲該 Η·264 標準(具體而言爲 ”ITU-T Recommendation Η. 2 6 4 Advanced video coding for generic audiovisual services”)所制訂之圖片參數。 具體而言,nal_ref_idc係可以取從0至3範圍內的數 値的一個參數,其係經過調整用以定義一圖片被參照爲 非”0”,以及一圖片不被參照爲”0”。此外,nal_ref_idc係 制訂以顯示封包的”相對優先權"(relative priority),作爲 一標準的技術規格,例如,當以H.2 64 .進行編碼的資料係 透過由 IETF(Internet Engineering Task Force,網際網路工 程專門小組)所發佈之”RFC3 984: RTP Payload Format for Η·264 Video” 中的 RTP(Real-Time Transport Protocol,即 時傳輸協定)進行傳輸。換句話說,其係制訂爲在優先權遞 減的順序中,例如3、2與1,0係具有最低的優先權。 frame_num係制訂參照於其它訊框的一個訊框取〇以 外的數値的一個參數,並且係由Η · 2 64所制訂,以計算每 一個參照圖片(參照圖片的下一個圖片),以基本上增加1, 其中僅順序係有意義的,與時間無關。 -41 - 200813893 POC (Picture Order Count,圖片順序計數)係顯示圖片 輸出順序的一個參數,其係由H.264所制訂: 以一 IDR(Instantaneous Decoder Refresh,瞬間解碼器 更新)圖片爲基準(〇),取一與圖片的採樣時間成正比的數値 (*在8.2.1中的註2)。 以要求尺寸作爲輸出順序(* C . 4.5.3 )。 以使用與該實際時間成正比的一個數値(* 8.4.1.2.3)。
此外,在上面的括號中,接在” ”後面的數字代表在該 H. 2 64標準中的章節編號。更進一步地,該IDR圖片係制 訂爲”一 I圖片以及一圖片,其可以利用一解碼順序,在不 參照在該解碼順序中位於前面的圖片的情況下,解碼接在 其後面的所有圖片”。 接下來,當該CPU 8判定輸入至該記憶體4的圖片資 料的訊框編號(i)係爲4的倍數(在步驟SC3中的”是”,以及 在步驟SC5中的”否”),其首先檢查訊框編號(i)是否爲120 的倍數。當該CPU 8判定該訊框編號(i)並非120的倍數, 例如4、8、1 6.....1 16(步驟SC12中的”否”),儲存在該 記憶體中之訊框編號爲(i-3)至(i-Ι)的訊框圖片被讀取出 來,並且透過該匯流排控制元件51,輸入至該第一 CODEC 53至該第三CODEC 55。使用儲存在該記憶體4中,且將 依據該程序藉由一巨區塊而被儲存在該參照緩衝器52中 的具有訊框編號(i-4)的該參照圖片的圖片資料,該CPU 8 會使得該第一 CODEC 53至第三CODEC 55對每一個進行 編碼,成爲一 P圖片,與訊框編號(i-3)至(i-Ι)的彼等訊框 -42- 200813893 (¾係爲次訊框)圖片平行處理,並且每一組已編碼資料皆 輸出至該記憶體4。 在此同時,該CPU 8讀取儲存在該記憶體4中之訊框 編號(i)的該訊框圖片,並且透過該匯流排控制元件51,將 其輸入至該第四CODEC 56。該CPU 8會使得該第四CODEC 56對訊框編號(i)的一新主訊框圖片進行編碼,成爲一 p圖
並且輸出編碼資料至該記憶體4,使用訊框編號(i-4) @ -參照圖片一亦即,最前面的該主訊框的圖片資料。更 進一步地,該CPU 8會使得該第四CODEC 56對該已編碼 的P圖片進行區域解碼,並且輸出該已區域解碼的圖片資 料至該記憶體4中的一個預定的區域,作爲一參照圖片(步 驟 SCI 9) 〇 換句話說,該CPU 8使得具有連續的訊框編號的三個 次訊框以及接下來的主訊框的四個訊框圖片,由該CODEC 5共同地(平行地)以四個訊框進行編碼。舉例而言,當該第 四訊框圖片係輸入至該記憶體4中,如第9圖所示,該CPU 8將訊框編號1至3的P圖片(pi,P2,p3)以及訊框編號4的 一 P圖片(P 4)共同地進行編碼。 接下來,該CPU 8在該第一 CODEC53至該第四CODEC 5 6所輸出之所有的已編碼資料上,附加”P”以當作一切片 類型,並且儲存在該記憶體4中(步驟SC20),對該第一 CODEC 53至該第三CODEC 55所輸出的每一組已編碼資 料,附加”0”以當作nal_ref_idc,並且儲存在該記憶體4中, 以及對該第四CODEC 56所輸出之已編碼資料,附加”2”以 -43- 200813893 當作nal_ref_idc,並且儲存在該記憶體4中(步驟SC21)。
此外,該 CPU 8 附加從 int(i/4)、int((i+l)/4)、int((i + 2)/4)、 int((i + 3)/4)所獲得的數値,當作frame_num,以遞增的順 序排列,對應訊框編號至由該第一 CODEC 53至該第四 CODEC 50所輸出之每一組已編碼資料,並且每一個皆儲存 在該記億體4中(更進一步地,int(n)係一個用以獲得小於 該自變量η的最大整數之函數)。舉例而言,CPU 8分別附 加1、1、1、1至訊框編號爲1至4的圖片,以及2、2、2、 2分別至訊框編號5至8的圖片。換句話說,該CPU 8附 加一數値,對於.該初始訊框爲0,並且對遍及所有訊框之 每四個訊框遞增地增加1,且對每一組已編碼資料以1爲 預設値(相同的數値)(步驟SC22)。 更進一步地,對於每一組已編碼資料,關於P0C,以 對應於訊框編號的遞增順序,該 CPU 8分別附加從 (i-3)x2、(i-2)x2、(i-l)x2以及(i)x2所獲得的數値(對應於 每一組已編碼資料的該訊框編號的兩倍之數値)。舉例而 言,當訊框編號爲1至4時,該CPU 8分別附加2、4、6、 8。換句話說,對於每一組已編碼資料,該CPU 8遍及所有 的訊框附加其它每個訊框增加2的一個數値,附加以0爲 預設値(步驟SC23)。 此外,對於每一組已編碼資料,當每一組已編碼資料 被解碼時,指示一圖片將被參照的參照圖片資訊的一個數 値,該CPU 8附加”0”,其係指示每一個圖片(訊框)的最前 面的該參照圖片(被參照的圖片)的一個數値(步驟SC24)。 -4 4 -
200813893 此處,每一個圖片的最前面的參照圖片係 接近於每一個圖片的一訊框編號的一種圖 或者一 p圖片,四個圖片之前),每一個圖 片,並且每一個皆加上除了 ”〇”以外的· nal_ref_idc。如同在該第一具體實施例中 照指示資訊的數値係由H. 264所制訂的一 中,此數値係制訂爲獨立地遞增該訊框’ 面所敘述的,指示爲最前面的參照圖片的 示一個圖片之前的一參照圖片的該數値爲 在又一個圖片之前的一參照圖片的該數値 另一方面,當該CPU 8判定輸入至g 圖片資料具有訊框編號(i),其係爲120的 SC12中的”是”),則該CPU 8讀取儲存:δ 框編號(i-3)至(i-1)的彼等訊框圖片,並且 制元件51,將其輸入至該第一 CODEC 53 55。類似於上述的步驟SC19,使用儲存右 且透過如該程序所需要的巨區塊,將被儒 器52中的訊框編號(i-4)的該參照圖片的| CODEC 53 至該第三 CODEC 55平行地 (i-3)至(i-Ι)的彼等訊框圖片(其中每一個 爲次訊框的P圖片,並且輸出每一組已韻 憶體4。 此外,該CPU 8讀取儲存在該記憶售 的該訊框圖片,並且透過該匯流排控制元 其訊框編號是最 片(亦即一 I圖片 片之前的彼等圖 一個數値以當作 所提到的,該參 個數値。在H.264 其中,如同在前 該數値爲”0”,指 ” 1 ”,以及指示爲 爲,,2,,。 :記憶體4中的該 一個倍數(在步驟 ί該記憶體中的訊 .透過該匯流排控 至該第三CODEC 三該記憶體4中並 ί存在該參照緩衝 圖片資料,該第一 編碼訊框編號爲 皆爲次訊框),成 I碼的資料至該記 【4中訊框編號⑴ 件5 1將其輸入至 -45- 200813893 該第四CODEC 56。爲使得訊框編號(i)的該訊框成爲一 i 圖片,類似於上述的步驟SC6,該CPU 8會使得該第四 CODEC 56對該輸入圖片資料,執行訊框內編碼,並且輸出 該已編碼資料至該記憶體4。更進一步地,該CPU 8會使 得該第四CODEC 56對於該已編碼的I圖片進行局部解 碼,並且輸出該局部已解碼的圖片資料至該記憶體4中的 一個預定的區域,當作一參照圖片的資料(步驟SC13)。
•接下來,該CPU 8在該第一 CODEC53至該第四CODEC 5 6所輸出之每一組已編碼資料上,附加” p,,以當作一切片 類型,並且儲存在該記憶體4中,以及對該第四CODEC 56 所_出的該已編碼資料,附加”1”以當作一切片類型,並且 儲存在該記憶體4中(步驟SC14)。 此外,該CPU 8對該第一 CODEC 53至該第三CODEC 55所輸出並且儲存在該記憶體4中的每一組已編碼資料, 附加”〇”以當作nal_ref—idc,,以及對該第四CODEC 56所 輸出並且儲存在該記憶體4中之已編碼資料,附加,,3 ”,以 當作 nal_ref—idc(步 _ SC15)。 在與前述的SC22以及SC23相同的程序中,對於該第 一 CODEC53至該第四CODEC 56所輸出並且儲存在該記憶 體4中之每一組已編碼資料,該CPU 8輪流計算frame_niim 以及POC的數値,並且將彼等計算得到的數値加至每一組 已編碼資料(步驟SC16與SC17)。
並且,該CPU 8對該第一 CODEC 53至該第三CODEC 55所輸出並且僅儲存在該記憶體4中的每一組已編碼資料 -46- 200813893 附加” 〇 ”(步驟S C 1 8 ),其係顯示最前面的參照圖片(被參照 的圖片)作爲參照圖片指示資訊的一個數値。 此外,在如上述的從該CODEC 5循序輸出至該記憶體 4之後,附加各種不同類型的圖片參數之已編碼資料,透 過一記憶卡控制元件9輸出至該記憶卡1 〇,並且以一動畫 檔案的形式錄製。
之後,在動畫拍攝以及錄製期間’重複上述的所有程 序。從而,在該記憶卡1 0中,如上所述的所有次訊框的P 圖片,皆以最前面的主訊框的I圖片或者P圖片爲參照圖 片進行編碼,並且作爲該圖片參數(切片類型、 nal_ref_idc、frame_num、POC以及參照圖片指示資訊), 附加如第10A圖中所示之彼等數値之H. 2 64串流,輸出至 每一個訊框。 當該CPU 8判定有一個透過一預定的按鍵操作所下達 的指示以終止錄製時,則該錄製動作結束。依據此動作, 可以在該記憶卡10中錄製與H. 2 64相容的一個動畫檔 此外,上述的POC的增量在本具體實施例中爲2,但 是在該H. 264標準中,其可以爲1,因爲由將在下文中敘 述之該播放動作進行解碼的一動畫,係假設將透過具有60 個視野(fields)以及30個訊框的交錯組合方法進行顯示。 在本文中,在此具體實施例中,如第7圖所示,該 CODEC 5係由該參照緩衝器52以及平行放置的第一 C ODE C53至第四CODEC 56所組合而成。在上述的錄製過 -47- 200813893 程中,以一次訊框的多數個圖片資料以及接下來的該主訊 框爲一對,該相關對的圖片資料,係以從儲存在該參照緩 衝器5 2中的該相同訊框中所得到的一個圖片當作一參照 圖片,共同地進行編碼。 因此,在該動畫錄製裝置中的一記憶體匯流排3的頻 寬可以被降低,因爲讀取出來當作參照訊框的圖片資料, 可以降低一平行數目。 (播放動作)
在本具體實施例中,藉由上述的該錄製動作播放記錄 在該記憶卡1 〇中的一動畫(一動畫檔案)所採取的動作,將 詳述如下。 在本文中,在此具體實施例中,該顯示控制元件6的 性能爲60 fps,並且在動畫播放期間,該CPU 8讀取儲存 在該記憶卡10中的任意動畫檔案,並且由使用者透過該記 憶卡控制元件9以60 fps的一個訊框率進行選擇,且循序 地轉移該已編碼資料部分至該CODEC 5。 並且,在本具體實施例中,設定一四倍慢速播放模式 (具有正常速率的1/4之播放速率的一種模式),一正常速率 播放模式(具有與圖片拍攝時的正常速率相同的播放速率 的一種模式),以及兩倍慢速播放模式(具有正常速率的1 /2 之播放速率的一種模式)爲播放模式。各種模式所採取的動 作敘述如下。此外,第1 1 B至1 1 D圖描繪在每一種播放模 式中,在播放期間對於每一個訊框,實現或者其中缺少解 碼程序以及顯示已編碼資料的槪念圖。 -48- 200813893 (播放動作:四倍慢速播放)
該四倍慢速播放模式係與該第一具體實施例中用於慢 速播放模式的該播放模式相同的模式。在四倍慢速播放 中,在第7圖中所示之該第一 CODEC 53至該第四CODEC 56之中,僅使用該第一 CODEC 53。藉由與在第3圖中所 顯示以及描繪的該第一具體實施例中所採用的相同的動 作,如同第1 1B圖中所示,以240 fps所錄製的所有的訊 框係循序地以60 fps進行解碼,並且循序地顯示該圖片資 料。換句話說,一動畫係以1 /4速率的慢動作播放。 然而,在本具體實施例中,如第1 1 A圖所示,不同於 該第一具體實施例,不僅在彼等主訊框P圖片(P4,P8,···) 的該解碼程序中,而且也在次訊框的P圖片(pi,P2, p3,…) 之解碼程序中,最前面的彼等主訊框的圖片(10, P4,·.·)係用 來當作參照圖片。此外,在已編碼資料的解碼過程中,不 僅該第一 CODEC 53,並且該第二CODEC 54至該第四 CODEC 56之中的一個,可以被使用。 (播放動作··正常速率播放) 第1 2圖描繪在本具體實施例中正常速率播放模式@ 動作流程圖。 更進一步地,在正常速率播放模式中,僅使用該第一 CODEC 53至該第四CODEC 56中的該第一 CODEC 53對S 編碼資料進行解碼。在正常速率播放模式中,執行與在該 第一具體實施例中幾乎與第4圖中所示之內容相同的動作 (步驟 S D 1 至 S D 1 2)。 -49- 200813893 此處,不同於該第一具體實施例,該CPU 8讀取在步 驟SD2中所提到之圖片參數,並且在接下來的步驟SD3 中,依據彼等圖片參數之中的該nal_ref_idc的數値,判定
每一個訊框是否應該是一解碼目標。當該數値不爲”〇”時 (其係指示一非參照訊框(未被參照的一個圖片),亦即僅當 該CPU 8判定其係一主訊框時),.鼠訊框可爲一解碼目標。 此外,在步驟SD6中,類似於該第一具體實施例,參考該 參照圖片指示資訊,對於主訊框的P圖片,執行最前面的 主訊框的I圖片或者P圖片爲參照圖片的一解碼程序。.在 本文中,在此具體實施例中,同樣對於所有次訊框的P圖 片,執行以最前面的主訊框的I圖片或者P圖片爲參照圖 片的一解碼程序。 從而在正常速率播放模式中,如第1 1 C圖所示,在所 有以24 0 fps錄製的彼等訊框之中,僅有每四個訊框(每第 四個訊框)中的彼等主訊框(I圖片或者P圖片),係以60 fps 進行解碼並且顯示。換句話說,藉由將該顯示訊框薄化爲 1/4,以正常速率播放動晝。 因此在正常速率播放模式中,類似於該第一具體實施 例,所有作爲主訊框的P圖片皆可以不解碼不會被顯示的 彼等次訊框的已編碼資料的情況下被顯示,因此資料處理 的總量以及功率耗散可以降低。 (播放動作:兩倍慢速播放) 第1 3圖係描繪在本具體實施例中兩倍慢速播放模式 之動作的流程圖。同樣地在該兩倍慢速播放模式中,與本 -50- 200813893 具體實施例有關的該動晝錄製裝置,僅使用該第一 C0DEC 53至該第四CODEC 56之中的該第一 CODEC 53,對已編 碼資料進行解碼。如從第1 3圖可以清楚看見的,第1 2圖 所示之該正常速率播放模式的動作唯一的不同係在步驟 SD103中,僅有訊框編號⑴係2的倍數(然而,一個例外的 情況爲〇係以2的倍數來處理)之訊框可能係解碼目標。 從而,在兩倍慢速播放模式中,如第1 1 D圖所示,所 有以24 0 fps錄製之彼等訊框之每兩個訊框(每第二個訊框) φ 係以60 fps進行解碼並且顯示。換句話說,藉由將該顯示 訊框薄化爲1/2,可以正常速率的1/2慢速播放動畫。 在此具體實施例中,在動畫錄製中,不僅彼等主訊框 的P圖片,而且彼等次訊框的P圖片也以最前面的主訊框
的I圖片或者P圖片作爲參照圖片,進行編碼。因此,並 且當一動畫係以如上所述之正常速率的1 /2慢速播放時, 將被顯示的該次訊框的已編碼資料,可以在不解碼將不會 被顯示的次訊框的編碼資料的情況下,進行解碼。因此, 其可以在相關的情況中有效地執行,並且在這些情況中, 資料處理的總量以及功率消耗可以降低。 (正常速率抽取編輯動作) 另一方面,在本具體實施例的該動畫錄製裝置中,除 了該錄製模式以及播放模式(四倍慢速播放模式,正常速率 播放模式以及兩倍慢速播放模式)之外,也具備一正常速率 的抽取編輯模式作爲動作模式。如第1 0B圖所示,該正常 速率抽取編輯模式,係一種模式,其中僅在正常速率播放 -51 - 200813893 模式中顯示之主訊框的串流部分係從透過該錄製動作以一 動畫檔案形式記錄在該記憶卡1 〇中的動畫資料(亦即,以 240 fps高速擷取的VGA尺寸之動畫串流)被抽取出來,以 及一新的動畫串流,係由以60 fps於VGA尺寸抽取的部分 以及記錄在該記憶卡1 0中的部分所組成而產生。 第14圖係一流程圖,顯示在該正常速率抽取編輯模式 中,當編輯記錄在該記憶卡1 〇中的任意動畫.資料時,該 CPU 8的處理程序。
在開始編輯時,該CPU 8首先初始化該處理訊框編號 (i),並且開始讀取一高速擷取的動畫串流,其係從該記憶 卡10中得到的一編輯目標(步驟SD201)。此外,該處理訊 框編號(i)的預設値爲”〇”。 之後,對於一高速擷取串流,該CPU 8決定在每一個 訊框中寫在該串流內的n a L r i d c的數値(步驟SD202)。 當該CPU 8判定nal_ref_idc的數値爲”0”(步驟SD202中 的”是”)時,其省略具有當時的訊框編號(i)之串流(步驟 SD203 )。僅在當該CPU 8判定該nal_ref_idc的數値係不 爲”0”時(步驟 SD202中的”否”),其將用於具訊框編號⑴ 的訊框之串流寫入該記憶卡1〇中(步驟S D2 〇4)。 之後,當該CPU 8判定被處理的訊框並非最終訊框時 (步驟SD205中的”否”),在將訊框編號(i)增力卩1之後(步驟 SD206),重複上述的彼等程序(步驟SD202至SD204)。當 該CPU 8判定該最終訊框之串流的處理程序(省略或者寫 入)結束時(步驟SD205中的”是”),則完成彼等所有的程序。 -52- 200813893 因此,藉由使用該正常速率抽取編輯模式,與此具體 實施例相關的該動畫錄製裝置可以自動地產生一新的動 畫,包含如第10B圖所示之該動畫串流結構,其中的動畫 具有60 fps的播放性能,並且可以在其它的裝置上,以正 常的速率顯示。 (具體實施例3) 本發明的第三具體實施例將在下文中敘述。類似於稍 早前所描述之該第一以及第二具體實施例,本具體實施例 係有關於一動畫錄製裝置,包含一錄製功能,其可以對以 24 0 fps的一高速.訊框率擷取的動畫,進行壓縮與錄製;以 及播放功能,用以解碼錄製的動畫資料,並且以60 fps的 訊框率顯7K。 在本具體實施例中,該動畫錄製裝置的基本架構,與 該第一具體實施例及顯示於第1圖中所描述之該動畫錄製 裝置類似,並且該CODEC 5具有可以利用240 fps的處理 速率,編碼以及解碼具有VGA(640點x480點)尺寸的圖片 資料之處理能力。此外,使用CODEC 5的編碼動畫(動畫 串流配置)的方法,與H· 264相容,係類似於該第二具體實 施例。 在本具體實施例中,該動畫錄製裝置錄製由儲存在該 記憶卡10中之CODEC 5進行編碼之動畫資料,以作爲MP4 格式中的一動畫檔案(在下文中將稱爲MP4檔案),其中 MP4 格式係由 ISO (International Organization for 31&11(1&1^卜&^〇11)標準化爲一標準格式,以錄製“?飞04圖片 -53 - 200813893 以及音訊資料。此外,動畫檔案的具體配置係由IS O/IEC 14496-12,’’Information technology coding of audio-visual objects — Part 12: ISO base media file format,”所制訂的配 置。 第1 5圖係一圖形,描繪在本具體實施例中記錄在該記 憶卡1 0中的一 MP4檔案之槪略結構。如第1 5圖中所示, 該MP4檔案係多數個盒資訊(box information)的一種集 合,並且包含數個盒子,例如”ftyp”係儲存指示相關檔案相 ^ 容性的資訊,以及”uuid”、”mdat”、以及”moov”係儲存編 碼器特有的延伸資訊。 mdat”係一 “媒體資料盒(Media Data Box)” ,其中係
儲存已編碼的圖片資料,以及儲存相關盒子的資料尺寸、 辨識碼(‘mdat’)、以及影像串流群組(groups 〇f video streams)。影像串流群組係由多數個訊框存取單元所組成, 並且每一個存取單元係由個別的資料所組成,這些資料包 括,例如該相關的存取單元之資料尺寸、一 AU解限制器 (delimiter)(該存取單元的邊界碼(border code))、H.264 切 片資料(已編碼資料)、以及相關該H.264切片資料的尺寸 等。 ' H.264 切片資料爲一種 NAL(Netw〇rk Abstraction Layer,網路抽象層)單元,係由一 NAL標頭(header)l 1 1以 及切片資料112所組成,並且在此NAL單元中,該切片資 料1 1 2係進一步由一切片標頭丨2丨以及一切片資料本體 (slice data body) 122所構成。在該NAL標頭1 U中,係儲 -54- 200813893 存例如NAL單元的類型之屬性資訊,並且在此處,儲存該 第二具體實施例中所敘述之 nal_ref_idc。此外,除了 na匕re f_idc之外的圖片參數,切片類型(在該第一具體實施 例中的圖片指示資訊62a)、frame_num、以及P〇c係儲存 在該切片標頭1 2 1中,並且參照圖片指示資訊(參照訊框資 訊62b)係與在動畫錄製過過程中從CODEC 5輸出的用於I 圖片之已編碼資料一起儲存在該切片資料本體1 22中。 此外,儲存在該切片資料本體1 22中的用於I圖片之 Φ 該已編碼資料係巨區塊的一種集合,並且該參照圖片指示 資訊係實際上由巨區塊所儲存,以及被參照的圖片之資訊 係由該巨區塊進行參照。然而,在本文中爲簡化敘述起見, 在此處係敘述爲參照圖片指示資訊與切片資料(圖片)儲存 在一起,當作一個單元。 此外,”moov”係一 “電影盒(Movie Box)” ,並且係由 該相關盒的資料大小、該盒的辨識碼(‘moov”)、索引資料 (index data)以及udta所組合而成,其中儲存解碼H. 2 64切
片資料的必要資訊。 索引資料有兩種類型的“ trak” ,每一種trak係一 “ trax盒(trax box)” ,用以儲存播放時的索引資訊,並且 每一個皆係由該相關盒的資料大小、辨識碼(‘trak’)、以及 影音索引資訊(videoindex inf ormation)101、102 所構成, 其中影音索引資訊係用以指定被解碼的該存取單元。 在兩種類型的trak之中的一種,有關於所有動畫的彼 等訊框的索引資訊係儲存爲影音索引資訊101,而在另一 -55-
200813893 個trak中,僅有從初始訊框至該第四訊 訊框的索引資訊係儲存爲影音索引資訊 中,其中一個trak稱爲用於全訊框播放 於其中的該影音索引資訊1 0 1係爲用於 資訊,以及另一個trak係稱爲用於正常 並且儲存於其中的該影音索引資訊1 02 放的索引資訊,藉以區分這兩者。第16 框播放的索引資訊1 0 1以及用於正常速 ® 訊1 02與該存取單元之間的關係的一個 此外,包含一 “電影盒”的tdta係 盒(User Data Box)” ,其中儲存各種不 訊。 本具體實施例的該動畫錄製裝置的 在下文中詳加敘述。 (錄製動作) 在錄製模式中,動畫拍攝以及錄製 第17A以及17B圖描繪在動畫拍攝以及彳 8對該CODEC 5的控制內容之流程圖。 顯示在該錄製模式中所錄製之動畫資料 對應於·在該第一具體實施例中所示之第 二具體實施例中的第11A圖。 首先,在具體描述該動作之前,在 係描述與該第一與第二具體實施例之間 1 8 C圖爲顯示在該錄製模式中所錄製之 -5 6 - 框的動畫之彼等主 。在接下來的敘述 的trak,並且儲存 全訊框播放的索引 速率播放的trak, 爲用於正常速率播 圖爲描繪用於全訊 率播放的該索引資 圖形。 一個“使用者資料 同類型的使用者資 動作或者運作,將 的動作描述如下。 泰製時,顯示該CPU 第18A至18C圖爲 的架構之槪念圖, 6A圖,以及在該第 第18A至18C圖中 的差異。第18A至 動畫資料的架構之 200813893 槪念圖。 在此具體實施例中,在錄製時存在於主訊框之間的彼 等次訊框的數目可以設定爲該次訊框模式。可以設定的該 次訊框數目係爲3、1或0之中的任一個數目,並且每一個 次訊框數目係儲存在該“使用者資料盒(User Data Box)” 中,作爲在錄製程序中,顯示該次訊框模式類型的一個數 値。 此外,該次訊框模式可被包含,使得其可在錄製彼等 ^ 動晝之前或者之後的任意一個點上,並且依據預定的條 件,透過使用者按鍵操作以自動設定;但在此爲了方便起 見,其係被包含使得使用者可以在錄製開始之前,藉由一 按鍵操作預先設定。
當該次訊框模式設定爲3時,如第1 8 A圖所示,該初 始訊框係被編碼爲一 I圖片(10),以及之後,訊框編號(i) 的該訊框,其係爲4的倍數,係以最前面的主訊框的一 I 圖片或者P圖片爲一參照圖片,進行編碼。然而,在此具 體實施例中,係以該主訊框的八個訊框的’一 I圖片或者P 圖片當作一參照圖片,對訊框編號⑴爲8的倍數之該訊框 進行預先編碼。更進一步地,類似於該第二具體實施例, 係以最前面的主訊框的I圖片或者P圖片當作參照圖片, 編碼所有次訊框的P圖片。 此外,當該次訊框模式設定爲1時,如第1 8 B圖所示, 並不需要以所有次訊框的P圖片爲編碼目標,僅有訊框編 號(i)成爲2的倍數之次訊框爲編碼目標。並且,當該次訊 -57- 200813893 框模式係設定爲〇,如第1 8 C圖所示,所有次訊框均排除 在編碼目標之外。 在本具體實施例中,在錄製彼等動畫時,更具體的動 作內容,將依據第17A與17B圖,詳述如下。此外,在此 具體實施例中’被錄製的動畫尺寸也是VGA尺寸,而且在 錄製過程中,該CPU 8係以240 fps的訊框率,操作一動 畫擷取元件1、動畫產生元件2、以及該CODEC 5,並且在 每個元件之間進行訊框的同步。
如第17A與17B圖所示,在錄製開始時,該CPU 8首 先初始化訊框編號(i)(步驟SE1)。訊框編號(i)(該初始訊框 的編號)的預設値爲”〇”。接下來,該CPU 8等待一個訊框 的圖片資料輸入(累積)至該記憶體4中(步驟SE2),且接著 讀取儲存在該記憶體4中的該圖片資料,當其判定訊框編 號⑴係爲包含〇之120的倍數(步驟SE3中的”是”)時,輸 入至CODEC 5中。該CPU 8,將當作一 I圖片輸入至該 CODEC 5的該相關訊框的圖片資料,藉由訊框內編碼程序 (步驟SE4),輸出至該記憶體4。此外,在此處該CODEC 5 儲存一局部解碼的圖片,其中已編碼資料係在該記憶體4 中進行解碼,從已編碼資料分離開來作爲在編碼接下來的 P圖片時所使用之圖片資料(參照圖片)。 接下來,該CPU 8在該已編碼資料上,加上”1”當作一 切片類型,以及加上”3”當作 nal_ref_idc。此外,對於 卜&11^_1111111,該0?1;8附加可以從,’丨1^((丨+ 3)/4)”獲得之該數 値,並且對於全部的訊框,每四個訊框增加1,其中初始 -58- 200813893 訊框係爲0且預設値爲1 ;並且,更進一步地,對於POC, 該數値可以從”ix2”獲得,並且對於所有的訊框,每個訊框 增加2,且係以0爲預設値(步驟SE5)。此外,在此處並不 . ·:' 附加參照圖片指示資訊。 在此之後,該CPU 8此時,在用於正常速率播放的該 trak(步驟 SE6),並且進一步地在用於全訊框播放的該 trak(步驟SE7)中,加上關於該主訊框的訊框編號(i)之索引 資訊。之後,當該CPU 8判定並沒有透過一預定的按鍵操 Φ 作指示結束錄製時(在步驟SE8中的”否”),其將訊框編號 (i)增加1(步驟SE9),回到步驟SE2,並且等待下一個訊框 的圖片資料輸入。
此外,該CPU 8讀取此時儲存在該記憶體4中之圖片 資料,並且輸入至該CODEC 5中,當其判定訊框編號(i) 並非120的倍數,但爲8的倍數時(在步驟SE3中的”否”, 以及步驟SE10中的”是”)。在儲存於該記憶體中並且輸出 至該記憶體4之前之八個訊框,使用訊框編號(i-8)的參照 圖片的圖片資料(步驟SE11),該CPU 8使得該CODEC 5 對該相關訊框輸入的圖片資料進行編碼成爲一 P圖片。此 外,在編碼相關的P圖片時,該CODEC 5儲存一局部解碼 的圖片,其中已編碼資料係在那個時候被解碼於記憶體4 中,與已編碼資料分離,成爲在編碼接下來的四個訊框的 P圖片以及八個訊框之後的P圖片時所使用之圖片資料(參 照圖片)。 接下來,該CPU 8在輸出至該記憶體4的該已編碼資 -59- 200813893 料上,加上”P”作爲一切片類型,加上”2”以作爲 nal_ref_idc,該數値可以從”int((i + 3)/4)”(每個訊框增加2 的一個數値)獲得的以當作frame_num,以及該數値可以 從”ix2”(每個訊框增加2的一個數値)得到以作爲POC。此 外,對於參照圖片指示資訊,該CPU 8加上” 1 ”,其係指示 梦照圖片爲兩個圖片之目U的一個數値’亦即’加上八個訊 框之前訊框編號(i-8)的圖片(步驟SE12)。 此外,當該CPU 8判定訊框編號(i)爲4的倍數,但不 Φ 爲8的倍數時(在步驟SE10中的”否”,以及步驟SE13中的,, 是”),其讀取此時儲存在記憶體4中的圖片資料,並且輸 入至該CODEC 5。該CPU 8係使得該CODEC 5對相關的 訊框輸入之圖片資料進行編碼,成爲一 P圖片,使用儲存 在該|3憶體中之訊框編號(i-4)的訊框之圖片,亦即四個訊 框之前的圖片作爲一參照圖片,並且將其輸出至該記憶體 4(步驟SE16)。此外,在編碼相關的P圖片時,該C〇deC 5 係儲存一局部解碼圖片,其中在那個時候,已編碼資料係 ^ 在該記憶體4中被解碼,且與已編碼.資料分離,以作爲在 編碼接下來的三個訊框之p圖片時所使用之圖片資料(參照 圖片)。 接下來,該CPU 8在輸出至該記憶體4的已編碼資料 上加上與當訊框編號(i)係8的倍數時,相同的數値,以作 爲切片類型、nal一ref—idc、frame —num以及 P〇c。此外, 對於參照圖片指示資訊,該CPU 8加上”〇,,—其係爲指示最 前面的參照圖片的一個數値,亦即四個訊框之前的一個圖 -60- 200813893 片(步驟SE15)。 在此之後,當訊框編號(i)係爲8或4的一個倍數時, 該CPU 8加上與在那個時間上訊框編號(i)的該主訊框相關 的索引資訊,至用於正常速率播放以及用於全訊框播放的 彼等trak(步驟SE6和SE7)。接著,若該CPU 8判定並沒 有透過一預定的按鍵.操作,指示結束錄製(步驟SE8的’ 否”),其將訊框編號(i)增加1(步驟SE9),回到步驟SE2, 並等待下一個訊框的圖片資料輸入。
此外,當該CPU 8判定在步驟SE13中的鑑別結果係 爲”否”,並且訊框編號(i)並非4的倍數時,則依據次訊框 模式的類型,執行下列程序。 首先,當該CPU 8判定該次訊框模式(S)係設定爲3(步 驟SE 1 6中的”是”),其讀取此時儲存在該記憶體4中的該 圖片資料,並且輸入至CODEC 5。該CPU 8使得該CODEC 5使用儲存在該記憶體中最前面的主訊框當作一參照圖 片,對相關的訊框之輸入圖片資料進行編碼,成爲一 P圖 片,並且輸出至該記億體4中(步驟SE17)。接下來,對於 輸出至該記憶體4的該已編碼資料,該CPU 8加上”P”以作 爲一切片類型,以及加上”〇”分別作爲 nal_ref_idC、 frame_num以及POC,透過與上述的對於該主訊框相同的 處理程序,並且此外,對於參照圖片指示資訊,加上” 0 ’,, 其係指示最前面的參照圖片的一個數値(步驟SE 18)。在此 之後,該CPU 8僅在用於全訊框播放模式的該trak上,在 那個時候加上與訊框編號(i)的該次訊框相關的索引資訊 -61 - 200813893 (步驟SE7)。 另外,當該CPU 8判定該次訊框模式(S)係設定爲i (在 步驟SE16中的”否”,以及在步驟SE19中的,,是”),若其判 定訊框編號⑴係爲2的倍數(步驟SE20中的”是”),當該次 訊框模式係爲3時,則共同執行上述的程序(步驟SE1 7、 SE1 8 與 SE7)。
更進一步地,當該CPU 8判定該次訊框模式(S)並非設 定爲1(在步驟SE 19中的”否”),及當其判定該次訊框模式 (S)係設定爲1,但是訊框編號⑴並非2的倍敫時(在步驟 SE20中的,’否”),則其立即判定是否已經有一預定的按鍵操 作。若該CPU 8判定並沒有透過一預定按鍵操作(在步驟 SE8中的”否”),指示錄製程序已經結束,則將該訊框編號 (i)增加1 (步驟S E 9 ),並且回到步驟S E 2,等待下一個訊框 的圖片資料輸入。 此外,在如同上述的從該CODEC 5循序地輸出至該記 憶體4之後,附加上圖片參數、全訊框播放的索引資訊i i 以及正常速率播放的索引資訊102的已編碼資料,藉由該 記憶卡控制元件9循序地輸出至該記憶卡1 〇,以錄製成爲 一動畫檔案(MP4檔案)。 在此之後,在動晝錄製期間,該CPU 8重複上述的所 有程序,並且當其判定有一個透過一預定的按鍵操作的指 示,表示錄製程序需結束(步驟SE8中的”是”),則該錄製 動作結束。如此.一來,記錄在該記憶卡1 0中的該Μ P 4檔 案,作爲上述的一影像串流群組,係儲存對應於該次訊框 -62- 200813893 模式的集合數値之彼等訊框的一系.列已編碼資料。此外, 如同第15與16圖所示,在用於全訊框播放的該trak中, 儲存與所有的已編碼訊框相關的全訊框播放的索引資訊 1〇1,並I且在甩於正常速率播放的該trak中,僅儲存與主 訊框相關的正常速率播放的索引資訊1 02。 (播放動作) 在本具體實施例中,透過上述的該錄製動作而播放記 , 錄在該記憶卡1 0中的一動畫(MP4檔案)的動作,將在下文 Φ中詳加敘述。 同樣地,在本具體實施例中,該顯示控制元件6的性 能爲60 fps,並且在動畫播放過程中,該CPU 8讀取儲存 在該記憶卡10中的任意MP4檔案資料,並且由使用者透 過該記憶卡控制元件9以60 fps的訊框率進行選擇,且循 序地轉移該已編碼資料部分至該CODEC 5。
此外,在本具體實施例中,關於播放模式,係設計四 種模式類型(全訊框播放模式、正常速率播放模式、1/2薄 化播放模式、以及兩倍速率播放模式)。彼等播放模式將參 考第23圖說明如下。第23圖係顯示介於該播放模式、該 播放速率、以及該參照trak之間的關係的一個圖形。 全訊框播放模式係一種其中錄製爲基本播放的動畫資 料的所有訊框的模式,且在錄製爲正常速率的1/4時,該 具有次訊框模式之彼等動畫的播放速率設定爲3。此外, 該1/2薄化播放模式爲一種模式,其中錄製爲動畫資料的 所有訊框,基本上每隔一個訊框會被播放並且當錄製爲正 -63- 200813893 常速率的1 /2時,該具有次訊框模式之彼等動畫的播放速 率設定爲3。此外,正常速率播放模式係其中播放速率係 與錄製時的正常速率相同的一種模式,與錄製時所設定的 次訊框模式的類型無關,以及兩倍速率播放模式,其中的 播放速率係爲錄製時(正常速率)的兩倍的一種模式,與錄 製時所設定的次訊框模式的類型無關。在下文中,在本具 體實施例中的播放動作,係按照上述的各種模式分別敘述。 (播放動作:全訊框播放)
第1 9圖係顯示在全訊框播放模式中的動作之流程 圖。第21A圖係一槪念圖,在全訊框播放模式中透過在動 畫錄製中設定的次訊框模式,顯示存在以及缺少解碼程序 的情況,以及每一個訊框的顯示。 如第19圖所示,在全訊框播放模式中,在錄製開始 時,該CPU 8首先初始化播放訊框編號(j)(步驟SF1),該 播放訊框編號⑴的預設値爲”0”。接著,儲存從全訊框播放 的索引資訊101之用於全訊框播放的該trak中,該CPU 8 讀取該訊框編號⑴的索引資訊f(步驟SF2),並且依據所讀 取之該索引資訊,設定一用於影音串流群組的讀取指標 (reading pointer)至該訊框編號(j)的存取單元(已編碼資 料)(步驟SF3)。 接下來’在該CPU 8讀取該訊框編號(j)的已編碼資料 的切片標頭121中的資訊之後(步驟SF4),若其判定在該切 片標頭之中的該切片類型所顯示之該圖片類型爲一 I圖片 (在步驟SF5中的”是”),則將使得該CODEC 5使用訊框間 -64- 200813893 解碼程序對該I圖片進行解碼,並且輸出該圖片資料至該 記憶體4(步驟SF6)。
此外,若該CPU 8判定該訊框編號(j)的已編碼資料的 該切片類型所顯示之該圖片類型並非一 I圖片(在步驟SF 5 中的”否”),則其將使得該CODEC 5以訊框間預測編碼對 一 P圖片進行解碼,此時係使用由與已編碼資料一同儲存 在一切片資料本體i 22之中的該參照圖片指示資訊所顯示 之將被參照的該訊框的一個圖片,作爲一參照圖片;並且 該圖片資料係輸出至該記憶體4中(步驟SF7)。 此處將被解碼的P圖片係所有錄製的P圖片,但是如 同第21A圖中所示,個別的P圖片所包含的內容,會隨著 當該動畫被錄製時所設定的該次訊框模式而改變。換句話 說,若在錄製動畫時,該次訊框模式係爲‘,則類似於在 該第一具體實施例中的慢速播放,以及在該第二具體實施 例中的該四倍慢速播放模式,在錄製彼等動畫時所擷取之 全部的主訊框以及次訊框的P圖片,都將被解碼。此外, 若該次訊框模式爲1,則當錄製彼等動畫時所擷取的所有 主訊框的P圖片,以及當錄製彼等動畫時,訊框編號(i)係 爲偶數的彼等次訊框,將被解碼。更進一步地,若該次訊 框模式係爲0,則當錄製彼等動畫時所擷取的全部主訊框 之P圖片,將被解碼。 此外,如第18圖所示’有關於當解碼每一個P圖片時 所參照的該訊框,與錄製彼等動畫時的該次訊框模式無 關,當訊框編號(j)的該訊框係一次訊框時’其永遠是最前 -65 - 200813893 面的主訊框。.另外,當該訊框係一主訊框以及對於訊框編 號⑴的P圖片,八個訊框之前的該主訊框,其中當錄製彼 等動畫時該訊框編號係爲8的倍數,以及對於訊框編號(i) 的P圖片,當錄製彼等動晝時,該訊框編號係爲4的倍數 但不爲8的倍數,則將被參照的該訊框朱遠是最前面的該 主訊框。
在等待 1/60秒的一顯示訊框率的時機之後(步驟 SF 8),該CPU 8從該記憶體4讀取已解碼圖片資料,並且 轉移該圖片資料至該顯示控制元件6。因此,該CPU 8使 得該顯示控制元件6,在該LCD 7上對該顯示圖片進行更 新,同時顯示時機依據顯示訊框率(步驟SF9)。 在此之後,當該CPU 8判定該最終訊框的程序並未結 束(步驟SF10中的”否”),在將該播放訊框編號⑴增加1之 後(步驟SF11),回到步驟SF2以重複上述的該程序。當該 CPU 8判定解碼以及顯示所有的已編碼的資料結束時(步驟 SF10中的”是”),則結束播放。 因此,如第2 1 A圖所示,該動晝錄製裝置.解碼訊框並 且顯示圖片資料,換句話說,對於當錄製時具有次訊框模 式3的該動畫,該動畫錄製裝置輪流地對以240 fps錄製的 彼等所有的訊框進行解碼,並且,藉由以60 fps錄製的彼 等所有的訊框之顯示圖片資料,動畫係以正常速率的1/4 的速率慢速播放。此外,對於次訊框模式爲1的該動畫, 該動畫錄製裝置顯示在60 fps以每隔一個訊框薄化所錄製 之所有的圖片資料,且因此該動畫係以正常速率的1/2的 -66- 200813893 速率慢速播放。更進一步地,對於當錄製時次訊框模式爲 〇的該動畫,該動畫錄製裝置顯示在60 fps以每三個訊框 薄化所錄製之所有的圖片資料,且因此該動畫係以正常速 率播放。 此外,在第21A圖中,僅對於錄製已編碼資料的訊框 (錄製訊框),顯示當錄製該動畫時的圖片類型(I,P,p)以及 訊框編號。此外,以一粗的輪廓線顯示的訊框,爲全訊框 播放索引資訊1 0 1儲存在播放中所使用之用於全訊框播放 ^ 的該trak中之該訊框。 因此,在全訊框播放模式中,該動畫錄製裝置使用全 訊框播放索引資訊101,執行該解碼程序,且因此如第23 圖所示,該錄製的動畫係依據當錄製時所設定的該次訊框 模式類型,以四倍慢速、兩倍慢速(正常速率1/2的速率)、 或者正常速率任一速率播放。 (播放動作:正常速率播放)
第2 0圖係一流程圖,顯示在本具體實施例中,在正常 速率播放模式中的動作。第21B圖係一槪念圖,當錄製該 動畫時藉由設定次訊框模式在正常速率播放模式中顯示存 在以及缺少解碼程序的情況以及每一個訊框的顯示情況。 如第20圖所示,在正常速率播放模式中,在錄製開始 時’在該CPU 8首先初始化該播放訊框編號⑴之後(步驟 SF1 01),不同於全訊框播放模式,該CPU 8從用於正常速 率播放的該trak中,讀取該訊框編號⑴的索引資訊,其中 用於正常速率播放的該trak係儲存僅與主訊框有關的正常 -67- 200813893 速率播放索引資訊(步驟SF102)。此後,於全訊框播放模式 (步驟SF3至步驟SF1 1)所述之第19圖中,該CPU執行相 同於步驟SF3至步驟SF1 1之程序。 因此,如第21B圖所示,與錄製時所設定之次訊框模 式的類型無關,藉由僅以60 fps的速率,每四個訊框顯示 包含該初始訊框在內的彼等主訊框,該動畫係以正常速率 播放。此外,在第21B圖中所顯示之具有一粗的輪廓線之 該訊框,爲正常速率播放索引資訊102儲存在使用於播放 ^ 時之用於正常速率播放的該trak中的該訊框。 (播放動作:1/2薄化播放) .第22A圖係一槪念圖,顯示當錄製該動畫時藉由設定 次訊框模式於1 /2薄化播放模式中時,存在以及缺少解碼 程序的情況以及每一個訊框之顯示情況。 在該1/2薄化的播放模式中,該CPU 8執行與全訊框
播放模式幾乎相同的程序。換句話說.,(並未描繪於該圖形 中)在第1 9圖中所示之步驟SF 1 1之程序,係改變成用以增 加該播放數目(j)兩次的一種程序。 因此,如第22A圖所示,該動晝錄製裝置對訊框進行 解碼’並且顯示圖片資料。換句話說,對於當錄製時具有 次訊框模式3的動畫,該動畫錄製裝置以240 fps解碼錄製 之所有彼等的訊框,依次每隔一個訊框進行薄化,並且藉 由以6 0 fp s的速率顯示它,該動晝係以正常速率的1 /2的 速率慢速播放。此外,對於當錄製時具有次訊框模式〗的 該動畫,每隔一個訊框薄化之已編碼資料,係再進一步每 -68- 200813893 隔一個訊框進行薄化,並且依次解碼,並且該動畫錄製裝 置以60 fps的速率顯示它,因此該動畫係以正常速率播 放。更進一步地’對於當錄製時具有次訊框模式〇的該動 畫’每第四個訊框薄化之已編碼資料係再進一步每隔一個 訊框進行薄化,並且依次解碼,並且該動晝錄製裝置以6〇 fps的速率顯示它,因此該動畫係以兩倍速率播放(以當錄 製時的該速率的兩倍播放)。 此外,同樣在第22A圖中’對於錄製已編碼資料的訊 ^ 框(已錄製的訊框),係顯示當錄製該動畫時之圖片類型 (I,P,p)以及訊框編號。此外,。以·一粗的輪廓線顯示之該訊 框,係其中全訊框播放的索引資訊1 0 1儲存在播放時所使 用之用於全訊框播放的該trak中的訊框。 因此,在該1/2薄化播放模式中,該動畫錄製裝置使 用全訊框播放的索引資訊1 0 1執行該解碼程序,且因此該 錄製的動畫係依據當錄製時所設定之該次訊框模式類型,
以兩倍慢速、正常速率、或者兩倍速播放。 (播放動作:兩倍速播放) 第2 2B圖係一槪念圖,透過當錄製該動畫時所設定的 次訊框模式在兩倍速播放模式中顯示存在以及缺少解碼程 序的情況以及每一個訊框之顯示情況。 .在兩倍速播放模式中,該CPU 8執行與正常速率播放 模式幾乎相同的程序。換句話說,(並未描繪於該圖形中) 在第2 0圖中所示之步驟SF 1 1 1之該程序,係改變成用以增 加該播放訊框數目(j)兩次的一種程序。 -6 9 - 200813893 因此’如同第22B圖中所示,與當錄製時所設定的該 次訊框模式的類型無關,藉由每八個訊框僅在60 fps的速 率顯示彼等主訊框,包含初始訊框,,該動畫係以兩倍速率 播放。此外,在第22B圖中以一粗的輪廓線顯示之該訊框, 係其中儲存正常速率播放的索引資訊丨〇2在使用於播放時 之用於正常速率播放的該trak中之訊框。
此處,在上述的本具體實施例中,係以當錄製該動畫 時,最前面的該主訊框或者八個訊框之前的該P圖片或I 圖片,當作一參照圖片,對該主訊框的該P圖片以及該次 訊框的P圖片兩者進行編碼。因此,當播放該動畫時,若 該動畫在上述的任一種播放模式中播放,與當錄製該動畫 時的該次訊框模式無關,將被顯示的該次訊框的已編碼資 料,可以在不解碼將不會被顯示的該次訊框的已編碼資料 的情況下被解碼。 因此,當該動畫係以正常速率的1/2的速率慢速播放 或者以正常速率播放時,依據當錄製時所設定之該次訊框 模式類型,其可有效率地執行,並且資料處理的總量以及 功率消耗可以因此而減低。 此外,在本具體實施例中,藉油使用兩倍速率模式, 該動畫可以在與當錄製所設定之該次訊框模式類型無關的 情形下,使用兩倍速率進行播放。對於當錄製時具有該次 訊框模式0的該動畫,以該1 /2薄化播放模式播放也會使 得該動畫以兩倍速率被播放。 此外,在錄製該動畫時,對於爲8的倍數的訊框編號 -70- 200813893 (i)之該訊框的P圖片,其係經過設計並非以最前面的該主 訊框的該I圖片或者該?圖片當作參照圖片進行編碼,而 係以八個訊框之前的該主訊框的I圖片以及P圖片作爲參 照圖片進行編碼。因此,同樣地當該動畫係以兩倍速率播 放時,可以在不解碼將不被顯示的該主訊框的已編碼資料 的情況之下,對將被顯示的該主訊框的已編碼資料進行解 碼。因此,同樣地當該動畫係以兩倍速率播放時,其可以 有效率地被執行,並且資料處理的總量以及功率消耗在此 Φ情況中可以減低。 另外,在本具體實施例中,係經過設計以使用八個訊 框之前的該主訊框的該I圖片或者P圖片當作一參照圖 片,對具有·訊框編號⑴爲八的倍數之該訊框的P圖片進行
編碼。然而,舉例而言,可以使用16個訊框之前的該主訊 框的I圖片或者P圖片當作參照圖片,對具有訊框編號(i) 爲1 6的倍數之該訊框的?圖片進行編碼。換句話說,透過 η訊框的該P圖片,可以使用用於編碼最接近於該相關P 圖片的該訊框的其它Ρ圖片之該參照圖片,對該Ρ圖片進 行編碼。在此情況中,可以在較快的速率播放該動畫。換 句話說,在η= 1 6的情況中,以四倍的速率播放係可能的。 此外,在本具體實施例中,當錄製彼等動畫時,可以 將存在於主訊框之間的次訊框編號,設定爲該次訊框模 式。因此,在錄製彼等動畫時’藉由依據彼等主體的運動 的速率改變來設定該次訊框模式(例如,若在圖片擷取元件 1中所擷取的一主體具有慢速的運動時,則該次訊框模式 -71 -
200813893 係設定爲〇),對於以薄化訊框的方式播放該動畫時 要的用於該訊框動畫的該編碼程序可以省略。因此 料處理的總量以及功率消耗可以降低。同時,該記 的記憶體消耗的總量可以降低。 此外,在本具體實施例中,當錄製彼等動畫時 索引資訊顯示被解碼的該存取單元(已編碼資料), 框播放索引資訊1 0 1以及該正常速率播放索引資訊 者皆係設計以被錄製。因此,藉由個別使用這些索 集合,同時以全訊框播放以及正常速率播放該動畫 以達成基於相同的該動畫檔案以正常速率的1 /4的 率慢速播放該動畫。此外,這在可播放MP4檔案的 動畫播放裝置中也係可能的。 此外,在本具體實施例中,對於其中該CODEC 與在該第一具體實施例中所描述之該動畫錄製裝置 配置的該種情況進行敘述。然而並不侷限於此,類 該第二具體實施例中所描述之該動畫錄製裝置,該 5可以由如第7圖所示之該匯流排控制元件5 1與該 衝器52、以及平行放置的該第一 CODEC 53至 CODEC 56所構成。更進一步地,在此情況中,藉由 第1 8圖中所示之錄製模式中的該預定的訊框的圖戶 得到類似於本具體實施例的效果。此外,相關的幾 第一具體實施例中也是類似的。 (變形例) 在此,、在上述的該第一至第三具體實施例中, 所不需 ,該資 意卡10 ,由於 該全訊 1 0 2兩 引資訊 ,則可 一個速 多用途 5具有 類似之 似於在 CODEC 參照緩 該第四 編碼在 「,可以 點在該 係針對 -72- 200813893 具有用以解碼以及編碼動畫的該CODEC 5之動畫錄製裝置 進行敘述。然而,也可以包含由該CPU 8藉由使用一預定 的軟體執行動畫的編碼以及解碼。更進一步地,在此情況 中,在具有訊框薄化的動畫播放中,類似於如同上述之當 該動畫係以正常速率播放時,該資料處理的全部總量以及 功率消耗可以降低,因爲可以有效率地執行。因此,在該 情況中,與該正常速率播放動畫並行,藉由該CPU 8可以 執行各種資料處理程序,而不需對CP'U 8保持過多的處理 •能量。 另外,在該第一至該第三具體實施例中,該動畫錄製 裝置係具有該動畫解碼裝置功能的一種架構,並且係針對 其中以該動畫錄製裝置錄製之該動畫,利用該動畫錄製裝 置播放的情況下進行描述。然而,同樣地,在該錄製動畫 係以其它的具有播放(解碼)動畫的功能的其中裝置’或者 僅具有播放(解碼)功能的裝置以播放(錄製)的情況中’在播 放(解碼)時的該資料處理的總量以及功率消耗可以降低。
就此而論,使用這些具有以240 fps .的速率擷取動畫 (高速圖片擷取)以及編碼的處理能力之裝置’例如一種動 晝錄製裝置,基本上係可能以解碼以及顯示以2 4 0 fp s的速 率錄製之該動晝。這係因爲編碼程序包含一種稱爲局邰解 碼的解碼程序,用以創建與類似於上述的該MPEG方法的 解碼相同的預測圖片。 因此,降低在上述的播放期間中該全部的資料處理總 量的效應,以及因此所獲得的效益(亦即’當使用預定的軟 -73 - 200813893 體對動晝進行解碼的效益),在下列的情況中,將變的更爲 顯著。換句話說,例如當以240 fps錄製之動畫係應用本發 明的該動畫解碼方法於一般的播放裝置,以正常速率播 放,該一般的播放裝置具有支援該正常顯示訊框率(例如, 60 fps)的能力,作爲用於動畫資料的一解碼程序的能力, 則該效應會變的更有效率。
另一方面,在該第一至該第三具體實施例中,在該錄 製模式中錄製時的該訊框率爲240 fps。然而除此之外,在 錄製時的該訊框率(60 fps),在播放期間可以係該顯示訊框 率的一個整數倍(η)。在該情況中,在編碼以及解碼動畫 時,當每η個訊框係被編碼以及解碼成該主訊框時,該動 畫的播放速率可以係正常速率,類似於在上述的每一個具 體實施例中的正常速率播放模式(包含在該第一具體實施 例中,在該可變速率播放模式中正常速率播放的期間)。 此外,當在該錄製模式中進行錄製時,當編碼動畫時 該I圖片的插入區間爲0.5秒(每120個訊框),但是該插入 區間可以係任意數目的秒數,且基本上可以係不規則的。 此外,I圖片不僅可以存在於顯示在正常速率播放模式中的 彼等主訊框之中,也可以存在於不顯示在正常速率播放模 式中的彼等次訊框中。 更進一步地,該播放模式係使得可以選擇除了正常速 率播放模式之外的播放模式之構成’但也可以係使得動畫 播放僅能在正常速率播放模式中執行的構成。 另一方面,在該第一至該第三具體實施例中’係針對 -74- 200813893 其中該CODEC 5係經過組成,以在編碼動畫程序中,僅創 建I圖片以及P圖片的情況進行詳細的描述。然而,並不 偏限於此,而且其可爲包含一雙向預測電路(bi-directionally predictive circuit之構成),並且·也可爲在編碼過程中創建
B圖片(雙向預測編碼圖片)的構成。在該情況中,當錄製彼 等動畫時,在對應於該次訊框(在第6A、11A以及18圖中 的”P”訊框)的該訊框位置上插入一 B圖片。然而,在該情 況中,因爲輸入(圖片擷取)與輸出(顯示)的順序以及編碼與 解碼的順序的序列係不相同的,故雙向圖片資料對於創建 B圖片係必要的,並且需要管理的該資訊以及處理總量係 爲原本的兩倍,並且處理程序將變得複雜。 此外’在該第一至該第三具體實施例中,當編碼所拍 攝的動畫時,針對其中一系列的訊框之複數圖片係編碼成 爲I圖片以及P圖片的情況進行敘述。然而,在本發明中, 當動畫係利用其它的方法編碼時,當其它的訊框係爲例如 P圖片(或者B圖片)等之參照圖片可被應用時,編碼成爲差 異資訊的一種訊框間預測編碼技術的一種方法。舉例而 言’一 I圖片(或者B圖片)係以該非運動補償訊框間預測 編碼技術(non-motion compensating inter frame predictive coding technique)進行編碼。換句話說,其可以係其中僅產 生差異資訊的已編碼資料,僅不包含運動向量(m〇ti〇n vector,MV),並且每一個訊框係轉換爲除了 DCT係數之外 的過渡資料,其係被編碼。 此外’也敘述了一種動畫錄製裝置,其不僅錄製拍攝 -75· 200813893 的動畫,同時也具有播放錄製動畫的功能,但是本發明可 以應用於並不具有播放功能的一種動畫錄製裝置。 更進一步地,若動畫係已經被編碼,本發明並不侷限 於透過圖片拍攝所得到之動晝。其可以應用於具有一種用 以編碼從其它的裝置輸入之動畫的架構之各種裝置,例如 那些透過廣播方式轉移的裝置,以及那些已經記錄在該記 憶體中的裝置。 另外,在該第一以及第二具體實施例中,在使用一參 ^ 照圖片以編碼該主訊框的該參照圖片,係爲最前面的主訊 框,但是在其之前的該主訊框也可以被使用。例如,訊框 編號⑴的該主訊框的該參照訊框,其係在”8”之後,可以係 八個訊框之前的該主訊框。更進一步地,複數個主訊框, 特別係在時間軸上相關的訊框之前以及之後的訊框可以被 用來當作參照訊框。換句話說,可以將主訊框編碼成爲B 圖片。
此外,在該第三具體實施例中,當該主訊框係使用一 參照圖片來編碼時,該參照訊框係最前面的該兩倍速率訊 框一亦即,將在兩倍速率播放模式中顯示的該訊框(主訊 框)一但是在其之前的該兩倍速率訊框也可以被使用。此 外,複數個兩倍速率的訊框,特別係在時間軸上相關的訊 框之前以及之後的訊框可以用來當作參照訊框。換句話 說,可以將主訊框編碼成爲B圖片。 此外,在該第一具體實施例中,使用一參照圖片以編 碼該次訊框的參照訊框係爲最前面的該主訊框,但是也可 -76 - 200813893 以使用在其前面或者後面的訊框。此外,複數個訊框,特 別係在時間軸上相關的訊框之前以及之後的訊框可以用來 當作參照訊框。換句話說,可以將次訊框編碼成爲B圖片。 此外,在該第二以及第三具體實施例中,在使用一參 照圖片以編碼該次訊框的參照訊框,係最前面的主訊框, 但是也可以使用在其前面或者後面的訊框。此外,複數個 主訊框,特別係在時間軸上,相關的訊框之前以及之後的 訊框可以用來當作參照訊框。換句話說,可以將主訊框編 ^碼成爲/ B圖片。 此外,在該第一以及第二具體實施例中,如同在該第 .三具體實施例中,使用MP4格式的一種動畫檔案格式,使 得全訊框播放索引資.訊101以及正常速率播放索引資訊 102係附加於已編碼資料上,使用全訊框播放索引資訊ι〇1 以及正常速率播放索引資訊102所選擇的播放動作,可以 在播放(解碼)動畫時被執行。
此外,同樣地對於該第三具體實施例,如同在該第二 具體實施例中,當播放(解碼)動畫時,也可以執行使用圖 片參數(切片類型、nal一 ref_idc、frame_num、POC以及參 照圖片指示資訊)的播放動作,以取代全訊框播放索引資訊 1 0 1以及正常速率播放索引資訊1 02。 在不偏離本發明的廣泛精神以及範圍的情況下,可以 在其形式上以及細節上進行各種不同的具體實施例以及變 化。上述的該等具體實施例僅係用於說明本發明,並不侷 限本發明所涵蓋的範圍。本發明所涵蓋的範圍應該是由接 -77- 200813893 下來的專利申請範圍所界定,而非該等具體實施例。所進 行的各種不同的改變,在不超過本發明的專利申請範圍所 界定的等效意涵的範圍以及專利申請範圍的情況下,皆應 視爲係屬於本發明所涵蓋的範圍。 此外,本申請案的專利申請範圍的優先權係基於2006 年 6月16日所申請之日本未審查專利申請公開第 20 06- 1 66778號,以及2007年4月18日所申請之日本未審 查專利申請公開第2007- 1 08794號,倂入上述的兩個基本 申請案的所有內容。 工業可應用性 本發明在作爲用以編碼動畫的一種動畫解碼裝置,或 者用以解碼彼等已編碼動畫的一種動畫解碼裝置係非常有 用的。舉例而言,可以應用於用以解碼已編碼的動畫以利 於播放的一種動畫錄製以及播放裝置。 【圖式簡單說明】
第1圖爲每一個具體實施例的共同方塊圖,描繪關於 本發明的動晝錄製裝置。 第.2圖爲在該錄製模式中動畫錄製裝置的動作(運作) 流程圖。 第3圖爲在慢速播放模式中,動畫錄製裝置的動作流 程圖。 第4圖爲在正常速率的播放模式中,該動晝錄製裝置 的動作流程圖。 第5A以及5B圖爲在可變速率播放模式中,該動晝錄 -78- 200813893 製裝置的動作流程圖。 第6A圖爲在錄製模式中所錄製的動畫資料的配置之 示意圖。 第6 B圖爲在慢速播放模式中,有進行解碼與沒有進行 解碼的情況,以及每一個訊框在播放期間的顯示情況之示 意圖。 第6 C圖爲在正常速率播放模式中,有進行解碼與沒有 進行解碼以及在每一個訊框在播放期間的顯示情況之示意 圖。 第7圖爲在該第二具體實施例中CODEC架構的方塊 圖。 第8 A與8B圖爲在錄製模式中,第二具體實施例的動 畫錄製裝置的動作流程圖。 第9圖爲利,用一 CODEC顯示編碼程序的時序圖。 第10A圖爲一 H.264串流的槪略架構的一示意圖。 第10B圖爲一 H.264串流的槪略架構的一示意圖。
、第1 1 A圖爲在該錄製模式中所錄製的該動畫資料架構 的示意圖。 第1 1 B圖爲在四倍慢速的播放模式中,有進行解碼與 沒有進行解碼的情況以及每一個訊框在播放期間的顯示情 況之示意圖。 第11C圖爲在正常速率的播放模式中,有進行解碼與 沒有進行解碼的情況以及每一個訊框在播放期間的顯示情 況之示意圖。 -79- 200813893 第1 1 D圖爲在兩倍慢速的播放模式中,有進行解碼與 沒有進行解碼的情況以及每一個訊框在播放期間顯示情況 之示意圖。 第12圖爲在正常速率的播放模式中,第二具體實施例 的動畫錄製裝置的動作流程圖。 第1 3圖爲在兩倍慢速的播放模式中,第二具體實施例 的動畫錄製裝置的動作流程圖。 第14圖爲在正常速率的抽取編輯模式中,第二具體實 Φ 施例的動畫錄製裝置的動作流程圖。 第1 5圖爲在第三具體實施例中所錄製的一 MP4檔案 的槪略架構圖。 第1 6圖爲用於全訊框播放的索引資訊以及用於正常 速率播放的索引資訊之間的關係圖,以及在第i 5圖中所顯 示的MP4檔案的存取單元。 第17A以及17B圖描繪在錄製模式中,第二具體實施 例的動畫錄製裝置的動作流程圖。 第18A圖爲當次訊框模式爲3時,在錄製模式中所錄 製的動畫資料的架構之示意圖。 第18B圖爲當次訊框模式爲〗時,在錄製模式中所錄 製的動畫資料的架構之槪念圖。 第18C圖爲當次訊框模式爲〇時,在錄製模式中所錄 製的動畫資料的架構之示意圖。 第19圖爲在全訊框播放模式中,第二具體實施例的動 晝錄製裝置的動作流程圖。 -80· 200813893 第20圖爲在正常速率的播放模式中,第二具體實施例 的動畫錄製裝置的動作流程圖。 第2 1 A圖爲在全訊框播放模式中,有進行解碼與沒有 進行解碼的情況以及每一個訊框在播放期間,利用次訊框 模式的顯示情況之示意圖。 第21B圖爲在正常速率的播放模式中,有進行解碼與 沒有進行解碼的情況以及每一個訊框在播放期間利用次訊 框模式的顯示情況之示意圖。
第22A圖爲在已經過1/2薄化的播放模式中,有進行 解碼與沒有進行解碼的情況以及每一個訊框在播放期間利 用次訊框模式的顯示情況之示意圖。 第2 2B圖爲在兩倍速率的播放模式中,有進行解碼與 沒有進行解碼的情況以及每一個訊框在播放期間,利用次 訊框模式的顯示情況之示意圖。 第23圖爲播放模式、播放速率以及參照音軌(reference trak)之間的關係圖。 第24A圖爲習知技術中所存在問題的示意圖。 第2 4B圖爲習知技術中所存在問題的示意圖。 第24C圖爲習知技術中所存在問題的示意圖。 【主要元件符號說明】 1 圖片擷取元件 2 圖片產生元件 3 記憶體匯流排 4 記憶體 -81 - 200813893
5 編解碼器(CODEC) 6 顯示控制元件 7 液晶顯示器 - 8 CPU 9 記憶卡控制元件 10 記憶卡 11 程式記憶體 12 按鍵輸入元件 51 匯流排控制元件 52 參照緩衝器 53 第一編解碼器(CODEC)· 5 4 第二編解碼器 55 第三編解碼器 56 第四編解碼器 61 已編碼資料 62 屬性資訊 62a 圖片類型資訊 6 2b 參照訊框資訊 101 全訊框播放索引資訊 102 正常速率播放索引資訊 111 NAL標頭 1 12 切片資料 121 切片標頭 122 切片資料本體 -82-
Claims (1)
- 200813893 十、申請專利範圍: 1 · 一種動畫編碼裝置,包括: 編碼兀件(encoding component),用以輸入動畫,其中 該動畫包含一系列以預定的圖片擷取訊框率 (picture-capturing frame rate)擷取訊框的圖片,以及經 由包含使用其它訊框的圖片作爲參考圖片的訊框間預測 編碼之編碼程序,用以編碼每一訊框的圖片;以及 編碼控制兀件(encoding control component),當已指定 ® 的圖片由該編碼元件執行訊框間預測編碼時,用以限定 該參考圖片於其它多數個已指定的圖片,假設由該圖片 擷取訊框率以及顯示訊框率所決定的每一個預定的訊框 區間之圖片爲已指定的圖片,其在以較該圖片擷取訊框 率低的預定顯示訊框率’顯示該動畫的情況下,將成爲 顯示目標。 2 ·如申μ專利fe圍桌1項之動畫編碼裝置,其中該預定的 訊框區間係由將該圖片擷取訊框率除以該顯示訊框率所 得到的一個數値的整數倍, 3 .如申專利軺圍桌1項之動畫編碼裝置,其中當彼等已 指定的圖片由該編碼元件進行訊框間預測編碼時,該編 碼控制元件限定該參考圖片爲其它相鄰的多數個已指定 的圖片。 4.如申請專利範圍第1項之動畫編碼裝置,其中該編碼控 制兀件將彼等已指定的圖片分成一組第一已指定圖片以 及一組第二已指定圖片,當彼等第一已指定的圖片由該 -83- 200813893 編碼元件進行訊框間預測編碼時,限定該參考圖片爲其 它相鄰的多數個已指定的圖片,並且當彼等第二已指定 的圖片由該編碼元件進行訊框間預測編碼時,也限制該 參考圖片爲其它由間隔一個圖片間隔之多數個已指定的 圖片。 5.如申請專利範圍第1項之動畫編碼裝置,其中該編碼元 件在訊框間預測編碼的情況下,僅使用前側上訊框的圖 片,作爲參照圖片。 ^ 6·如申請專利範圍第1項之動畫編碼裝置,其中該編碼元 件在訊框間預測編碼的情況中,使用前側上訊框的圖片 或者在前面以及接下來的訊框兩者的圖片,作爲參照圖 片。 7 .如申請專利範圍第1項之動畫編碼裝置,包含:解碼兀件’用以藉由該編碼兀件輸入包含一系列已編 碼之編碼圖片的動畫資料,以及使用其它訊框圖片作爲 一參照圖片經由包含訊框間預測解碼的解碼程序,對每 一訊框之圖片進行解碼;以及 解碼控制元件(decoding control component),藉由該解 碼元件,限制該動畫資料的解碼目標僅爲已指定的圖 片;以及用以使得該解碼元件在訊框間預測解碼的情況 中,使用與該解碼目標不相同的其它已指定圖片作爲一 參照圖片來解碼。 8 ·如申請專利範圍第1項之動畫編碼裝置,其中該編碼控 制元件,藉由該編碼元件,將目標放在除了取決於在編 -84- 200813893 碼動畫時所設定的操作模式之類型的已指定圖片之外的 未指定圖片之上,控制訊框間預測編碼的存在/不存在。 9.如申請專利範圍第1項之動畫編碼裝置,包含參照資訊 附力口元件(reference information-adding component),用 以附加參照圖片指示資訊至包含一系列的已被該編碼元 件編碼的已編碼圖片的動畫資料,其中該參照圖片指示 資訊在解碼已指定圖片時,指示其它的已指定圖片作爲 參照圖片, ® 1 〇·如申請專利範圍第1項之動畫編碼裝置,包含解碼目標 資訊附加元件(decoding target information-adding component),用以附加僅指示被、指定的彼等圖片作爲解碼 目標圖片之解碼目標資訊,至包含一系列的已被該編碼 元件編碼的已編碼圖片的動畫資料。1 1 ·如申請專利範圍第1 〇項之動畫編碼裝置,其中該解碼目 標資訊附加元件附加索引資訊,用以指示僅由在彼等已 指定的圖片之中的部分已指定圖片所組成的一系列的圖 片,作爲該解碼目標資訊。 1 2 ·如申請專利範圍第1項之動畫編碼裝置,包含索引資料 附加元件,用以附加第一索引資訊與第二索引資訊至包 含已被該編碼元件編碼的一系列圖片的動畫資料,其中 該第一索引資訊係指示已被該編碼元件編碼之全部訊框 之圖片’該桌一索引資訊係指不作爲指示將爲解碼目標 之一系列圖片之索引資訊的僅由已指定圖片所組成的一 系列圖片。 -85- 200813893 1 3 ♦如申請專利範圍第1項之動畫編碼裝置,其中該編碼元 件包含: 參照圖片儲存元件,用以暫時儲存該參照圖片;以及 多數個個別的編碼元件,對應於預定訊框區間的個 數,其中複數個連續訊框的圖片係使用暫時儲存在該參 照圖片儲存元件中的相同的該參照圖片,透過同步化的 編碼程序而個別地進行編碼。 14. 一種動畫編碼裝置,包含:編碼元件,用以編碼一系列訊框的圖片,彼等圖片將 被個別輸入至,經由包含使用其它訊框的圖片作爲參考 圖片的訊框間預測編碼之編碼程序,以預定的訊框率進 行擷取的動畫中;以及 編碼控制元件,當彼等已指定的圖片由該編碼元件執 行訊框間預測編碼時用以限定該參考圖片於其它多數個 已指定的圖片,當在訊框率上藉由匹配播放時間以及圖 片擷取時間來完成顯示之情況下,將每一個預定訊框區 間的圖片視爲將被視爲顯示目標之被指定的圖片,其中 在該訊框率之下,經過編碼之後的動畫訊框率較在圖片 擷取時的訊框率爲低。 ' 1 5 . —種動畫編碼方法,其中 動畫的每一個訊框的圖片’經由包含使用其它訊框的 圖片作爲參照圖片的訊框間預測編碼的編碼程序進行編 碼,其中該動畫包含以預定的圖片擷取訊框率擷取的一 系列訊框的多數個圖片;以及 -86- 200813893 其它被指定圖片係用來作爲在彼等已指定圖片的訊框 間預測編碼的情況中的參照圖片,假設由該圖片擷取訊 框率以及顯示訊框率所決定的每一個預定的訊框區間的 彼等圖片爲被指定的圖片,其在以較該圖片擷取訊框率 低的預定顯示訊框率,顯示該動畫的情況中,將成爲顯 示目標。 1 6 · —種程式,可以使得包含在動畫編碼裝置中的電腦具備 下列功能z編碼元件(encoding component),經由包含使用其它訊 框的圖片作爲參考圖片的訊框間預測編碼之編碼程序, 用以編碼包含一系列以預定的圖片擷取訊框率擷取的訊 框所組成的圖片之動畫;以及 編碼控制兀件(encoding control component),當彼等已 指定圖片由該編碼元件執行訊框間預測編碼時用以限定 該參考圖片於其它的多數個已指定圖片,假設由該圖片 擷取訊框率以及顯示訊框率所決定的每一個預定的訊框 區間的彼等圖片爲已指定圖片,其在以較該圖片擷取訊 框率低的預定的顯示訊框率顯示該動畫的情況中,將成 爲該顯不的目標。 1 7 · —種動畫錄製裝置,用以錄製已經被擷取的動畫,包含: 圖片擷取元件(Picture-capturing component),用以拍 攝動畫; 編碼元件,用以輸入一動畫,該動畫包含以預定的圖 片擷取訊框率(Picture_eapturing frame rate)藉由該圖片 -87 - 200813893 擷取元件擷取的一系列訊框所組成的圖片,以及經由包 含使用其它訊框的圖片作爲參考圖片的訊框間預測編碼 之編碼程序,編碼每一個訊框的圖片; 錄製元件’用以錄製包含已被該編碼元件編碼的該動 畫之動畫資料;以及 編碼控制兀件(encoding control component),當彼等已指定的圖片由該編碼元件執行訊框間預測編碼時,用以 限定該參考圖片於其它多數個已指定的圖片,假設由該 圖片擷取訊框率以及顯示訊框率所決定的每一個預定的 訊框區間的彼等圖片爲已指定的圖片,其在以較該圖片 擷取訊框率低的預定的顯示訊框率,基於在該錄製元件 中所錄製之動畫資料顯不該動畫的情況下,將成爲顯示 目標。 1 8 .如專利申請範圍第1 7項之動畫錄製裝置,更包含錄製控 制元件,相對於取決於錄製動畫時所設定之錄製模式類 型之該錄製元件,用以控制除了彼等已指定圖片之外的 未指定圖片的已編碼圖片的紀錄之存在/不存在。 1 9 ·如專利申請範圍第1 7項之動畫錄製裝置,更包含: 抽取元件,用以從在該錄製元件中所錄製售成之該動 畫資料的一系列已編碼圖片中,抽取彼等已指定圖片的 已編碼圖片;以及 動畫編輯元件,用以在該錄製元件中藉由該抽取元件 錄製所抽取的已編碼圖片,作爲新的動畫資料,同時維 持互相之間的前後順序關係。 -88- 200813893 20·—種動畫解碼裝置,用以解碼動畫資料,其中包含以預 疋的圖片擷取訊框率擷取的一系列訊框的圖片的動畫已 被編碼,包括: 解碼元件,經由包含使用其它訊框的圖片作爲參照圖 片的訊框間預測解碼的解碼程序,用以輸入以及解碼該 已編碼動畫進行;以及解碼控制元件(decoding control component),用以藉由 該解碼元件,以限制該動畫資料的解碼目標僅爲每一個 預定訊框區間的已指定圖片,該訊框區間係由該圖片擷 取訊框率以及預定的顯示訊框率來決定,彼等已指定的 圖片在以較該圖片擷取訊框率爲低的該顯示訊框率顯示 動畫的情況下,將成爲顯示目標,以及用以使得該解碼 兀件,在訊框間預測解碼的情況中,使用與該解碼目標 不相词的其它已指定圖片作爲參照圖片。 2 1 ·如專利申請範圍第2 0項之動畫解碼裝置,其中該解碼控 制元件係使得在訊框間預測解碼彼等已指定的圖片之情 況中,使用與已被附加至該動畫資料的該參照圖片指示 資訊中所指示之該解碼目標不相同的其它已指定的圖 片,當作參照圖片。 2 2 ·如專利申請範圍第2 1項兑動畫解碼裝置,其中已附加於 該動畫資料上的該參照圖片指示資訊,係爲在解碼彼等 已指定圖片時,指定其他相鄰的被指定圖片當做參照圖 片的資朝。 23·如專利申請範圍第20項之動畫解碼裝置,其中該解碼控 -89- 200813893制元件係當在編碼該動畫資料時所設定的該操作模式係 在第一操作模式中時,藉由該解碼元件限制訊框間預測 解碼的目標僅爲一組第一已指定圖片,其中其它相鄰的 已指定圖片爲彼等參照圖片,以及也限制爲一組第二已 指定圖片,其中相隔一個圖片之其它已指定圖片係爲彼 等參照圖片;當在編碼該動畫資料時所設定的操作模式 在第二操作模式中時,則藉由該解碼元件限制訊框間預 測解碼的目標,僅爲彼等第二已指定圖片,其中相隔一 個圖片之其它已指定圖片係爲彼等參照圖片。 2 4.如專利申請範圍第20項之動畫解碼裝置,其中該解碼控 制元件藉由該解碼元件限制動畫資料的解碼目標,僅爲 已被附加在該動畫資料上的該解碼目標資訊中所指示之 彼等已指定的圖片。 25. 如專利申請範圍第24項之動畫解碼裝置,其中該解碼控 制元件藉由該解碼元件限制動畫資料的解碼目標,僅爲 已被附加在彼等已指定的圖片之中,該動畫資料上的該 解碼目標資訊中所指示之彼等已指定的圖片。 26. 如專利申請範圍第20項之動畫解碼裝置,其中當操作模 式係在第一播放模式中時,該解碼控制元件使得該解碼 元件執行以全部訊框爲目標之解碼程序,以及當操作模 式係在第二播放模式中時,使得該解碼元件執行僅以指 定的圖片爲目標的解碼程序,在藉由該解碼元件執行解 碼程序的情況中,藉由選擇性地使用預先附加於該動畫 資料上的第一索引資訊以及第二索引資訊之中的一個, -90- 200813893 並且每一指示與該第一以及該第二索引資訊之另一個所 指示的圖片不同,以作爲解碼目標。 2 7. —種動畫解碼裝置,用以解碼動畫資料,其中以預定的 圖片擷取訊框率擷取的動畫已被編碼,包括: 解碼元件,用以經由包含使用其它訊框的圖片作爲參 照圖片的訊框間預測解碼的解碼程序,解碼動畫資料; 以及解碼控制元件,藉由該解碼元件,限制該動畫資料的 解碼目標僅爲每一個預定訊框區間的已指定的圖片,其 在以較擷取圖片時的擷取率爲低的訊框率編碼之後,同 時該播放時間匹配於該圖片擷取時間的顯示動畫的情況 中,成爲顯示目標,以及使得該解碼元件在訊框間預測 解碼的情況中,使用與該解碼目標不相同的其它已指定 圖片,作爲參照圖片。 28·—種動畫解碼裝置,用以解碼動畫,其中包含以預定的 圖片擷取訊框率擷取的一系列訊框的多數圖片之動畫已 被編碼,其中: 包含在動畫資料中的該已編碼動畫的每一個訊框的圖 片,係經由包含使用其它訊框的圖片作爲參照圖片的訊 框間預測解碼的解碼程序,對該動畫資料進行解碼,以 及將進行該解碼程序的解碼目標,限制僅爲每一個預定 的訊框區間的被指定的圖片,該訊框區間係由該圖片擷 取訊框率以及預定的顯示訊框率來決定,彼等已指定的 圖片在以較該圖片擷取訊框率爲低的顯示訊框率顯示動 -91 - 200813893 畫的情況中,成爲顯示目標’以及在已指定圖片之訊框 間預測解碼的該情況中,使用與該解碼目標不相同的其 它已指定圖片,作爲參照圖片。 2 9. —種程式,用以使得包含在用以解碼動畫資料(其中該動 畫資料包含一系列以預定的圖片擷取訊框率擷取的一系 列訊框的圖片之動畫已編碼)的動畫解碼裝置中的電 腦,具備下列功能:解碼元件,用以輸入該動畫資料,以及經由包含使用 其它訊框的圖片作爲參照圖片的訊框間預測解碼的解碼 程序,編碼每一訊框之圖片;以及 解碼控制元件(decoding control component),用以藉由 該解碼元件,限制解碼目標僅爲每一個預定的訊框區間 的被指定的圖片,該訊框區間係由該圖片擷取訊框率以 及預定的顯示訊框率來決定,彼等已指定的圖片在以較 該圖片擷取訊框率爲低的顯示訊框率顯示動畫的情況 中,將成爲顯示目標,以及也用以使得該解碼元件,在 訊框間預測解碼的情況中,使用與該解碼目標不相同的 其它被指定圖片,作爲參照圖片。 30·—種動畫資料的資料結構,其中包含以預定的圖片擷取 訊框率擷取的一系列訊框的圖片之動畫已被編碼,並且 也將藉由動畫解碼裝置進行解碼,其中: 將其它已指定圖片作爲參考圖片進行訊框間預測編碼 的已編碼資料,其中已指定的圖片的已編碼資料,具有 由圖片擺取訊框率以及顯示訊框率來決定的每一個預定 -92- 200813893 的訊框區間’彼等已指定的圖片在以較該圖片擷取訊框 率爲低的顯示訊框率顯示動畫的情況中,藉由該動畫解 碼裝置進行解碼,將成爲顯示目標;以及 參照圖片指示資訊(reference picture indication information),指出在解碼彼等被指定圖片時,將成爲參 照圖片的彼等其它的已指定圖片。 3 1 ·如申請專利範圍第3 0項之資料結構,其中係包含指示僅有彼等已被指定的圖片作爲將成爲該動畫解碼裝置的解 碼目標的圖片之解碼目標資訊。 3 2·如申請專利範圍第3 1項之資料結構,其中係包含指示僅 由彼等已被指定圖片之中的部分被指定圖片所構成的一 系列之已編碼資料的索引資訊,作爲解碼目標資訊。 33.如申請專利範圍第30項之資料結構,其中係包含指示全 部訊框的圖片之第一索引資訊以及指示僅由彼等已被指 定的圖片所組成之一系列的圖片之第二索引資訊,作爲 索引資訊’指示將成爲該動畫解碼裝置的解碼目標之多 數個圖片。 -93-
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006166778 | 2006-06-16 | ||
JP2007108794A JP5248802B2 (ja) | 2006-06-16 | 2007-04-18 | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200813893A true TW200813893A (en) | 2008-03-16 |
TWI368186B TWI368186B (en) | 2012-07-11 |
Family
ID=38832219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW096121964A TWI368186B (en) | 2006-06-16 | 2007-06-18 | Motion picture encoding device, motion picture encoding method, motion picture decoding device, motion picture decoding method, motion picture recording device, program product, and data structure product |
Country Status (7)
Country | Link |
---|---|
US (1) | US8699569B2 (zh) |
EP (1) | EP2033446A2 (zh) |
JP (1) | JP5248802B2 (zh) |
KR (1) | KR100988210B1 (zh) |
CN (1) | CN101467460B (zh) |
TW (1) | TWI368186B (zh) |
WO (1) | WO2007145381A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI447670B (zh) * | 2011-07-11 | 2014-08-01 | Aspeed Technology Inc | 具有高速傳輸功能之基板管理控制器及其傳輸方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4678015B2 (ja) | 2007-07-13 | 2011-04-27 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
US8526489B2 (en) * | 2007-09-14 | 2013-09-03 | General Instrument Corporation | Personal video recorder |
EP2191651A1 (en) | 2007-09-28 | 2010-06-02 | Dolby Laboratories Licensing Corporation | Video compression and tranmission techniques |
US9407925B2 (en) * | 2008-10-30 | 2016-08-02 | Vixs Systems, Inc. | Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith |
JP5004309B2 (ja) * | 2009-02-18 | 2012-08-22 | ソニーモバイルコミュニケーションズ, エービー | 動画出力方法および動画出力装置 |
JP2011082683A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP5395621B2 (ja) * | 2009-11-05 | 2014-01-22 | 株式会社メガチップス | 画像生成方法および画像再生方法 |
JP2011142586A (ja) * | 2010-01-08 | 2011-07-21 | Sony Corp | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
JP2011142585A (ja) * | 2010-01-08 | 2011-07-21 | Sony Corp | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
JP5054175B2 (ja) * | 2010-09-08 | 2012-10-24 | キヤノン株式会社 | 撮像装置およびその制御方法、撮影制御装置、撮影制御方法 |
JP5170264B2 (ja) * | 2011-01-18 | 2013-03-27 | オンキヨー株式会社 | 映像処理装置及び映像処理プログラム |
KR20140036280A (ko) * | 2011-06-29 | 2014-03-25 | 록스타 컨소시엄 유에스 엘피 | 다수의 속도들로 재생시키기 위해 비디오를 인코딩하기 위한 방법 및 장치 |
US9635374B2 (en) * | 2011-08-01 | 2017-04-25 | Apple Inc. | Systems and methods for coding video data using switchable encoders and decoders |
JP6012149B2 (ja) * | 2011-08-25 | 2016-10-25 | キヤノン株式会社 | 通信装置及びその制御方法、並びにプログラム |
CN104160706B (zh) | 2012-01-20 | 2018-12-28 | 诺基亚技术有限公司 | 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置 |
JP6000763B2 (ja) * | 2012-08-31 | 2016-10-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
TWI474201B (zh) * | 2012-10-17 | 2015-02-21 | Inst Information Industry | Construction system scene fragment, method and recording medium |
KR20140122193A (ko) * | 2013-04-05 | 2014-10-17 | 삼성전자주식회사 | 현재 영상이 참조 영상이 되는지 여부를 결정하는 방법과 그 장치 |
KR20170013083A (ko) * | 2015-07-27 | 2017-02-06 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US10257528B2 (en) * | 2015-10-08 | 2019-04-09 | Electronics And Telecommunications Research Institute | Method and apparatus for adaptive encoding and decoding based on image quality |
KR102602690B1 (ko) * | 2015-10-08 | 2023-11-16 | 한국전자통신연구원 | 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치 |
CN106416247A (zh) * | 2015-12-25 | 2017-02-15 | 王晓光 | 视频软件的编码方法及系统 |
US9996894B2 (en) | 2016-05-18 | 2018-06-12 | Realtek Singapore Pte Ltd | Image processing device, video subsystem and video pipeline |
US9967465B2 (en) | 2016-05-18 | 2018-05-08 | Realtek Singapore Pte Ltd | Image frame processing method |
CN112437345B (zh) | 2020-11-20 | 2023-03-14 | 北京字跳网络技术有限公司 | 视频倍速播放方法、装置、电子设备及存储介质 |
US12346291B2 (en) * | 2021-11-03 | 2025-07-01 | Vimeo.Com, Inc. | On-the-fly/transparent fragmented ISOBMFF to progressive ISOBMFF transmultiplexing proxy |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2050752B (en) * | 1979-06-07 | 1984-05-31 | Japan Broadcasting Corp | Motion compensated interframe coding system |
JP3068002B2 (ja) * | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
US5949948A (en) * | 1995-11-20 | 1999-09-07 | Imedia Corporation | Method and apparatus for implementing playback features for compressed video data |
US6144698A (en) * | 1996-10-31 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Digital video decoder and method of decoding a digital video signal |
JP3185763B2 (ja) * | 1998-07-13 | 2001-07-11 | 日本電気株式会社 | 動画像符号化装置 |
US6804294B1 (en) * | 1998-08-11 | 2004-10-12 | Lucent Technologies Inc. | Method and apparatus for video frame selection for improved coding quality at low bit-rates |
US6709387B1 (en) * | 2000-05-15 | 2004-03-23 | Given Imaging Ltd. | System and method for controlling in vivo camera capture and display rate |
JP2002320203A (ja) * | 2001-04-19 | 2002-10-31 | Matsushita Electric Ind Co Ltd | 映像信号記録装置および映像信号再生装置 |
CN100484248C (zh) * | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
US20030112366A1 (en) * | 2001-11-21 | 2003-06-19 | General Instrument Corporation | Apparatus and methods for improving video quality delivered to a display device |
JP2003179931A (ja) | 2001-12-10 | 2003-06-27 | Akuseru:Kk | 動画符号化装置及びその方法並びに動画符号化プログラム |
JP2004040518A (ja) * | 2002-07-04 | 2004-02-05 | Hitachi Ltd | 撮像記録装置と再生装置 |
JP4281309B2 (ja) * | 2002-08-23 | 2009-06-17 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP4140709B2 (ja) * | 2003-02-05 | 2008-08-27 | 松下電器産業株式会社 | 画像信号再生装置および画像信号再生方法 |
US8824553B2 (en) * | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US20050201471A1 (en) * | 2004-02-13 | 2005-09-15 | Nokia Corporation | Picture decoding method |
US7991053B2 (en) * | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
JP2006033393A (ja) * | 2004-07-15 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像符号化方法 |
US20080019445A1 (en) * | 2004-09-13 | 2008-01-24 | Tomoko Aono | Image Coding Device, Image Decoding Device, Image Coding Program, And Image Decoding Program |
JP4366277B2 (ja) * | 2004-09-21 | 2009-11-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN100425078C (zh) * | 2005-11-08 | 2008-10-08 | 上海广电(集团)有限公司中央研究院 | 码流转换中编码速度和视频质量的自适应联合控制方法 |
-
2007
- 2007-04-18 JP JP2007108794A patent/JP5248802B2/ja active Active
- 2007-06-18 KR KR20087027135A patent/KR100988210B1/ko active Active
- 2007-06-18 WO PCT/JP2007/062638 patent/WO2007145381A2/en active Application Filing
- 2007-06-18 CN CN200780022237.8A patent/CN101467460B/zh active Active
- 2007-06-18 US US11/820,155 patent/US8699569B2/en active Active
- 2007-06-18 EP EP07745553A patent/EP2033446A2/en not_active Ceased
- 2007-06-18 TW TW096121964A patent/TWI368186B/zh active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI447670B (zh) * | 2011-07-11 | 2014-08-01 | Aspeed Technology Inc | 具有高速傳輸功能之基板管理控制器及其傳輸方法 |
Also Published As
Publication number | Publication date |
---|---|
KR100988210B1 (ko) | 2010-10-18 |
TWI368186B (en) | 2012-07-11 |
JP2008022532A (ja) | 2008-01-31 |
US20070291841A1 (en) | 2007-12-20 |
WO2007145381A3 (en) | 2008-04-03 |
EP2033446A2 (en) | 2009-03-11 |
JP5248802B2 (ja) | 2013-07-31 |
CN101467460A (zh) | 2009-06-24 |
CN101467460B (zh) | 2016-03-23 |
KR20090017501A (ko) | 2009-02-18 |
US8699569B2 (en) | 2014-04-15 |
WO2007145381A2 (en) | 2007-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW200813893A (en) | Motion picture encoding device, motion picture encoding emthod, motion picture decoding device, motion picture decoding method, motion picture recording device, program, and data structure | |
KR101240089B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
KR101227330B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
WO2000014741A1 (fr) | Procede et dispositif de gestion de fichier multimedia | |
WO1993013626A1 (en) | Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium | |
KR100975170B1 (ko) | 화상 데이터 재생 장치 및 방법 | |
JP2002094384A (ja) | 長時間用画像・音声圧縮装置及びその方法 | |
CN100474914C (zh) | 控制数字视频数据的比特率的方法和装置 | |
JP2003052040A (ja) | Mpegデータ再生装置 | |
JP2003087732A (ja) | 映像再生装置 | |
KR20040010173A (ko) | 화상 데이터 재생 장치 및 방법 | |
JP2004297829A (ja) | Mpegデータ再生装置 | |
JP2002354417A (ja) | 画像再生装置及び画像再生方法 | |
JP2004228679A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2000078543A (ja) | 画像圧縮符号化ストリーム合成方法及び装置 | |
HK1107482B (zh) | 畫面編碼裝置和畫面解碼裝置 | |
JP2004289872A (ja) | Mpegデータ再生装置 | |
JP2004266846A (ja) | Mpeg画像データ記録方法 | |
JP2004289871A (ja) | Mpegデータ再生方法 | |
JP2004229323A (ja) | Mpeg画像データ記録装置 | |
JP2004254347A (ja) | Mpegデータ再生方法 | |
JP2005236693A (ja) | 映像データ再生装置、映像データ再生装置の制御方法、映像データ再生装置の制御プログラム、および映像データ再生装置の制御プログラムが格納された記録媒体 |