JP4261508B2 - 動画像復号装置 - Google Patents
動画像復号装置 Download PDFInfo
- Publication number
- JP4261508B2 JP4261508B2 JP2005113824A JP2005113824A JP4261508B2 JP 4261508 B2 JP4261508 B2 JP 4261508B2 JP 2005113824 A JP2005113824 A JP 2005113824A JP 2005113824 A JP2005113824 A JP 2005113824A JP 4261508 B2 JP4261508 B2 JP 4261508B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- slice
- packet
- frame
- frame number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)、" in Joint Video Team of ISO/IEC MPEG and ITU-T VCEG、 May 2003 "ARIB TR-B14、 地上デジタルテレビジョン放送運用規定技術資料、" 電波産業会、 2004 "ARIB TR-B13、 地上デジタル音声放送運用規定技術資料、" 電波産業会、 2004 ISO/IEC 13818-1 Y.-K. Wang、 M.M. Hannuksela、 V. Varsa、 A. Hourunranta、 and M. Gabbouj、 "The error concealment feature in the H.26L test model、" Proc. ICIP、 vol. 2、 pp. 729-732、 Sept. 2002. V. Varsa、 M.M. Hannuksela、 and Y.-K. Wang、 "Non-normative error concealment algorithms、" ITU-T VCEG-N62、 Sept. 2001. 森 弘史、川勝 裕和、鈴木 正和、"H.264における誤り環境下の再生画像に関する一検討、"信学技報、IE 2004-18、May.2004.
ピクチャの境界を示すアクセスユニットデリミタ、フレーム番号の増加量が0及び1に制限されるか否かを示すフレーム番号制御情報及びどのフレームに属するかを示すフレーム番号を属性情報として持つスライスを含むストリームを受信し、スライスを復号することで動画像を再生する動画像復号装置において、
前記フレーム番号制御情報に基づいて、フレーム番号の増加量が0及び1に制限されるか否かを検出する検出手段と、
前記検出手段によって前記増加量が0及び1に制限されていることが検出された場合、前記アクセスユニットデリミタの有無、および現在のスライスのフレーム番号と1つ前のスライスのフレーム番号に基づいてスライス間のフレーム番号の増加量を確認し、アクセスユニットデリミタが無く、かつフレーム番号の増加量が2以上を示す場合に、前記現在のスライスを破棄するよう制御するエラー判定手段と
を備えたことを特徴とする動画像復号装置が提供される。
図1は、本発明の一実施形態に係るトランスポートストリームを受信し、このトランスポートストリーム(TS)で送られた画像データ及び音声データを再生する装置を示すブロック図である。図2(A)〜(C)は、図1に示す装置で受信されるこのトランスポートストリームの構造を示し、図3(A)〜(G)は、図2に示されるトランスポートストリームから取り出されたTSパケットで構成されるパケッタライズド・エレメンタリ・ストリーム(PES)の構造を示す。また、図4(A)〜(E)は、図2(A)に示すTSパケット、図3に示すPESパケット及びH.264/AVCで規定されるバイトストリームの関係を示している。
図5(a)は、正常ストリームにおけるピクチャ境界の検出例を示す図である。なお、図5において、Sliceはスライスを、AUはAUデリミタ(AU Delimiter)を表している。H.264におけるAUは、同一のframe_numを持つ1つ以上のスライスピクチャにより構成されるため、frame_numの変化点からピクチャ境界を検出することが出来る。またAUデリミタの存在からもピクチャ境界を検出することが出来る。すなわち、スライスピクチャとAUとの境界がピクチャ境界として検出される。しかし、図5(b)に示すように、3つのスライスピクチャ1の2番目のスライスピクチャ1に誤りが混入し、frame_numが5と検出され、かつ、スライスピクチャ1とスライスピクチャ2との間のAUが欠損した場合を例にとると、AUの欠損に対しては、frame_numがその前後で異なるので、ピクチャ境界であると判定される。しかし、frame_numが1のスライスピクチャがframe_numが5のスライスピクチャと認識される誤りが混入すると、frame_num=5のスライスピクチャ前後でframe_numが不連続となるので、スライスピクチャがスライスピクチャ1、スライスピクチャ5及びスライスピクチャ1の3つのスライスピクチャとして誤認識される。このように、H.264のピクチャ境界処理は、4バイトのユニークコードにより境界を示すMPEG−4と異なり、数ビットのシンタックスにより境界を検出するため、ビット誤りに対する影響を受けやすく、復号ピクチャ数が増加する傾向がある。
H.264では、Slice Headerに含まれるシンタックスが7種類の条件の何れかを満たすと、ピクチャ境界と判定するようになっている。また、地上波デジタル放送では、Baseline Profileが採用されているため、以下の3条件を確認すれば良い。
(1) frame_numの値が異なる。
(2) nal_ref_idc=0と値が異なる。
(3) idr_pic_idの値が異なる。
ここで条件(2)は非参照ピクチャと参照ピクチャ間における境界判定条件であり、条件(3)は連続するIDR間における境界判定条件であるため、通常のストリームでは条件(1)により境界を検出することが出来る。
スライスにおけるnal_ref_idcは、復号ピクチャを参照するか否かを表し、nal_ref_idcが0であるスライスにより構成されるピクチャは、参照ピクチャとして使用されない。一方、nal_ref_idcが0以外スライスにより構成されるピクチャのみを参照ピクチャとして使用される。
図7におけるフレームF1、F2、F3、F4では、フレームF1、F3、F4はnal_ref_idcが1であるため参照ピクチャを表しており、フレームF2はnal_ref_idcが0であるため非参照ピクチャを表している。
フレームF3を復号する際、フレームF2は非参照ピクチャとして復号されているため、予測対象フレームから除外されており、フレームF1以前に復号したフレームを用いて動き補償が行われる。
このような非参照ピクチャにおけるピクチャ境界判定では、同一frame_numを保持するフレームF2、F3の境界をnal_ref_idcが0から1へ変化することから検出する。
一方、同一frame_numを保持するフレームにおいてnal_ref_idcが1から0に変化することは禁止されている。
上記のように、連続するframe_numの増加量が0、または1以外ならば当該スライスピクチャをエラーとして扱う。またエラーが多発した場合に対応するため、AUデリミタが存在すれば、frame_numの増加量によらずピクチャ境界と判定する。これより図5(d)の様に、frame_numへのエラー混入やAUデリミタ抜けが発生しても、期待値通りにピクチャ境界を検出することができる。なお、上記の処理を実行するのに、ピクチャ境界判定部104は、直前のスライスピクチャのヘッダデータを記憶するための小容量の記憶部、例えば、RAM等を備えていることが好ましい。
また対象とするトランスポートストリームは、MPEG−2 systemsだけでなく、RTPなどH.264を含む多重化ストリームが対象となる。
103…分離部
104…ピクチャ境界判定部
110…受信部
111…ビデオデコーダ部
114…オーディオデコーダ部
121…MPU
122…メモリ部
123…ROM
131…キー入力部
Claims (1)
- ピクチャの境界を示すアクセスユニットデリミタ、フレーム番号の増加量が0及び1に制限されるか否かを示すフレーム番号制御情報及びどのフレームに属するかを示すフレーム番号を属性情報として持つスライスを含むストリームを受信し、スライスを復号することで動画像を再生する動画像復号装置において、
前記フレーム番号制御情報に基づいて、フレーム番号の増加量が0及び1に制限されるか否かを検出する検出手段と、
前記検出手段によって前記増加量が0及び1に制限されていることが検出された場合、前記アクセスユニットデリミタの有無、および現在のスライスのフレーム番号と1つ前のスライスのフレーム番号に基づいてスライス間のフレーム番号の増加量を確認し、アクセスユニットデリミタが無く、かつフレーム番号の増加量が2以上を示す場合に、前記現在のスライスを破棄するよう制御するエラー判定手段と
を備えたことを特徴とする動画像復号装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005113824A JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
US11/393,548 US7924928B2 (en) | 2005-04-11 | 2006-03-30 | Moving picture decoding apparatus and picture boundary deciding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005113824A JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006295568A JP2006295568A (ja) | 2006-10-26 |
JP4261508B2 true JP4261508B2 (ja) | 2009-04-30 |
Family
ID=37083141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005113824A Expired - Fee Related JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7924928B2 (ja) |
JP (1) | JP4261508B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1827023A1 (en) * | 2006-02-27 | 2007-08-29 | THOMSON Licensing | Method and apparatus for packet loss detection and virtual packet generation at SVC decoders |
US7876750B2 (en) | 2006-04-04 | 2011-01-25 | Samsung Electronics Co., Ltd. | Digital broadcasting system and data processing method thereof |
US20080085124A1 (en) * | 2006-10-10 | 2008-04-10 | Lsi Logic Corporation | Clock generation with minimum number of crystals in a multimedia system |
KR100827152B1 (ko) * | 2006-10-20 | 2008-05-02 | 삼성전자주식회사 | Nal 유닛 에러 검출을 위한 효율적인 h.264 복호 방법및 장치 |
WO2008085909A2 (en) * | 2007-01-04 | 2008-07-17 | Thomson Licensing | Methods and apparatus for video error correction in multi-view coded video |
BRPI0806829A2 (pt) * | 2007-01-04 | 2014-06-03 | Thomson Licensing | Método e aparelho para ocultamento de erros na transmissão de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe |
US8411734B2 (en) | 2007-02-06 | 2013-04-02 | Microsoft Corporation | Scalable multi-thread video decoding |
US8265144B2 (en) | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
KR20090004061A (ko) * | 2007-07-06 | 2009-01-12 | 엘지전자 주식회사 | 방송 수신이 가능한 텔레매틱스 단말기 및 방송 신호 처리방법 |
US8885729B2 (en) | 2010-12-13 | 2014-11-11 | Microsoft Corporation | Low-latency video decoding |
US9706214B2 (en) | 2010-12-24 | 2017-07-11 | Microsoft Technology Licensing, Llc | Image and video decoding implementations |
CN103444182B (zh) | 2011-02-09 | 2017-09-12 | Lg电子株式会社 | 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法 |
KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
TWI587693B (zh) | 2011-06-30 | 2017-06-11 | 微軟技術授權有限責任公司 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
US8731067B2 (en) | 2011-08-31 | 2014-05-20 | Microsoft Corporation | Memory management for video decoding |
US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
US9516147B2 (en) | 2014-10-30 | 2016-12-06 | Microsoft Technology Licensing, Llc | Single pass/single copy network abstraction layer unit parser |
US11792432B2 (en) * | 2020-02-24 | 2023-10-17 | Tencent America LLC | Techniques for signaling and identifying access unit boundaries |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5623308A (en) * | 1995-07-07 | 1997-04-22 | Lucent Technologies Inc. | Multiple resolution, multi-stream video system using a single standard coder |
JP2002204450A (ja) * | 2000-12-28 | 2002-07-19 | Sony Corp | データ処理装置および方法 |
-
2005
- 2005-04-11 JP JP2005113824A patent/JP4261508B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-30 US US11/393,548 patent/US7924928B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006295568A (ja) | 2006-10-26 |
US20060227872A1 (en) | 2006-10-12 |
US7924928B2 (en) | 2011-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7924928B2 (en) | Moving picture decoding apparatus and picture boundary deciding method | |
KR100768058B1 (ko) | 부호화 스트림 재생 장치 | |
US5650825A (en) | Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream | |
JP3437291B2 (ja) | 再生装置および再生方法 | |
US8483053B2 (en) | Information processing device, information processing method, program, and data structure | |
JP5357255B2 (ja) | スケーラブルビデオ符号化(svc)復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法 | |
EP1827030A2 (en) | Method and apparatus for changing codec to reproduce video and/or audio data streams encoded by different codecs within a channel | |
US9392279B2 (en) | Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream | |
US10491944B2 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
US9319446B2 (en) | System and method for transport stream sync byte detection with transport stream having multiple emulated sync bytes | |
US7487423B2 (en) | Decoding method, medium, and apparatus | |
JP3987541B2 (ja) | パケットストリーム受信装置 | |
US20050089102A1 (en) | Video processing | |
US10757473B2 (en) | Digital media splicing system and method | |
JP2007208917A (ja) | 復号装置 | |
US20070098356A1 (en) | Data processor | |
KR101391600B1 (ko) | 어댑티브 녹화 방법 및 장치 | |
US9219930B1 (en) | Method and system for timing media stream modifications | |
EP2456223B1 (en) | System for providing access to information needed for performing trick mode operations on a video elementary stream | |
JP2006295567A (ja) | パケットストリーム受信装置 | |
KR20080025584A (ko) | 디지털 방송의 채널 변경 방법 | |
JP2007318788A (ja) | 情報伝送システムにおける復号化・逆多重化装置 | |
JP2004328771A (ja) | エンコーディング装置及び方法、デコーディング装置及び方法、並びに記録媒体 | |
JP2007043575A (ja) | 画像処理装置及び画像処理方法 | |
JP2008148004A (ja) | 映像復号装置、デジタル放送受信機、映像復号方法、映像復号プログラムおよび映像復号プログラムを格納した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |