CN102045557B - 视频编解码方法及使用其的视频编码、解码装置 - Google Patents
视频编解码方法及使用其的视频编码、解码装置 Download PDFInfo
- Publication number
- CN102045557B CN102045557B CN200910308476.0A CN200910308476A CN102045557B CN 102045557 B CN102045557 B CN 102045557B CN 200910308476 A CN200910308476 A CN 200910308476A CN 102045557 B CN102045557 B CN 102045557B
- Authority
- CN
- China
- Prior art keywords
- reference frame
- video
- frame
- encoding
- predictive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频编解码方法，用于视频通信系统，其根据网络状况及视频解码装置的通知报文控制视频编码装置的预测编码类型及参考帧类型。当网络拥塞时，视频编码装置利用参考帧作为长期参考帧进行帧间预测编码，并根据视频解码装置的通知报文判断其是否接收到对应的参考帧，从而使得视频编解码装置所利用的参考帧保持一致。本发明还提出了使用该方法的视频编码装置及视频解码装置。本发明所提出的视频编解码方法及使用其的视频编码、解码装置，利用确定长期参考帧对视频图像进行编解码，使得视频编码、解码装置中的参考帧保持一致，避免了因封包丢失而导致解码错误的现象，提高了视频通信中的视频图像质量。
Description
技术领域
本发明涉及视频编解码技术，特别涉及一种用于视频通信系统的视频编解码方法及使用其的视频编码、解码装置。
背景技术
视频通信技术(如电视会议，视频监控，视频聊天等)中，通常采用H.264标准，利用帧内及帧间(intra/inter)预测两种模式对视频图像进行编解码。视频图像根据编码模式可分为I帧，P帧及B帧三种。其中，I帧为采用帧内预测编码，仅利用本帧内的数据进行编码的图像。P帧或B帧为采用帧间预测编码，利用已编码帧作为参考帧进行预测编码的图像。因此，B帧及P帧在编码时需利用已编码帧作为参考帧，同样，在解码时也必须利用同样的已编码帧作为参考帧。当网络发生拥塞时将发生数据封包丢失，导致接收端无法获得丢失数据封包中的已编码帧，从而使得需利用这些已编码帧作为参考帧的B帧或P帧在解码时发生错误，影响视频通信中视频图像的质量。
发明内容
有鉴于此，需提供一种视频编码装置及视频解码装置，可消除视频通信时由网络拥塞造成参考帧丢失进而导致的解码错误，提高视频通信中视频图像的质量。
相应地，还需提供一种视频编解码方法。
本发明实施方式中的视频编码装置，用于将视频采集装置采集的视频图像进行预测编码以生成编码信息流，并经由网络发送至视频解码装置。所述视频编码装置包括预测编码器、参考帧存储器及编码控制器。其中，预测编码器用于对所述视频图像进行帧内预测编码或帧间预测编码。参考帧存储器用于存储参考帧并设置参考帧类型为短期参考帧、预定长期参考帧或确定长期参考帧。编码控制器用于侦测所述网络的状况及接收所述视频解码装置发送的通知报文，并根据网络状况及所述通知报文控制所述视频编码装置的预测编码类型及所述参考帧存储器设置参考帧的类型。当所述编码控制器侦测到网络发生拥塞，则控制所述预测编码器利用参考帧对视频图像当前帧进行帧间预测编码，并控制所述参考帧存储器设置对应的参考帧为预定长期参考帧；当所述编码控制器接收到所述通知报文时，则控制所述参考帧存储器设置所述预定长期参考帧为确定长期参考帧，并在侦测到网络恢复前控制所述视频编码装置利用所述确定长期参考帧对视频图像后续帧进行帧间预测编码；若所述编码控制器未接收到所述通知报文，则更换其它参考帧对所述视频图像当前帧进行帧间预测编码，并将生成的编码信息流重新发送至所述视频解码装置。
本发明实施方式中的视频解码装置，用于接收所述视频编码装置生成的编码信息流，并进行解码后转输至视频处理装置。所述视频解码装置包括预测解码器、参考帧存储器及解码控制器。其中，预测解码器用于对所述视频图像进行帧内预测解码或帧间预测解码。参考帧存储器用于存储参考帧，并设置所述参考帧的类型为短期参考帧、预定长期参考帧或确定长期参考帧。解码控制器用于根据所接收的编码信息流控制参考帧存储器设置参考帧的类型，并发送通知报文至所述视频编码装置。当所接收的编码信息流的编码类型为帧间预测编码，且对应的参考帧为长期参考帧时，若所述预测解码器从所述参考帧存储器中查找到所述对应的参考帧进行帧间预测解码，所述参考帧存储器则将所述对应的参考帧设置为预定长期参考帧，并由所述解码控制器发送通知报文至所述视频编码装置；当所接收的编码信息流对应的参考帧为所述参考帧存储器中的所述预定长期参考帧时，所述参考帧存储器将所述预定长期参考帧设置为确定长期参考帧，并由所述预测解码器利用所述确定长期参考帧进行帧间预测解码。
本发明实施方式中的视频编解码方法，用于包括视频编码装置与视频解码装置的视频通信系统中，对视频采集装置采集的视频图像进行编码后，经由网络传输后再进行解码并发送至视频处理装置，其特征在于，所述视频编解码方法包括：侦测网络状况，并根据网络状况控制视频编码装置的预测编码类型及对应的参考帧类型；当网络拥塞时，视频编码装置对视频图像当前帧进行帧间预测编码，并将所述对应的参考帧设置为预定长期参考帧；将视频图像当前帧的编码信息流经由网络发送至视频解码装置；视频解码装置接收并分析所述视频图像当前帧的编码信息流，判断所述视频图像当前帧的预测编码类型及对应的参考帧类型；若预测编码类型为帧间预测编码，且对应的参考帧为长期参考帧，则视频解码装置查找所述对应的参考帧进行帧间预测解码；若查找到所述对应参考帧，则视频解码装置利用所述对应的参考帧进行帧间预测解码，并将所述对应的参考帧设置预定长期参考帧；视频解码装置发送通知报文至视频编码器告知已接收到所述预定长期参考帧；若视频编码装置接收到所述通知报文，则将视频编码装置中的所述预定长期参考帧设置为确定长期参考帧，并利用所述确定长期参考帧对视频图像下一帧进行帧间预测编码，并将生成的编码信息流发送至视频解码装置；若所述视频编码装置未接收到所述通知报文，则更换其它参考帧对所述视频图像当前帧进行帧间预测编码，并将生成的编码信息流重新发送至所述视频解码装置；视频解码装置接收并分析所接收的所述视频图像下一帧的编码信息流，判断所述视频图像下一帧的预测编码类型及对应的参考帧类型；若预测编码类型为帧间预测编码，且对应的参考帧为长期参考帧，则将视频解码装置中的所述预定长期参考帧设置为确定长期参考帧，并利用所述确定长期参考帧进行帧间预测解码；侦测网络状况，并根据网络状况控制视频编码装置的预测编码类型及对应的参考帧类型；若网络发生拥塞，则控制视频编码装置利用所述确定长期参考帧对视频图像后续帧进行帧间预测编码。
本发明所提出的视频编解码方法及使用其的视频编码、解码装置，利用确定长期参考帧对视频图像进行编解码，使得通信系统的视频编解码装置进行编解码时利用的参考帧保持一致，避免了封包丢失而导致参考帧丢失进而解码错误的现象，提高了视频通信中的视频图像质量。
附图说明
图1为本发明提出的视频通信系统的应用环境图；
图2为图1中视频编码装置及视频解码装置的具体模块图；及
图3为本发明提出的视频编解码方法的流程图。
具体实施方式
图1为本发明提出的视频通信系统10的应用环境图。如图1所示，视频通信系统10包括视频采集装置110、视频编码装置120、发送装置130、接收装置210、视频解码装置220及视频处理装置230。其中，视频采集装置110用于采集视频图像。视频编码装置120对所述采集的视频图像进行编码以生成编码信息流。发送装置130用于将所述编码信息流以数据封包的形式通过网络发送至接收装置210。接收装置210接收发送装置130发送的数据封包并转换为编码信息流，并输出至视频解码装置220。视频解码装置220接收所述视频图像编码信息流以进行解码，并输出解码后的视频图像至视频处理装置230。视频处理装置230对所述经解码得到的视频图像进行储存、传输或显示等处理。在本实施方式中，视频编码装置120及视频解码装置220以H.264标准对视频图像进行编码及解码。
图2为图1中视频编码装置120及视频解码装置220的具体模块图。如图2所示，视频编码装置120包括预测编码器121、减法器122、变换及量化器123、熵编码器124、反量化及反变换器125、加法器126、去块滤波器(de-blockingfilter)127、参考帧存储器128及编码控制器129。视频解码装置220包括熵解码器221、反量化及反变换器222、预测解码器223、加法器224、参考帧存储器225、解码控制器226及去块滤波器227。
视频编码装置120接收视频采集装置110输出的视频图像，并以帧为单位进行编码后生成编码信息流进行发送。预测编码器121对当前帧进行帧内或帧间预测并生成预测帧，其包括帧内预测模组1211及帧间预测模组1212。其中，帧内预测模组1211用于根据当前帧本身的数据进行帧内预测编码。帧间预测模组1212用于利用已编码帧作为参考帧对当前帧进行帧间预测编码。H.264中规定，视频编码装置120首先对视频图像的第一帧进行帧内预测编码，再根据预定规则对视频图像中后续帧进行帧间或帧内预测编码。在本实施方式中，当网络正常时，视频编码装置120每个周期对视频图像进行一次帧内预测编码。其中，所述周期设定为1秒。在其他实施方式中，所述周期可以根据实际需求进行预先设定。在其他实施方式中，预测编码器121还可根据当前帧内容进行帧内或帧间预测编码，如当前帧的场景相对先前帧变化较大时，则对当前帧进行帧内预测编码。
减法器122用于比较当前帧与预测编码器121输出的预测帧，并得到两者间的原始残差。变换及量化器123用于对原始残差进行离散余弦变换(DiscreteCosine Transform，DCT)及量化(quantize)，并将经变换及量化的原始残差输出至熵编码器124。其中，变化及量化器123包括变换模组1231及量化模组1232。熵编码器125对经变换及量化的原始残差进行熵编码后生成编码信息流。在H.264标准中，每一帧视频图像对应的编码信息流中均包括一个头文件(header)，用于储存编码信息，其包括但不限于熵编码系数、变换及量化系数、预测编码类型及参考帧索引等。
其中，经变换及量化的当前帧或原始残差还输出至反量化及反变换器125进行反量化及反DCT变换，从而得到重建残差。其中，反量化及反变器125包括反量化模组1251及反变换模组1252。加法器125将重建残差与预测编码器输出的预测帧叠加生成重建的当前帧。去块滤波器127对重建的当前帧进行滤波并消除预测编码产生的块效应后，即作为新的参考帧输出至参考帧存储器128，以作为对视频图像后续帧进行帧间预测编码时的参考帧。
参考帧存储器128存储参考帧，并设定参考帧的类型。在H.264标准中，参考帧分为长期参考帧及短期参考帧两种类型，且具有相应的参考帧索引格式。其中，短期参考帧随着编码的进行以先入先出(First In First Out，FIFO)的机制不断更新。长期参考帧仅当收到视频编码装置120的指令，才进行更新。在本实施方式中，长期参考帧还分为预定长期参考帧及确定长期参考帧。其中，视频编码装置120利用参考帧存储器128中的参考帧作为长期参考帧对当前帧进行帧间预测编码，但当未确定视频解码装置220是否接收到对应的参考帧时，参考帧存储器128则设置对应的参考帧为预定长期参考帧；当确定视频解码装置230中的参考帧存储器226已接收到对应的参考帧时，参考帧存储器128则设置所述预定长期参考帧为确定长期参考帧。
编码控制器129用于侦测视频通信系统10的网络状况及接收视频解码装置220发送的通知报文，并根据网络状况及通知报文控制视频编码装置120的预测编码类型及参考帧存储器128设置参考帧类型。在本实施方式中，当编码控制器129侦测到网络正常时，则控制视频编码装置120进行正常编码，即进行帧内预测编码或帧间预测编码。当编码控制器129侦测到网络拥挤时，则控制视频编码装置120进行帧间预测编码，并控制参考帧存储器128将对应的参考帧设置为预定长期参考帧。
编码生成的编码信息流经由发送装置130转换为数据封包传输至网络，经由接收装置210接收并重新转换为编码信息流，再由视频解码装置220对编码信息流进行解码。
视频解码装置220接收并分析当前帧的编码信息流，并根据编码信息流的预测编码类型及参考帧类型对编码信息流进行解码。首先，熵解码器221根据熵编码系数进行熵解码，再由反变换及反量化器222根据变换及量化系数对编码信息流进行反变换及反量化后生成重建的当前帧或重建残差。其中，反变换及反量化器222包括反量化器2221及反变换器2222。在H.264标准中，由于熵编码及解码的无损性，反变换及反量化器222生成的重建的当前帧或重建残差与反量化及反变换器125生成的重建的当前帧或重建残差相同。预测解码器223根据预测编码类型分别进行帧内预测解码或帧间预测解码。其中，预测解码器223包括帧内预测模组2231或帧间预测模组2232。若当前帧的预测编码类型为帧内预测解码，则由帧内预测模组2231进行帧内预测解码。若当前帧的预测编码类型为帧间预测编码，帧间预测模组2232从存储器225查找并提取重建残差对应的参考帧，经由加法器224将对应的参考帧与重建残差进行叠加生成重建的当前帧。
在本实施方式中，当预测解码器223进行帧间预测解码时，若编码信息流对应的参考帧为短期参考帧，则从参考帧存储器225查找其所对应的参考帧以进行帧间预测解码。当预测解码器223从参考帧存储器225中查找到对应的参考帧，加法器224将该对应的参考帧与重建残差进行叠加后生成重建的当前帧，再经由去块滤波器227对重建的当前帧进行滤波并消除预测解码时产生的块效应，即作为已解码的视频图像输出至视频处理装置230。同时，滤波后的重建帧还作为新的参考帧输出至参考帧存储器128，以作为视频图像后续帧进行帧间预测解码时的参考帧。
当视频解码装置220进行帧间预测解码时，若编码信息流对应的参考帧为长期参考帧时，则从参考帧存储器225查找并所对应的参考帧以进行帧间预测解码。若参考帧存储器225中查找到对应的参考帧，预测解码器223提取对应参考帧进行帧间预测解码，并将对应的参考帧设定为预定长期参考帧。同时，解码控制器226发送通知报文至视频编码装置120的编码控制器129，通知编码控制器129已接收到该预定长期参考帧。在本实施方式中，若参考帧存储器225中没有查找到对应的参考帧，则结束解码。在其他实施方式中，还可由解码控制器226发送另一通知报文至视频编码装置120，表示未查找到对应的参考帧。
当视频编码装置120的编码控制器129接收到所述通知报文后，则控制参考帧存储器129将其中对应的预定长期参考帧设置为确定长期参考帧，并控制视频解码装置120利用所述确定长期参考帧作为参考帧对下一帧视频图像进行帧间预测编码，并生成编码信息流发送到视频解码装置220。在本实施方式中，若编码控制器129在编码信息流发送后的预定时间内未收到解码控制器226发出的通知报文，则表示参考帧存储器225中没有查找到对应的参考帧，预测编码器121则更换其他参考帧作为长期参考帧对当前帧进行帧间预测编码，且将所述其他参考帧设置为预定长期参考帧，并重新发送编码信息流。在其他实施方式中，还可由解码控制器226发送另一通知报文至编码控制器129，表示视频解码装置220未查找到对应的参考帧。
视频解码装置220再接收并分析重新发送的编码信息流进行解码，具体过程如上，故不再复述。视频解码装置220接收并分析帧视频图像下一帧的编码信息流，并根据其预测编码类型及参考帧类型进行解码。若帧视频图像下一帧的预测编码类型为帧间预测编码，且对应的参考帧类型为长期参考帧，解码控制器226则控制参考帧存储器225将预定长期参考帧设置为确定长期参考帧，并控制预测解码器223利用所述确定长期参考帧作为参考帧对所述视频图像下一帧进行解码。若所述帧视频图像下一帧的预测编码类型为帧内预测编码，或对应的参考帧类型不是长期参考帧，则进行正常解码，即进行帧内预测解码或利用参考帧进行帧间预测解码。
视频编码装置120中的编码控制器129继续侦测网络状况。若网络未恢复正常，则利用参考帧存储器128中的确定长期参考帧对视频图像的后续帧进行帧间预测编码。若网络恢复正常，则进行正常编码，即进行帧内预测编码或帧间预测编码。
图3为本发明提出的一种视频编解码方法的流程图。如图3所示，所述视频编码解方法用于视频通信系统10，对视频采集装置110采集的视频图像进行编码经由网络传后，再进行解码并发送至视频处理装置230，其包括以下步骤：
在步骤310中，编码控制器129侦测网络状况，并根据网络状况控制视频编码装置120的预测编码类型及参考帧类型。若网络正常，则由视频编码装置120进行正常编码，即，进行帧内预测编码或者帧间预测编码。在本实施方式中，视频编码装置120正常编码时可采用帧内预测编码，也可利用参考帧作为长期或短期参考帧进行帧间预测编码。其中，视频编码装置120网络正常时利用长期参考帧进行帧间预测编码的方法与网络拥塞时利用长期参考帧进行帧间预测编码的方法相同，其步骤如下所述。
在步骤311中，若网络发生拥塞，视频编码装置120对视频图像当前帧进行帧间预测编码，以生成编码信息流，并将对应参考帧设置为预定长期参考帧。
在步骤312中，利用发送装置130及接收装置210将当前帧的编码信息流经由网络传输至视频解码装置220。
在步骤320中，视频解码装置220接收并分析视频图像当前帧的编码信息流。
在步骤321中，视频解码装置220判断编码信息流的预测编码类型是否为帧间预测编码及参考帧类型是否为长期参考帧。若预测编码类型不是帧间预测编码或参考帧类型不是长期参考帧，则进行正常解码，即帧内预测模组2231进行帧内预测解码或帧间预测模组2232利用短期参考帧进行帧间预测解码。
在步骤322中，若当前帧的预测编码类型为帧间预测编码，且参考帧类型为长期参考帧，视频解码装置220则查找对应的参考帧以进行帧间预测解码。若视频解码装置220没有对应的参考帧，则结束对视频图像当前帧的解码。
在步骤323中，若视频编码装置220查找到对应的参考帧，则提取对应的参考帧对视频图像当前帧进行帧间预测解码，并将对应的参考帧设置预定长期参考帧。在本实施方式中，视频解码装置220中的预定长期参考帧与视频编码装置120中的预定长期参考帧相同。
在步骤324中，视频解码器220中的解码控制器226发送通知报文至视频编码器120中的编码控制器129，从而告知视频编码器120已接收到预定长期参考帧。
在步骤313中，判断视频编码器120中的编码控制器129是否接收到所述通知报文，若预定时间内，编码控制器129没有接收到所述通知报文，视频编码器120则更换其他参考帧再对当前帧进行帧间预测编码，并生成编码信息流重新发送至视频解码装置220。
在步骤314中，若视频编码器120中的编码控制器129接收到所述通知报文，则将视频编码器120中的预定长期参考帧设置为确定长期参考帧。
在步骤315中，视频编码器120利用所述确定长期参考帧对视频图像下一帧进行帧间预测编码，并将生成的编码信息流发送至视频解码器220。
在步骤325中，视频解码装置220接收并分析视频图像下一帧的编码信息流。
在步骤326中，视频解码器220判断编码信息流的预测编码类型是否为帧间预测编码及参考帧类型是否为长期参考帧。若预测编码类型不是帧间预测编码或参考帧类型不是长期参考帧，则进行正常解码，即帧内预测模组2231进行帧内预测解码或帧间预测模组2232利用短期参考帧进行帧间预测解码。
在步骤327中，若所述视频图像下一帧的预测编码类型为帧间预测编码，且参考帧类型为长期参考帧，则将视频解码装置220中的预定长期参考帧设置为确定长期参考帧，并利用所述确定长期参考帧对所述视频图像下一帧进行帧间预测解码。
在步骤316中，视频编码装置120中的编码控制器129侦测网络状况，并根据网络状况控制视频编码装置120的预测编码类型及参考帧类型。若网络发生拥塞，则控制视频编码装置120则使用步骤315中的方法利用参考帧存储器128中的确定长期参考帧进行帧间预测编码。
在步骤317中，若网络正常，则由视频编码装置120进行正常编码，即进行帧内预测编码，或利用参考帧作为长期或短期参考帧进行帧间预测编码。
如上所述，本发明所提出的视频编解码方法及使用其的视频编码、解码装置，当网络拥塞利用长期参考帧对视频图像进行编解码，使得通信系统的发送端及接收端参考帧保持同步，避免了封包丢失而导致参考帧丢失进而解码错误的现象，提高了视频通信中的视频图像质量。
Claims (8)
1.一种视频编码装置，用于将视频采集装置采集的视频图像进行预测编码以生成编码信息流，并经由网络发送至视频解码装置，其特征在于，所述视频编码装置包括：
预测编码器，用于对所述视频图像进行帧内预测编码或帧间预测编码；
参考帧存储器，用于存储参考帧并设置参考帧类型为短期参考帧、预定长期参考帧或确定长期参考帧；及
编码控制器，用于侦测所述网络的状况及接收所述视频解码装置发送的通知报文，并根据网络状况及所述通知报文控制所述视频编码装置的预测编码类型及所述参考帧存储器设置参考帧的类型；
其中，当所述编码控制器侦测到网络发生拥塞时，控制所述预测编码器利用参考帧对视频图像当前帧进行帧间预测编码，并控制所述参考帧存储器设置对应的参考帧为预定长期参考帧；当所述编码控制器接收到所述通知报文时，控制所述参考帧存储器设置所述预定长期参考帧为确定长期参考帧，并在侦测到网络恢复前控制所述视频编码装置利用所述确定长期参考帧对视频图像后续帧进行帧间预测编码；当所述编码控制器未接收到所述通知报文时，更换其它参考帧对所述视频图像当前帧进行帧间预测编码，并将生成的编码信息流重新发送至所述视频解码装置。
2.如权利要求1所述的视频编码装置，其特征在于，所述预测编码器还包括：
帧间预测模组，用于对所述视频图像进行帧间预测编码；及
帧内预测模组，用于对所述视频图像进行帧内预测编码。
3.一种视频解码装置，用于接收如权利要求1所述的视频编码装置生成编码信息流，并进行解码后传输至视频处理装置，其特征在于，所述视频解码装置包括：
预测解码器，用于对所述视频图像进行帧内预测解码或帧间预测解码；
参考帧存储器，用于存储参考帧，并设置所述参考帧的类型为短期参考帧、预定长期参考帧或确定长期参考帧；及
解码控制器，用于根据所接收的编码信息流控制参考帧存储器设置参考帧的类型，并发送通知报文至所述视频编码装置；
其中，当所接收的编码信息流的编码类型为帧间预测编码，且对应的参考帧为长期参考帧时，若所述预测解码器从所述参考帧存储器中查找到所述对应的参考帧进行帧间预测解码，所述参考帧存储器则将所述对应的参考帧设置为预定长期参考帧，并由所述解码控制器发送通知报文至所述视频编码装置；当所接收的编码信息流对应的参考帧为所述参考帧存储器中的所述预定长期参考帧时，所述参考帧存储器将所述预定长期参考帧设置为确定长期参考帧，并由所述预测解码器利用所述确定长期参考帧进行帧间预测解码。
4.如权利要求3所述的视频解码装置，其特征在于，所述预测解码器包括：
帧间预测模组，用于对所接收的编码信息流进行帧间预测解码；及
帧内预测模组，用于对所接收的编码信息流进行帧内预测解码。
5.一种视频编解码方法，用于包括视频编码装置与视频解码装置的视频通信系统中，所述视频通信系统对视频采集装置采集的视频图像进行编码后，经由网络传输后再进行解码并发送至视频处理装置，其特征在于，所述视频编解码方法包括：
侦测网络状况，并根据网络状况控制视频编码装置的预测编码类型及对应的参考帧类型，其中当网络拥塞时，视频编码装置对视频图像当前帧进行帧间预测编码，并将所述对应的参考帧设置为预定长期参考帧；
将视频图像当前帧的编码信息流经由网络发送至视频解码装置；
视频解码装置接收并分析所述视频图像当前帧的编码信息流，判断所述视频图像当前帧的预测编码类型及对应的参考帧类型；
若预测编码类型为帧间预测编码，且对应的参考帧为长期参考帧，则视频解码装置查找所述对应的参考帧进行帧间预测解码，并将所述对应的参考帧设置为预定长期参考帧；
视频解码装置发送通知报文至视频编码装置告知已接收到所述预定长期参考帧；
若视频编码装置接收到所述通知报文，则将视频编码装置中的所述预定长期参考帧设置为确定长期参考帧，并利用所述确定长期参考帧对视频图像下一帧进行帧间预测编码，并将生成的编码信息流发送至视频解码装置；
若所述编码控制器未接收到所述通知报文，则更换其它参考帧对所述视频图像当前帧进行帧间预测编码，并将生成的编码信息流重新发送至所述视频解码装置；
视频解码装置接收并分析所接收的所述视频图像下一帧的编码信息流，判断所述视频图像下一帧的预测编码类型及对应的参考帧类型；
若预测编码类型为帧间预测编码，且对应的参考帧为长期参考帧，则将视频解码装置中的所述预定长期参考帧设置为确定长期参考帧，并利用所述确定长期参考帧进行帧间预测解码；
继续侦测网络状况，并在网络状况正常前利用所述确定长期参考帧对视频图像后续帧进行帧间预测编码。
6.如权利要求5所述的视频编解码方法，其特征在于，还包括：
当网络正常时，视频编码装置对所述视频图像当前帧进行正常编码。
7.如权利要求5所述的视频编解码方法，其特征在于，还包括：
若预测编码类型不是帧间预测编码，或对应的参考帧不是长期参考帧，则视频解码装置对所述视频图像进行正常解码。
8.如权利要求5所述的视频编解码方法，其特征在于，还包括：
若视频解码装置未查找到对应参考帧，则结束对视频图像当前帧的解码。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910308476.0A CN102045557B (zh) | 2009-10-20 | 2009-10-20 | 视频编解码方法及使用其的视频编码、解码装置 |
| US12/650,760 US20110090957A1 (en) | 2009-10-20 | 2009-12-31 | Video codec method, video encoding device and video decoding device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910308476.0A CN102045557B (zh) | 2009-10-20 | 2009-10-20 | 视频编解码方法及使用其的视频编码、解码装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102045557A CN102045557A (zh) | 2011-05-04 |
| CN102045557B true CN102045557B (zh) | 2012-09-19 |
Family
ID=43879265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910308476.0A Expired - Fee Related CN102045557B (zh) | 2009-10-20 | 2009-10-20 | 视频编解码方法及使用其的视频编码、解码装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20110090957A1 (zh) |
| CN (1) | CN102045557B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9106927B2 (en) | 2011-09-23 | 2015-08-11 | Qualcomm Incorporated | Video coding with subsets of a reference picture set |
| JP5379933B2 (ja) | 2011-10-28 | 2013-12-25 | パナソニック株式会社 | 動きベクトル導出方法および動きベクトル導出装置 |
| MY164782A (en) | 2011-10-28 | 2018-01-30 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US9264717B2 (en) | 2011-10-31 | 2016-02-16 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (DPB) management in video coding |
| EP2916553A3 (en) * | 2011-11-08 | 2015-10-14 | Samsung Electronics Co., Ltd | Method and apparatus for motion vector determination in video encoding or decoding |
| WO2013109773A1 (en) * | 2012-01-17 | 2013-07-25 | Futurewei Technologies, Inc. | In-loop filtering for lossless coding mode in high efficiency video coding |
| CN108347606B (zh) * | 2012-07-01 | 2022-08-19 | 夏普株式会社 | 电子设备及方法 |
| MX358773B (es) | 2012-07-02 | 2018-09-04 | Samsung Electronics Co Ltd | Metodo y aparato para predecir un vector de movimiento para la codificacion de video o decodificacion de video. |
| CN103404146B (zh) * | 2013-03-11 | 2016-10-12 | 华为技术有限公司 | 视频文件修复方法及装置 |
| KR101610725B1 (ko) | 2014-09-23 | 2016-04-08 | 삼성전자주식회사 | 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치 |
| CN106817585B (zh) * | 2015-12-02 | 2020-05-01 | 掌赢信息科技（上海）有限公司 | 一种利用长期参考帧的视频编码方法、电子设备和系统 |
| CN106937168B (zh) * | 2015-12-30 | 2020-05-12 | 掌赢信息科技（上海）有限公司 | 一种利用长期参考帧的视频编码方法、电子设备及系统 |
| US9866862B2 (en) | 2016-03-18 | 2018-01-09 | Google Llc | Motion vector reference selection through reference frame buffer tracking |
| CN106878750B (zh) * | 2017-03-17 | 2020-05-19 | 珠海全志科技股份有限公司 | 一种基于长期参考帧的视频编码方法及装置 |
| CN107948654A (zh) * | 2017-11-21 | 2018-04-20 | 广州市百果园信息技术有限公司 | 视频发送、接收方法和装置及终端 |
| CN111372085B (zh) * | 2018-12-25 | 2021-07-09 | 厦门星宸科技有限公司 | 影像解码装置与方法 |
| CN112532908B (zh) * | 2019-09-19 | 2022-07-19 | 华为技术有限公司 | 视频图像的传输方法、发送设备、视频通话方法和设备 |
| CN110855996B (zh) * | 2019-09-30 | 2021-10-22 | 中国船舶重工集团公司第七0九研究所 | 一种基于fpga的图像编解码与网络传输的方法与装置 |
| CN112352431B (zh) | 2019-09-30 | 2023-01-10 | 浙江大学 | 一种数据编码、解码方法、设备及存储介质 |
| CN114302142B (zh) * | 2021-12-22 | 2025-07-18 | 咪咕互动娱乐有限公司 | 视频编码方法、图像发送设备及存储介质 |
| US12288367B2 (en) * | 2023-08-01 | 2025-04-29 | City University Of Hong Kong | Point cloud geometry compression |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US699513A (en) * | 1897-01-27 | 1902-05-06 | William Garms | Apron and apron-tie. |
| WO2001030085A1 (en) * | 1999-10-15 | 2001-04-26 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding the residual signal for fine granular scalable video |
| WO2007111473A1 (en) * | 2006-03-27 | 2007-10-04 | Electronics And Telecommunications Research Institute | Scalable video encoding and decoding method using switching pictures and apparatus thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4480156B2 (ja) * | 2005-02-02 | 2010-06-16 | キヤノン株式会社 | 画像処理装置及び方法 |
| US8494049B2 (en) * | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
| US20100150230A1 (en) * | 2008-12-17 | 2010-06-17 | Apple Inc. | Video coding system using sub-channels and constrained prediction references to protect against data transmission errors |
-
2009
- 2009-10-20 CN CN200910308476.0A patent/CN102045557B/zh not_active Expired - Fee Related
- 2009-12-31 US US12/650,760 patent/US20110090957A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US699513A (en) * | 1897-01-27 | 1902-05-06 | William Garms | Apron and apron-tie. |
| WO2001030085A1 (en) * | 1999-10-15 | 2001-04-26 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding the residual signal for fine granular scalable video |
| WO2007111473A1 (en) * | 2006-03-27 | 2007-10-04 | Electronics And Telecommunications Research Institute | Scalable video encoding and decoding method using switching pictures and apparatus thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110090957A1 (en) | 2011-04-21 |
| CN102045557A (zh) | 2011-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102045557B (zh) | 视频编解码方法及使用其的视频编码、解码装置 | |
| JP3957460B2 (ja) | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム | |
| EP2868107B1 (en) | System and method for encoding video content using virtual intra-frames | |
| JP4803343B2 (ja) | 動画像データの符号変換伝送システム、符号伝送方法及び符号変換受信装置 | |
| TW200904194A (en) | Feedback based scalable video coding | |
| US20060188025A1 (en) | Error concealment | |
| CN101360243A (zh) | 基于反馈参考帧的视频通信系统及方法 | |
| EP1714488A1 (en) | Method and apparatus for handling video communication errors | |
| CN103229503A (zh) | 图像编码设备、图像解码设备、图像编码方法、图像解码方法和程序 | |
| TW201028014A (en) | Switching between DCT coefficient coding modes | |
| CN101677400A (zh) | 编码、解码方法和编码器、解码器及编解码系统 | |
| WO2011131099A1 (zh) | 对图像数据进行压缩编码的方法和装置 | |
| CN101931799A (zh) | 一种视频码流的平滑方法及装置 | |
| KR20140043240A (ko) | 영상 부호화/복호화 방법 및 장치 | |
| CN101192903B (zh) | 数据帧编解码控制方法 | |
| CN112995214A (zh) | 一种实时视频传输系统、方法及计算机可读存储介质 | |
| CN103051926A (zh) | 具有自适应上行流和下行流转码协调的流转码器 | |
| CN101296166B (zh) | 基于索引的多媒体数据的测量方法 | |
| CN110545449A (zh) | 一种基于流媒体的工业现场数据传输的方法 | |
| JP2011172153A (ja) | メディア符号化伝送装置 | |
| CN111212286B (zh) | 一种基于层修复的分布式多视点视频传输的方法和系统 | |
| WO2004093457A1 (ja) | 動画像圧縮符号化方式変換装置及び動画像通信システム | |
| JP4604851B2 (ja) | 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム | |
| CN101583026B (zh) | 一种视频编解码方法、客户端、视频服务器及监控系统 | |
| TW201116067A (en) | Video codec method, video encode device and video decode device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180425 Address after: The Guangxi Zhuang Autonomous Region Nanning hi tech Zone headquarters road 18, China ASEAN business base three phase 5# plant Patentee after: NANNING FUGUI PRECISION INDUSTRIAL CO., LTD. Address before: 518109, No. two, No. tenth, East Ring Road, Pinus tabulaeformis Industrial Zone, Longhua Town, Baoan District, Guangdong, Shenzhen, 2 Co-patentee before: Hon Hai Precision Industry Co., Ltd. Patentee before: Hongfujin Precise Industry (Shenzhen) Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120919 Termination date: 20181020 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |