[go: up one dir, main page]

ES2674902T3 - Aparato de decodificación de vídeo - Google Patents

Aparato de decodificación de vídeo Download PDF

Info

Publication number
ES2674902T3
ES2674902T3 ES10182328.4T ES10182328T ES2674902T3 ES 2674902 T3 ES2674902 T3 ES 2674902T3 ES 10182328 T ES10182328 T ES 10182328T ES 2674902 T3 ES2674902 T3 ES 2674902T3
Authority
ES
Spain
Prior art keywords
frame
image
frames
output
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES10182328.4T
Other languages
English (en)
Inventor
Satoru Adachi
Choong Seng Boon
Sadaatsu Kato
Minoru Etoh
Thiow Keng Tan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Application granted granted Critical
Publication of ES2674902T3 publication Critical patent/ES2674902T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Un aparato (20) de decodificación de vídeo para decodificar los datos de imagen codificados para generar fotogramas decodificados realizando una predicción interfotograma que incluye una predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior y almacenar dichos fotogramas decodificados que incluyen un fotograma usado como fotograma de referencia y un fotograma de cola de salida que es un fotograma no usado como fotograma de referencia sino que se retiene antes de que llegue su tiempo de salida en una memoria intermedia de fotogramas que se incluye en dicho aparato de decodificación de vídeo, estando configurado dicho aparato de decodificación de vídeo para: conjuntamente con la entrada de una etiqueta, junto con una imagen de actualización de decodificador instantáneo, para borrar fotogramas decodificados de la memoria intermedia de fotogramas cuando el fotograma decodificado es un fotograma de actualización de decodificador instantáneo y dicha etiqueta es "0", borra solamente todos los fotogramas de referencia almacenados en la memoria intermedia de fotogramas; y cuando el fotograma decodificado es un fotograma de actualización de decodificador instantáneo y dicha etiqueta es "1", borra todos los fotogramas de referencia y los fotogramas de cola de salida de la memoria intermedia de fotogramas, en el que la etiqueta se une a la imagen de actualización de decodificador instantáneo e indica cómo gestionar los fotogramas de cola de salida.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Aparato de decodificación de vídeo Antecedentes de la invención Campo de la invención
La presente invención se refiere a un aparato de decodificación de vídeo.
Técnica anterior relacionada
Convencionalmente, las técnicas de codificación de señal de vídeo se utilizan para la transmisión, el almacenamiento y la regeneración de señales de vídeo. Las técnicas bien conocidas incluyen, por ejemplo, los métodos de codificación de vídeo convencionales internacionales tales como la Recomendación de la UIT -T H.263 (en lo sucesivo referida como “H.263“), la norma internacional ISO/IEC 14496-2 (MPEG-4 Visual, referida en lo sucesivo como “MPEG-4“), y otros.
Otro sistema de codificación conocido más reciente es un método de codificación de vídeo previsto para la normalización internacional conjunta por la UIT-T y la ISO/lEC; la Recomendación de la UIT-T H.264 y la norma internacional ISO/IEC 14496-10 (Borrador Final del Comité Mixto sobre Especificación de Vídeo Conjunta, referida en lo sucesivo como “H.26L”). En cuanto a las técnicas de codificación generales utilizadas en estos métodos de codificación de vídeo, se debe hacer referencia, por ejemplo, al Documento no de patente 1 que se presenta a continuación.
[Documento no de Patente 1]
Tecnologías Básicas sobre Normas Internacionales de Codificación de Imágenes (Co-escrito por Fumitaka Ono y Hiroshi Watanabe y publicado el 20 de marzo de 1998 por CORONA PUBLISHING CO., LTD.)
Una señal de vídeo en movimiento consiste en una serie de imágenes (fotogramas) que varían poco a poco con el tiempo. Por esta razón, es una práctica común en estos métodos de codificación de vídeo implementar la predicción interfotograma entre un fotograma recuperado como un objetivo para la codificación (fotograma actual) y otro fotograma (fotograma de referencia) y de esta manera reducir la redundancia temporal en la señal de vídeo.
En este caso, cuando la predicción interfotograma se lleva a cabo entre el fotograma actual y un fotograma de referencia con menor diferencia con respecto al fotograma actual, la redundancia se puede reducir más y se puede aumentar la eficiencia de la codificación. Por esta razón, el sistema de referencia puede ser o bien un fotograma temporalmente anterior o un fotograma temporalmente posterior con respecto al fotograma actual. La predicción con referencia al fotograma anterior es referida como predicción hacia adelante, mientras que la predicción con referencia al fotograma posterior es referida como predicción hacia atrás (véase la figura 1). La predicción bidireccional se define como una predicción en la que se selecciona arbitrariamente uno de los dos métodos de predicción, o en la que se utilizan los dos métodos al mismo tiempo.
En general, con la utilización de dicha predicción bidireccional, se almacena un fotograma temporalmente anterior como fotograma de referencia para la predicción hacia delante y un fotograma temporalmente posterior como fotograma de referencia para la predicción hacia atrás cada uno en una memoria intermedia de fotogramas, antes del fotograma actual.
Por ejemplo, en la decodificación de MPEG-4, cuando el fotograma actual se decodifica mediante la predicción bidireccional interfotograma, se decodifican en primer lugar un fotograma temporalmente anterior y un fotograma temporalmente posterior con respecto al fotograma actual, ya sea como fotogramas decodificados mediante predicción interfotograma sin la utilización de predicción interfotograma, o como fotogramas decodificados mediante la predicción interfotograma hacia adelante, antes de la decodificación del fotograma actual, y se almacenan como fotogramas de referencia en la memoria intermedia de fotogramas. A continuación, el fotograma actual se decodifica mediante predicción bidireccional utilizando estos dos fotogramas almacenados de esta manera (véase la figura 2 (a)).
En este caso, por lo tanto, el orden de los tiempos de decodificación del fotograma de referencia temporalmente posterior y el fotograma actual es inverso al orden de los tiempos de salida de las respectivas imágenes decodificadas de los mismos. A cada uno de estos fotogramas se le añade información que indica su tiempo de salida, y por lo tanto el orden temporal de los fotogramas puede ser conocido de acuerdo con esta información. Por esta razón, las imágenes decodificadas se emiten en el orden correcto (véase la figura 2 (b)). En MPEG-4, los tiempos de salida se describen como valores absolutos.
Algunos de los métodos de codificación de vídeo recientes permiten la predicción interfotograma anterior que se va a
5
10
15
20
25
30
35
40
45
50
55
60
65
llevar a cabo utilizando múltiples fotogramas de referencia, en lugar de un fotograma de referencia en el sentido hacia adelante y un fotograma de referencia en el sentido hacia atrás, a fin de permitir la predicción a partir de un fotograma con un cambio más pequeño en relación con el fotograma actual (véase la figura 3).
Por ejemplo, en la decodificación de H26L, una pluralidad de fotogramas de referencia dentro del intervalo hasta el número máximo predeterminado de fotogramas de referencia son retenidos en la memoria intermedia de fotogramas y se designa arbitrariamente un fotograma de referencia óptimo entre ellos cuando se produce la aplicación de la predicción interfotograma. En este caso, cuando se decodifica el fotograma actual como un fotograma predicho bidireccionalmente, los fotogramas de referencia se decodifican en primer lugar antes de la decodificación del fotograma actual; una pluralidad de fotogramas temporalmente anteriores y una pluralidad de fotogramas temporalmente posteriores con respecto al fotograma actual se decodifican cada uno como fotogramas de referencia y se retienen como fotogramas de referencia en la memoria intermedia de fotogramas. El fotograma actual se puede predecir a partir de un fotograma designado arbitrariamente como uno que se utiliza para la predicción a partir de esos fotogramas (véase la figura 4 (a)).
En este caso, por lo tanto, el orden de los tiempos de decodificación de los fotogramas de referencia temporalmente posteriores y el fotograma actual se convierte en inverso al orden de los tiempos de salida de los mismos. A cada uno de estos fotogramas se le añade información que indica su tiempo de salida o información que indica el orden de salida, y el orden temporal de los fotogramas puede ser conocido de acuerdo con esta información. Por esta razón, las imágenes decodificadas se emiten en el orden correcto (véase la figura 4 (b)). Los tiempos de salida son descritos a menudo como valores absolutos. El orden de salida se utiliza cuando los intervalos de fotograma son constantes.
En el caso en el que se utilizan también los múltiples fotogramas de referencia en la predicción hacia atrás, tal como se ha descrito anteriormente, los fotogramas retenidos en la memoria intermedia de fotogramas no siempre se utilizan en la predicción hacia atrás para los fotogramas después del fotograma actual. Un ejemplo de este caso se describirá con referencia a la estructura de predicción que se muestra en la figura 5. Supongamos que el fotograma actual F1 se predice hacia atrás a partir de un fotograma de referencia temporalmente posterior F2, F2 a partir de F3 y F3 a partir de F4 y que F4 se predice hacia delante a partir de un fotograma de referencia temporalmente anterior F0. Estas predicciones se llevan a cabo como una operación de predicción eficiente, por ejemplo, en el caso en el que existe un cambio significativo entre el fotograma de referencia temporalmente anterior F0 y el fotograma actual F1, mientras que los cambios son pequeños entre F1 y los fotogramas de referencia temporalmente posteriores F2, F3, F4, y el cambio es relativamente pequeño entre F0 y F3.
En este caso, el fotograma actual F1 se predice solamente a partir del fotograma de referencia temporalmente posterior F2, y por lo tanto F3 y F4 son fotogramas que no se utilizan para la predicción interfotograma en el momento de la decodificación del fotograma actual F1. Sin embargo, dado que F3 y F4 son fotogramas temporalmente posteriores después del fotograma actual F1, necesitan ser retenidos de forma continua antes de que se emitan como imágenes decodificadas en sus respectivos tiempos de salida.
Cuando se retienen los fotogramas temporalmente posteriores para la predicción hacia atrás en la memoria intermedia de fotogramas de esta manera, dichos fotogramas se clasifican en dos tipos, los que se utilizan como fotogramas de referencia y los que no se utilizan como fotogramas de referencia en la predicción interfotograma después del fotograma actual. En la siguiente descripción, los fotogramas que no son utilizados como fotogramas de referencia, sino que son retenidos en la memoria intermedia de fotogramas antes de la llegada de sus tiempos de salida serán referidos como “fotogramas de cola de salida".
Con el fin de explicar la diferencia de los fotogramas, se presentan ilustraciones esquemáticas de una configuración de un dispositivo de decodificación de vídeo en la figura 6 (a) y en la figura 6 (b). Tal como se muestra en la figura 6 (a), el dispositivo 1 de decodificación está provisto de una memoria 3 intermedia de fotogramas para retener los fotogramas de referencia, y la memoria 3 intermedia de fotogramas emite un fotograma de referencia al procesador 2 de decodificación en la ejecución de la predicción interfotograma. En este caso, cuando se utiliza una pluralidad de fotogramas de referencia en la predicción hacia atrás tal como se ha descrito anteriormente, la memoria intermedia de fotogramas conserva tanto los fotogramas de referencia como los fotogramas de cola de salida y, a partir de un aspecto lógico, tal como se muestra en la figura 6 (b), existe un área para almacenar fotogramas que son retenidos de forma continua como fotogramas de referencia durante un tiempo fijo y que también se emiten al procesador 2 de decodificación, y un área para el almacenamiento de fotogramas no emitidos al procesador 2 de decodificación pero retenidos de forma continua antes de ser emitidos como imágenes decodificadas en los tiempos de salida de los respectivos fotogramas.
Asimismo, en el caso de que se utilicen los múltiples fotogramas de referencia, por ejemplo, si hay un fotograma que tiene una característica peculiar en una determinada imagen en movimiento y que presenta grandes cambios con respecto a los otros fotogramas, no se puede esperar una predicción efectiva ni siquiera si ese fotograma se mantiene retenido como fotograma de referencia. Por lo tanto, la predicción interfotograma se puede realizar de manera más eficiente en ciertos casos, dejando de retener dichos fotogramas como fotogramas de referencia y permitiendo que la memoria intermedia de fotogramas retenga otros fotogramas en la misma medida. Por el
5
10
15
20
25
30
35
40
45
50
55
60
65
contrario, en el caso en el que un fotograma tiene una característica típica en una determinada imagen en movimiento y presenta pequeños cambios con respecto a los otros fotogramas, se puede esperar que la predicción interfotograma se llevará a cabo de manera eficiente para muchos fotogramas si dicho fotograma se retiene como fotograma de referencia en la memoria intermedia de fotogramas durante un periodo largo, independientemente de la distancia temporal en relación con el fotograma actual.
Con el fin de proporcionar un ejemplo de dicho funcionamiento ecléctico de los fotogramas de referencia, es concebible anunciar información ecléctica de los fotogramas de referencia por medio de datos codificados. Por ejemplo, en H.26L, se definen los comandos de Operación de Control de Gestión de Memoria (MMCO). Los comandos MMCO incluyen, por ejemplo, las definiciones de un comando de Reinicio capaz de proporcionar una instrucción para eliminar la utilización de todos los fotogramas de referencia retenidos en la memoria intermedia de fotogramas, así como otros comandos, y es posible proporcionar de manera arbitraria una instrucción para seleccionar cualquier fotograma que se va a mantener como fotograma de referencia en la memoria intermedia de fotogramas según requiera la ocasión.
Para iniciar la decodificación a partir de la mitad de los datos codificados con el fin de realizar un acceso aleatorio en una imagen en movimiento, las condiciones necesarias son que un fotograma de inicio que va a ser decodificado sea un fotograma codificado por predicción intrafotograma sin utilizar la predicción interfotograma a partir de otro fotograma y que los fotogramas después del fotograma de inicio no utilicen ningún fotograma anterior antes del fotograma de inicio de decodificación como fotograma de referencia, es decir, es necesario proporcionar una instrucción para eliminar la utilización de todos los fotogramas de referencia retenidos en la memoria intermedia de fotogramas antes de la decodificación del fotograma de inicio de decodificación.
Por ejemplo, en H.26L, se define una imagen de Refrescar Decodificador Instantáneamente (IDR) con el fin de especificar claramente dicho estado. Con la imagen IDR, se elimina la utilización de todos los fotogramas de referencia anteriores antes de la decodificación de la imagen IDR y las predicciones interfotograma para los fotogramas a partir de entonces son las que no se refieren a los fotogramas antes de la imagen IDR. Esto permite que la decodificación se lleve a cabo a la mitad de los datos codificados, como en el acceso aleatorio, sin tener que afrontar el problema de la presencia / ausencia del fotograma de referencia cuando la decodificación se inicia a partir de una imagen IDR.
Sumario de la invención
En el caso en el que se utiliza una pluralidad de fotogramas de referencia en la predicción interfotograma hacia atrás, tal como se ha descrito anteriormente, se puede gestionar la pluralidad de fotogramas de referencia de manera eficiente, proporcionando un medio para controlar la retención de los fotogramas de referencia en la memoria intermedia de fotogramas. Por otro lado, esta memoria intermedia de fotogramas retiene tanto los fotogramas de referencia utilizados para la predicción interfotograma como los fotogramas de cola de salida retenidos antes de la llegada de sus tiempos de salida, pero no se ha tenido en cuenta el control de dichos fotogramas de cola de salida en los medios convencionales para controlar la retención de los fotogramas de referencia. Se planteó el problema de que los fotogramas de cola de salida que no están programados para la salida ocupan la memoria intermedia de fotogramas durante un largo periodo de tiempo.
Por esta razón, si el control de los fotogramas de cola de salida no se lleva a cabo adecuadamente, se originará el problema de que la emisión de imágenes decodificadas no podrá gestionarse de forma exclusiva, o similares.
Por ejemplo, supongamos que la conmutación de vídeo se efectúa en el momento de F03 a partir de una imagen en movimiento que consiste en datos codificados F00-F04 en la figura 7 (a) a una imagen en movimiento que consiste en datos codificados F10-F13 en la figura 7 (b). Esto puede ocurrir, por ejemplo, en el caso en el que los datos codificados almacenados para la edición de vídeo en movimiento se conmuten a unidades de fotograma, o en el caso en el que en la comunicación de vídeo de tipo difusión, ciertos datos codificados correspondientes a un canal se conmutan a otros datos codificados correspondientes a otro canal.
En este caso, F10 tiene que ser una imagen IDR, lo que elimina la utilización de todos los fotogramas de referencia retenidos en la memoria intermedia de fotogramas, antes de la decodificación de F10, y lo que permite que se lleve a cabo la decodificación de fotogramas después de F10 sin ningún problema. Sin embargo, los fotogramas que son eliminados de la utilización en este caso son los fotogramas de referencia, y por lo tanto no se permite una gestión exclusiva si F03 y F04 no son fotogramas de referencia, sino fotogramas de cola de salida. Es decir, no está claro en el caso de conmutación a F10 si F03 y F04 son fotogramas que van a ser retenidos de forma continua en la memoria intermedia de fotogramas y que van a ser emitidos, o fotogramas que van a ser gestionados como fotogramas eliminados de la utilización antes de la decodificación de F10. Por consiguiente, en este caso no se determina de forma exclusiva qué fotograma se debe emitir como imagen decodificada.
Otro sistema de codificación y decodificación de vídeo es conocido a partir del “TEXTO DEL COMITÉ FINAL DE ESPECIFICACIÓN DE VÍDEO CONJUNTA (UIT-T REC. H.246 / ISO/lEC 14496-10 AVC)”, INTERNATIONAL ORGANIZATION FOR STANDARDIZATION - ORGANISATION INTERNATIONALE DE NORMALISATION, XX, XX
5
10
15
20
25
30
35
40
45
50
55
60
65
julio de 2002 (07-2002), páginas 1-197, XP001100641
Un objeto de la presente invención es, por lo tanto, definir claramente la gestión de fotogramas retenidos en la memoria intermedia de fotogramas en uso de múltiples fotogramas de referencia cuando se utilizan múltiples fotogramas de referencia en la predicción interfotograma hacia atrás.
Con el fin de resolver el problema anterior, se propone un aparato de decodificación de vídeo de acuerdo con la reivindicación 1.
La presente invención será entendida más completamente a partir de la descripción detallada que se proporciona a continuación y de los dibujos adjuntos que se proporcionan a modo de ilustración solamente, y por lo tanto no deben ser considerados como limitativos de la presente invención.
El alcance adicional de aplicabilidad de la presente invención resultará evidente a partir de la descripción detallada que se proporciona a continuación. Sin embargo, se debe entender que la descripción detallada y los ejemplos específicos, aunque indican la forma de realización de la invención, se dan a modo de ilustración solamente, ya que diversos cambios y modificaciones que entran dentro del alcance de la invención resultarán evidentes para los expertos en la técnica a partir de esta descripción detallada.
Breve descripción de los dibujos
La figura 1 es un diagrama para explicar la predicción hacia delante y la predicción hacia atrás en la predicción interfotograma.
La figura 2 (a) es un diagrama que muestra un ejemplo en el que el fotograma actual se decodifica mediante predicción bidireccional utilizando dos fotogramas. La figura 2 (b) es un diagrama que muestra un ejemplo en el que el orden de los tiempos de decodificación del fotograma de referencia temporalmente posterior y el fotograma actual es inverso al orden de los tiempos de salida de sus respectivas imágenes decodificadas.
La figura 3 es un diagrama para explicar la predicción hacia delante y la predicción hacia atrás con la utilización de múltiples fotogramas de referencia.
La figura 4 (a) es un diagrama que muestra un ejemplo en el que se lleva a cabo la predicción interfotograma con múltiples fotogramas de referencia dentro del intervalo hasta el número máximo predeterminado de fotogramas de referencia. La figura 4 (b) es un diagrama que muestra un ejemplo en el que el orden de los tiempos de decodificación de los múltiples fotogramas de referencia temporalmente posteriores y el fotograma actual es inverso al orden de los tiempos de salida de sus respectivas imágenes decodificadas.
La figura 5 es un diagrama que muestra la estructura de predicción en el caso en el que los fotogramas retenidos en la memoria intermedia de fotogramas no se utilizan para la predicción hacia atrás después del fotograma actual.
La figura 6 (a) es un diagrama que muestra esquemáticamente la configuración del dispositivo de decodificación de vídeo. La figura 6 (b) es un diagrama que muestra esquemáticamente la configuración de la memoria intermedia de fotogramas.
La figura 7 (a) es un diagrama que muestra un ejemplo de una imagen en movimiento antes de la conmutación que consiste en datos codificados. La figura 7 (b) es un diagrama que muestra una imagen en movimiento después de la conmutación que consiste en datos codificados.
La figura 8 es un diagrama de bloques que muestra la configuración funcional del sistema de procesamiento de vídeo de acuerdo un ejemplo.
La figura 9 es un diagrama que muestra la configuración del programa de procesamiento de vídeo de acuerdo con un ejemplo.
La figura 10 es un diagrama de bloques que muestra la configuración del dispositivo de codificación de vídeo de acuerdo con un ejemplo.
La figura 11 es un diagrama de flujo para explicar el proceso en el que el controlador determina no_output_of_prior_pics_flag (etiqueta de no salida de imágenes anteriores).
La figura 12 es un diagrama de bloques que muestra la configuración del dispositivo de decodificación de vídeo de acuerdo con la presente invención.
Descripción de las formas de realización preferentes
5
10
15
20
25
30
35
40
45
50
55
60
65
A continuación se describirá en detalle una forma de realización de la presente invención con referencia a los dibujos.
La descripción se proporcionará sobre la presunción de que las operaciones de codificación y decodificación se aplican sobre la base de H.26L y que las partes sin descripción particular en la operación de codificación de vídeo siguen el mismo funcionamiento que en H.26L.
En primer lugar, se describirá una configuración de un sistema de procesamiento de vídeo. La figura 8 es un diagrama de bloques que muestra una configuración funcional de un sistema 100 de procesamiento de vídeo. Tal como se muestra en la figura 8, el sistema 100 de procesamiento de vídeo se compone de un dispositivo 10 de codificación de vídeo y de un dispositivo 20 de decodificación de vídeo. El dispositivo 10 de codificación de vídeo y el dispositivo 20 de decodificación de vídeo están configurados para realizar la predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior.
El procesamiento detallado se describirá más adelante, pero el dispositivo 10 de codificación de vídeo está provisto de la parte 11 de salida de información seleccionada, y la parte 11 de salida de información seleccionada emite información que indica que se ha seleccionado la opción de eliminar la utilización de una imagen decodificada de un fotograma temporalmente posterior al dispositivo 20 de decodificación de vídeo.
El dispositivo 20 de decodificación de vídeo está provisto de la parte 21 de eliminación de utilización de imágenes decodificadas, y la parte 21 de eliminación de utilización de imágenes decodificadas está configurada de manera que, en conjunción con la entrada de información para eliminar la utilización de una imagen decodificada de un fotograma temporalmente posterior del dispositivo 10 de codificación de vídeo, la parte 21 de eliminación de utilización de imágenes decodificadas evita emitir la imagen decodificada del fotograma sobre la base de la información.
La información anterior es, por ejemplo, información que proporciona una instrucción para eliminar la utilización de cada fotograma, para cada imagen decodificada de un fotograma temporalmente posterior. Por ejemplo, esta información es información que proporciona una instrucción para eliminar la utilización de cada fotograma que no se utiliza como fotograma de referencia para la predicción hacia atrás, para cada imagen decodificada de un fotograma temporalmente posterior. Además, por ejemplo, esta información incluye información que indica un tiempo de salida en relación con una imagen decodificada de una utilización de fotograma de la cual se elimina.
Posteriormente, se describirán un método de codificación de vídeo y un método de decodificación de vídeo a modo de ejemplo de acuerdo con la presente invención. En la presente realización, se define la información capaz de proporcionar una instrucción para eliminar la utilización de un fotograma retenido en la memoria intermedia de fotogramas, y se define claramente para cada uno de los fotogramas de referencia y fotogramas de cola de salida.
En el presente ejemplo, la información se define en la sintaxis de unidad NAL que porta la información sobre la NAL (capa de abstracción de red), las unidades para los datos codificados de transmisión en H.26L. Específicamente, se define como un tipo que es anunciado por un tipo de unidad NAL incluido en la sintaxis de unidad NAL.
En el presente ejemplo, se considera en primer lugar que con cada imagen IDR convencional se proporciona una instrucción como instrucción para eliminar la utilización de solamente cada fotograma de referencia retenido en la memoria intermedia de fotogramas. Es decir, la definición aquí es que la utilización de cualquier fotograma de cola de salida retenido en la memoria intermedia de fotogramas no se elimina con una imagen IDR.
A continuación, se define una imagen de Actualización Instantánea de Memoria Intermedia (en lo sucesivo mencionada como una “imagen IBR”) como una nueva imagen distinta de la imagen IDR. La imagen IBR se define como una imagen que proporciona una instrucción para eliminar la utilización de cada fotograma de cola de salida, además de la definición de la imagen IDR que proporciona la instrucción de eliminar la utilización de solamente cada fotograma de referencia retenido en la memoria intermedia de fotogramas. Es decir, cuando se determina que el fotograma actual es una imagen IBR, se elimina la utilización de cada fotograma de referencia y de cada fotograma de cola de salida retenido en la memoria intermedia de fotogramas, antes de la decodificación del fotograma actual.
En la codificación, el dispositivo 10 de codificación de vídeo proporciona una instrucción de una imagen IBR de este tipo en el caso que se describe a continuación. Por ejemplo, en el caso en el que se solía designar una imagen IDR como un punto de acceso aleatorio y cuando no se desea retener los fotogramas de cola de salida antes del mismo, sin tener en cuenta el retardo debido a la predicción hacia atrás, el fotograma pertinente puede ser designado como una imagen IBR.
En la decodificación, cuando el fotograma actual es una imagen IBR, el dispositivo 20 de decodificación de vídeo elimina la utilización de cada fotograma de referencia y cada fotograma de cola de salida en la memoria intermedia de fotogramas, antes de la decodificación del fotograma actual, y considera que no van a ser utilizados para la predicción interfotograma y para la salida de sus imágenes decodificadas después del fotograma actual.
5
10
15
20
25
30
35
40
45
50
55
60
65
La imagen IBR también puede estar configurada para eliminar la utilización de solamente fotogramas de cola de salida limitados que no van a ser utilizados, en lugar de eliminar la utilización de todos los fotogramas de cola de salida.
A continuación, el dispositivo puede estar configurado para determinar si la utilización de cada fotograma ha de ser eliminada, utilizando un tiempo de salida de imagen decodificada añadido a la imagen IBR, y para eliminar la utilización de solamente fotogramas de cola de salida que tienen sus tiempos de salida respectivos mayores que el tiempo de salida añadido.
Como otro ejemplo, el sistema también puede estar configurado para transmitir un tiempo de salida por separado, eliminar la utilización de solamente fotogramas de cola de salida cuyos tiempos de salida son mayores que el tiempo de salida transmitido, y designar cada fotograma de cola de salida innecesario, basándose en un tiempo de salida de imagen decodificada correlacionado con ese fotograma.
En este caso, surge una necesidad de una sintaxis para transmitir el tiempo de salida, y puede estar configurada, por ejemplo, como una sintaxis que existe sólo con el tipo de unidad NAL que indica la imagen IBR en la sintaxis de unidad NAL y que transmite el tiempo junto con la imagen IBR. Por ejemplo, podemos definir “latest_output_time” (último tiempo de salida) que se transmite posteriormente al tipo de unidad NAL en el que el tipo de unidad NAL indica la imagen IBR. Aquí se supone que latest_output_time utiliza la misma unidad de tiempo utilizada en las otras sintaxis que indican el tiempo en H.26L y para indicar un tiempo de retardo máximo por la unidad de tiempo de 90 kHz. También se considera que un número indicado en la unidad de tiempo es codificado por los códigos de longitud fija sin signo de 32 bits y a continuación se transmiten los datos codificados.
En la decodificación, cuando se recibe el latest_output_time, el dispositivo 20 de decodificación de vídeo elimina la utilización solamente de los fotogramas cuyos tiempos de salida de imagen decodificada son mayores que el latest_output_time, entre los fotogramas de cola de salida retenidos en la memoria intermedia de fotogramas.
En el caso en el que latest_output_time se utiliza de esta manera, el sistema también puede estar configurado de modo que también se transmita una etiqueta antes del mismo, y que la sintaxis con el latest_output_time se utilice sólo cuando existe una indicación por parte de la etiqueta. En este caso, es posible definir una opción para eliminar la utilización de todos los fotogramas de cola de salida cuando se omite el latest_output_time.
En el presente ejemplo, la imagen IBR se define como una imagen diferente de la imagen IDR, pero también es posible definir una etiqueta unida a la imagen IDR y que indica cómo gestionar los fotogramas de cola de salida (no_output_of_prior_pics_flag), en lugar de definir la nueva imagen como la imagen IBR, y proporcionar la imagen IDR con la misma definición que la imagen IBR, ya que la diferencia entre la imagen IDR y la imagen IBR es la diferencia en la forma de gestionar los fotogramas de cola de salida retenidos en la memoria intermedia de fotogramas.
Es decir, al igual que en la definición anterior, la imagen IDR se define como una imagen que proporciona una instrucción para eliminar la utilización de solamente todos los fotogramas de referencia retenidos en la memoria intermedia de fotogramas, pero no para eliminar la utilización de los fotogramas de cola de salida. En este caso, una etiqueta añadida a la imagen IDR se transmite por separado para la imagen IDR, y con una indicación por la etiqueta (no_output_of_prior_pics_flag = 1), la imagen IDR, de forma similar a la imagen IBR anteriormente mencionada, se gestiona como una imagen que proporciona una instrucción para eliminar la utilización de todos los fotogramas de cola de salida, además de todos los fotogramas de referencia retenidos en la memoria intermedia de fotogramas. Este anuncio hace que sea factible proporcionar la instrucción para eliminar también la utilización de los fotogramas de cola de salida, sin definir ninguna nueva imagen.
La presente realización se describirá adicionalmente con referencia a la figura 12.
La figura 10 es un diagrama de bloques que muestra la configuración de un dispositivo 10 de codificación de vídeo a modo de ejemplo en la presente forma de realización. Las condiciones para la codificación de vídeo se introducen a través del terminal 47 de entrada. En general, las condiciones de codificación se seleccionan o introducen a través de un teclado. Las condiciones de codificación son, por ejemplo, el tamaño de la imagen como objetivo para la codificación, la velocidad de transmisión de fotogramas y la velocidad de transmisión de bits. Otras condiciones de codificación incluyen una estructura de referencia predictiva de vídeo y la capacidad de la memoria 44 intermedia.
La estructura de referencia de predicción de vídeo es, por ejemplo, el tiempo de codificación de una imagen de entrada como una imagen IDR, una imagen a la que hace referencia una imagen codificada de manera predictiva, o similares. La capacidad de la memoria 44 intermedia es, por ejemplo, el número de imágenes almacenadas temporalmente como imágenes de referencia. Estas condiciones se pueden establecer de manera que varíen con el tiempo. Las condiciones de codificación introducidas de este modo se almacenan en el controlador 48.
Con un inicio de una operación de codificación, el controlador 48 emite las condiciones de codificación al codificador 43, donde se establece la condición de codificación. Por otra parte, se introduce una imagen como objetivo para la
5
10
15
20
25
30
35
40
45
50
55
60
65
codificación a través del terminal 41 de entrada, y a continuación se proporciona a través de la memoria 42 de fotogramas al codificador 43, y posteriormente se codifica. Dado que el orden de las imágenes se conmuta en el caso de la predicción hacia atrás, la imagen de entrada se almacena temporalmente en la memoria 42 de fotogramas.
El codificador 43 codifica la imagen sobre la base del algoritmo de H.26L. La imagen codificada es enviada al multiplexor 45 para ser multiplexada con otra información relacionada y posteriormente los datos multiplexados se emiten a través del terminal 46 de salida. La imagen que se utiliza para la predicción es reproducida por el codificador 43 y a continuación se almacena como imagen de referencia para la codificación de la imagen siguiente, en la memoria 44 intermedia.
La figura 11 es un diagrama de flujo para explicar un proceso en el que el controlador 48 determina no_output_of_prior_pics_flag. Este proceso se ejecuta para cada una de las imágenes que constituyen un vídeo como objetivo para la codificación. La primera fase S1 es introducir las condiciones de codificación de una imagen como objetivo para la codificación (si la imagen se ha de codificar como una imagen IDR) y la introducción de información acerca de si se utiliza una imagen regenerada previamente almacenada en la memoria 44 intermedia como imagen de referencia o como imagen visualizada. Dicha información es gestionada por separado por parte del controlador 48.
S2 consiste en determinar si la imagen como objetivo para la codificación es una imagen IDR. Cuando el resultado de la determinación es que la imagen no es una imagen IDR (S2; NO), este proceso finaliza (53). Cuando la imagen es una imagen IDR (52; SÍ), el flujo pasa a S4. S4 consiste en determinar si la imagen almacenada previamente en la memoria 44 intermedia se utiliza como imágenes de referencia o como imágenes visualizadas.
Cuando el resultado de la determinación anterior es que las imágenes almacenadas previamente en la memoria 44 intermedia se utilizan como imagen de referencia o como imagen visualizada (S4; SÍ), no_output_of_prior_pics_flag está ajustado a “O” (S5). Por otro lado, cuando no se utiliza ni como imagen de referencia ni como imagen visualizada (S4; NO), no_output_of_prior_pics_flag se establece en “1” (S6). La etiqueta de no_output_of_prior_pics_flag establecida de esta forma se suministra a través del bus L8 al multiplexor 45, y a continuación se añade a los datos codificados de la imagen correspondiente, y los datos se envían a través del terminal 46 de salida (S7). Cuando en S6 no_output_of_prior_pics_flag se ajusta a “1”, el controlador 48 emite un comando para borrar todas las imágenes almacenadas en la memoria 44 intermedia, a través de L7.
La figura 12 es un diagrama de bloques que muestra la configuración del dispositivo 20 de decodificación de vídeo en la presente forma de realización. Los datos que van a ser decodificados se introducen a través del terminal 51 de entrada. Estos datos son los datos de imagen de cada fotograma codificado por el dispositivo 10 de codificación de vídeo. Cuando estos datos son una imagen IDR, no_output_of_prior_pics_flag es multiplexado con la misma. Los datos de entrada se almacenan en la memoria 52 intermedia de entrada. En un momento predeterminado, los datos de un fotograma son proporcionados desde la memoria 52 intermedia de entrada al decodificador 53 en respuesta a una instrucción del controlador 56 y la decodificación de los mismos se inicia de acuerdo con el algoritmo de H.26L.
Una imagen decodificada se almacena una vez en una memoria 54 intermedia de salida. La imagen almacenada en la memoria 54 intermedia de salida se emite de nuevo a través del bus M5 al decodificador 53 y, a continuación, se utiliza como imagen de referencia para la decodificación de la siguiente imagen. Por otra parte, los datos de no_output_of_prior_pics_flag añadidos a la imagen IDR decodificada por el decodificador 53 son enviados al controlador 56.
El controlador 56 se refiere al valor de no_output_of_prior_pics_flag (“0” o “1”) y controla la memoria 54 intermedia de salida, basándose en esto. Específicamente, cuando no_output_of_prior_pics_flag es “1”, tanto las imágenes de referencia como las imágenes de cola de visualización se convierten en innecesarias y por lo tanto el controlador 56 emite un comando para borrar todas las imágenes almacenadas en la memoria 54 intermedia de salida, a través del bus M8. Cuando no_output_of_prior_pics_flag es “0”, por otro lado, la imagen correspondiente a la misma es una imagen IDR y el controlador 56 elimina la utilización de todas las imágenes utilizadas como referencia (imágenes de referencia) y las elimina de la memoria 54 intermedia de salida. Sin embargo, no se eliminan las imágenes de cola de visualización. Cada imagen de cola de visualización se visualiza a su tiempo en un dispositivo de visualización.
La presente forma de realización describe el ejemplo en el que la presente invención se materializó sobre la base de H.26L, pero los métodos de codificación de vídeo a los que puede aplicarse la presente invención no se limitan a H.26L sino que incluyen una variedad de métodos de codificación de vídeo que utilizan la predicción interfotograma hacia atrás.
Por otra parte, la presente forma de realización se ha configurado de un modo tal que la sintaxis para transmitir que no hay ninguna utilización de fotogramas de cola de salida se defina como una definición adicional del tipo de unidad NAL anunciada en la sintaxis de unidad NAL y de manera que se añada la sintaxis por los códigos de longitud fija para transmitir el tiempo de salida, pero es una cuestión de rutina que las definiciones y sintaxis para la transmisión de los mismos no se limiten a éstas. Los códigos de longitud variable también se pueden utilizar en lugar de los
5
10
15
20
25
30
35
40
45
50
55
60
65
códigos de longitud fija para el anuncio del tiempo de salida, y la unidad de tiempo de salida puede ser cualquier otra unidad distinta de 90 kHz; por ejemplo, la unidad de tiempo de salida puede estar basada en la unidad de tiempo definida en num_units_in_tick (número de unidades en tic) y time_scale (escala temporal) anunciadas subsidiariamente como Información de Utilizabilidad de Video (VUI) en H.26L.
También puede ser transmitida a través de una de diversas sintaxis que pueden transmitir información para su aplicación en unidades de fotograma, así como la sintaxis de unidad NAL. Por ejemplo, en H.26L, se puede añadir una sintaxis a la sintaxis del Mensaje de Información de Mejora Suplementaria.
Como otro medio, también es posible ampliar los comandos de operación de control de gestión de memoria (MMCO) definidos para el control de los fotogramas de referencia en H.26L. En este caso, dado que el comando de Reinicio que se define como un comando MMCO define la misma operación que la imagen IDR en el anterior tipo de unidad NAL, es posible también, por ejemplo, definir un comando de reinicio de fotograma de cola de salida (Reordenar Reinicio de Memoria Intermedia), como en el caso de la definición en el tipo de unidad NAL. La definición de la operación por medio de este comando se puede determinar para que sea similar a la definición de la operación con la imagen IBR en el tipo de unidad NAL.
Cuando se aplica otro método de codificación de vídeo, es posible utilizar una sintaxis para la transmisión de información aplicada a unidades de fotograma en ese método de codificación. También se pueden anunciar fuera de los datos codificados en el método de codificación de vídeo, como en el caso de la Recomendación UIT-T H.245 utilizada para el anuncio de información de control en comunicación que utiliza H.263.
Por último, se describirá un programa de codificación de vídeo y un programa de decodificación de vídeo de acuerdo con un ejemplo con referencia a la figura 9.
Tal como se muestra en la figura 9, el programa 310 de procesamiento de vídeo se almacena en el área 30a de almacenamiento del programa formada en el medio 30 de grabación. El programa 310 de procesamiento de vídeo puede ser ejecutado por el sistema 100 de procesamiento de vídeo que se muestra en la figura 8 y tiene un módulo 311 principal responsable del procesamiento de vídeo, un programa 312 de codificación de vídeo indicado con posterioridad, y un programa 313 de decodificación de vídeo indicado con posterioridad.
El programa 312 de codificación de vídeo está provisto de un módulo 312a de salida de información seleccionada. La función materializada por medio del funcionamiento del módulo 312a de salida de información seleccionada es prácticamente la misma que la función de la parte 11 de salida de información seleccionada del dispositivo 10 de codificación de vídeo.
El programa 313 de decodificación de vídeo está provisto de un módulo 313a de eliminación de utilización de imágenes decodificadas. La función materializada por medio del funcionamiento del módulo 313a de eliminación de utilización de imágenes decodificadas es prácticamente la misma que la función de la parte 21 de eliminación de utilización de imágenes decodificadas del dispositivo 20 de decodificación de vídeo.
El programa 310 de procesamiento de vídeo puede estar configurado de manera que parte o la totalidad del mismo se reciba a través de un medio de transmisión como, por ejemplo, una línea de comunicación para ser grabada por medio de otro dispositivo. Por el contrario, el programa 310 de procesamiento de vídeo también puede estar configurado para ser transmitido a través de un medio de comunicación para ser instalado en otro dispositivo.
A partir de la invención descrita de esta forma, resultará obvio que la forma de realización de la invención puede variar de muchas maneras. Dichas variaciones no deberán ser consideradas como una desviación del alcance de la invención, y todas estas modificaciones, tal como resultaría obvio para un experto en la técnica, están destinadas a ser incluidas dentro del alcance de la siguiente reivindicación.
Según un ejemplo, puede proporcionarse un método de codificación de vídeo para un aparato de codificación de vídeo para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. El método de codificación de vídeo puede incluir: emitir información que indica que se ha seleccionado la opción de eliminar la utilización de una imagen decodificada de un fotograma temporalmente posterior.
Según un ejemplo, puede proporcionarse un método de decodificación de vídeo para un aparato de decodificación de vídeo para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. Dicho método de decodificación de vídeo puede incluir: en conjunción con la entrada de información para eliminar la utilización de una imagen decodificada del fotograma temporalmente posterior, evitar la salida de la imagen decodificada del fotograma sobre la base de dicha información.
Según un ejemplo, puede proporcionarse un aparato de codificación de vídeo para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. Dicho aparato de codificación de vídeo puede estar configurado para: emitir información que indica que se ha seleccionado la opción de eliminar la utilización de una imagen decodificada de un fotograma temporalmente posterior.
5
10
15
20
25
30
35
40
45
50
55
60
65
Según una aplicación de este ejemplo, dicha información puede ser información que proporciona una instrucción para eliminar la utilización de cada fotograma, para la imagen decodificada de dicho fotograma temporalmente posterior.
Según una aplicación de este ejemplo, dicha información puede ser información que proporciona una instrucción para eliminar la utilización de cada fotograma no utilizado como fotograma de referencia para la predicción hacia atrás, para la imagen decodificada de dicho fotograma temporalmente posterior.
Según una aplicación de este ejemplo, dicha información puede incluir información que indica un tiempo de salida acerca de una imagen decodificada de una utilización de fotograma de la cual se elimina.
Según un ejemplo, puede proporcionarse un aparato de decodificación de vídeo para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. Dicho aparato de decodificación de vídeo puede estar configurado para: en conjunción con la entrada de información para eliminar la utilización de una imagen decodificada del fotograma temporalmente posterior, evitar la salida de la imagen decodificada del fotograma sobre la base de dicha información.
Según una aplicación de este ejemplo, dicha información puede ser información que proporciona una instrucción para eliminar la utilización de cada fotograma, para la imagen decodificada de dicho fotograma temporalmente posterior.
Según una aplicación de este ejemplo, dicha información puede ser información que proporciona una instrucción para eliminar la utilización de cada fotograma no utilizado como fotograma de referencia para la predicción hacia atrás, para la imagen decodificada de dicho fotograma temporalmente posterior.
Según una aplicación de este ejemplo, dicha información puede incluir información que indica un tiempo de salida acerca de una imagen decodificada de una utilización de fotograma de la cual se elimina.
Según un ejemplo, puede proporcionarse un programa de codificación de vídeo para un aparato de codificación de vídeo como ordenador para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. Dicho programa de codificación de vídeo puede dejar que el aparato de codificación de vídeo se materialice como: una función de salida de información que indica que se ha seleccionado la opción de eliminar la utilización de una imagen decodificada de un fotograma temporalmente posterior.
Según un ejemplo, puede proporcionarse un programa de decodificación de vídeo para un aparato de decodificación de vídeo como ordenador para aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior. Dicho programa de decodificación de vídeo puede dejar que el aparato de decodificación de vídeo se materialice como: una función de, en conjunción con la entrada de información para eliminar la utilización de una imagen decodificada del fotograma temporalmente posterior, evitar la salida de la imagen decodificada del fotograma sobre la base de dicha información.
Según un ejemplo, un aparato de codificación de vídeo puede incluir: medios de entrada para efectuar la entrada de una imagen como objetivo para la codificación; medios de codificación para codificar la imagen para generar datos codificados; medios de almacenamiento de imágenes para almacenar una imagen regenerada y después codificada por los medios de codificación; y medios de gestión de memoria intermedia para gestionar cada imagen almacenada en los medios de almacenamiento de imágenes, en el que, cuando se produce la codificación de una imagen codificada sin referencia a ninguna otra imagen, los medios de gestión de memoria intermedia pueden emitir junto con los datos codificados, una etiqueta que indica si se elimina la utilización de cada imagen previamente almacenada en los medios de almacenamiento de imágenes.
Según una aplicación de este ejemplo, los medios de codificación pueden aplicar predicción interfotograma hacia atrás a partir de un fotograma temporalmente posterior, y, cuando se produce la codificación de la imagen codificada sin referencia a ninguna otra imagen, los medios de gestión de memoria intermedia pueden borrar una imagen decodificada de cada fotograma temporalmente posterior previamente almacenado en los medios de almacenamiento de imágenes.
Según un ejemplo, un aparato de decodificación de vídeo puede incluir: medios de entrada para efectuar la entrada de datos de imagen que contienen datos codificados de una imagen codificada, y una etiqueta de instrucción de salida de imagen añadida a los datos codificados; medios de decodificación para decodificar los datos codificados para generar una imagen regenerada; medios de almacenamiento de imágenes para almacenar la imagen regenerada; y medios de gestión de memoria intermedia para gestionar cada imagen regenerada almacenada en los medios de almacenamiento de imágenes, en el que los medios de gestión de memoria intermedia pueden borrar cada imagen almacenada en los medios de almacenamiento de imágenes, según la etiqueta de instrucción de salida de imagen correspondiente a una imagen codificada sin referencia a ninguna imagen almacenada en los medios de almacenamiento de imágenes.
5
10
15
20
25
30
35
40
45
Según una aplicación de este ejemplo, cuando la etiqueta de instrucción de salida de imagen es “0”, puede eliminarse la utilización de cada imagen de referencia en una memoria intermedia, y cuando la etiqueta es “1”, pueden borrarse cada imagen de referencia y cada imagen de cola de salida en la memoria intermedia.
Según un ejemplo, un método de codificación de vídeo puede incluir: una fase de entrada en la que un aparato de codificación de vídeo efectúa la entrada de una imagen como objetivo para la codificación; una fase de codificación en la que el aparato de codificación de vídeo codifica la imagen para generar datos codificados; una fase de almacenamiento de imágenes en la que el aparato de codificación de vídeo almacena una imagen regenerada y después codificada en la fase de codificación, en medios de almacenamiento de imágenes; y una fase de gestión de memoria intermedia en la que el aparato de codificación de vídeo gestiona cada imagen almacenada en los medios de almacenamiento de imágenes, en el que en la fase de gestión de memoria intermedia, cuando se produce la codificación de una imagen codificada sin referencia a ninguna otra imagen, el aparato de codificación de vídeo puede emitir junto con los datos codificados, una etiqueta que indica si se elimina la utilización de cada imagen previamente almacenada en los medios de almacenamiento de imágenes.
Según un ejemplo, un método de decodificación de vídeo puede incluir: una fase de entrada en la que un aparato de decodificación de vídeo efectúa la entrada de datos de imagen que contienen datos codificados de una imagen codificada, y una etiqueta de instrucción de salida de imagen añadida a los datos codificados; una fase de decodificación en la que el aparato de decodificación de vídeo decodifica los datos codificados para generar una imagen regenerada; una fase de almacenamiento de imágenes en la que el aparato de decodificación de vídeo almacena la imagen regenerada en medios de almacenamiento de imágenes; y una fase de gestión de memoria intermedia en la que el aparato de decodificación de vídeo gestiona cada imagen regenerada almacenada en los medios de almacenamiento de imágenes, en el que en la fase de gestión de memoria intermedia, el aparato de decodificación de vídeo puede borrar cada imagen almacenada en los medios de almacenamiento de imágenes, según la etiqueta de instrucción de salida de imagen correspondiente a una imagen codificada sin referencia a ninguna imagen almacenada en los medios de almacenamiento de imágenes.
Según un ejemplo, puede proporcionarse un programa de codificación de vídeo para dejar que un aparato de codificación de vídeo se materialice como: una función de efectuar la entrada de una imagen como objetivo para la codificación; una función de codificar la imagen para generar datos codificados; una función de almacenar una imagen regenerada y después codificada, en medios de almacenamiento de imágenes; una función de gestionar cada imagen almacenada en los medios de almacenamiento de imágenes; y una función de salida junto con los datos codificados, una etiqueta que indica si se elimina la utilización de cada imagen previamente almacenada en los medios de almacenamiento de imágenes, cuando se produce la codificación de una imagen codificada sin referencia a ninguna otra imagen.
Según un ejemplo, puede proporcionarse un programa de decodificación de vídeo para dejar que un aparato de decodificación de vídeo se materialice como: una función de efectuar la entrada de datos de imagen que contienen datos codificados de una imagen codificada, y una etiqueta de instrucción de salida de imagen añadida a los datos codificados; una función de decodificar los datos codificados para generar una imagen regenerada; una función de almacenar la imagen regenerada en medios de almacenamiento de imágenes; una función de gestionar cada imagen regenerada almacenada en los medios de almacenamiento de imágenes; y una función de borrar cada imagen almacenada en los medios de almacenamiento de imágenes, según la etiqueta de instrucción de salida de imagen correspondiente a una imagen codificada sin referencia a ninguna imagen almacenada en los medios de almacenamiento de imágenes.

Claims (1)

  1. REIVINDICACIONES
    1. Un aparato (20) de decodificación de vídeo para decodificar los datos de imagen codificados para generar fotogramas decodificados realizando una predicción interfotograma que incluye una predicción 5 interfotograma hacia atrás a partir de un fotograma temporalmente posterior y almacenar dichos fotogramas
    decodificados que incluyen un fotograma usado como fotograma de referencia y un fotograma de cola de salida que es un fotograma no usado como fotograma de referencia sino que se retiene antes de que llegue su tiempo de salida en una memoria intermedia de fotogramas que se incluye en dicho aparato de decodificación de vídeo, estando configurado dicho aparato de decodificación de vídeo para: conjuntamente 10 con la entrada de una etiqueta, junto con una imagen de actualización de decodificador instantáneo, para
    borrar fotogramas decodificados de la memoria intermedia de fotogramas cuando el fotograma decodificado es un fotograma de actualización de decodificador instantáneo y dicha etiqueta es “0“, borra solamente todos los fotogramas de referencia almacenados en la memoria intermedia de fotogramas; y cuando el fotograma decodificado es un fotograma de actualización de decodificador instantáneo y dicha etiqueta es 15 “1”, borra todos los fotogramas de referencia y los fotogramas de cola de salida de la memoria intermedia
    de fotogramas,
    en el que la etiqueta se une a la imagen de actualización de decodificador instantáneo e indica cómo gestionar los fotogramas de cola de salida.
    20
ES10182328.4T 2002-10-11 2003-09-22 Aparato de decodificación de vídeo Expired - Lifetime ES2674902T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002299512 2002-10-11
JP2002299512 2002-10-11
JP2003190567 2003-07-02
JP2003190567A JP3513148B1 (ja) 2002-10-11 2003-07-02 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Publications (1)

Publication Number Publication Date
ES2674902T3 true ES2674902T3 (es) 2018-07-04

Family

ID=32032966

Family Applications (3)

Application Number Title Priority Date Filing Date
ES03021396.1T Expired - Lifetime ES2599322T3 (es) 2002-10-11 2003-09-22 Aparato de decodificación de vídeo
ES10182328.4T Expired - Lifetime ES2674902T3 (es) 2002-10-11 2003-09-22 Aparato de decodificación de vídeo
ES10182348.2T Expired - Lifetime ES2621175T3 (es) 2002-10-11 2003-09-22 Aparato de decodificación de vídeo

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES03021396.1T Expired - Lifetime ES2599322T3 (es) 2002-10-11 2003-09-22 Aparato de decodificación de vídeo

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES10182348.2T Expired - Lifetime ES2621175T3 (es) 2002-10-11 2003-09-22 Aparato de decodificación de vídeo

Country Status (10)

Country Link
US (4) US7346216B2 (es)
EP (4) EP3355583A1 (es)
JP (1) JP3513148B1 (es)
KR (1) KR100583552B1 (es)
CN (3) CN1897699A (es)
DK (1) DK2271114T3 (es)
ES (3) ES2599322T3 (es)
PT (3) PT2268037T (es)
TR (1) TR201808745T4 (es)
TW (1) TWI244856B (es)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA03010729A (es) * 2001-11-06 2004-03-02 Matsushita Electric Ind Co Ltd Metodo de codificacion y descodificacion de imagenes o cuadros en movimiento.
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2007521674A (ja) * 2003-07-14 2007-08-02 トムソン ライセンシング 無線（ワイヤレス）ｌａｎにおけるビデオ送信の技術
US20080002947A1 (en) * 2004-02-06 2008-01-03 Wataru Ikeda Recording medium, reproduction device, program and reproduction method
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
WO2005101827A1 (ja) * 2004-04-16 2005-10-27 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム
KR101129142B1 (ko) * 2004-04-16 2012-03-26 파나소닉 주식회사 재생장치, 기록매체, 재생시스템
JP4027408B2 (ja) * 2004-06-02 2007-12-26 松下電器産業株式会社 再生装置、プログラム、再生方法
EP2348708B1 (en) * 2004-07-01 2014-01-01 Mitsubishi Electric Corporation Video information recording medium which can be accessed at random and playback device therefore
WO2006099223A2 (en) * 2005-03-10 2006-09-21 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
US7925955B2 (en) * 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
US9077964B2 (en) 2005-12-08 2015-07-07 Layered Media Systems and methods for error resilience and random access in video communication systems
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8107537B2 (en) * 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8578228B2 (en) * 2006-08-17 2013-11-05 Telefonaktiebolaget Lm Ericcson Error recovery for rich media
WO2008048605A2 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
JP4227643B2 (ja) * 2006-12-20 2009-02-18 パナソニック株式会社 動画像符号化装置およびその方法
US8462856B2 (en) 2007-01-09 2013-06-11 Vidyo, Inc. Systems and methods for error resilience in video communication systems
WO2008104127A1 (en) * 2007-02-27 2008-09-04 Huawei Technologies Co., Ltd. Method for realizing random access in compressed code stream using multi-reference images and decoder
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
WO2008151137A2 (en) * 2007-06-01 2008-12-11 The Trustees Of Columbia University In The City Of New York Real-time time encoding and decoding machines
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
WO2009006405A1 (en) 2007-06-28 2009-01-08 The Trustees Of Columbia University In The City Of New York Multi-input multi-output time encoding and decoding machines
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
EP2213097A2 (en) * 2007-10-16 2010-08-04 Cisco Technology, Inc. Conveyance of concatenation properties and picture orderness in a video stream
US8718388B2 (en) * 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
CN101287114B (zh) * 2008-05-27 2010-12-08 中兴通讯股份有限公司 一种动态切入视频码流的方法
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
CN102422577A (zh) 2009-04-24 2012-04-18 德耳塔维德约股份有限公司 用于数字视频分配系统中的瞬时多频道视频内容浏览的系统、方法和计算机可读介质
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
WO2011005563A1 (en) * 2009-06-24 2011-01-13 Delta Vidyo, Inc. System and method for an active video electronic programming guide
WO2011066105A1 (en) * 2009-11-25 2011-06-03 Delta Vidyo, Inc. Iptv presence and interaction protocol
US8934530B2 (en) 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
WO2012109407A1 (en) 2011-02-09 2012-08-16 The Trustees Of Columbia University In The City Of New York Encoding and decoding machine with recurrent neural networks
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
PT2727342T (pt) 2011-06-30 2016-08-01 ERICSSON TELEFON AB L M (publ) Sinalização de imagem de referência
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5727398B2 (ja) * 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
JP2014150384A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
CN103345371B (zh) * 2013-05-31 2016-06-01 沈阳东软熙康医疗系统有限公司 一种通过显示屏平滑显示大数据量的方法
WO2015056182A2 (en) 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
CN107623849B (zh) * 2016-07-13 2019-06-18 北京大学 视频解码方法和装置
KR101852859B1 (ko) * 2016-11-07 2018-04-27 이노뎁 주식회사 랜덤액세서블 p-프레임에 기초한 동영상 랜덤액세스 처리 방법
US10805615B2 (en) * 2016-12-14 2020-10-13 LogMeln, Inc. Synchronizing video signals using cached key frames
US11290983B2 (en) 2018-04-05 2022-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Multi-stage sidelink control information
US10769915B2 (en) * 2018-12-31 2020-09-08 TCL Research America Inc. Privacy preserving camera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190594B2 (ja) 1995-12-28 2008-12-03 ソニー株式会社 電子機器及び信号処理方法
US5899578A (en) * 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
TW361046B (en) * 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
JP3073948B2 (ja) 1996-10-31 2000-08-07 松下電器産業株式会社 ディジタル動画像復号化装置、及びディジタル動画像復号化方法
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
US6104441A (en) * 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US6480537B1 (en) * 1999-02-25 2002-11-12 Telcordia Technologies, Inc. Active techniques for video transmission and playback
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
US20020122656A1 (en) * 2001-03-05 2002-09-05 Gates Matthijs A. Method and apparatus for recording broadcast data
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
BR0305432A (pt) * 2002-07-11 2004-09-28 Matsushita Electric Ind Co Ltd Método de codificação de imagem e método de decodificação de imagem
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Also Published As

Publication number Publication date
US7346216B2 (en) 2008-03-18
TR201808745T4 (tr) 2018-07-23
CN1512753A (zh) 2004-07-14
CN1897699A (zh) 2007-01-17
EP1408698A3 (en) 2004-12-15
EP2268037A2 (en) 2010-12-29
CN1250011C (zh) 2006-04-05
US10009627B2 (en) 2018-06-26
US20080112485A1 (en) 2008-05-15
EP2268037B1 (en) 2018-05-23
PT2268037T (pt) 2018-06-28
TWI244856B (en) 2005-12-01
JP3513148B1 (ja) 2004-03-31
EP3355583A1 (en) 2018-08-01
US20170251223A1 (en) 2017-08-31
PT1408698T (pt) 2016-11-02
EP2271114A2 (en) 2011-01-05
JP2004187264A (ja) 2004-07-02
US20040071354A1 (en) 2004-04-15
PT2271114T (pt) 2017-03-23
KR20040033275A (ko) 2004-04-21
DK2271114T3 (en) 2017-03-20
KR100583552B1 (ko) 2006-05-26
CN1819656A (zh) 2006-08-16
TW200406115A (en) 2004-04-16
EP1408698B1 (en) 2016-08-24
US9686563B2 (en) 2017-06-20
EP2268037A3 (en) 2012-07-18
EP1408698A2 (en) 2004-04-14
EP2271114A3 (en) 2012-07-18
ES2599322T3 (es) 2017-02-01
US20100098174A1 (en) 2010-04-22
ES2621175T3 (es) 2017-07-03
EP2271114B1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
ES2674902T3 (es) Aparato de decodificación de vídeo
ES2401427T3 (es) Procedimiento de codificación y decodificación de una señal de video
ES2596268T3 (es) Decodificación y codificación de imágenes de una secuencia de video
ES2285264T3 (es) Almacenamiento temporal de imagenes para referencias y presentacion de prediccion.
ES2602575T3 (es) Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
ES2539935T3 (es) Método para la identificación de imágenes de referencia de capas de calidad en un descodificador de video
ES2841412T3 (es) Rastreo de una imagen de referencia en base a una imagen designada en un dispositivo electrónico
ES2674908T3 (es) Método y aparato para ocultación de imágenes de video perdidas
ES2233508T3 (es) Procedimiento de decodificacion de imagenes.
CN102780883A (zh) 用于包含多视点视频编码的参考图像管理的方法
JP2014533006A (ja) 参照ピクチャマーキング
US10097836B2 (en) Method and device to mark a reference picture for video coding
ES2650995T3 (es) Codificación y descodificación de secuencias de video que comprenden conjuntos de imágenes de referencia
EP2966865A1 (en) Picture encoding device, picture decoding device, and picture communication system
KR100488043B1 (ko) Ｍｈ 픽쳐의 매크로블록 코딩정보 생성 방법
ES2614512T3 (es) Método de codificación por predicción de vídeo en movimiento, dispositivo de codificación por predicción de vídeo en movimiento, programa de codificación por predicción de vídeo en movimiento, método de descodificación por predicción de vídeo en movimiento, dispositivo de descodificación por predicción de vídeo en movimiento y programa de descodificación por predicción de vídeo en movimiento
JP3939273B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
ES2772028T3 (es) Disposiciones y métodos de las mismas para procesamiento de video
US9516330B2 (en) Virtual field buffer based decoding
JP2005079751A (ja) 動画像予測符号化装置