BRPI0706362B1

BRPI0706362B1 - Método e aparelho para proporcionar modo de atualização de resolução reduzida para codificação de vídeo multivisão

Info

Publication number: BRPI0706362B1
Application number: BRPI0706362-8A
Authority: BR
Inventors: Yeping Su; Peng Yin; Cristina Gomila
Original assignee: Interdigital Madison Patent Holdings
Priority date: 2006-01-09
Filing date: 2007-01-09
Publication date: 2019-10-01
Also published as: BRPI0706362A2; US9628823B2; CN101371585A; CN101371585B; JP5535485B2; EP1972151A1; JP2009522937A; US20090028249A1; EP1972151B1; WO2007081838A1

Abstract

método e aparelho para proporcionar modo de atualização de resolução reduzida para codificação de vídeo multivisão. proporcionase um codificador de vídeo, um decodificador de vídeo, e métodos de codificação e decodificação correspondentes, para proporcionar adaptação de filtragem de desbloqueio para codificação de vídeo multivisão. o codificador de vídeo inclui um filtro de desbloqueio (145), adaptável com base em informações de previsão para codificação de segúências de vídeo multivisão.

Description

“MÉTODO E APARELHO PARA PROPORCIONAR MODO DE ATUALIZAÇÃO DE RESOLUÇÃO REDUZIDA PARA CODIFICAÇÃO DE VÍDEO MULTIVISÃO”.

REMISSÃO RECÍPROCA A PEDIDOS DE PATENTES RELACIONADOS

Este pedido de patente reivindica o benefício do pedido de patente provisório U.S. 60/757.292, intitulado “System Providing Adaptation of Deblocking Filter for Multiview Video Coding”, depositado em 9 de janeiro de 2006, que é incorporado por referência no presente relatório descritivo na sua totalidade. Além do mais, esse pedido de patente reivindica o benefício do pedido de patente provisório U.S. 60/757.289, intitulado “Multi-view Video Coding System”, depositado em 9 de janeiro de 2006, que é incorporado por referência no presente relatório descritivo na sua totalidade. Além disso, esse pedido de patente é relacionado ao pedido de patente não provisório, documento de cessão PU060004, intitulado “Methods and Apparatus for Multi-view Video Coding”, que é do mesmo requerente, incorporado no presente relatório descritivo por referência na sua totalidade.

CAMPO DA INVENÇÃO

A presente invenção se refere, de uma maneira geral, a codificação e decodificação de vídeo e, mais particularmente, a um método e um aparelho para proporcionar adaptação de redução de efeito de bloco de filtração para codificação de vídeo de multivisualização.

ANTECEDENTES DA INVENÇÃO

Os algoritmos de codificação de vídeo baseado em

Petição 870190076144, de 07/08/2019, pág. 8/46

2/28 bloco pode criar meios de efeito de bloco visíveis nas imagens decodificadas. Esses meios, provocados por compensação de movimento baseado em bloco e codificação de transformação residual, têm sido estudados intensamente para a codificação de sequências de vistas únicas.

O filtro de redução de efeito de bloco é uma ferramenta provada para eliminar meios de efeito de bloco visualmente desagradáveis. Provou-se também que os filtros de redução de efeito de bloco podem aumentar a eficiência de codificação, se usados no circuito fechado (loop) de previsão, de acordo com a recomendação do Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO / IEC), Grupo de Especialistas em Imagem em Movimento (MPEG-4), Parte 10, padrão de Codificação de Vídeo Avançada (AVC) / União de Telecomunicações Internacional, Setor de Telecomunicações (ITU-T), H.264 (a seguir, o padrão MPEG-4 AVC).

O filtro de redução de efeito de bloco uniformiza os pixels reconstruídos próximos aos limites dos blocos. Um filtro de redução de efeito de bloco efetivo deve ajustar o grau de filtragem, de acordo com a natureza do sinal e os valores de certos parâmetros de codificação. No entanto, um alto nível de adaptabilidade do filtro vai introduzir uma alta complexidade indesejável na implementação.

Várias arquiteturas de codificação de vídeo de multivisualização (MVC) propostas incluem a previsão em visão cruzada, para obtenção de melhor eficiência de codificação, comparada com a uma coleção de imagens individuais si

Petição 870190076144, de 07/08/2019, pág. 9/46

3/28 multâneas (compressão independente de cada visão). No entanto, não há na técnica anterior um projeto de filtro de redução de efeito de bloco na estrutura de codificação de vídeo de multivisualização.

RESUMO DA INVENÇÃO

Essas e outras deficiências e desvantagens da técnica anterior são abordadas pela presente invenção, que é dirigida a um método e a um aparelho para proporcionar adaptação de filtragem por redução de efeito de bloco para codificação de vídeo de multivisualização.

De acordo com um aspecto da presente invenção, proporciona-se um codificador de vídeo. O codificador de vídeo inclui um filtro de redução de efeito de bloco, adaptável com base em informações de previsão para codificação de sequências de vídeo de multivisualização.

De acordo com um outro aspecto da presente invenção, proporciona-se um método de codificação de vídeo. O método inclui adaptação de filtragem de redução de efeito de bloco, com base em informações de previsão para codificação de sequências de vídeo de multivisualização.

De acordo com mais um outro aspecto da presente invenção, proporciona-se um decodificador de vídeo. O decodificador de vídeo inclui um filtro de redução de efeito de bloco, adaptável com base em informações de previsão para decodificação de sequências de vídeo de multivisualização.

De acordo com um outro aspecto da presente invenção, proporciona-se um método de decodificação de vídeo. O método inclui adaptação de filtragem de redução de efeito de

Petição 870190076144, de 07/08/2019, pág. 10/46

4/28 bloco, com base em informações de previsão para decodificação de sequências de vídeo de multivisualização.

De acordo com mais um outro aspecto da presente invenção, proporciona-se uma estrutura de sinal de vídeo para codificação de vídeo. A estrutura de sinal de vídeo inclui informações de previsão, para adaptação de um filtro de redução de efeito de bloco para codificação de sequências de vídeo de multivisualização.

De acordo com um aspecto adicional da presente invenção, proporciona-se um meio de armazenamento tendo dados de sinal de vídeo codificados para ele. Os dados de sinal de vídeo incluem informações de previsão, para adaptação de um filtro de redução de efeito de bloco para codificação de sequências de vídeo de multivisualização.

Esses e outros aspectos, características e vantagens da presente invenção vão ficar evidentes da descrição detalhada apresentada a seguir das modalidades exemplificativas, que deve ser lida em conjunto com os desenhos em anexo.

BREVE DESCRIÇÃO DOS DESENHOS

A presente invenção pode ser melhor entendida de acordo com as seguintes figuras exemplificativas, nas quais:

a Figura 1 é um diagrama de blocos para um codificador exemplificativo, ao qual os presentes princípios podem ser aplicados, de acordo com uma modalidade dos presentes princípios;

a Figura 2 é um diagrama de blocos para um decodificador exemplificativo, ao qual os presentes princípios po

Petição 870190076144, de 07/08/2019, pág. 11/46

5/28 dem ser aplicados, de acordo com uma modalidade dos presentes princípios;

a Figura 3 é um diagrama de fluxo de um método exemplificativo para codificação / decodificação em fatias para Codificação de vídeo de multivisualização (MVC), de acordo com uma modalidade dos presentes princípios;

a Figura 4 é um diagrama de fluxo de um método exemplificativo para seleção da força limite para uso com o padrão MPEG-4 AVC, de acordo com uma modalidade dos presentes princípios;

a Figura 5 é um diagrama de fluxo para um método exemplificativo para seleção da força limite, com base nas informações de previsão, para uso em Codificação de vídeo de multivisualização, com base em informações de previsão, de acordo com uma modalidade dos presentes princípios; e a Figura 6 é um diagrama de fluxo para um método exemplificativo para seleção da força limite, com base em informações de previsão, para uso em Codificação de vídeo de multivisualização, com base em informações de visão de referência, de acordo com uma modalidade dos presentes princípios .

DESCRIÇÃO DETALHADA

A presente invenção é dirigida a um método e a um aparelho para proporcionar adaptação de filtragem de redução de efeito de bloco para codificação de vídeo de multivisualização.

A presente descrição ilustra os princípios da presente invenção. Considera-se que aqueles versados na técnica

Petição 870190076144, de 07/08/2019, pág. 12/46

6/28 vão ser capazes de planejar várias disposições, que, embora não descritas ou mostradas explicitamente aqui, incorporam os princípios da invenção e estão incluídas dentro dos seus espírito e âmbito.

Todos os exemplos e a linguagem condicional aqui mostrados são intencionados para fins pedagógicos, para ajudar o leitor a entender os princípios da invenção e os conceitos contribuídos pelo inventor para incremento da técnica, e devem ser considerados como sendo sem limitação esses exemplos e condições mostrados especificamente.

Além do mais, todas menções feitas aqui relativas aos princípios, aspectos e modalidades da invenção, bem como seus exemplos específicos, são intencionados para abranger ambos os seus equivalentes estruturais e funcionais. Adicionalmente, intenciona-se que esses equivalentes incluam tanto os equivalentes atualmente conhecidos, bem como os equivalentes desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos, que executam a mesma função, independentemente de estrutura.

Desse modo, por exemplo, aqueles versados na técnica vão considerar que os diagramas de blocos aqui apresentados representam vistas conceituais de conjunto de circuitos ilustrativo, incorporando os princípios da invenção. De modo similar, vai-se considerar que quaisquer fluxogramas, diagramas de fluxo, diagramas de transição de estado, pseudocódigo e assemelhados representam os vários processos que podem ser substancialmente representados em meios legíveis por computador e, assim, executados por um computador ou

Petição 870190076144, de 07/08/2019, pág. 13/46

7/28 processador, se ou não esse computador ou processador seja mostrado explicitamente.

As funções dos vários elementos mostrados nas figuras podem ser proporcionadas pelo uso de hardware dedicado, bem como de hardware capaz de executar software em associação com software adequado. Quando proporcionadas por um processador, as funções podem ser proporcionadas por um único processador dedicado, por um único processador partilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser partilhados. Além do mais, o uso explícito do termo processador ou controlador não deve ser considerado como referindo-se exclusivamente a hardware capaz de executar software, e pode incluir, implicitamente, sem limitação, hardware de processador de sinal digital (DSP), memória exclusiva de leitura (ROM) para armazenamento de software, memória de acesso aleatório (RAM) e armazenamento não volátil.

Outro hardware, convencional e/ou personalizado, também pode ser incluído. De modo similar, quaisquer chaves apresentadas nas figuras são apenas conceituais. A função delas pode ser conduzida por operação de lógica do programa, por lógica dedicada, por interação de controle de programa e lógica dedicada, ou ainda manualmente, a técnica particular sendo selecionável pelo implementador, como entendido mais especificamente do contexto.

Nas suas reivindicações, qualquer elemento expresso, como um meio para executar uma função específica, é intencionado para abranger qualquer modo de execução que fun

Petição 870190076144, de 07/08/2019, pág. 14/46

8/28 cione, incluindo, por exemplo: a) uma combinação de elementos de circuito que execute essa função; ou b) software em qualquer forma, incluindo, portanto, programação em hardware, microcódigo ou assemelhados, combinado com um conjunto de circuitos adequado para execução desse software, para desempenhar a função. A invenção, como definida por essas reivindicações, reside no fato de que as funcionalidades proporcionadas pelos vários meios indicados são combinadas e reunidas da maneira que pedem as reivindicações. Deve-se, desse modo, considerar que quaisquer meios que possam proporcionar essas funcionalidades são equivalentes àqueles aqui mostrados.

A referência no relatório descritivo a “uma modalidade” dos presentes princípios significa que um aspecto, estrutura, característica, e assim por diante, particular, descrito em conjunto com a modalidade, é incluído em pelo menos uma modalidade dos presentes princípios. Desse modo, o aparecimento do termo em uma modalidade”, em vários locais ao longo do relatório descritivo, não indica necessariamente referência à mesma modalidade.

Além do mais, com relação aos circuitos fechados (por exemplo, conduzidos nos fluxogramas), a referência no relatório descritivo a um circuito fechado particular conduzido em cada” entidade, tal como um macrobloco, imagem, campo, quadro, bloco, pixel, e assim por diante, é proporcionada com fins exemplificativos, e pode ser considerada como referindo-se a uma ou mais” de cada entidade e, desse modo, não necessariamente cada”, enquanto mantendo o âmbito dos

Petição 870190076144, de 07/08/2019, pág. 15/46

9/28 presentes princípios. Desse modo, por exemplo, codificação / decodificação parcial e/ou redução de efeito de bloco parcial podem ser conduzidos de acordo com os ensinamentos dos presentes princípios, enquanto mantendo o âmbito dos presentes princípios.

Voltando à Figura 1, um codificador exemplificativo, aos qual os presentes princípios podem ser aplicados, é indicado de uma maneira geral pelo número de referência 100.

O codificador 100 inclui um combinador 105, tendo uma saída em comunicação por sinal com uma primeira entrada de um transformador / escalonador / quantificador de números inteiros 115. Uma primeira saída do transformador / escalonador / quantificador de números inteiros 115 é conectada em comunicação por sinal com uma primeira entrada de um codificador de entropia 155 e uma primeira entrada de um escalonador / transformador inverso 120. Uma saída do escalonador / transformador inverso 120 é conectada em comunicação por sinal com uma primeira entrada de não inversora de um combinador 150. Uma saída do combinador 150 é conectada em comunicação por sinal com uma primeira entrada de um prognosticador dentro dos quadros 125 e uma primeira entrada de um filtro de redução de efeito de bloco 145. Uma saída do filtro de redução de efeito de bloco 145 é conectada em comunicação por sinal com uma entrada de um armazenamento de quadros 140 e uma primeira entrada de um estimador de movimento 135. Uma saída do estimador de movimento 135 é conectada em comunicação por sinal com uma terceira entrada de um compensador de movimento 130 e uma terceira entrada do codificador de enPetição 870190076144, de 07/08/2019, pág. 16/46

10/28 tropia 155. Uma entrada de inversão do combinador 105 é conectada em comunicação por sinal com uma saída de uma chave 177. A saída da chave 177 é também conectada em comunicação por sinal com uma segunda entrada não inversora do combinador 150. Uma primeira entrada da chave 177 é conectada em comunicação por sinal com uma saída do compensador de movimento 130. Uma segunda entrada da chave 177 é conectada em comunicação por sinal com uma saída do prognosticador dentro dos quadros 125. Uma saída do armazenamento de quadros 140 é conectada em comunicação por sinal com uma primeira entrada de um compensador de movimento 130.

Uma entrada do codificador 100 é conectada em comunicação por sinal com uma entrada não inversora do combinador 105, uma entrada de um módulo de controle de codificador 110, e uma terceira entrada do estimador de movimento 135. Uma primeira saída do módulo de controle de codificador 110 é conectada em comunicação por sinal com uma segunda entrada do compensador de movimento 130. Uma segunda saída do módulo de controle de codificador 110 é conectada em comunicação por sinal com uma segunda entrada do estimador de movimento 135. Uma terceira saída do módulo de controle de codificador 110 é conectada em comunicação por sinal com uma segunda entrada do prognosticador dentro dos quadros 125. Uma quarta saída do módulo de controle de codificador 110 é conectada em comunicação por sinal com uma segunda entrada do transformador / escalonador / quantificador de números inteiros 115. Uma quinta saída do módulo de controle de codificador 110 é conectado em comunicação por sinal com uma

Petição 870190076144, de 07/08/2019, pág. 17/46

11/28 segunda entrada do filtro de redução de efeito de bloco 145. Uma sexta saída do módulo de controle de codificador 110 é conectada em comunicação por sinal com uma segunda entrada do escalonador / transformador inverso 120. Uma sétima saída do módulo de controle de codificador 110 é conectada em codificação de vídeo de multivisualização com uma segunda saída do codificador de entropia 155. Uma saída do codificador de entropia 155 é disponível como uma saída do codificador 100.

Voltando à Figura 2, um decodificador exemplificativo, ao qual os presentes princípios podem ser aplicados, é indicado genericamente pelo número de referência 200. O decodificador 200 inclui um decodificador de entropia 205. Uma entrada para o decodificador de entropia 205 é disponível como uma entrada para o decodificador 200. Uma primeira saída do decodificador de entropia 205 é conectada em comunicação por sinal com uma entrada de um módulo de controle de decodificador 210. Uma primeira saída do módulo de controle de decodificador 210 é conectada em comunicação por sinal com uma segunda entrada do compensador de movimento 225. Uma segunda saída do módulo de controle de decodificador 210 é conectada em comunicação por sinal com uma primeira entrada de um prognosticador dentro dos quadros 220. Uma terceira saída do módulo de controle de decodificador 210 é conectada em comunicação por sinal com uma segunda entrada de um escalonador / transformador inverso 215. Uma quarta saída do módulo de controle de decodificador 210 é conectada em comunicação por sinal com uma segunda entrada de um filtro de rePetição 870190076144, de 07/08/2019, pág. 18/46

12/28 dução de efeito de bloco 235.

Uma segunda saída do decodificador de entropia 205 é conectada em comunicação por sinal com uma primeira entrada do escalonador / transformador inverso 215. Uma saída do escalonador / transformador inverso 215 é conectada em comunicação por sinal com primeira entrada não inversora de um combinador 230. Uma saída do combinador 230 é conectada em comunicação por sinal com uma segunda entrada do prognosticador dentro dos quadros 220 e uma primeira entrada do filtro de redução de efeito de bloco 235. Uma saída do filtro de redução de efeito de bloco 235 é conectada em comunicação por sinal com uma entrada de um armazenador de quadros 240. Uma saída do armazenador de quadros 240 é conectada em comunicação por sinal com uma terceira entrada de um compensador de movimento 225. Uma segunda entrada não inversora do combinador 230 é conectada em comunicação por sinal com uma saída de uma chave 277. Uma primeira entrada da chave 277 é conectada em comunicação por sinal com uma saída do compensador de movimento 225. Uma segunda entrada da chave 277 é conectada em comunicação por sinal com uma saída do prognosticador dentro dos quadros 220.

Uma terceira saída do decodificador de entropia 205 é conectada em comunicação por sinal com uma primeira entrada do compensador de movimento 225.

Voltando à Figura 3, um método exemplificativo para codificação / decodificação em fatias para Codificação de vídeo de multivisualização (MVC), em uma modalidade dos presentes princípios seguindo o padrão MPEG-4, é indicado genePetição 870190076144, de 07/08/2019, pág. 19/46

13/28 ricamente pelo número de referência 300.

O método 300 inclui um bloco inicial 305, que passa o controle para um bloco de limite de circuito fechado 310. O bloco de limite de circuito fechado 310 começa a agir em cada macrobloco, incluindo o ajuste de uma faixa para o circuito fechado, usando uma variável mb = 0 para MacroBlockslnPic-1, e passa o controle para um bloco de função 315. O bloco de função 315 codifica / decodifica um macrobloco, e passa o controle para um bloco de limite de circuito fechado 320. O bloco de limite de circuito fechado 320 termina o circuito fechado em cada macrobloco, e passa controle para um bloco de limite de circuito fechado 325. O bloco de limite de circuito fechado 325 começa um circuito fechado em cada macrobloco, incluindo o ajuste de uma faixa para o circuito fechado, usando uma variável mb = 0 para MacroBlockslnPic-1, e passa o controle para um bloco de limite de circuito fechado 330. O bloco de limite de circuito fechado 330 começa a agir em cada borda vertical (vedge) de um macrobloco atual a ser codificado / decodificado, incluindo o ajuste de uma faixa para o circuito fechado usando uma vedge variável = 0 e VerticalEdges-1, e passa o controle para um bloco de função 335. O bloco de função 335 seleciona a força limite a ser aplicada, e passa o controle a um bloco de função 340. O bloco de função 340 executa filtragem da amostra, e passa o controle para um bloco de limite de circuito fechado 345. O bloco de limite de circuito fechado 345 termina o circuito fechado em cada borda vertical (vedge) de um macrobloco atual, e passa o controle para um bloco de li

Petição 870190076144, de 07/08/2019, pág. 20/46

14/28 mite de circuito fechado 350. O bloco de limite de circuito fechado 350 começa um circuito fechado em cada horizontal (hedge) de um macrobloco atual a ser codificado / decodificado, incluindo o ajuste de uma faixa do circuito fechado usando uma hedge variável = 0 para HorizontalEdges-1, e passa o controle para um bloco de função 355. O bloco de função 355 seleciona a força limite, e passa o controle a um bloco de função 360. O bloco de função 360 executa filtragem de amostra, e passa o controle para um bloco de limite de circuito fechado 365. O bloco de limite de circuito fechado 365 termina o circuito fechado em cada borda horizontal (hedge), e passa o controle para um bloco de limite de circuito fechado 370. O bloco de limite de circuito fechado 370 termina o circuito fechado em cada macrobloco, e passa o controle para um bloco final 375.

As modalidades dos presentes princípios são dirigidas a adaptação da filtragem de redução de efeito de bloco para Codificação de vídeo de multivisualização (MVC). A Codificação de vídeo de multivisualização (MVC) é a estrutura de compressão para a codificação de sequências de multivisualização. Uma sequência de Codificação de vídeo de multivisualização (MVC) é um conjunto de duas ou mais sequências de vídeo, que captura a mesma cena de um diferente ponto de visão. Como um caso especial, para o qual os presentes princípios podem ser aplicados, uma sequência de vídeo estereoscópica inclui duas sequências de vídeo, uma representando o canal esquerdo e a outra representando o canal direito. Os quadros para cada canal são capturados simultaneamente e têm

Petição 870190076144, de 07/08/2019, pág. 21/46

15/28 diferentes ângulos de visão.

Uma modalidade envolve a eliminação dos meios de efeito de bloco introduzidos por permitir a previsão de visão cruzada, em que um sinal de previsão é formado de uma ou mais imagens decodificadas de outra ou outras visões. Quando essa previsão de visão cruzada é propiciada, uma capacidade de efeito de bloco adicional é tipicamente introduzida nos limites entre os pixels, que são compensados de diferentes visões da câmera. Vantajosamente, essa modalidade dos presentes princípios aumenta a qualidade da imagem decodificada, por redução dos meios em torno dos limites dos blocos, provocados por previsão de diferentes visões. Na modalidade, as informações de visão de previsão (também referidas intercambiavelmente aqui como informações de visão de referência) são introduzidas quando do projeto e/ou uso de um filtro de redução de efeito de bloco para MVC. As informações de visão de referência indicam as visões envolvidas na formação de um sinal de previsão. Por exemplo, o sinal de previsão pode vir das imagens decodificadas prévias da visão de momento ou de imagens decodificadas prévias da visão vizinha. Na modalidade, essas informações de visão de referência podem ser usadas, por exemplo, para variar (por exemplo, aumentar) a força do filtro de redução de efeito de bloco e/ou selecionar um tipo de filtro diferente. Em vista dos ensinamentos dos presentes princípios proporcionados no presente relatório descritivo, uma pessoa versada nessa técnica e em técnicas afins vai considerar esses e vários outros usos para as informações de visão de referência, para uso na adaptação da

Petição 870190076144, de 07/08/2019, pág. 22/46

16/28 filtragem de redução de efeito de bloco em Codificação de vídeo de multivisualização, enquanto mantendo o âmbito dos presentes princípios.

Outra modalidade envolve a eliminação dos meios de efeito de bloco introduzidos por codificação de sequências de vídeo de multivisualização, usando MVC, por permissão de ambas a previsão em visão cruzada e previsão temporal. No caso no qual os dois tipos de previsão são permitidos (previsão em visão cruzada e previsão temporal), uma capacidade de efeito de bloco adicional é tipicamente introduzida nos limites entre os pixels, que são decodificados com diferentes tipos de previsão MVC. Vantajosamente, essa modalidade dos presentes princípios aumenta a qualidade da imagem decodificada, por redução dos meios em torno dos limites dos blocos, provocados por diferentes tipos de previsão (temporal e visão cruzada). Uma vez que a qualidade da imagem decodificada é aperfeiçoada, a eficiência de compressão pode também aumentar. Na modalidade, as informações do tipo de previsão são introduzidas no projeto e/ou uso de um filtro de redução de efeito de bloco para MVC. Na modalidade, essas informações do tipo de previsão podem ser usadas, por exemplo, para variar (por exemplo, aumentar) a força do filtro de redução de efeito de bloco e/ou selecionar um tipo de filtro diferente. Alternativamente, as informações de visão de referência podem ser usadas, por exemplo, para variar (por exemplo, aumentar) a força do filtro de redução de efeito de bloco e/ou selecionar um tipo de filtro diferente. Em vista dos ensinamentos dos presentes princípios proporci

Petição 870190076144, de 07/08/2019, pág. 23/46

17/28 onados no presente relatório descritivo, uma pessoa versada nessa técnica e em técnicas afins vai considerar esses e vários outros usos para as informações do tipo de previsão, para uso na adaptação da filtragem de redução de efeito de bloco em Codificação de vídeo de multivisualização, enquanto mantendo o âmbito dos presentes princípios.

Para fins ilustrativos, as modalidades dos presentes princípios são descritas no presente relatório descritivo para o padrão MPEG-4 AVC. No entanto, deve-se considerar que a presente invenção não é limitada ao padrão MPEG-4 AVC e, em vista dos ensinamentos dos presentes princípios proporcionados no presente relatório descritivo, uma pessoa versada nessa técnica e em técnicas afins vai considerar esse e outros padrões de codificação de vídeo, capazes de Codificação de vídeo de multivisualização, nos qual os presentes princípios podem ser aplicados, enquanto mantendo o âmbito dos presentes princípios.

Deve-se considerar que os presentes princípios não são limitados a uma técnica de redução de efeito de bloco particular aplicada às imagens previstas e, desse modo, qualquer técnica de redução de efeito de bloco pode ser utilizada de acordo com as modalidades dos presentes princípios, enquanto mantendo o âmbito dos presentes princípios.

Para fins ilustrativos, uma modalidade vai ser descrita a seguir, relativa a como estender o filtro de redução de efeito de bloco, como especificado no padrão MPEG-4 AVC, que adapta a força do filtro de redução de efeito de bloco, com base em algumas decisões de codificação. A se

Petição 870190076144, de 07/08/2019, pág. 24/46

18/28 guir, essa opção vai ser referida por razões de simplicidade .

O filtro de redução de efeito de bloco no padrão MPEG-4 AVC se aplica em todas as bordas entre os blocos 4 x 4. Além do mais, para cada borda, o filtro de redução de efeito de bloco tem a capacidade de adaptar a sua força. O parâmetro que controla a força do filtro é referido como a força limite (Bs). O valor da força limite indica a probabilidade de ter um efeito de bloco visual em cada borda e, por conseguinte, a necessidade para mais ou menos filtragem de redução de efeito de bloco. Os valores mais altos de Bs indicam que uma filtragem de redução de efeito de bloco mais forte vai ser aplicada.

Voltando à Figura 4, um método exemplificativo para a seleção de força limite para uso com o padrão MPEG-4 AVC é indicado genericamente pelo número de referência 400. O método inclui um bloco inicial 405, que passa o controle para um bloco de função 410. O bloco de função 410 examina o limite de bloco entre os blocos p e q, e passa o controle para um bloco de decisão 415. O bloco de decisão 415 determina se ou não o bloco p ou q é codificado dentro dele. Sendo assim, então o controle é passado para um bloco de decisão 420. De outro modo, o controle é passado para um bloco de decisão 435.

O bloco de decisão 420 determina se ou não o limite de bloco é um limite macrobloco. Sendo assim, então o controle é passado para um bloco de função 425. De outro modo, o controle é passado para um bloco de função 430.

Petição 870190076144, de 07/08/2019, pág. 25/46

19/28

O bloco de função 425 ajusta a força limite a 4 e passa o controle para um bloco final 465.

O bloco de função 430 ajusta a força limite a 3 e passa o controle para um bloco final 465.

O bloco de decisão 435 determina se ou não os coeficientes são codificados nos blocos p ou q. Sendo assim, o controle é passado para um bloco de função 440. De outro modo, o controle é passado para um bloco de decisão 445.

O bloco de função 440 ajusta a força limite a 2 e passa o controle para o bloco final 465.

O bloco de decisão 445 determina se ou não os blocos p e q têm diferentes quadros de referência ou um número diferente de quadros de referência. Sendo assim, então o controle é passado para um bloco de função 450. De outro modo, o controle é passado para um bloco de decisão 455.

O bloco de função 450 ajusta a força limite a 1 e passa o controle para o bloco final 465.

O bloco de decisão 455 determina se ou não |Vi(p,x)-V-t(q,x)>=1 or Vi(p,y)-V1(q,y)>=1 ou, se biprofético, V2(p,x)-V2(q,x) >=1 ou V2(p,y)-V2(q,y)>=1. Sendo assim, então o controle é passado para o bloco de função 450. De outro modo, o controle é passado para um bloco de função 460.

O bloco de função 460 ajusta a força limite a 0 e passa o controle para o bloco final 465.

De acordo com uma modalidade dos presentes princípios, a computação da força limite deve considerar as informações do tipo de previsão, no caso de codificação de sePetição 870190076144, de 07/08/2019, pág. 26/46

20/28 quências de multivisualização.

Voltando à Figura 5, um método exemplificativo para seleção da força limite, com base nas informações do tipo de previsão, para uso em Codificação de vídeo de multivisualização, é indicado genericamente pelo número de referência 500. De acordo com o método 500, a força é ajustada de acordo com os seguintes parâmetros de codificação: tipo de previsão MVC; posição da borda; tipo de bloco; número de coeficientes codificados; índice de quadro de referência; e diferenças nos vetores de movimento / disparidade. Deve-se notar que se dois blocos vizinhos tiverem diferentes tipos de previsão MVC, a força limite mais alta Bs = 4 vai ser imposta. Em geral, o bloco previsto em vista transversal e o bloco previsto temporal usam imagens de referência de diferentes visões, desse modo, a borda de bloco dos dois blocos com diferentes tipos de previsão MVC vão incluir, mais provavelmente, um nível mais alto de capacidade de efeito de bloco. Desse modo, a atribuição de uma maior força limite nessas bordas vai gerar melhores resultados de filtragem.

O método 500 inclui um bloco inicial 505, que passa controle a um bloco de função 510. O bloco de função 510 examina o limite de bloco entre os blocos p e q, e passa o controle para um bloco de decisão 515. O bloco de decisão 515 determina se ou não o bloco p ou q é codificado no seu interior. Sendo assim, então o controle é passado para um bloco de decisão 520. De outro modo, o controle é passado para um bloco de decisão 535.

O bloco de decisão 420 determina se ou não o limi

Petição 870190076144, de 07/08/2019, pág. 27/46

21/28 te de bloco é um limite macrobloco. Sendo assim, então o controle é passado para um bloco de função 525. De outro modo, o controle é passado para um bloco de função 530.

O bloco de função 525 ajusta a força limite a 4 e passa o controle para um bloco final 570.

O bloco de função 530 ajusta a força limite a 3 e passa o controle para o bloco final 570.

O bloco de decisão 535 determina se ou não os blocos p e q têm diferentes tipos de previsão de Codificação de vídeo de multivisualização. Sendo assim, então o controle é passado para o bloco de função 525. De outro modo, o controle é passado para o bloco de decisão 540. O bloco de decisão 540 determina se ou não os coeficientes são codificados nos blocos p e q. Sendo assim, então o controle é passado para um bloco de função 545. De outro modo, o controle é passado para um bloco de decisão 550.

O bloco de função 545 ajusta a força limite a 2 e passa o controle para o bloco final 570.

O bloco de decisão 550 determina se ou não os blocos p e q têm diferentes quadros de referência ou um número diferente de quadros de referência. Sendo assim, então o controle é passado para um bloco de função 545. De outro modo, o controle é passado para um bloco de decisão 560.

O bloco de decisão 560 determina se ou não |Vi(p,x)-V-t(q,x)>=1 or Vi(p,y)-V1(q,y)>=1 ou, se biprofético, V2(p,x)-V2(q,x) >=1 ou V2(p,y)-V2(q,y)>=1. Sendo assim, então o controle é passado para o bloco de função 555. De outro modo, o controle é passado para um bloco de função

Petição 870190076144, de 07/08/2019, pág. 28/46

22/28

565.

O bloco de função 565 ajusta a força limite a 0 e passa o controle para o bloco final 570.

De acordo com uma outra modalidade dos presentes princípios, a computação da força limite deve considerar as informações do tipo de previsão, no caso de codificação de sequências de multivisualização.

Voltando à Figura 6, um método exemplificativo para seleção da força limite, com base nas informações do tipo de previsão, para uso em Codificação de vídeo de multivisualização, é indicado genericamente pelo número de referência 600. De acordo com o método 600, a força é ajustada de acordo com os seguintes parâmetros de codificação: visões de referência; posição da borda; tipo de bloco; número de coeficientes codificados; índice de quadro de referência; e diferenças nos vetores de movimento / disparidade. Deve-se notar que se dois blocos vizinhos tiverem diferentes tipos de previsão MVC, a força limite mais alta Bs = 4 vai ser imposta. Em geral, o bloco previsto em vista transversal e o bloco previsto temporal usam imagens de referência de diferentes visões, desse modo, a borda de bloco dos dois blocos com diferentes tipos de previsão MVC vão incluir, mais provavelmente, um nível mais alto de capacidade de efeito de bloco. Desse modo, a atribuição de uma maior força limite nessas bordas vai gerar melhores resultados de filtragem.

O método 600 inclui um bloco inicial 605, que passa controle a um bloco de função 610. O bloco de função 610 examina o limite de bloco entre os blocos p e q, e passa o

Petição 870190076144, de 07/08/2019, pág. 29/46

23/28 controle para um bloco de decisão 615. O bloco de decisão 615 determina se ou não o bloco p ou q é codificado no seu interior. Sendo assim, então o controle é passado para um bloco de decisão 620. De outro modo, o controle é passado para um bloco de decisão 635.

O bloco de decisão 620 determina se ou não o limite de bloco é um limite macrobloco. Sendo assim, então o controle é passado para um bloco de função 625. De outro modo, o controle é passado para um bloco de função 630.

O bloco de função 625 ajusta a força limite a 4 e passa o controle para um bloco final 670.

O bloco de função 630 ajusta a força limite a 3 e passa o controle para o bloco final 670.

O bloco de decisão 635 determina se ou não os blocos p e q têm diferentes tipos de previsão de Codificação de vídeo de multivisualização. Sendo assim, então o controle é passado para o bloco de função 625. De outro modo, o controle é passado para o bloco de decisão 640. O bloco de decisão 640 determina se ou não os coeficientes são codificados nos blocos p e q. Sendo assim, então o controle é passado para um bloco de função 645. De outro modo, o controle é passado para um bloco de decisão 650.

O bloco de função 645 ajusta a força limite a 2 e passa o controle para o bloco final 670.

O bloco de decisão 650 determina se ou não os blocos p e q têm diferentes quadros de referência ou um número diferente de quadros de referência. Sendo assim, então o controle é passado para um bloco de função 645. De outro moPetição 870190076144, de 07/08/2019, pág. 30/46

24/28 do, o controle é passado para um bloco de decisão 660.

O bloco de decisão 660 determina se ou não |Vi(p,x)-V-t(q,x)>=1 or Vi(p,y)-V1(q,y)>=1 ou, se biprofético, V2(p,x)-V2(q,x)>=1 ou V2(p,y)-V2(q,y)>=1. Sendo assim, então o controle é passado para o bloco de função 655. De outro modo, o controle é passado para um bloco de função 665.

O bloco de função 665 ajusta a força limite a 0 e passa o controle para o bloco final 670.

Uma descrição vai ser feita a seguir de algumas das vantagens / características relacionadas da presente invenção, algumas das quais foram mencionadas acima. Por exemplo, uma vantagem / característica é um codificador de vídeo, que inclui um filtro de redução de efeito de bloco adaptável com base em informações de previsão, para codificação de sequências de vídeo de multivisualização. Outra vantagem / característica é o codificador de vídeo, como descrito acima, em que as informações de previsão compreendem pelo menos uma de informações do tipo previsão e informações de visão de previsão. Ainda uma outra vantagem / característica é o codificador de vídeo, tendo o filtro de redução de efeito de bloco adaptável com base em informações de previsão, que incluem pelo menos uma de informações do tipo previsão e informações de visão de previsão, como descrito acima, em que as informações de previsão compreendem pelo menos uma de informações de previsão temporais e informações de previsão de visão cruzada. Além do mais, outra vantagem / característica é o codificador de vídeo, tendo o

Petição 870190076144, de 07/08/2019, pág. 31/46

25/28 filtro de redução de efeito de bloco adaptável com base em informações de previsão de dois blocos vizinhos, com relação a um determinado bloco a ser filtrado pelo dito filtro de redução de efeito de bloco. Além disso, outra vantagem / característica é codificador de vídeo, tendo o filtro de redução de efeito de bloco adaptável com base nas informações de previsão, que incluem pelo menos uma de informações do tipo previsão e informações de visão de previsão, como descrito acima, em que o filtro de redução de efeito de bloco segue a recomendação da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO / IEC), Grupo de Especialistas em Imagem em Movimento (MPEG-4), Parte 10, padrão de Codificação de Vídeo Avançada (AVC) / União de Telecomunicações Internacional, Setor de Telecomunicações (ITUT), H.264, e uma resistência limite aplicada pelo filtro de redução de efeito de bloco, que é adaptável com base em informações de previsão, para codificação de sequências de vídeo de multivisualização. Também, outra vantagem / característica é o codificador de vídeo que segue o padrão MPEG-4 AVC, como descrito acima, em que a força limite é ajustada em 4, quando as informações de previsão de dois blocos vizinhos, com relação a um determinado bloco a ser filtrado pelo filtro de redução de efeito de bloco, são diferentes. Adicionalmente, outra vantagem / característica é o codificador de vídeo, como descrito acima, em que pelo menos um de uma força limite, número de amostras a serem filtradas, e tipo do filtro de redução de efeito de bloco é adaptável. Além do mais, outra vantagem / característica é o codificador de ví

Petição 870190076144, de 07/08/2019, pág. 32/46

26/28 deo tendo pelo menos um de uma força limite, número de amostras a serem filtradas, e tipo do filtro de redução de efeito de bloco sendo adaptável, como descrito acima, em que a força limite do filtro de redução de efeito de bloco é adaptável, com base em um determinado bloco a ser filtrado pelo filtro de redução de efeito de bloco, e a força limite é aumentada quando as informações de previsão de dois blocos vizinhos são diferentes. Além disso, outra vantagem / característica é o codificador de vídeo, como descrito acima, em que as sequências de vídeo de multivisualização incluem sequências de vídeo estereoscópicas.

Essas e outras características e vantagens da presente invenção podem ser facilmente verificadas por uma pessoa versada na técnica pertinente, com base nos ensinamentos apresentados no presente relatório descritivo. Deve-se entender que os ensinamentos da presente invenção podem ser implementados em várias formas de hardware, software, programação em hardware, processadores para fins específicos, ou suas combinações.

Particularmente, os ensinamentos da presente invenção são implementados como uma combinação de hardware e software. Além do mais, o software pode ser implementado como um programa de aplicação, incorporado tangivelmente em uma unidade de armazenamento de programas. O programa de aplicação pode ser transferido para, e executado por, uma máquina, compreendendo qualquer arquitetura adequada. De preferência, a máquina é implementada em uma plataforma de computador tendo hardware, tal como uma ou mais unidades de

Petição 870190076144, de 07/08/2019, pág. 33/46

27/28 processamento centrais (CPUs), uma memória de acesso aleatório (RAM) e interfaces de entrada / saída (I/O). A plataforma de computador pode também incluir um sistema operacional e um código de microinstruções. Os vários processos e funções descritos no presente relatório descritivo pode ser parte do código de microinstruções ou parte do programa de aplicação, ou qualquer combinação deles, que podem ser executados por uma CPU. Além disso, várias outras unidades periféricas podem ser conectadas à plataforma de computador, tal como uma unidade de armazenamento de dados e uma unidade de impressão adicionais.

Deve-se entender ainda que, em virtude de alguns dos componentes constituintes do sistema e dos métodos ilustrados nos desenhos em anexo serem, de preferência, implementados em software, as conexões efetivas entre os componentes do sistema ou os blocos de função do processo podem diferir, dependendo da maneira na qual a presente invenção é programada. Em vista dos ensinamentos apresentados no presente relatório descritivo, uma pessoa versada na técnica pertinente vai ser capaz de considerar essas e outras implementações ou configurações da presente invenção.

Embora as modalidades ilustrativas tenham sido descritas no presente relatório descritivo com referência aos desenhos em anexo, deve-se entender que a presente invenção não é limitada a essas modalidades precisas, e que várias mudanças e modificações podem ser feitas nela por uma pessoa versada na técnica pertinente, sem afastar-se do âmbito ou do espírito da presente invenção. Todas essas varia

Petição 870190076144, de 07/08/2019, pág. 34/46

28/28 ções e modificações são intencionadas para serem incluídas dentro do âmbito da presente invenção, como apresentado nas reivindicações em anexo.

Claims

REIVINDICAÇÕES

1. Aparelho, compreendendo:

um codificador vídeo ou um decodificador vídeo para codificar ou decodificar pelo menos um quadro de uma sequência de vídeo de multivisualização, o pelo menos um quadro sendo dividido em blocos de dados, o aparelho CARACTERIZADO pelo fato de que o codificador de vídeo ou o decodificador de vídeo compreende um filtro de redução de efeito de bloco (145, 235) que filtra bordas de pelo menos dois blocos vizinhos do dito pelo menos um quadro, em que um valor de força limite é atribuído a um valor mais alto quando os ditos pelo menos dois blocos vizinhos têm diferentes tipos de previsão de codificação de vídeo de multivisualização, onde um tipo de previsão de codificação de vídeo de multivisualização é uma informação que indica qual previsão entre uma previsão de visualização cruzada ou uma previsão temporal é feita para um determinado bloco.

2/2

CARACTERIZADO pelo fato de que o valor mais alto é fixado em 4 .

2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito filtro de redução de efeito de bloco (145, 235) está em conformidade com a

recomendação da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO / IEC), Grupo de Especialistas em Imagem em Movimento (MPEG-4), Parte 10, padrão de Codificação de Vídeo Avançada (AVC) / União de Telecomunicações Internacional, Setor de Telecomunicações (ITU-T), H.264.

3. Aparelho, de acordo com a reivindicação 2,

Petição 870190076144, de 07/08/2019, pág. 36/46

4. Método, compreendendo:

executar codificação ou decodificação de vídeo de pelo menos um quadro de uma sequência de vídeo de multivisualização, o dito pelo menos um quadro sendo dividido em blocos de dados, o método CARACTERIZADO pelo fato de que a codificação de vídeo ou a decodificação de vídeo compreende aplicar um filtro de redução de efeito de bloco para filtrar bordas de pelo menos dois blocos vizinhos do dito pelo menos um quadro, em que um valor de força limite é atribuído a um valor mais alto quando os ditos pelo menos dois blocos vizinhos têm diferentes tipos de previsão de codificação de vídeo de multivisualização, onde um tipo de previsão de codificação de vídeo de multivisualização é uma informação que indica qual previsão entre uma previsão de visualização cruzada ou uma previsão temporal é feita para um determinado bloco.

5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que a dita filtragem de redução de efeito de bloco está em conformidade com a recomendação da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO / IEC), Grupo de Especialistas em Imagem em Movimento (MPEG-4), Parte 10, padrão de Codificação de Vídeo Avançada (AVC) / União de Telecomunicações Internacional, Setor de Telecomunicações (ITU-T), H.264.