BRPI0316174B1 - método e aparelho para composição de legendas para apresentações de áudio/vídeo e meio de armazenamento óptico relacionado - Google Patents

Abstract

"método e aparelho para composição de legendas". a essência da invenção é um formato de legendação abrangendo elementos de sintaxe e semântica intensificadas para melhorar as capacidades de animação. os elementos revelados melhoram o desempenho de legenda sem forçar a taxa de bit de legenda disponível. isto tornará essencial para conteúdo de autorização de legendas de hdtv final alto em formato pré-gravado, que pode ser difundido ou armazenado em meios ópticos de capacidade alta, e.g. disco de raio azul. a invenção inclui capacidades para possibilidades de autorização melhoradas para a produção de conteúdo para animar legendas. para legendas que estão separadas do material av, o método inclui usar uma ou mais camadas de legenda sobrepostas, e exibir apenas uma parte selecionada das legendas transferidas de cada vez. também, as cores de uma parte selecionada das legendas exibidas podem ser modificadas, e.g. realçadas.

Description

"MÉTODO E APARELHO PARA COMPOSIÇÃO DE LEGENDAS PARA APRESENTAÇÕES DE ÁUDIO/VÍDEO e MEIO DE ARMAZENAMENTO ÓPTICO RELACIONADO" A invenção diz respeito a um método e a um aparelho para composição de legendas para apresentações de áu-dio/video que podem ser usadas, por exemplo, para legendas de HDTV em formatos pré-gravados como o assim chamado Disco Blue-ray.

ANTECEDENTES A técnica de legendagem para material Audiovisual (AV) tem sido usada começando com os primeiros filmes cinematográficos celulóides e também até os recentes meios digitais aparecerem. 0 alvo principal de legendagem tem sido o suporte de pessoas deficientes ou grupos de linguagem etnográfica pequenos. Portanto, legendagem frequentemente visa a apresentação de informação de texto até mesmo quando tendo sido codificado como mapas de pixels de dados gráficos. Portanto, material de AV pré-produzido para transmissão (Closed Caption, Teletexto, legenda de DVB etc.) e discos de filme (Legendas de DVD etc.) primariamente são otimizados para legendas representando informação textual estática simples. Porém, progressos no desenvolvimento de software de PC para apresentação e animação de informação textual induz a uma demanda correspondente por possibilidades e recursos dentro da técnica de legendagem digital usada para pré-gravação e transmissão. Usando métodos diretos sem qualquer precaução especial, estes requerimentos aumentados por legendagem consumiríam uma porção muito grande da largura da banda geral limitada. Os requerimentos contraditórios para uma legenda de 'recurso total' abrangendo desde karaokê até animações genuínas são por um lado a eficiência de codificação e por outro lado o controle total para qualquer autor de legenda.

Para o estado da técnica de hoje de legendar digi-talmente material AV com informação de legendagem separada, dois métodos principais existem: Legendagem pode ser com base em dados de pixel ou em dados de caractere. Em ambos os casos, os esquemas de legendagem compreendem uma estrutura geral, que por exemplo trata da sincronização dos elementos de legendagem ao longo do eixo geométrico de tempo AV.

Legendagem com base em dados de caractere: No método de legendagem baseada em caractere, e.g. no sistema de teletexto ETS 300 706 de TV analógica ou digital européia, as cadeias são descritas por sequências de códigos de letra, e.g. ASCII ou UNICODE, que intrinsicamente permitem uma codificação muito eficiente. Mas das cadeias de caracteres sozinhas, a legendagem não pode ser convertida em uma representação gráfica a ser superposta em vídeo. Para isso, o conjunto de caracteres intencionado, fonte e alguns parâmetros de fonte, mais notavelmente o tamanho da fonte, ou deve ser codificado explicitamente dentro do fluxo de bit de legendagem ou uma suposição implícita deve ser feita sobre eles dentro de um contexto de legendagem adequadamente definido. Também, qualquer legendagem neste método é confinada ao que pode ser expresso com as letras e símbolos da(s) fonte(s) específica(s) em uso. A especificação de Legendagem de DVB ETS 300 743, neste modo de "objetos de caractere", constitui outro exemplo de estado da técnica de legendagem com base em caractere.

Legendagem com base em dados de pixel: No método de legendagem baseada em pixel, as estruturas de legendagem são transportadas diretamente na forma de representações gráficas as descrevendo como regiões (tipicamente retangulares) de valores de pixel na tela AV. Sempre gue qualguer coisa é significado ser visível no plano de legendagem sobreposto no vídeo, seus valores de pixel devem ser codificados e fornecidos no fluxo de bit de legendagem, junto com informação de sincronização apropriada, e consequentemente para a animação de recurso total das legen-dações todo pixel alterado deve ser transportado. Obviamente, ao remover qualquer limitação inerente às animações de recursos totais de teletexto, o método baseado em pixel carrega a penalidade de uma largura da banda consideravelmente aumentada para os dados de legendagem. Exemplos de esquemas de legendagem com base em pixel podem ser encontrados no conceito de sub-imagem de DVD "Especificação de DVD para disco exclusivo de leitura", Parte 3: Vídeo, como também no conceito de "objeto de pixel" de Legendagem de DVB, especificado em ETS 300 743.

INVENÇÃO A essência da invenção é um formato de legendagem que abrange elementos de sintaxe e semântica intensificadas para fornecer capacidades de animação melhoradas. Os elementos descritos melhoram o desempenho de legenda sem forçar a taxa de bits de legenda disponível. Isto se tornará essenci- al para a autoria de conteúdo de legendas de HDTV de alto desempenho em formato pré-gravado gue pode ser difundido ou impresso em meios ópticos de capacidade alta, e.g. Disco Blue-ray. A invenção inclui capacidades para possibilidades de autoria melhoradas para a produção de conteúdo animar legendas .

Introduzidos pela descrição são elementos de sintaxe e semântica que descrevem a alteração de cor para partes de gráficos a exibir. Isto pode ser usado para efeitos de destaque em aplicações como por exemplo karaokê, evitando a transferência repetida de dados de pixel.

Outros elementos descritos de sintaxe e semântica facilitam a capacidade de recortes partes das legendas antes de exibi-las. Usando a técnica de parâmetros recortados subsequentemente transferida para um objeto a exibir, animação econômica de bit das legendas torna-se disponível. Tal parâmetro recortado pode ser usado por exemplo para gerar alterações de texto mediante caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação, etc.

Além disso, os elementos descritos podem ser usados para interativamente fornecer informação textual e gráfica. Especialmente, o posicionamento e/ou ajustes de cor das legendas podem ser manipulados com base na solicitação do usuário.

DESENHOS

Modalidades exemplares da invenção são descritas com referência aos desenhos e tabelas em anexo, que mostram: Fig. 1: valores de tipo de segmento para PCS e RCS intensificados;

Fig. 2: Segmento de composição de página intensificado;

Fig. 3: Segmento de composição de região intensificado;

Fig. 4: Exemplo para a definição de uma região de legenda e sua localização dentro de uma página;

Fig. 5: Exemplo para a definição de uma região de sub-CLUT e região de recorte;

Fig. 6: Exemplo de exibição resultante;

Fig. 7: Uso interativo de legendas;

Fig. 8: Planos de video e gráficos;

Fig. 9: Mistura e comutação de video e gráficos.

MODALIDADES EXEMPLARES A invenção pode preferivelmente ser incorporada com base na sintaxe e semântica da especificação de legenda de DVB (DVB-ST). Para fornecer capacidades melhoradas para a manipulação de elementos gráficos de legenda, a semântica do segmento de composição de página de DVB-ST (PCS) e do segmento de composição de região (RCS) são expandidas. DVB_ST usa segmentos de composição de página (PCS) para descrever as posições de uma ou mais regiões retangulares na tela de exibição. Os segmentos de composição de região (RCS) são usados para definir o tamanho de qualquer tal área retangular e identifica a tabela de consulta de cores (CLUT) usada dentro. A invenção proposta mantém a compatibilidade anterior com DVB-ST usando diferentes tipos de segmentos para os elementos intensificados de PCS e RCS, como listados na Fig.l mostrando valores de tipo de segmento de acordo com DVB-ST, com valores adicionais para PCS intensificados e RCS intensificados. Seria também possível do contrário selecionar outros valores. Outro método para manter a compatibilidade anterior seria manter os tipos de segmentos existentes e aumentar o version_number da especificação, e.g. incrementando o subtitle_stream_id na estrutura de PES_data_field.

Fig. 2. mostra a estrutura de dados de um segmento de composição de página intensificado (PCS) contendo uma seção region_cropping e uma seção region_sub_CLUT. Fig. 3 mostra a estrutura de dados de um segmento de composição de região intensificado (RCS), contendo um identificador sub_CLUT_id para uma sub-tabela de consulta de cores. Com respeito ao DVB-ST original, todas as estruturas mostradas são expandidas. Nas tabelas as entradas adicionais são as linhas 15-28 na Fig. 2 e a linha 16 na Fig. 3.

Os PCS intensificados mostrados na Fig. 2 portam informação opcional acerca da region_cropping e informação opcional sobre a region_sub_CLUT para cada região listada.

Os dois valores de region_cropping e re-gion_sub_CLUT indicam se tal informação opcional está disponível para a região atual no processo. Portanto recorte e sub-CLUT podem ser definidos separadamente para cada região. Embora region_cropping seja usada como um flag, como indicado por "if region_cropping==0x01", a region_sub_CLUT mostra o valor de quantas posições de sub-CLUT são descritas. Isto é feito para fornecer alternativas diferentes dentro do flu- xo. Posições de sub-CLUT alternativas podem ser usadas para definir diferentes posições de botão de menu para a tela de exibição. Apenas uma delas - a primeira como uma predefini-ção - é ativa e o usuário pode alterar a posição para navegar pelas diferentes posições predefinidas pressionando o controle remoto por exemplo.

Os RCS intensificados mostrados na Fig. 3 portam o sub_CLUT_id identificando a família de CLUTs que se aplica a esta região. Isto é feito para re-usar CLUTs para regiões diferentes e sub_CLUTs de região diferente também.

Os elementos intensificados de PCS e RCS fornecem a capacidade que as legendas podem ser manipuladas independente do método de codificação i.e. independente se elas são codificadas como dados de caractere ou dados de pixel.

Os PCS e RCS intensificados podem ser usados para executar muitos efeitos de animação diferentes para as legendas. Aqueles poderíam ser caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação, etc. As figuras a seguir mostram um exemplo de aplicação para karaokê. Fig. 4 mostra a definição de uma região R contendo letras de uma música exibida para karaokê. As letras da legenda podem ser codificadas como dados de pixel ou como dados de caractere também. 0 region_vertical_address RVA e o region_horizontal_address RHA definem a localização da legenda dentro da estrutura, ou página PG, a exibir.

Fig. 5 descreve na parte superior a região de recorte e na parte inferior a localização da região sub-CLUT. Região de recorte define que parte da região é exibida efi- cazmente. Isto é alcançado através de quatro parâmetros RHC, RVC, RCH, RCW indicando as coordenadas de inicio e o tamanho do fragmento a exibir. region_horizontal_cropping RHC especifica o endereço horizontal do pixel esquerdo do topo deste recorte, region_vertical_cropping RVC especifica o endereço vertical da linha de topo deste recorte, re-gion_cropping_width RCW especifica o comprimento horizontal deste recorte e region_cropping_height RCH especifica o comprimento vertical deste recorte, em que recorte significa aquela parte das legendas que está visível em uma exibição. A localização da região sub-CLUT mostrada na parte inferior da Fig. 5 define que parte da região tem que ser exibida usando uma tabela de consulta de cores (CLUT) diferente da região CLUT. Isto é alcançado através de quatro parâmetros SCHA, SC VA, SCH, SCW indicando as coordenadas de início e o tamanho da sub-região usada pela sub-CLUT. Todos os parâmetros de coordenada serão entendidos com relação à região que a sub-CLUT pertence. sub_CLUT_vertical_address SC VA especifica o endereço horizontal do pixel esquerdo do topo desta sub-CLUT, sub_CLUT_vertical_address SCVA especifica o endereço vertical da linha de topo desta sub-CLUT, sub_CLUT_width SCW especifica o comprimento horizontal desta sub-CLUT e sub_CLUT_height SCH especifica o comprimento vertical desta sub-CLUT.

Apanhando todos os parâmetros definidos com as figuras anteriores resulta na legenda exibida como descrito na Fig. 6. A legenda não é descrita ao todo na exibição mas apenas na parte recortada dela. Além disso, a sub-CLUT foi usada para fornecer um destaque HT, de forma que o usuário sabe o que cantar no momento.

Como os PCS intensificados são enviados dentro dos pacotes de fluxo elementar (PES) de pacote de MPEG marcados pelos selos de tempo de apresentação (PTS), qualquer efeito pode ser sincronizado ao AV.

Outra idéia da invenção é a substituição dos parâmetros de animação de legenda pelo usuário. Isto oferece um modo para perceber legendas interativas. Os parâmetros de PCS intensificados são transferidos como uma predefinição, e o usuário pode alterá-los por meio de um controle remoto por exemplo. Desse modo o usuário é capaz de mover, colher ou destacar a legenda.

Isto pode ser uma vantagem para um reposicionamento definido pelo usuário de um texto de legendagem, de forma que o usuário pode subjetivamente minimizar o contratempo pela colocação de texto de legenda em cima do filme. Também a cor das legendas pode ser ajustada de acordo com as preferências dos usuários. Fig. 7 mostra um diagrama de blocos para modificações de legenda interativas. Os parâmetros pre-definidos DD lidos de um disco D são substituídos substituindo os dados de sobreposição SD que são gerados na ação do usuário UA e processados por um processador P.

Outra aplicação para anular os parâmetros de animação de legenda como posição, retângulo de recorte, CLUTs e sub-CLUTs é a realização de algum tipo muito básico de jogo interativo. A legenda pode portar dados de pixel de um ca-ractere animado. Este caractere é subsequentemente movido na tela de exibição acionado ou por interação do usuário, controle programático ou ambos. A anulação dos parâmetros de animação de legenda pode ser implementada em pelo menos dois modos. A primeira opção é que os parâmetros de anulação SD substituem o envio de parâmetros DD no fluxo de bit. A segunda opção é que os parâmetros de anulação SD são usados como uma compensação que é adicionada ou subtraída do envio de parâmetros DD de animação de legenda no fluxo de bit.

Os PCS e RCS intensificados fornecem muito mais capacidades de animação não explicadas. A seguir é uma lista não-exaustiva de exemplos: caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação em detalhes .

Planos de vídeo e gráficos exemplares são mostrados na Fig. 8 de uma maneira esquemática exemplar. Uma base é fornecida ou por uma camada de vídeo de MPEG-2 MVL ou uma camada de imagem estática SPL. Elas são mutuamente exclusivas, que significa que ambas não necessitam ser mantidas em um buffer de cada vez. As próximas duas camadas compreendem uma camada de legenda SL e uma camada de gráficos do tipo de sincronização AV AVSGL. Estas duas camadas são neste exemplo alternáveis, significando que ou a camada de legenda SL ou a camada de gráficos do tipo de sincronização AV AVSGL pode ter prioridade uma sobre a outra. A camada frontal é uma camada de gráficos de sincronização não-AV NAVSGL, contendo gráficos que não necessitam ser sincronizados com o conteúdo AV, como e.g. menus ou outras exibições na tela. 0 método inventivo pode preferivelmente ser usado para a camada de legenda SL, a camada de gráficos de sincronização AV AVSGL e/ou a camada de gráficos de sincronização Não-AV NAVSGL.

Fig. 9 mostra os componentes relevantes de um aparelho para mistura e comutação de video e gráficos. Dados compreendendo quaisquer dados de imagem estática ou dados de video de MPEG-2, outros dados para legendas, dados para animações e dados para gráficos de sincronização não-AV como botões de menu, são recuperados de um disco D. Adicional ou alternativamente, dados para legendas, animações e/ou gráficos de sincronização de não-AV podem ser recebidos de uma rede NW, e.g. Internet. Uma unidade de processamento CPU processa os dados de gráficos de sincronização não-AV e envia os dados resultantes para um dispositivo de transmissão para gráficos de sincronização não-AV RNAVG. 0 aparelho contém um decodificador de imagem estática SPDec e um decodificador de video de MPEG-2 MVDec, mas uma vez que apenas um deles é usado de cada vez, um comuta-dor sl pode selecionar quais dados serão usados para outro processamento. Além disso, dois decodificadores idênticos AVSGDecl, AVSGDec2 são usados para decodificar os dados de legenda e animação. As saídas destes dois decodificadores AVSGDecl, AVSGDec2 podem ser comutadas por comutações independentes s2, s3 ou para um misturador MX ou para pré-processamento para um misturador e escalonador MXS, que produzem seus dados resultantes para o dito misturador MX. Estas duas unidades MX, MXS são usadas para executar a sobreposição de seus vários dados de entrada, desse modo contro- lando a ordem de exibição das camadas. 0 misturador MX tem entradas para uma camada frontal f2, uma camada frontal intermediária mf, uma camada posterior intermediária mb e uma camada de base b2. A camada frontal f2 pode ser nova, se o comutador correspondente s3 estiver em uma posição para conectar o segundo decodificador de gráficos de sincronização AV AVSGDec2 ao misturador e escalonador MXS. Esta unidade MXS tem entradas para a camada frontal fl, camada intermediária m e camada de base b. Ela sobrepõe estes dados correspondentemente e envia os dados de imagem resultante para a entrada de base b2 do misturador MX. Desse modo, estes dados representam e.g. uma estrutura compreendendo até três camadas de imagem e legendas, gue podem ser escaladas e movidas juntas dentro da imagem final. A entrada de base bl do misturador e escalonador MXS é conectada ao comutador SI acima mencionado, de forma que a base pode ser gerada de uma imagem estática ou um video de MPEG-2. A saída do primeiro decodificador de gráficos de sincronização AV AVSGDecl é conectada a um segundo comutador s2, que pode comutá-la para a entrada de camada intermediária m do misturador e escalonador ou para a entrada da camada posterior intermediária mb do misturador MX. A saída do segundo decodificador de gráficos de sincronização AV AVSGDec2 é conectada a um terceiro comutador s3, que pode comutá-la para a entrada de camada frontal fl do misturador e escalonador MXS ou para a entrada da camada frontal intermediária mf do misturador MX.

Dependendo das posições dos segundo e terceiro co- mutadores s2, s3, ou a saida do primeiro ou do segundo deco-dificador de gráficos de sincronização AV AVSGDecl, AVSGD2 pode ter prioridade uma sobre a outra, como descrito acima. Para ter os dados do primeiro decodificador AVSGDecl no primeiro plano, o segundo comutador s2 pode rotear os dados de legenda para a entrada posterior intermediária mb do misturador MX, enquanto o terceiro comutador s3 roteia os dados de gráficos de animação para a entrada frontal fl do misturador e escalonador MXS, de modo que termina na entrada de base b2 do misturador MX. Do contrário, para ter os dados do segundo decodificador AVSGDec2 no primeiro plano, os comuta-dores s2, s3 podem rotear suas saídas para a mesma unidade, ou o misturador e escalonador MXS ou o misturador MX, como mostrado na Fig. 9.

REIVINDICAÇÕES

Claims (8)

1. Método para composição de legendas para apresentações de áudio/video, em que os fluxos de dados contendo informação de video, áudio e de legenda são transferidos de um meio de armazenamento, como um disco, compreendendo as etapas de: recuperar do dito meio de armazenamento dados da camada de legenda, os dados da camada de legenda contendo elementos gráficos de legenda; CARACTERIZADO por extrair dos ditos dados da camada de legenda recuperados informação de recorte (RHC, RVC, RCH, RCW); e permitir o recorte das partes dos elementos de legenda a serem exibidas, em que as partes recortadas são definidas pela dita informação de recorte.

2. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as partes recortadas dos elementos de legenda são sincronizadas com a apresentação de áudio/video através de selos de tempo de apresentação.

3. Método de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que os dados da camada de legenda compreendem dados para uma primeira tabela de consulta de cores a ser usada dentro de uma sub-região das ditas partes recortadas das legendas, a sub-região sendo especificada por parâmetros (SCHA, SCVA, SCH, SCW) inclusos nos ditos dados da camada de legenda, e adicionalmente compreendem dados para uma segunda tabela de consulta de cores diferente a ser usada no restante da camada de legenda.

4. Método de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que um usuário pode interativamente mover, recortar ou destacar as legendas ou modificar as cores das legendas.

5. Aparelho para composição de legendas para apresentações de áudio/video, em que os fluxos de dados contendo informação de video, áudio e de legenda são transferidos de um meio de armazenamento, compreendendo um dispositivo para recuperar do dito meio de armazenamento dados da camada de legenda, em que os dados da camada de legenda contêm elementos gráficos de legenda; CARACTERIZADO por um dispositivo para extrair dos ditos dados da camada de legenda recuperados a informação de recorte (RHC, RVC, RCH, RCW); e um dispositivo para permitir recorte das partes dos elementos de legenda a serem exibidas, em que as partes recortadas são definidas pela dita informação de recorte.

6. Aparelho de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que adicionalmente compreende um dispositivo para sincronizar as partes recortadas das legendas para a apresentação de áudio/video através de selos de tempo de apresentação.

7. Aparelho de acordo com a reivindicação 5 ou 6, CARACTERIZADO pelo fato de que adicionalmente compreende um decodificador de legenda (ST-DEC) que é capaz de substituir os parâmetros de legenda predefinidos (DD) pelos outros parâmetros de legenda (SD) gerados sob ação do usuário, para interativamente modificar ou realçar as legendas.

8. Meio de armazenamento óptico, contendo dados para apresentação de áudio/video e dados para composição de legendas para a dita apresentação de áudio/video, em que os dados para composição de legendas contêm: dados representando elementos gráficos de legenda a serem renderizados em uma camada de legenda; e CARACTERIZADO por informação de recorte (RHC, RVC, RCH, RCW) definindo as partes dos elementos gráficos de legenda a serem recortadas antes de exibir as legendas compostas pelo método definido na reivindicação 1.