[go: up one dir, main page]

RU2291586C2 - Система и способ маскирования ошибок видеосигнала - Google Patents

Система и способ маскирования ошибок видеосигнала Download PDF

Info

Publication number
RU2291586C2
RU2291586C2 RU2004105598/09A RU2004105598A RU2291586C2 RU 2291586 C2 RU2291586 C2 RU 2291586C2 RU 2004105598/09 A RU2004105598/09 A RU 2004105598/09A RU 2004105598 A RU2004105598 A RU 2004105598A RU 2291586 C2 RU2291586 C2 RU 2291586C2
Authority
RU
Russia
Prior art keywords
macroblock
macroblocks
encoded
data
intra
Prior art date
Application number
RU2004105598/09A
Other languages
English (en)
Other versions
RU2004105598A (ru
Inventor
Майкл ГОРОВИТЦ (US)
Майкл Горовитц
Рик ФЛОТТ (US)
Рик Флотт
Original Assignee
Поликом, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Поликом, Инк. filed Critical Поликом, Инк.
Publication of RU2004105598A publication Critical patent/RU2004105598A/ru
Application granted granted Critical
Publication of RU2291586C2 publication Critical patent/RU2291586C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Radio Transmission System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

Изобретение относится, в основном, к видеосвязи и, более конкретно, к маскированию ошибок видеокадра. В одном варианте изобретения система и способ декодирует, упорядочивает и пакетирует видеоинформацию в пакеты видеоданных для передачи по линии связи с коммутируемыми каналами, благодаря чему система скрывает ошибки, вызванные потерей пакетов видеоданных, когда система получает, распаковывает, упорядочивает и декодирует пакеты данных. В другом варианте изобретения система и способ декодируют и пакетируют видеоинформацию таким образом, что смежные макроблоки не размещаются в одних и тех же пакетах данных. Кроме того, система и способ могут обеспечить информацию, сопровождающую пакеты видеоданных для облегчения процесса декодирования. Преимуществом такой схемы является то, что ошибки, возникающие из-за потери видеоданных, пространственно распределяются по всему видеокадру. Таким образом, если области данных, окружающие потерянные макроблоки, успешно декодированы, декодер может предсказать векторы движения и пространственное содержание с высокой степенью точности, что обеспечивает улучшенное качество изображения. 4 н. и 61 з.п. ф-лы, 10 ил.

Description

ССЫЛКА К ОТНЕСЕННОЙ ЗАЯВКЕ
Настоящая заявка имеет отношение к временной патентной заявке No.60/314413, зарегистрированный 23 августа 2001 года и озаглавленной "Система и способ для маскирования ошибок видеосигнала", которая включена здесь в качестве ссылки.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
1. Область техники
Настоящее изобретение относится, в основном, к видеосвязи и, более конкретно, к маскированию ошибок видеосигнала.
2. Предпосылки создания изобретения.
Видеоизображения становятся все более и более важной частью глобальной связи. В частности, видеоконференц-связь и видеотелефонная связь в настоящее время нашли широкое применение в настольной и комнатной видеоконференц-связи через Интернет и по телефонным линиям, для наблюдения и контроля, телемедицинской консультации и машинному обучению и тренировке специалистов. В каждом из этих применений видео и сопровождающая звуковая информация передается по телекоммуникационным сетям связи, включая телефонные линии, интегральные цифровые сети связи с комплексными услугами (ISDN), цифровые сети (DSL) и радиочастотные сети.
Стандартный видеоформат, используемый при видеоконференц-связи, представляет собой общий промежуточный формат (CIF), который является частью стандарта Н. 261 для видеоконференций Международного союза телекоммуникаций (ITU). Первичный формат CIF также известен как полный CIF или FCLF. Также были установлены дополнительные форматы с разрешением выше и ниже формата FCIF. Фиг. 1 представляет собой таблицу требований по разрешающей способности и скорости передачи данных для различных видеоформатов в соответствии с предположением, что требуются 12 битов на один пиксель согласно известным прототипам. Скорости передачи данных (в мегабитах в секунду, Мбит/с) показаны для несжатых цветных кадров.
В настоящее время эффективная передача и прием видеосигналов может потребовать кодирования и сжатия видеосигналов и соответствующих звуковых сигналов сопровождения.
Кодирование путем сжатия видеосигнала является одним из способов кодирования цифровой видеоинформации, поскольку он требует меньшего объема памяти для хранения видеоинформации и уменьшает требуемую ширину полосы передачи. Некоторые схемы сжатия/декомпрессии (кодирования-декодирования или процесс "КОДЕК") часто используются для сжатия видеокадров изображения, чтобы уменьшить требуемые скорости передачи данных. Таким образом, оборудование КОДЕК и соответствующая программа позволяют сжать цифровую видеоинформацию в меньший двоичный формат, чем это требуется для оригинала (т.е. несжатого цифрового видеоформата).
Существует несколько обычных подходов и стандартов к кодированию и сжатию исходных видеосигналов. Некоторые стандарты разработаны для конкретного применения типа JPEG (Объединенная группа экспертов в области фотографии) для неподвижных изображений, и стандарты Н. 261, Н. 263, MPEG (Экспертная группа по вопросам движущегося изображения), MPEG-2 и MPEG-4 также для движущихся изображений. В этих стандартах кодирования, как правило, используются компенсированные элементы изображения, основанные на компенсации движения 16×16, обычно называемые макроблоками. Макроблок представляет собой единицу информации, содержащую четыре блоков данных яркости 8×8 и двух блоков данных цветности 8×8 данных в соответствии со структурой выборки 4:2:0, где данные цветности подвыборки 2:1 в вертикальных и горизонтальных направлениях.
В качестве практичной меры, звуковые данные также должны быть сжаты, переданы и синхронизированы вместе с видеоинформацией. Синхронизация, мультиплексирование и выдача протокола выполняются по стандартам типа Н. 320 (конференц-видеосвязь на основе ISDN), H. 324 (телефонная видеосвязь на основе обычной телефонной сети) и Н. 323 (конференц-видеосвязь на основе местной сети или IP-телефонии) (или его предшественника, протокола X. 261), которые составляют видеокодирующую часть этих групп стандартов.
Схема оценки движения и схема компенсации представляют собой один обычный способ, используемый, как правило, для снижения требований по ширине полосы передачи для видеосигнала. Поскольку макроблок является основным модулем данных, оценка движения и схема компенсации может обеспечить сравнение данного макроблока в текущем видеокадре с окружающей областью данного макроблока в предварительно переданном видеокадре с целью найти соответствие данных. Как правило, согласованный макроблок в предварительно переданном видеокадре пространственно смещен от данного макроблока на величину меньше ширины данного макроблока. Если соответствие данных найдено, схема вычитает данный макроблок в текущем видеокадре из согласованного макроблока смещения в предварительно переданном видеокадре с тем, чтобы только разница (т.е. остаток) и пространственное смещение должны быть кодированы и переданы. Пространственное смещение обычно называется вектором движения. Если оценка движения и процесс компенсации выполнены правильно, остаточный макроблок должен содержать только количество информации, необходимой для описания данных, соответствующих пикселям, которые изменяются от предыдущего видеокадра до текущего видеокадра и вектора движения. Таким образом, области видеокадров, которые не изменяются (т.е. фон), не кодируются и не передаются.
Традиционно стандарт Н. 263 определяет, что векторы движения, используемые для оценки движения и компенсации движения, являются дифференциально кодированными. Хотя дифференциальное кодирование преобразует данные в количестве, требуемом для передачи, любая ошибка, при которой данные вектора движения в одном макроблоке потеряны или разрушены, негативно влияет на соседние макроблоки. В результате появляются ошибки из-за разрушенных данных, которые снижают качество видеоизображения.
При подготовке информации видеокадров для передачи их по сети связи с пакетной коммутацией схемы кодирования преобразуют информацию о видеокадрах, сжатых по оценке движения и по методике компенсации, в пакеты данных для передачи через сети связи.
Хотя пакеты данных позволяют повысить эффективность передачи, потерянные, разрушенные или задержанные пакеты данных могут также содержать ошибки, приводящие к ухудшению качества видеоизображения. Альтернативно, видеоинформация, может передаваться через гетерогенные системы связи, в которых конечные пункты связи соединены с сетью с коммутацией каналов, и используется межсетевой интерфейс или другое устройство с пакетной передачей через коммутируемую сеть.
В используемой в настоящее время практике потерянные или разрушенные пакеты данных часто снижают качество видеоизображения. Следовательно, существует потребность в системе и способе, которые организуют и передают пакеты данных с маскированием (сокрытием) ошибок, вызванных потерей пакета данных.
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Предлагаемые система и способ устраняют или в значительной степени уменьшают недостатки известных систем, связанные с потерей пакета видеоинформации. В целом, настоящее изобретение предлагает систему и способ, которые кодируют, переупорядочивают и пакетируют видеоинформацию для передачи через сети с коммутации каналов с возможностью маскирования ошибки видеосигналов, вызванной потерей пакета видеоинформации.
В примерном варианте изобретения видеосигналы кодируются в наборы макроблоков. Затем программа реорганизации макроблока присваивает целочисленные метки, называемые идентификаторами группы макроблоков (ИГМ) для каждого макроблока.
В одном примерном варианте соседние макроблоки, в основном, не обозначаются идентичными ИГМ. Затем устройство пакетирования макроблоков осуществляет пакетирование макроблоков таким образом, что макроблоки, имеющие идентичный ИГМ, пакетируются вместе. Для тех вариантов изобретения, в которых соседние макроблоки не имеют идентичной метки ИГМ, пространственно соседние макроблоки вместе не пакетируются. Кроме того, соответствующие данные, типа карты инфра-макроблоков, могут быть включены в заголовок изображения или передаются некоторым другим механизмом, чтобы облегчить соответствующий процесс декодирования.
В другом варианте изобретения, в котором устройство обработки изображения принимает пакеты данных, содержащие кодированные макроблоки, пакеты данных распаковываются, и кодированные макроблоки упорядочиваются и декодируются. В дополнительном варианте устройство обработки изображения распаковывает полученные пакеты данных и затем декодирует макроблоки в том порядке, в котором они были получены, чтобы уменьшить время обработки. Если потеряны один или несколько пакетов данных, используются данные, сопровождающие макроблоки успешно переданных пакетов данных, чтобы снизить неблагоприятный эффект потерянных пакетов данных. Используются различные способы, основанные на том, были ли потерянные макроблоки интра-кодированными или интер-кодированнымй для компенсации отсутствующих макроблоков. После компенсации видеосигнал может затем быть отображен на мониторе. В результате, настоящая система и способ обеспечивают маскирование ошибок видеосигнала, вытекающих из потери пакета данных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - таблица разрешающей способности и требования по скорости передачи данных для различных видеоформатов, в соответствии с известной областью техники.
Фиг. 2 - блок-схема примерной системы видеоконференц-связи, согласно настоящему изобретению.
Фиг. 3 - блок-схема примерной станции для видеоконференций системы, показанной на фиг. 2.
Фиг. 4 - блок-схема примерного варианта устройства обработки изображения, показанного на фиг. 3.
Фиг. 5 - примерная схема устройства записи шаблона макроблока для форматирования видеокадра по стандарту одного варианта формата CIF с уменьшенным вчетверо разрешением, где каждый номер ИГМ присваивается макроблоку в соответствующем пространственном местоположении.
фиг. 6 - примерная схема макроблока кадра формата CIF с уменьшенным вчетверо разрешением, как показано на фиг. 5, где пакет данных, содержащий кодированные данные макроблока для макроблоков с ИГМ = 5 потеряны.
Фиг. 7 - блок-схема двумерной схемы интерполяции с использованием данных, соответствующих пикселям, обнаруженных в соседних макроблоках, согласно одному варианту настоящего изобретения.
Фиг. 8 - примерная блок-схема соседних макроблоков, используемых для оценки вектора движения потерянного макроблока, m согласно настоящему изобретению.
Фиг. 9 - примерная блок-схема стадий способа для обработки видеоинформации согласно одному варианту настоящего изобретения.
Фиг. 10 - примерная блок-схема стадий способа для маскирования ошибок видеосигнала при приеме видеоинформации согласно настоящему изобретению.
ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Настоящее изобретение обеспечивает маскирование ошибок в видеосигналах из-за потери пакета данных. Настоящая система и способ основаны на существующих технологиях пакетирования макроблоков в гибком (т.е. не растровом) порядке в видеокадре. В отличие от существующих стандартов видеокодирования, макроблоки пакетируются в порядке, установленном в шаблоне переупорядочивания макроблока. Кроме того, векторы движения для каждого макроблока могут кодироваться не дифференциально. Эти усовершенствования направлены на уменьшение возмущений, вызванных потерей пакета данных через канал связи. Объем настоящего изобретения охватывает различные видеостандарты, включая, но не ограничиваясь этим, Н. 261, Н. 263, Н. 264, MPEG, MPEG-2 и MPEG-4.
На фиг. 2 показана примерная система видеоконференц-связи 200.
Система видеоконференц-связи 200 включает местную станцию для видеоконференций 202 и удаленную станцию видео для конференций 204, связанные между собой через сеть 206.
Хотя на фиг. 2 показаны только две станции для видеоконференций 202 и 204, специалисты в данной области понимают, что еще несколько станций для видеоконференций 202 могут быть подключены к системе видеоконференц-связи 200. Следует отметить, что настоящая система и способ могут быть использованы в любой системе связи, где передача видеоинформации осуществляется по сети. Сеть может быть любого типа электронной передачи мультимедийной среды, включая, но, не ограничиваясь этим, обычную телефонную сеть, обычный кабель, волоконно-оптические устройства и средства радиосвязи.
Фиг. 3 представляет собой блок-схему примерной станции видеоконференций 300. Для простоты, станции для видеоконференций 300, здесь будет описана местная станция для видеоконференций 202 (фиг. 2), хотя подобную конфигурацию может иметь и удаленная станции для видеоконференций 204 (фиг. 2). В одном варианте, станция для видеоконференций 300 включает дисплей 302, центральный процессор 304, память 306, по меньшей мере, одно устройство сбора видеоинформации 308, устройство обработки изображения 310 и интерфейс 312. Альтернативно, на станции для видеоконференций 300 могут быть установлены другие устройства или не все из вышеперечисленных устройств могут быть использованы. По меньшей мере, одно устройство сбора данных видеоизображений 308 может быть использовано как полупроводниковая светочувствительная матрица прибора с зарядовой связью, дополнительная камера структуры металл-окисел-полупроводник (CMOS) или любой другой тип прибора записи изображения.
В системе используется, по меньшей мере, одно устройство сбора данных видеоизображений 308, сбора данных пользователя, зала заседаний или других сцен, которые посылаются в устройство обработки изображения 310.
Как правило, устройство обработки изображения 310 преобразует видеоизображение в пакеты данных перед тем, как интерфейс 312 перешлет пакеты данных на удаленную станцию для видеоконференций 204. Устройство обработки изображения 310 будет обсуждено ниже более подробно со ссылкой на фиг. 4. С другой стороны, устройство обработки изображения 310 также преобразует пакеты данных, полученные от удаленной станции для видеоконференций 204, в видеосигнал, отображаемый на дисплее 302.
На фиг. 4 представлен примерный вариант устройства обработки изображения 310, показанного на фиг. 3. Устройство обработки изображения 310 включает устройство кодирования 402, устройство переупорядочивания макроблоков 404, устройство пакетирования макроблоков 406 и буфер связи 408. Первоначально видеосигнал от устройства сбора видеоинформации 308 (фиг. 3) вводится в устройство кодирования 402, который преобразует каждый видеокадр в желательный формат и преобразует каждый кадр видеосигнала в набор макроблоков. Макроблок представляет собой модуль данных, который содержит блоки данных, включающие компоненты яркости и цветности, связанные с элементами изображения (также именуемые пикселями). Например, в формате Н. 263 макроблок состоит из четырех блоков данных яркости 8×8 и двух соответствующих блоков цветности данных 8×8 в формате выборки сигнала цветности 4:2:0. Блок данных 8×8 имеет матрицу из восьми столбцов и восьми строк данных, где каждые данные соответствуют пикселю видеокадра. Макроблок, отформатированный сигналом цветности 4:2:0, содержит данные, имеющие секцию видеокадра из 16×16 пикселей.
Однако настоящее изобретение не ограничено традиционно определяемыми макроблоками, но может быть применено к любому модулю данных, содержащему данные яркости и/или цветности. Кроме того, в объем настоящего изобретения входят другие форматы выборки, например формат выборки сигнала цветности 4:2:2, содержащего четыре блока данных яркости 8×8 и четыре соответствующих блока цветности 8×8.
Данные или формат выборки сигнала цветности 4:4:4 содержат четыре блока данных яркости 8×8 и восемь соответствующих 8×8 блоков данных цветности.
Кроме того, устройство кодирования 402 кодирует (т.е. сжимает) каждый макроблок, чтобы уменьшить число битов, представляющих содержимое данных.
Каждый макроблок может быть "интра-кодирован" или "интер-кодирован", и кадр может быть составлен из любой комбинации интра-кодированных и интер-кодированных макроблоков.
Интер-кодированные макроблоки кодируются, используя временные подобия (т.е. подобия, которые существуют между макроблоком от одного кадра и точно согласованным макроблоком предыдущего кадра). Конкретно, данный интер-кодированный макроблок содержит кодированную разницу между данным макроблоком и точно согласованным макроблоком предыдущего видеокадра. Точно согласованный макроблок предыдущего видеокадра может содержать данные, связанные с пикселями, которые смещены по отношению к пикселям, соответствующих данному макроблоку.
С другой стороны, интра-кодированные макроблоки кодированы без использования информации от других видеокадров способом, подобным стандарту кодирования JPEG, используемому для отображения неподвижного изображения.
Например, чтобы определить, может ли данный макроблок быть кодирован как интер-кодированный макроблок, устройство кодирования 402 вычисляет разницу между данными данного макроблока текущего видеокадра с данными макроблока предыдущего видеокадра (называемым макроблоком смещения), когда разница может быть реализована, например, как среднеабсолютная погрешность или среднеквадратичная ошибка между данными, соответствующими пикселям, расположенным в совмещенных положениях в макроблоках. Для данного макроблока устройство кодирования 402 вычисляет ошибки для множества макроблоков смещения. Если устройство кодирования 402 находит только ошибки выше предопределенной пороговой величины разницы, то существенные подобия между данными от данного макроблока и данными от предыдущего кадра отсутствуют, и макроблок является интра-кодированным. Однако если найдена ошибка, меньше предопределенной пороговой величины для данного макроблока и данного макроблока смещения от предыдущего кадра, то данный макроблок является интер-кодированным.
Для интер-кодирования данного макроблока устройство кодирования 402 вычитает данные данного макроблока из данных макроблока смещения (т.е. данные яркости и цветности, связанные с пикселем данного макроблока, вычитаются из данных яркости и цветности, связанных с соответствующим пикселем макроблока смещения для каждого пикселя), чтобы получить данные разницы. Затем кодируют данные разницы, используя стандарт кодирования типа дискретного косинусного преобразования и методику квантования, определяют вектор смещения от данного макроблока до макроблока смещения (называемый вектором движения) и кодируют вектор движения.
Затем по стандартам видеокодирования, типа Н. 261 и Н. 263, находят, что векторы движения интер-кодированных макроблоков должны быть кодированы дифференциально, чтобы повысить эффективность кодирования. Однако дифференциальное кодирование приводит к тому, что ошибки, созданные потерянными или разрушенными данными вектора движения, распространяются на соседние макроблоки, которые в противном случае были бы декодированы без ошибок, поскольку кодированные данные вектора движения, связанные с данным макроблоком, не являются независимыми от данных вектора движения соседних макроблоков. Таким образом, влияние данных вектора движения данного макроблока пространственно не ограничено данным макроблоком. Однако если векторы движения каждого интер-кодированного макроблока не кодированы, то влияние данных вектора движения ограничено данным макроблоком, приводя к существенному увеличению устойчивости к внешним возмущениям. В большинстве случаев изменение в способе кодирования вектора движения от дифференциальной до недифференциальной методики приводит к небольшой потере в эффективности кодирования (как правило, менее нескольких процентов). Согласно одному варианту настоящего изобретения компоненты вектора движения, связанные с каждым интер-кодированным макроблоком, как правило, дифференциально не кодируются, в противоположность обычным способам.
В другом варианте изобретения устройство кодирования 402 может кодировать интра-кодируемые макроблоки кадра, используя механизм "общего восстановления". Механизм "общего восстановления" - детерминированный механизм, служащий для снятия рассогласования опорного кадра, называемого дрейфом данных, путем интра-кодирования определенного шаблона макроблоков для каждого кадра. В устройстве кодирования 402 используются макроблоки опорного кадра, как макроблоки смещения при декодировании интер-кодированных макроблоков текущего кадра. В одном варианте изобретения механизм "общего восстановления" применяется для интра-кодирования шаблона макроблоков, используя интервал целого числа w, выбранный из набора предопределенных целочисленных интервалов "общего восстановления". Например, если w = 47, то устройство кодирования 402 интра-кодирует каждый макроблок. Интервал общего восстановления может быть выбран на основании скорости передачи видеоинформации и частоты появления ошибок. Когда "восстановленные " интра-кодированные макроблоки поступают в устройство кодирования удаленной станции для видеоконференций 204 (фиг. 2), эти "восстановленные" данные заменяют соответствующие макроблоки от предыдущих кадров, которые могли быть разрушены из-за ошибок при передаче видеоинформации.
Любой макроблок, который может быть разрушен из-за ошибок при передаче видеоинформации (и не заменен) далее распространяется и может увеличить дрейф данных, когда в устройстве кодирования удаленной станции для видеоконференций 204 используются разрушенные макроблоки в качестве опорных макроблоков для декодирования других полученных макроблоков.
Таким образом, интра-кодированные макроблоки "общего восстановления" обеспечивают устройство кодирования удаленной станции для видеоконференций 204 "свежим" набором интра-кодированных макроблоков, которые можно использовать в качестве опорных макроблоков, уменьшая, таким образом, распространение дрейфа данных.
Кроме того, устройство кодирования 402 может формировать карту интра-макроблоков, которая определяет те макроблоки в видеокадре, которые интра-кодированы. После формирования карты интра-макроблоков устройство обработки изображения 310 посылает эту карту удаленной станции для видеоконференций 204. Карта может быть послана как часть поля заголовка изображения, связанного, например, с кодированным видеокадром, хотя могут быть использованы и другие поля.
В соответствии с настоящим изобретением устройство кодирования 402 может формировать карту интра-макроблоков двумя путями. В одном варианте изобретения в блоке кодирования 402 используется кодирование с переменной длиной строки, чтобы описать местоположения интра-кодированных макроблоков в пределах кадра. Кодирование с переменной длиной строки это методика, позволяющая уменьшить размер повторяющейся строки знаков. В другом варианте изобретения устройство кодирования 402 формирует растровое изображение, где каждый бит в растровом изображении соответствует одному макроблоку кадра. Величина бита определяет тип кодирования соответствующего макроблока. Например, в одном варианте изобретения бит "1" означает, что соответствующий макроблок интра-кодирован. В другом варианте изобретения бит " 1" означает, что соответствующий макроблок интер-кодирован. В настоящем изобретении могут быть использованы и другие способы формирования карты интра-макроблока.
В еще одном варианте изобретения устройство кодирования 402 выбирает способ кодирования карты интра-макроблока, в котором используется меньшее число битов. Например, при разрешении 352×288 пикселей (т.е. разрешение 352 пикселя по горизонтали на 288 пикселей по вертикали) видеокадр содержит 396 макроблоков, конфигурированных в виде матрицы макроблоков 22×18. Без включения любого требуемого дополнительного двоичного разряда растровый способ кодирования требует 396 битов (один бит для каждого макроблока). Таким образом, используются 396 битов, чтобы передать растровое изображение карты кодированного интра-макроблока, независимо от числа интра-кодированных макроблоков в пределах кадра формата FCIF. Напротив, число битов, используемых для передачи карты микроблоков, кодированной по длине строки, зависит от числа интра-кодированных макроблоков в кадре FCIF. Стоимость передачи карты интра-макроблока, кодированной по длине строки - восемь битов в интра-кодированном макроблоке (т.е. восемь битов на величину серии), где величина серии определяет местоположение интра-кодированного макроблока в пределах кадра FCIF. Следовательно, если кадр FCIF содержит n интра-кодированных макроблоков, то потребуются 8n битов, чтобы передать кодируемую по длине карту интра-макроблоков.
Таким образом, если кадр CIF содержит меньше 50 интра-кодированных макроблоков (n<50), то устройство кодирования источника 402 выбора способа кодирования с переменной длиной строки, т.е. устройство кодирования источника 402 выбирает кодирование по длине строки. Выбор способа кодирования карты интра-макроблока зависит от видеоформата, FCIF видеокадр которого является одним примером.
Затем кодированные макроблоки передаются устройству переупорядочивания макроблоков 404. Устройство переупорядочивания макроблоков 404 переупорядочивает кодированные макроблоки. Конкретно, каждому макроблоку присваивается идентификатор группы макроблоков (ИГМ) из множества ИГМ. В примерном варианте макроблоки пронумерованы до шести согласно примерному шаблону распределения макроблоков, показанному на фиг. 5 для кадра форматированного форматом CIF с уменьшенным вчетверо разрешением (QCIF), имеющим девять строк по одиннадцати макроблоков в строке. Максимум ИГМ называется максимальным идентификатором группы ИГМ. На фиг. 5 примерного варианта ИГМ = 6. Как показано на чертеже, ИГМ присваиваются так, чтобы свести к минимуму присвоение одного и того же ИГМ соседним макроблокам.
Альтернативно, тот же самый ИГМ может присваиваться другим шаблонам соседних макроблоков или в любом другом порядке.
Как будет обсуждено ниже со ссылкой на фиг. 6, распределение макроблоков таким образом, что соседним макроблокам не будет присвоен один и тот же ИГМ, в основном, сводит к минимуму концентрацию ошибок в одной области кадра, потому что макроблоки потерянного пакета данных пространственно распределены поперек кадра. Поскольку ошибки из-за потерянных пакетов не будут сконцентрированы в одной области кадра, потерянные данные, связанные с потерянными макроблоками, могут быть более точно восстановлены благодаря использованию данных из соседних макроблоков. Иными словами, пространственная интерполяция данных из соседних макроблоков или оценка векторов движения макроблока будет более точно определена, если потеря данных в пределах кадра пространственно не ограничена.
В блоке кодирования 402 (фиг. 4) устройства обработки изображения 310 (фиг. 3) удаленной станции для видеоконференций 204 (фиг. 2) могут использоваться различные способы маскирования ошибок совместно с переупорядочением макроблоков, чтобы улучшить качество видеоизображения. Например, в одном варианте изобретения устройство кодирования 402 декодирует соседние макроблоки потерянного интер-кодированного макроблока, оценивает вектор движения потерянного макроблока и затем использует оцененный вектор движения, чтобы восстановить данные потерянного макроблока.
В другом варианте изобретения устройство кодирования 402 может декодировать соседние макроблоки потерянного интра-кодированного макроблока и пространственно интерполировать декодированные данные соседних макроблоков, чтобы восстановить потерянные данные. Объем настоящего изобретения охватывает и другие методы маскирование ошибок, используемые в сочетании с переупорядочением макроблока, чтобы улучшить качество видеоизображения из-за потерянных или разрушенных макроблоков.
В соответствии с настоящим изобретением могут использоваться и другие переупорядочивающие шаблоны и ИГМ. В одном варианте изобретения, устройство переупорядочивания макроблоков 404 работает на основе выбора MGID, основанного на оценке видеоинформации и/или видеоформата.
Как показано на фиг. 4, после того, как макроблокам были присвоены ИГМ, устройство пакетирования макроблоков 406 размещает макроблоки в пакеты дискретных данных согласно их ИГМ. Таким образом, макроблоки с тем же самым ИГМ (т.е. ИГМ = 1) будут помещены в общий пакет дискретных данных (т.е. пакет данных 1). На фиг. 5 представлен примерный вариант изобретения, в котором устройство пакетирования 406 размещает макроблоки в шесть пакетов данных в кадре формата QCIF. Однако устройство пакетирования 406 может использовать больше одного пакета данных с данным ИГМ, чтобы транспортировать макроблоки с этим конкретным ИГМ. Например, устройство пакетирования 406 может создавать первый пакет данных 1, содержащий часть макроблоков с ИГМ = 1, и второй пакет данных 1, содержащий остаток макроблоков с ИГМ = 1. Разбиение пакетов этим способом, как правило, зависит от максимального размера переносимого модуля (МРМ), связанного с сетью 206 (фиг. 2).
Далее пакеты данных и заголовок изображения передаются в буфер связи 408 для передачи через сеть 206 (фиг. 2) с помощью интерфейса 312 (фиг. 3). Чтобы повысить устойчивость против потери пакета, заголовок изображения может передаваться более одного раза на кадр. Заголовок изображения может включать карту интра-макроблоков.
Кроме того, устройство обработки изображения 310 также обрабатывает пакеты - видеоинформации, полученные от удаленной станции и обеспечивает видеосигналы для дисплея. Сначала пакеты видеоинформации поступают на интерфейс 312 (фиг. 3) и затем передаются на буфер связи 408. Затем пакеты видеоинформации передаются на устройство пакетирования макроблоков 406, которое распаковывает макроблоки. После этого устройство переупорядочивания макроблоков 404 встраивает макроблоки в их первоначальный упорядоченный шаблон (т.е. шаблон до переупорядочения макроблока на удаленной станции для видеоконференций 204, который, как правило, выполняется растровым сканированием (фиг. 2)).
После этого устройство кодирования 402 работает, как декодер и определяют, был ли пакет видеоинформации потерян при передаче через сеть 206. На фиг. 6 представлена схема переупорядочивания шаблона макроблока кадра QCIF, показанного на фиг. 5, когда потерян пакет данных, содержащий кодированные данные макроблока для макроблоков с ИГМ = 5. Потерянные макроблоки отмечены символом "x". Следует отметить, что в одном варианте изобретения потерянные макроблоки преимущественно пространственно распределены поперек кадра QCIF, обеспечивая, таким образом, точный и достаточно простой способ маскирования ошибок, используя такие операции, как пространственная интерполяция или оценка вектора движения и компенсацию. Хотя для удобства обсуждения на фиг. 6 показан только один утерянный пакет данных, объем настоящего изобретения включает маскирование ошибок при любом числе пакетов данных, которые разрушены или потеряны при передаче. Кроме того, следует отметить, что хотя здесь описаны одни и те же компоненты, которые осуществляют функции приема и передачи, эти компоненты могут быть выполнены как отдельные приемники и передатчики.
Как показано на фиг. 4, для каждого потерянного макроблока устройство кодирования 402 определяет, является ли потерянный макроблок интра-кодированным или интер-кодированным.
Например, устройство кодирования 402 может проверить карту интра-макроблоков, чтобы определить, является ли потерянный макроблок интра-кодированным. Как упомянуто выше, карта интра-макроблоков может быть введена в поля заголовка изображения или как дополнительная информация, переданная вне видеопотока и может быть сжата, используя алгоритм кодирования с переменной длиной строки, с конфиг.цией растрового изображения, который опознает интра-кодированные макроблоки, или используя другие эффективные способы кодирования.
Если потерянные макроблоки являются интра-кодированными, то можно использовать несколько способов маскирования ошибок. Если, например, потерянный макроблок интра-кодирован, как часть механизма "общего восстановления", устройство кодирования 402 заменяет потерянный макроблок содержанием "соответствующего" макроблока предыдущего кадра, где два "соответствующих" макроблока покрывают ту же самую пространственную область их кадров. Согласно настоящему изобретению скорость очистки механизма "общего восстановления" является функцией скорости передачи данных и частоты появления ошибок.
Альтернативно, если потерянный интра-кодированный макроблок не кодирован как часть механизма "общего восстановления", то устройство кодирования 402 пространственно интерполирует содержание потерянного макроблока из соседних макроблоков. В одном варианте изобретения каждый блок 8х8 потерянного макроблока пространственно интерполируется из двух самых близких соседних макроблоков. На фиг. 7 показана примерная схема интерполяции, используя данные, связанные с пикселями, расположенными в соседних макроблоках. Фиг. 7 включает потерянный макроблок 705, левый смежный макроблок 710, верхний смежный макроблок 715 и правый смежный макроблок 720. Например, для восстановления (т.е. интерполяции) данных для верхнего левого блока 8×8 725 потерянного макроблока 16×16, устройство кодирования 402 (фиг. 4) интерполирует данные в последнем столбце данных 730 (обозначенных символами ×) из верхнего правого блока 8×8 735 левого смежного макроблока 710, и данных в последней строке данных 740 (обозначенной символами ×) из нижнего левого блока 8×8 745 верхнего смежного макроблока 715.
Точно так же, для восстановления данных для верхнего правого блока 8×8 потерянного макроблока 705 устройство кодирования 402 интерполирует данные в первом столбце данных 755 верхнего левого блока 8×8 верхнего правого смежного макроблока 760 правого смежного макроблока 720 и данные в последней строке данных 765 нижнего правого блока 770 верхнего смежного макроблока 715. Могут быть использованы другие виды интерполяции и другие блоки соседних макроблоков, не выходя за рамки настоящего изобретения.
Если потерянный макроблок интер-кодирован, то устройство кодирования 402 вычисляет и оценивает вектор движения потерянного макроблока, проверяя векторы движения соседних макроблоков. На фиг. 8 представлена блок-схема соседних макроблоков, используемых для оценки вектора движения потерянного макроблока m, согласно одному варианту настоящего изобретения. Для потерянного макроблока m вычисляется медиана векторов движения трех соседних макроблоков a, b и с.
Например,
компонента x оцененного вектора движения макроблока m - MVmX = медиана (MVaX, MVbX, MVCx) и компонента у оцененного вектора движения макроблока m - isMVmy = медиана (MVaY, MVby, y), где MVaX, MVbX, MV'X - компоненты х векторов движения макроблоков а, b и с, соответственно, a MVay, MVby MVy - компоненты у векторов движения макроблоков а, b и с, соответственно. Хотя в вариантах на фиг. 8 используются векторы движения соседних макроблоков а, b и с, чтобы вычислить оцененный вектор движения для макроблока m, можно использовать любое число и любую комбинацию соседних макроблоков для оценки вектора движения потерянного макроблока.
После того как оценен вектор движения потерянного макроблока, устройство кодирования 402 (фиг. 4) компенсирует потерянный макроблок, используя оцененный вектор движения, чтобы восстановить содержание данных потерянного макроблока. После того как восстановлено содержание данных всех потерянных макроблоков данного кадра, устройство кодирования 402 преобразует макроблоки в видеосигнал для отображения на дисплее устройства отображения 302 (фиг. 3). Хотя на фиг. 4 показан только один потерянный пакет данных, настоящее изобретение может быть использовано для маскирования ошибок с множеством потерянных пакетов данных.
На фиг. 9 представлена примерная блок-схема 900 стадий способа для маскирования ошибок видеосигнала при передаче пакетов видеоинформации по коммутируемым сетям, согласно одному варианту настоящего изобретения. На стадии 905 устройство сбора видеоинформации 308 (фиг. 3) захватывает видеоизображение и формирует видеосигнал.
Затем, на стадии 910, устройство кодирования 402 (фиг. 4) (также называемое "кодер" при обработке данных для передачи) принимает видеосигнал и преобразует видеосигнал в один или несколько интра-кодированных и интер-кодированных макроблоков. Видеокадр может содержать интер-кодированные макроблоки, интра-кодированные макроблоки или любую комбинацию интра-кодированных и интер-кодированных макроблоков. В одном варианте изобретения механизм "общего восстановления" применяется к шаблону интра-кода макроблоков, использующих интервал общего восстановления, выбранный из набора предопределенных интервалов общего восстановления. Интервал общего восстановления может быть выбран на основе скорости передачи информации и частоты повторения ошибок. Кроме того, устройство кодирования 402 вычисляет не дифференциально кодированный вектор движения для каждого интер-кодированного макроблока.
Затем, на стадии 915, устройство кодирования 402 формирует карту интра-макроблоков, которая определяет местоположения интра-кодированных макроблоков.
В одном варианте настоящего изобретения карта интра-макроблоков кодируется, используя либо способ кодирования с переменной длиной строки, либо растровый способ кодирования, основанный на общем количестве битов, требуемых для кодирования карты интра-макроблоков.
После этого устройство переупорядочивания макроблоков 404 (фиг. 4) на стадии 920 присваивает каждому макроблоку ИГМ. Например, макроблокам может быть присвоен ИГМ в шаблоне, как показано на фиг. 5. В одном варианте макроблокам присваиваются различные ИГМ, чтобы свести к минимуму число соседних макроблоков, которым присвоен один и тот же ИГМ. Альтернативно, могут рассматриваться другие варианты, когда соседним макроблокам присваивается тот же самый ИГМ.
Затем устройство пакетирования макроблоков 406 (фиг. 4) создает пакеты дискретных данных и размещает макроблоки в пакетах дискретных данных согласно их ИГМ на стадии 925. Например, макроблоки с тем же самым ИГМ могут быть помещены в общий пакет дискретных данных.
Альтернативно, устройство пакетирования макроблоков 406 может быть устройством передачи данных, которое переводит макроблоки в определенный формат для передачи через сеть с коммутацией каналов. Наконец, на стадии 930, пакеты данных и заголовок изображения (включая карту интра-макроблоков) передаются в буфер связи 408 (фиг. 4) для передачи на удаленную станцию для видеоконференций 204 (фиг. 2).
На фиг. 10 представлена примерная блок-схема, иллюстрирующая стадии выполнения способа для маскирования ошибок видеосигнала при приеме видеоинформации, согласно настоящему изобретению. На стадии 1005 буфер связи 408 (фиг. 4) принимает пакеты данных, переданные от удаленной станции для видеоконференций 204 (фиг. 2) через сеть 206 (фиг. 2). Затем, на стадии 1010, устройство пакетирования макроблоков 406 (фиг. 4) распаковывает полученные пакеты данных в макроблоки.
После этого, на стадии 1015, устройство переупорядочивания макроблоков 404 (фиг. 4) упорядочивает макроблоки и размещает макроблоки в надлежащую пространственную конфиг.цию в рамках видеокадра.
Затем устройство кодирования 402 (фиг. 4) декодирует макроблоки на стадии 1020. Устройство кодирования 402 (функционирующее как декодер) или некоторый другой механизм, связанный с пакетом видеоинформации, преобразует (т.е. обрабатывает данные в реальном времени), и на стадии 1025 определяет, отсутствуют ли какие-либо макроблоки, содержащие видеокадр. Макроблоки потеряны, если один или большее количество пакетов видеоинформации потеряны или разрушены при передаче пакетов видеоинформации по сети 206. Если на стадии 1025 определено, что никакие макроблоков не потеряны, то на стадии 1030 макроблоки отображаются устройством отображения 302 (фиг. 3).
Однако если на стадии 1025 определяется, что один или несколько макроблоков отсутствует, то данные, связанные с одним или несколькими потерянными макроблоками, на стадии 1035 восстанавливаются в зависимости от типа кодирования макроблоков. Устройство кодирования 402 может использовать карту интра-макроблоков, чтобы определить тип кодирования каждого потерянного макроблока.
Например, если потерянный макроблок интра-кодирован как часть механизма "общего восстановления", то устройство кодирования 402 заменяет содержание потерянного макроблока содержанием данных соответствующего макроблока предыдущего кадра. Альтернативно, если потерянный интра-кодированный макроблок не кодирован как часть механизма "общего восстановления", то содержание потерянного макроблока пространственно интерполируется из ближайших соседних макроблоков. В одном варианте настоящего изобретения в устройстве кодирования 402 используется двухмерная интерполяция, чтобы интерполировать данные из соседних макроблоков (фиг. 7).
Альтернативно, если потерянный макроблок интер-кодирован, то устройство кодирования 402 оценивает вектор движения потерянного макроблока, проверяя векторы движения соседних макроблоков. В одном варианте изобретения вектор движения вычисляется как медиана трех векторов движения соседних макроблоков (фиг. 8). Устройство кодирования 402 затем использует оцененный вектор движения для компенсации содержания данных потерянного макроблока путем пересмотра оценки содержания данных потерянного макроблока.
После восстановления содержания данных потерянных макроблоков эти макроблоки отображаются на дисплее устройством отображения 302 на стадии 1025.
Изобретение описано выше на примерных вариантах. Для специалистов в данной области очевидно, что могут быть выполнены различные модификации изобретения без выхода из духа и объема изобретения. Кроме того, хотя изобретение было описано в контексте его выполнения в конкретной обстановке и для конкретных областей применения, специалисты в данной области понимают, что полезность настоящего изобретения не ограничена этими применениями, и что изобретение может быть использовано в любом оборудовании и в разных областях применения. Соответственно, вышеприведенное описание и чертежи должны рассматриваться скорее в иллюстративном, чем ограничительном смысле.

Claims (65)

1. Система для обработки видеоинформации, содержащая устройство кодирования для обработки каждого кадра видеосигнала для формирования макроблоков и для кодирования этих макроблоков; устройство переупорядочивания макроблоков для присваивания идентификатора группы макроблоков (ИГМ) из множества ИГМ каждому кодированному макроблоку и устройство пакетирования макроблоков для размещения каждого из кодированных макроблоков в конкретный пакет данных согласно ИГМ макроблока.
2. Система по п.1, в которой устройство переупорядочивания макроблоков присваивает различные ИГМ соседним кодированным макроблокам.
3. Система по п.1, в которой устройство кодирования формирует недифференциально кодированные векторы движения для каждого из кодированных макроблоков, который является интеркодированным макроблоком.
4. Система по п.1, в которой устройство пакетирования макроблоков размещает кодированные макроблоки с различивши присвоенными ИГМ в различные пакеты данных.
5. Система по п.1, в которой ИГМ имеет величину от 1 до максимального идентификатора группы (МИГМ).
6. Система по п.5, в которой устройство переупорядочивания макроблоков определяет МИГМ на основе скорости передачи видеоинформации.
7. Система по п.5, в которой устройство переупорядочивания макроблоков определяет МИГМ на основе видеоформата.
8. Система по п.1, в которой устройство кодирования кодирует данный макроблок текущего кадра как интра-кодированный макроблок, если имеется существенная разница между данными данного макроблока текущего кадра и данными наиболее согласованного макроблока смещения предыдущего кадра.
9. Система по п.1, в которой устройство кодирования кодирует данный макроблок текущего кадра как интер-кодированный макроблок, если имеют место существенные подобия между данными данного макроблока текущего кадра и данными наиболее согласованного макроблока смещения предыдущего кадра.
10. Система по п.1, в которой устройство кодирования дополнительно формирует карту интра-макроблоков определяющую интра-кодированные макроблоки в данном кадре.
11. Система по п.10, в которой устройство кодирования кодирует карту интра-макроблоков путем выбора способа кодирования карты интра-макроблоков, который формирует наименьшее количество битов.
12. Система по п.10, в которой устройство использует кодирование с переменной длиной строки, чтобы кодировать карту интра-макроблоков.
13. Система по п.10, в которой устройство кодирования использует растровое изображение, чтобы кодировать карту интра-макроблоков.
14. Система по п.1, в которой устройство пакетирования макроблоков приемного устройства распаковывает кодированные макроблоки.
15. Система по п.1, в которой устройство переупорядочивания макроблоков приемного устройства упорядочивает кодированные макроблоки.
16. Система по п.1, в которой устройство кодирования приемного устройства декодирует кодированные макроблоки и обнаруживает потерянные декодированные макроблоки.
17. Система по п.16, в которой устройство кодирования приемного устройства пространственно интерполирует данные данного потерянного декодированного макроблока из данных соседних декодированных макроблоков для маскирования влияния ошибок видеосигнала, если данное потерянный декодированный макроблок был кодирован как интра-кодированный макроблок.
18. Система по п.16, в которой устройство кодирования приемного устройства оценивает вектор движения данного потерянного декодированного макроблока на основе векторов движения соседних декодированных макроблоков, чтобы восстановить содержание данных данного потерянного декодированного макроблока через компенсацию движения для маскирования влияния ошибок видеосигнала, если данный потерянный декодированный макроблок был кодирован как интер-кодированный макроблок.
19. Система по п.1, в которой устройство пакетирования макроблоков является устройством передачи для размещения каждого из кодированных макроблоков в соответствии с ИГМ в конкретный формат для последующей передачи через сети с коммутацией каналов.
20. Способ для обработки видеоинформации, включающий следующие стадии:
обработка каждого кадра видеосигнала для формирования макроблоков; кодирование макроблоков; присваивание каждому кодированному макроблоку идентификатора группы микроблоков (ИГМ) из множества ИГМ и размещение каждого из кодированных макроблоков в конкретный пакет данных в соответствии с ИГМ.
21. Способ по п.20, в котором стадия присваивания дополнительно содержит стадию присваивания различных ИГМ соседним кодированным макроблокам.
22. Способ по п.20, дополнительно содержащий стадию формирования недифференциально кодированных векторов движения для каждого из кодированных макроблоков, который является интер-кодированным макроблоком.
23. Способ по п.20, в котором стадия размещения дополнительно содержит стадию размещения кодированных макроблоков с различным присвоенными ИГМ в различные пакеты данных.
24. Способ по п.20, в котором ИГМ имеет величину от 1 до максимального идентификатора группы (МИГМ).
25. Способ по п.23, дополнительно содержащий стадию определения МИГМ на основе скорости передачи видеоинформации.
26. Способ по п.23, дополнительно содержащий стадию определения МИГМ на основе формата видеосигнала.
27. Способ по п.20, в котором стадия кодирования дополнительно содержит стадию кодирования данного макроблока текущего кадра как интра-кодированного макроблока, если имеется существенная разница между данными данного макроблока текущего кадра и данными наиболее согласованного смещения макроблока предыдущего кадра.
28. Способ по п.20, в котором стадия кодирования дополнительно содержит стадию кодирования данного макроблока текущего кадра как интер-кодированного макроблока, если имеются существенные подобия между данными данного макроблока текущего кадра и данными наиболее согласованного смещения макроблока предыдущего кадра.
29. Способ по п.20, дополнительно содержащий стадию формирования карты интра-макроблоков, идентифицирующей интра-кодированные макроблоки в данном кадре.
30. Способ по п.29, дополнительно содержащий стадию выбора способа кодирования карты интра-макроблоков, который формирует наименьшее число битов.
31. Способ по п.29, дополнительно содержащий стадию использования кодирования с переменной длиной строки, чтобы кодировать карту интра-макроблоков.
32. Способ по п.29, дополнительно содержащий стадию использования растра, чтобы кодировать карту интра-макроблоков.
33. Способ по п.20, дополнительно содержащий стадию распаковки кодированных макроблоков.
34. Способ по п.20, дополнительно содержащий стадию упорядочения кодированных макроблоков.
35. Способ по п.20, дополнительно содержащий стадии декодирования кодированных макроблоков и обнаружения потерянных декодированных макроблоков.
36. Способ по п.35, дополнительно содержащий стадию пространственной интерполяции данных данного потерянного декодированного макроблока из данных соседних декодированных макроблоков для маскирования влияния ошибок видеосигнала, если данный потерянный декодированный макроблок был кодирован как интра-кодированный макроблок.
37. Способ по п.35, дополнительно содержащий стадию оценки вектора движения данного потерянного декодированного макроблока на основе векторов движения соседних декодированных макроблоков, чтобы восстановить содержание данных данного потерянного декодированного макроблока посредством компенсации движения для маскирования влияния ошибок видеосигнала, если данный потерянный декодированный макроблок был кодирован как интер-кодированный макроблок.
38. Способ по п.20, в котором стадия размещения дополнительно содержит стадию ввода каждого из кодированных макроблоков в соответствии с ИГМ в конкретный формат длл передачи по сети с коммутацией каналов.
39. Система для обработки видеоинформации, содержащая:
устройство распаковки макроблоков, предназначенное для приема множества пакетов данных, при этом каждый пакет содержит множество макроблоков, имеющих идентификатор группы макроблока (ИГМ), указанное устройство также предназначено для извлечения макроблоков из пакетов;
устройство переупорядочения макроблоков, предназначенное для переупорядочения извлеченных макроблоков в предопределенном порядке; и
устройство декодирования, предназначенное для обработки переупорядоченных макроблоков и их преобразования в видеосигнал.
40. Система по п.39, в которой предопределенный порядок представляет собой порядок растрового сканирования.
41. Система по п.39, в которой множество пакетов данных включает недифференциально кодированные векторы движения для каждого из кодированных макроблоков, который является интер-кодированным макроблоком.
42. Система по п.39, в которой каждый пакет содержит макроблоки, имеющие общий ИГМ.
43. Система по п.1, в которой диапазон ИГМ лежит в пределах от 1 до максимального идентификатора группы (МИГМ).
44. Система по п.43, в которой МИГМ соответствует скорости передачи видеоинформации.
45. Система по п.43, в которой МИГМ соответствует видеоформату.
46. Система по п.39, в которой множество пакетов данных включает карту интра-макроблоков, определяющую интра-макроблоки в данном кадре.
47. Система по п.46, в которой карта интра-макроблоков кодирована, используя кодирование с переменной длиной строки.
48. Система по п.46, в которой карта интра-макроблоков кодирована, используя растровое отображение.
49. Система по п.46, в которой устройство декодирования определяет, кодирована ли карта интрамакроблоков, используя кодирование с переменной длиной строки или растровое отображение, и обрабатывает макроблоки соответствующим образом.
50. Система по п.39, в которой устройство декодирования макроблоков обнаруживает макроблоки, выпавшие из переупорядоченных макроблоков, и восстанавливает утерянные данные.
51. Система по п.50, в которой устройство декодирования пространственно интерполирует данные из данного утерянного макроблока из данных соседних декодированных макроблоков, если данный потерянный макроблок был кодирован как интра-кодированный макроблок.
52. Система по п.50, в которой устройство декодирования оценивает вектор движения данного утерянного макроблока на основании векторов движения соседних декодированных макроблоков, чтобы восстановить содержание данных данного утерянного макроблока путем компенсации движения, если данный утерянный декодированный макроблок был кодирован как интер-кодированный макроблок.
53. Способ для обработки видеоинформации, содержащий следующие стадии:
получение множества пакетов данных, в которых каждый пакет данных содержит множество макроблоков, при этом каждый макроблок имеет идентификатор группы макроблоков (ИГМ);
распаковку кодированных макроблоков;
переупорядочение полученных макроблоков в предопределенном порядке, отличном от порядка, в котором они были получены; и
декодирование переупорядоченных макроблоков для формирования видеосигнала.
54. Способ по п.53, в котором предопределенный порядок представляет собой порядок растрового сканирования.
55. Способ по п.53, в котором множество пакетов данных содержит недиференциально кодированные векторы движения для каждого из кодированных макроблоков, который является интер-кодированным макроблоком.
56. Способ по п.53, в котором макроблоки в конкретном пакете данных имеют общий ИГМ.
57. Способ по п.53, в котором диапазон ИГМ диапазон ИГМ лежит в пределах от 1 до максимального идентификатора группы (МИГМ).
58. Способ по п.57, в котором МИГМ соответствует скорости передачи видеоинформации.
59. Способ по п.57, в котором МИГМ соответствует видеоформату.
60. Способ по п.53, в котором множество пакетов данных содержит карту интра-макроблоков, определяющую интра-макроблоки в данном кадре.
61. Способ по п.60, в котором карта интра-макроблоков кодирована, используя кодирование с переменной длиной строки.
62. Способ по п.60, в котором карта интра-макроблоков кодирована, используя растровое отображение.
63. Способ по п.53, дополнительно включающий стадию обнаружения утерянных макроблоков.
64. Способ по п.63, дополнительно включающий стадию пространственной интерполяции данных данного утерянного макроблока из данных соседних декодированных макроблоков, если данный утерянный макроблок был кодирован как интра-кодированный макроблок.
65. Способ по п.63, дополнительно включающий стадию оценки вектора движения данного утерянного макроблока на основании векторов движения соседних макроблоков, чтобы восстановить содержание данных данного утерянного макроблока путем компенсации движения, если данный потерянный макроблок был кодирован как интер-кодированный макроблок.
RU2004105598/09A 2001-08-23 2002-08-23 Система и способ маскирования ошибок видеосигнала RU2291586C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US31441301P 2001-08-23 2001-08-23
US60/314,413 2001-08-23

Publications (2)

Publication Number Publication Date
RU2004105598A RU2004105598A (ru) 2005-07-20
RU2291586C2 true RU2291586C2 (ru) 2007-01-10

Family

ID=23219857

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2004105598/09A RU2291586C2 (ru) 2001-08-23 2002-08-23 Система и способ маскирования ошибок видеосигнала

Country Status (15)

Country Link
US (2) US7239662B2 (ru)
EP (1) EP1421787A4 (ru)
JP (2) JP4881543B2 (ru)
KR (1) KR100691307B1 (ru)
CN (1) CN100581238C (ru)
AU (1) AU2002326713B2 (ru)
BR (2) BR0212000A (ru)
CA (1) CA2457882C (ru)
IL (2) IL160476A0 (ru)
MX (1) MXPA04001656A (ru)
NO (2) NO339116B1 (ru)
NZ (1) NZ531863A (ru)
RU (1) RU2291586C2 (ru)
WO (1) WO2003019939A1 (ru)
ZA (1) ZA200401377B (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2485592C1 (ru) * 2012-03-07 2013-06-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ формирования целочисленных неортогональных декоррелирующих матриц заданных размеров и устройство для его осуществления
RU2496156C2 (ru) * 2008-03-28 2013-10-20 Франс Телеком Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
WO2003061284A1 (en) * 2001-12-21 2003-07-24 Polycom, Inc. Motion wake identification and control mechanism
MXPA05007444A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Ocultamiento de error espacial con base en los modos de intra-prediccion transmitidos en una corriente codificada.
WO2004063853A2 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Technique for defining concealment order to minimize error propagation
US7827458B1 (en) 2003-03-03 2010-11-02 Apple Inc. Packet loss error recovery
US7817716B2 (en) * 2003-05-29 2010-10-19 Lsi Corporation Method and/or apparatus for analyzing the content of a surveillance image
US8705613B2 (en) * 2003-06-26 2014-04-22 Sony Corporation Adaptive joint source channel coding
US7826526B2 (en) * 2003-10-20 2010-11-02 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US8582640B2 (en) * 2003-12-16 2013-11-12 Sony Corporation Adaptive joint source channel coding
US20050281339A1 (en) * 2004-06-22 2005-12-22 Samsung Electronics Co., Ltd. Filtering method of audio-visual codec and filtering apparatus
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
JP2006060813A (ja) * 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US7543064B2 (en) * 2004-09-30 2009-06-02 Logitech Europe S.A. Multiplayer peer-to-peer connection across firewalls and network address translators using a single local port on the local host
US7463755B2 (en) * 2004-10-10 2008-12-09 Qisda Corporation Method for correcting motion vector errors caused by camera panning
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
US7738468B2 (en) * 2005-03-22 2010-06-15 Logitech Europe S.A. Method and apparatus for packet traversal of a network address translation device
CN101485202B (zh) * 2005-05-11 2013-10-30 高通股份有限公司 一种用于统一的错误隐匿框架的方法及设备
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
US9055298B2 (en) 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US9516326B1 (en) 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
US9794593B1 (en) * 2005-12-09 2017-10-17 Nvidia Corporation Video decoder architecture for processing out-of-order macro-blocks of a video stream
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US9247260B1 (en) * 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
CN101202923B (zh) * 2006-12-15 2010-09-01 扬智科技股份有限公司 影像解码器的码流错误侦测方法
CN101513074B (zh) * 2006-12-27 2011-07-06 松下电器产业株式会社 运动图像解码装置
WO2008092104A2 (en) * 2007-01-25 2008-07-31 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
US7957307B2 (en) * 2007-03-14 2011-06-07 Microsoft Corporation Reducing effects of packet loss in video transmissions
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
US8582656B2 (en) 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
US8605779B2 (en) 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
DE102007058033A1 (de) * 2007-11-30 2009-06-04 Paterok, Peter, Dr. Verfahren und Vorrichtung zur verbesserten Videoausgabe
US20100104003A1 (en) * 2008-10-24 2010-04-29 Manufacturing Resources International Inc. System and method for securely transmitting video data
US9812047B2 (en) 2010-02-25 2017-11-07 Manufacturing Resources International, Inc. System and method for remotely monitoring the operating life of electronic displays
US8648858B1 (en) 2009-03-25 2014-02-11 Skyfire Labs, Inc. Hybrid text and image based encoding
CN102036061B (zh) 2009-09-30 2012-11-21 华为技术有限公司 视频数据传输处理、发送处理方法、装置和网络系统
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
JP5485851B2 (ja) * 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US9542611B1 (en) * 2011-08-11 2017-01-10 Harmonic, Inc. Logo detection for macroblock-based video processing
CN103179468B (zh) * 2011-12-22 2018-03-30 海尔集团公司 多媒体数据传输装置、系统及方法
GB2499831B (en) * 2012-03-02 2015-08-05 Canon Kk Method and device for decoding a bitstream
US9386326B2 (en) 2012-10-05 2016-07-05 Nvidia Corporation Video decoding error concealment techniques
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
WO2017044952A1 (en) 2015-09-10 2017-03-16 Manufacturing Resources International, Inc. System and method for systemic detection of display errors
CN105611290B (zh) * 2015-12-28 2019-03-26 惠州Tcl移动通信有限公司 一种基于移动终端的无线传输图片的处理方法和系统
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
WO2017210317A1 (en) 2016-05-31 2017-12-07 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
WO2018031717A2 (en) 2016-08-10 2018-02-15 Manufacturing Resources International, Inc. Dynamic dimming led backlight for lcd array
CN107888931B (zh) * 2017-11-28 2020-03-17 上海大学 一种利用视频统计特征预测差错敏感度的方法
US10908863B2 (en) 2018-07-12 2021-02-02 Manufacturing Resources International, Inc. System and method for providing access to co-located operations data for an electronic display
US11645029B2 (en) 2018-07-12 2023-05-09 Manufacturing Resources International, Inc. Systems and methods for remotely monitoring electronic displays
CN109936624B (zh) * 2019-01-31 2022-03-18 平安科技（深圳）有限公司 Http请求报文头的适配方法、装置和计算机设备
US11137847B2 (en) 2019-02-25 2021-10-05 Manufacturing Resources International, Inc. Monitoring the status of a touchscreen
US11402940B2 (en) 2019-02-25 2022-08-02 Manufacturing Resources International, Inc. Monitoring the status of a touchscreen
US11965804B2 (en) 2021-07-28 2024-04-23 Manufacturing Resources International, Inc. Display assemblies with differential pressure sensors
US11921010B2 (en) 2021-07-28 2024-03-05 Manufacturing Resources International, Inc. Display assemblies with differential pressure sensors
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays
US11972672B1 (en) 2022-10-26 2024-04-30 Manufacturing Resources International, Inc. Display assemblies providing open and unlatched alerts, systems and methods for the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0286241A (ja) * 1988-09-21 1990-03-27 Nippon Telegr & Teleph Corp <Ntt> 可変レート画像階層符号化伝送方式
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
US5576902A (en) * 1993-01-13 1996-11-19 Hitachi America, Ltd. Method and apparatus directed to processing trick play video data to compensate for intentionally omitted data
JP2679941B2 (ja) * 1993-05-10 1997-11-19 松下電器産業株式会社 ディジタル磁気記録再生装置
KR940026915A (ko) * 1993-05-24 1994-12-10 오오가 노리오 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
JPH0730855A (ja) * 1993-07-08 1995-01-31 Sony Corp ビデオデータの記録方法
EP0647066A3 (en) * 1993-09-30 1996-08-14 Toshiba Kk Packet conversion apparatus and system.
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
JP3474005B2 (ja) * 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
JPH08256333A (ja) * 1995-03-16 1996-10-01 Matsushita Electric Ind Co Ltd 画像符号化復号方法及び装置
JPH0973617A (ja) * 1995-09-07 1997-03-18 Sony Corp 回転ヘッド装置
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
JP3400428B2 (ja) * 1996-05-17 2003-04-28 松下電器産業株式会社 画像伝送方法
KR0178756B1 (ko) * 1996-06-29 1999-04-15 김광호 셔플을 위한 최적의 메모리 제어방법 및 그 장치
US6154780A (en) * 1996-12-18 2000-11-28 Intel Corporation Method and apparatus for transmission of a flexible and error resilient video bitstream
GB9703470D0 (en) * 1997-02-19 1997-04-09 Thomson Consumer Electronics Trick play reproduction of MPEG encoded signals
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
US6311297B1 (en) * 1997-10-23 2001-10-30 Sony Corporation Apparatus and method for mapping an image to blocks to provide for robust error recovery in a lossy transmission environment
JPH11298878A (ja) * 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
US6754271B1 (en) * 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US6115076A (en) * 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
JP2001078042A (ja) * 1999-09-03 2001-03-23 Fuji Xerox Co Ltd 画像伸長処理装置および画像圧縮処理装置
JP3976975B2 (ja) * 1999-12-22 2007-09-19 キヤノン株式会社 画像処理装置及びその方法と記憶媒体
US6993074B2 (en) * 2000-03-24 2006-01-31 Microsoft Corporation Methods and arrangements for handling concentric mosaic image data
US6721362B2 (en) * 2001-03-30 2004-04-13 Redrock Semiconductor, Ltd. Constrained discrete-cosine-transform coefficients for better error detection in a corrupted MPEG-4 bitstreams

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2496156C2 (ru) * 2008-03-28 2013-10-20 Франс Телеком Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования
RU2485592C1 (ru) * 2012-03-07 2013-06-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ формирования целочисленных неортогональных декоррелирующих матриц заданных размеров и устройство для его осуществления

Also Published As

Publication number Publication date
ZA200401377B (en) 2005-07-27
NZ531863A (en) 2005-10-28
JP2005501488A (ja) 2005-01-13
IL160476A0 (en) 2004-07-25
AU2002326713B2 (en) 2006-12-14
NO20040754L (no) 2004-04-23
KR20040027982A (ko) 2004-04-01
RU2004105598A (ru) 2005-07-20
CN1679330A (zh) 2005-10-05
CA2457882A1 (en) 2003-03-06
NO343205B1 (no) 2018-12-03
US7239662B2 (en) 2007-07-03
JP2012070391A (ja) 2012-04-05
NO20161599A1 (no) 2004-04-23
US20030039312A1 (en) 2003-02-27
EP1421787A4 (en) 2008-10-08
IL160476A (en) 2009-02-11
BR0212000A (pt) 2004-09-28
CA2457882C (en) 2009-06-02
EP1421787A1 (en) 2004-05-26
BRPI0212000B1 (pt) 2017-12-12
WO2003019939A1 (en) 2003-03-06
US20070230583A1 (en) 2007-10-04
CN100581238C (zh) 2010-01-13
JP4881543B2 (ja) 2012-02-22
MXPA04001656A (es) 2004-11-22
NO339116B1 (no) 2016-11-14
KR100691307B1 (ko) 2007-03-12

Similar Documents

Publication Publication Date Title
RU2291586C2 (ru) Система и способ маскирования ошибок видеосигнала
US7020203B1 (en) Dynamic intra-coded macroblock refresh interval for video error concealment
US8780970B2 (en) Motion wake identification and control mechanism
US7436454B2 (en) Method and apparatus for transmitting encoded information based upon piority data in the encoded information
AU2002326713A1 (en) System and method for video error concealment
US6614845B1 (en) Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems
US20110026592A1 (en) Intra block walk around refresh for h.264
US7408991B2 (en) Error detection in low bit-rate video transmission
MXPA04006814A (es) Filtros dinamicos de codificacion.
KR20000033758A (ko) 영상시스템에서의 압축동영상 변환 장치 및 그 방법
KR100203711B1 (ko) 에이치. 263 영상 비트 스트림에서의 에러 검출방법
KR100220578B1 (ko) 에이치.263 영상 비트 스트림에서의 에러 검출방법
Bartkowiak et al. Chrominance vector quantization for cellular video-telephony
Mitchell et al. Techniques for video transport at the ISDN basic rate