RU2827858C9

RU2827858C9 - Method and equipment for encoding/decoding image for performing deblocking filtering by determining boundary intensity and method for transmitting bitstream

Info

Publication number: RU2827858C9
Application number: RU2022127464A
Authority: RU
Inventors: Хён Мун ЧАН; Сангхеон ЛИ
Original assignee: Гуандун Оппо Мобайл Телекоммьюникейшнс Корп., Лтд.
Priority date: 2020-03-25
Filing date: 2021-03-17
Publication date: 2024-11-29

Abstract

FIELD: physics.

SUBSTANCE: invention relates to encoding/decoding images. Result is achieved by the fact that the image decoding method according to the present invention can comprise obtaining a reconstructed frame, determining a target filtering boundary for deblocking in the reconstructed frame, determining boundary intensity for the target boundary and applying de-blocking filtering to the target boundary based on the boundary intensity. Based on the target boundary, which is the boundary of the transformation unit, and the colour component, which is the component of the colour signals of the reconstructed frame, the boundary intensity can be determined based on whether combined residual CbCr coding is performed or not for at least one of two blocks adjacent to the target boundary, and combined residual CbCr coding may correspond to coding of residual samples for Cb component of chroma signals and Cr component of chroma signals as one conversion unit.

EFFECT: high efficiency of encoding/decoding images.

6 cl, 15 dwg

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

[1] Настоящее изобретение относится к способу и оборудованию кодирования/декодирования изображений, а более конкретно, к способу и оборудованию кодирования/декодирования изображений для выполнения фильтрации для удаления блочности посредством определения граничной интенсивности и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего изобретения.[1] The present invention relates to an image encoding/decoding method and equipment, and more particularly, to an image encoding/decoding method and equipment for performing deblocking filtering by determining a boundary intensity, and to a method for transmitting a bit stream generated by the image encoding method/equipment of the present invention.

Уровень техникиState of the art

[2] В последнее время, спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.[2] Recently, the demand for high-quality, high-resolution images, such as high-definition (HD) images and ultra-high-definition (UHD) images, has been increasing in various fields of technology. As the resolution and quality of image data increases, the amount of information or bits transmitted increases relatively compared with existing image data. The increase in the amount of information or bits transmitted results in an increase in transmission costs and storage costs.

[3] Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.[3] Accordingly, there is a need for a highly efficient image compression technology to efficiently transmit, store and reproduce relatively high-quality, high-resolution image information.

Сущность изобретенияThe essence of the invention

Техническая задачаTechnical task

[4] Цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[4] An object of the present invention is to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.

[5] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений для выполнения фильтрации для удаления блочности.[5] Another object of the present invention is to provide an image encoding/decoding method and equipment for performing deblocking filtering.

[6] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений для определения граничной интенсивности фильтрации для удаления блочности, чтобы выполнять фильтрацию для удаления блочности.[6] Another object of the present invention is to provide an image encoding/decoding method and equipment for determining a deblocking filtering cutoff intensity to perform deblocking filtering.

[7] Другая цель настоящего изобретения заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему изобретению.[7] Another object of the present invention is to provide a method for transmitting a bit stream generated by the image coding method or equipment according to the present invention.

[8] Другая цель настоящего изобретения заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему изобретению.[8] Another object of the present invention is to provide a recording medium storing a bit stream generated by the image encoding method or equipment according to the present invention.

[9] Другая цель настоящего изобретения заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему изобретению.[9] Another object of the present invention is to provide a recording medium storing a bit stream received, decoded and used to reconstruct an image by the image decoding equipment according to the present invention.

[10] Технические проблемы, разрешаемые посредством настоящего изобретения, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.[10] The technical problems solved by the present invention are not limited to the above technical problems, and other technical problems that are not described herein should become apparent to those skilled in the art from the following description.

Техническое решениеTechnical solution

[11] Способ декодирования изображений согласно аспекту настоящего изобретения осуществляется посредством оборудования декодирования изображений. Способ декодирования изображений содержит получение восстановленного кадра; определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.[11] An image decoding method according to an aspect of the present invention is implemented by an image decoding equipment. The image decoding method comprises obtaining a reconstructed frame; determining a target boundary of deblocking filtering in the reconstructed frame, determining a cutoff intensity for the target boundary, and applying deblocking filtering to the target boundary based on the cutoff intensity. Based on the target boundary representing the boundary of a transformation block and the color component representing the chrominance component of the reconstructed frame, the cutoff intensity may be determined based on whether or not joint CbCr residual coding is performed for at least one of two blocks adjacent to the target boundary, and the joint CbCr residual coding may correspond to coding residual samples for the Cb component of the chrominance signals and the Cr component of the chrominance signals as a single transformation block.

[12] В способе декодирования изображений согласно настоящему изобретению, то, может или нет объединенное остаточное CbCr-кодирование выполняться для блока, смежного с целевой границей, определяется на основе первого флага, передаваемого в служебных сигналах для смежного блока.[12] In the image decoding method according to the present invention, whether or not the combined residual CbCr coding can be performed for a block adjacent to a target boundary is determined based on a first flag transmitted in the service signals for the adjacent block.

[13] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться дополнительно на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.[13] In the image decoding method according to the present invention, based on a target boundary representing a boundary of a transformation block and a color component representing a color signal component of a reconstructed frame, a boundary intensity may be determined further based on whether or not at least one of two blocks adjacent to the target boundary includes a level of non-zero transformation coefficients.

[14] В способе декодирования изображений согласно настоящему изобретению, то, включает или нет блок, смежный с целевой границей, в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, может определяться на основе второго флага, передаваемого в служебных сигналах для смежного блока.[14] In the image decoding method according to the present invention, whether or not a block adjacent to a target boundary includes at least one level of non-zero transform coefficients may be determined based on a second flag transmitted in service signals for the adjacent block.

[15] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе суммы двух первых флагов и двух вторых флагов для двух блоков, смежных с целевой границей.[15] In the image decoding method according to the present invention, based on a target boundary representing a boundary of a transformation block and a color component representing a color signal component of a reconstructed frame, a boundary intensity may be determined based on the sum of two first flags and two second flags for two blocks adjacent to the target boundary.

[16] В способе декодирования изображений согласно настоящему изобретению, граничная интенсивность может определяться равной 1, на основе суммы, большей 0.[16] In the image decoding method according to the present invention, the cutoff intensity may be determined to be 1 based on a sum greater than 0.

[17] В способе декодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов яркости восстановленного кадра, граничная интенсивность может определяться на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.[17] In the image decoding method according to the present invention, based on a target boundary representing a boundary of a transformation block and a color component representing a component of luminance signals of a reconstructed frame, a boundary intensity may be determined based on whether or not at least one of two blocks adjacent to the target boundary includes a level of non-zero transformation coefficients.

[18] Оборудование декодирования изображений согласно другому варианту осуществления настоящего изобретения может содержать запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может включать в себя получение восстановленного кадра, определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.[18] An image decoding equipment according to another embodiment of the present invention may comprise a memory device and at least one processor. The at least one processor may include obtaining a reconstructed frame, determining a target boundary of deblocking filtering in the reconstructed frame, determining a boundary intensity for the target boundary, and applying deblocking filtering to the target boundary based on the boundary intensity. Based on a target boundary representing a boundary of a transformation block and a color component representing a chrominance component of the reconstructed frame, the boundary intensity may be determined based on whether or not joint CbCr residual coding is performed for at least one of two blocks adjacent to the target boundary, and the joint CbCr residual coding may correspond to coding residual samples for the Cb chrominance component and the Cr chrominance component as a single transformation block.

[19] Способ кодирования изображений согласно другому аспекту настоящего изобретения может содержать формирование восстановленного кадра, определение целевой границы фильтрации для удаления блочности в восстановленном кадре, определение граничной интенсивности для целевой границы и применение фильтрации для удаления блочности к целевой границе на основе граничной интенсивности. На основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе того, выполняется или нет объединенное остаточное CbCr-кодирование, по меньшей мере, для одного из двух блоков, смежных с целевой границей, и объединенное остаточное CbCr-кодирование может соответствовать кодированию остаточных выборок для Cb-компонента сигналов цветности и Cr-компонента сигналов цветности в качестве одного блока преобразования.[19] A method for encoding images according to another aspect of the present invention may comprise generating a reconstructed frame, determining a target boundary of deblocking filtering in the reconstructed frame, determining a boundary intensity for the target boundary, and applying deblocking filtering to the target boundary based on the boundary intensity. Based on a target boundary representing a boundary of a transformation block and a color component representing a chrominance component of the reconstructed frame, the boundary intensity may be determined based on whether or not joint CbCr residual encoding is performed for at least one of two blocks adjacent to the target boundary, and the joint CbCr residual encoding may correspond to encoding residual samples for the Cb chrominance component and the Cr chrominance component as a single transformation block.

[20] В способе кодирования изображений согласно настоящему изобретению, то, может или нет объединенное остаточное CbCr-кодирование выполняться для блока, смежного с целевой границей, определяется на основе первого флага, передаваемого в служебных сигналах для смежного блока.[20] In the image encoding method according to the present invention, whether or not the combined residual CbCr encoding can be performed for a block adjacent to a target boundary is determined based on a first flag transmitted in the signaling for the adjacent block.

[21] В способе кодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться дополнительно на основе того, включает или нет, по меньшей мере, один из двух блоков, смежных с целевой границей, в себя уровень ненулевых коэффициентов преобразования.[21] In the image encoding method according to the present invention, based on a target boundary representing a boundary of a transformation block and a color component representing a color signal component of a reconstructed frame, a boundary intensity may be determined further based on whether or not at least one of two blocks adjacent to the target boundary includes a level of non-zero transformation coefficients.

[22] В способе кодирования изображений согласно настоящему изобретению, то, включает или нет блок, смежный с целевой границей, в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, может определяться на основе второго флага, передаваемого в служебных сигналах для смежного блока.[22] In the image coding method according to the present invention, whether or not a block adjacent to a target boundary includes at least one level of non-zero transform coefficients may be determined based on a second flag transmitted in service signals for the adjacent block.

[23] В способе кодирования изображений согласно настоящему изобретению, на основе целевой границы, представляющей собой границу блока преобразования, и цветового компонента, представляющего собой компонент сигналов цветности восстановленного кадра, граничная интенсивность может определяться на основе суммы двух первых флагов и двух вторых флагов для двух блоков, смежных с целевой границей.[23] In the image encoding method according to the present invention, based on a target boundary representing a boundary of a transformation block and a color component representing a color signal component of a reconstructed frame, a boundary intensity may be determined based on the sum of two first flags and two second flags for two blocks adjacent to the target boundary.

[24] В способе кодирования изображений согласно настоящему изобретению, граничная интенсивность может определяться равной 1, на основе суммы, большей 0.[24] In the image encoding method according to the present invention, the cutoff intensity may be determined to be 1 based on a sum greater than 0.

[25] Способ передачи согласно другому аспекту настоящего изобретения может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего изобретения.[25] A transmission method according to another aspect of the present invention may transmit a bit stream generated by the image encoding equipment or the image encoding method of the present invention.

[26] Машиночитаемый носитель записи согласно другому аспекту настоящего изобретения может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего изобретения.[26] A computer-readable recording medium according to another aspect of the present invention can store a bit stream generated by the image encoding equipment or image encoding method of the present invention.

[27] Признаки, кратко обобщенные выше относительно настоящего изобретения, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего изобретения и не ограничивают объем настоящего изобретения.[27] The features briefly summarized above with respect to the present invention are merely exemplary aspects of the following detailed description of the present invention and do not limit the scope of the present invention.

Преимущества изобретенияAdvantages of the invention

[28] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[28] According to the present invention, it is possible to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.

[29] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений для выполнения фильтрации для удаления блочности.[29] According to the present invention, it is possible to provide a method and equipment for encoding/decoding images for performing deblocking filtering.

[30] Согласно настоящему изобретению, можно предоставлять способ и оборудование кодирования/декодирования изображений для определения граничной интенсивности фильтрации для удаления блочности, чтобы выполнять фильтрацию для удаления блочности.[30] According to the present invention, it is possible to provide a method and equipment for encoding/decoding images for determining a deblocking filtering cutoff intensity to perform deblocking filtering.

[31] Кроме того, согласно настоящему изобретению, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему изобретению.[31] In addition, according to the present invention, it is possible to provide a method for transmitting a bit stream generated by the image encoding method or equipment according to the present invention.

[32] Кроме того, согласно настоящему изобретению, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему изобретению.[32] In addition, according to the present invention, it is possible to provide a recording medium storing a bit stream generated by the image encoding method or equipment according to the present invention.

[33] Кроме того, согласно настоящему изобретению, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему изобретению.[33] In addition, according to the present invention, it is possible to provide a recording medium storing a bit stream received, decoded and used to reconstruct an image by the image decoding equipment according to the present invention.

[34] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее изобретение, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего изобретения должны более ясно пониматься из подробного описания.[34] Those skilled in the art will appreciate that the advantages that can be achieved through the present invention are not limited to what is specifically described above, and other advantages of the present invention will be more clearly understood from the detailed description.

Краткое описание чертежейBrief description of the drawings

[35] Фиг. 1 является видом, схематично показывающим систему кодирования видео согласно варианту осуществления настоящего изобретения.[35] Fig. 1 is a view schematically showing a video encoding system according to an embodiment of the present invention.

[36] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений согласно варианту осуществления настоящего изобретения.[36] Fig. 2 is a view schematically showing image encoding equipment according to an embodiment of the present invention.

[37] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений согласно варианту осуществления настоящего изобретения.[37] Fig. 3 is a view schematically showing image decoding equipment according to an embodiment of the present invention.

[38] Фиг. 4 является блок-схемой последовательности операций способа для процедуры декодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.[38] Fig. 4 is a flow chart of a method for an image decoding procedure to which an embodiment of the present invention is applicable.

[39] Фиг. 5 является блок-схемой последовательности операций способа для процедуры кодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.[39] Fig. 5 is a flow chart of a method for an image encoding procedure to which an embodiment of the present invention is applicable.

[40] Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей фильтрацию для удаления блочности согласно настоящему изобретению.[40] Fig. 6 is a flow chart of a method illustrating deblocking filtering according to the present invention.

[41] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно варианту осуществления настоящего изобретения.[41] Fig. 7 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to an embodiment of the present invention.

[42] Фиг. 8 является видом, иллюстрирующим передачу в служебных сигналах синтаксического элемента в блоке преобразования, связанном с вариантом осуществления настоящего изобретения.[42] Fig. 8 is a view illustrating the transmission of a syntax element in service signals in a transformation unit related to an embodiment of the present invention.

[43] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[43] Fig. 9 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[44] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[44] Fig. 10 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[45] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[45] Fig. 11 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[46] Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс кодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.[46] Fig. 12 is a flow chart illustrating a deblocking filtering-based encoding process according to the present invention.

[47] Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс декодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.[47] Fig. 13 is a flow chart illustrating a decoding process based on deblocking filtering according to the present invention.

[48] Фиг. 14 является видом, иллюстрирующим два блока и выборки, смежные с целевой границей фильтрации для удаления блочности согласно варианту осуществления настоящего изобретения.[48] Fig. 14 is a view illustrating two blocks and samples adjacent to a target boundary of deblocking filtering according to an embodiment of the present invention.

[49] Фиг. 15 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего изобретения.[49] Fig. 15 is a view showing a content streaming system to which an embodiment of the present invention is applicable.

Оптимальный режим осуществления изобретенияOptimal mode of implementation of the invention

[50] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, так что они могут легко реализовываться специалистами в данной области техники. Тем не менее, настоящее изобретение может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.[50] Hereinafter, embodiments of the present invention are described in detail with reference to the accompanying drawings so that they can be easily implemented by those skilled in the art. However, the present invention can be implemented in various forms and is not limited to the embodiments described herein.

[51] При описании настоящего изобретения, в случае если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего изобретения, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего изобретения, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.[51] In describing the present invention, if it is determined that a detailed description of a related known function or structure would cause unnecessary ambiguity in the scope of the present invention, the detailed description thereof is omitted. In the drawings, parts not related to the description of the present invention are omitted, and like reference numerals are attached to like parts.

[52] В настоящем изобретении, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.[52] In the present invention, when a component is "connected," "coupled," or "linked" to another component, it may include not only a direct connection-based relationship, but also an indirect connection-based relationship in which an intermediate component is present. In addition, when a component "includes" or "has" other components, it means that the other components may be additionally included, not to the exclusion of the other components, unless otherwise specified.

[53] В настоящем изобретении, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего изобретения, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.[53] In the present invention, the terms "first," "second," etc. may be used only for the purpose of distinguishing one component from other components and do not limit the order or importance of the components unless otherwise specified. Accordingly, within the scope of the present invention, a first component in one embodiment may be referred to as a "second component" in another embodiment, and similarly, a second component in one embodiment may be referred to as a "first component" in another embodiment.

[54] В настоящем изобретении, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего изобретения.[54] In the present invention, components that are different from each other are intended to clearly describe each feature and do not mean that the components are necessarily separated. Thus, a plurality of components may be integrated and implemented in one hardware or software module, or one component may be distributed and implemented in a plurality of hardware or software modules. Therefore, even if not otherwise indicated, such embodiments in which components are integrated or a component is distributed are also included in the scope of the present invention.

[55] В настоящем изобретении, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего изобретения. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего изобретения.[55] In the present invention, the components described in various embodiments do not necessarily mean essential components, and some components may be optional components. Accordingly, an embodiment consisting of a subset of the components described in an embodiment is also included within the scope of the present invention. In addition, embodiments including other components in addition to the components described in the various embodiments are included within the scope of the present invention.

[56] Настоящее изобретение относится к кодированию и декодированию изображения, и термины, используемые в настоящем изобретении, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее изобретение, если не задаются впервые в настоящем изобретении.[56] The present invention relates to image encoding and decoding, and the terms used in the present invention may have a general meaning widely used in the technical field to which the present invention belongs, unless defined for the first time in the present invention.

[57] В настоящем изобретении, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка/субкадр представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток/ субкадров. Помимо этого, срез/плитка/субкадр может включать в себя одну или более единиц дерева кодирования (CTU).[57] In the present invention, "frame" generally means a unit representing one picture in a specific period of time, and a slice/tile/subframe is a coding unit constituting a part of a frame, and one frame may consist of one or more slices/tiles/subframes. In addition, a slice/tile/subframe may include one or more coding tree units (CTUs).

[58] В настоящем изобретении, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигналов яркости либо только пиксел/пиксельное значение компонента сигналов цветности.[58] In the present invention, "pixel" or "pel" may mean the smallest unit constituting one frame (or image). In addition, "sample" may be used as a term corresponding to a pixel. A sample may generally represent a pixel or a pixel value, and may represent only a pixel/pixel value of a luminance signal component or only a pixel/pixel value of a color signal component.

[59] В настоящем изобретении, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.[59] In the present invention, a "unit" may represent a basic unit of image processing. A unit may include at least one of a specific region of a frame and information associated with the region. A unit may be used interchangeably with terms such as an "array of samples," a "block," or a "zone" in some cases. In general, an MxN block may include samples (or arrays of samples) or a set (or array) of transform coefficients from M columns and N rows.

[60] В настоящем изобретении, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".[60] In the present invention, the "current block" may mean one of the "current coding block", "current coding unit", "coding target block", "decoding target block", or "processing target block". When prediction is performed, the "current block" may mean the "current prediction block" or the "prediction target block". When transform (inverse transform)/quantization (dequantization) is performed, the "current block" may mean the "current transform block" or the "transform target block". When filtering is performed, the "current block" may mean the "filter target block".

[61] Помимо этого, в настоящем изобретении, "текущий блок" может означать "блок сигналов яркости текущего блока", если не указан в явной форме в качестве блока сигналов цветности. "Блок сигналов цветности текущего блока" может выражаться посредством включения явного описания блока сигналов цветности, такого как "блок сигналов цветности" или "текущий блок сигналов цветности".[61] In addition, in the present invention, the "current block" may mean "the luminance signal block of the current block" if not explicitly specified as a chrominance signal block. The "chrominance signal block of the current block" may be expressed by including an explicit description of the chrominance signal block, such as "chrominance signal block" or "current chrominance signal block".

[62] В настоящем изобретении, термин "/" и "," должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".[62] In the present invention, the terms "/" and "," shall be interpreted as indicating "and/or." For example, the expression "A/B" and "A, B" may mean "A and/or B." Additionally, "A/B/C" and "A/B/C" may mean "at least one of A, B and/or C."

[63] В настоящем изобретении, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем изобретении, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".[63] In the present invention, the term "or" shall be interpreted as indicating "and/or." For example, the expression "A or B" may contain 1) only "A," 2) only "B," and/or 3) "both A and B." In other words, in the present invention, the term "or" shall be interpreted as indicating "additionally or alternatively."

[64] Общее представление системы кодирования видео [64] General presentation of video coding system

[65] Фиг. 1 является видом, показывающим систему кодирования видео согласно настоящему изобретению.[65] Fig. 1 is a view showing a video coding system according to the present invention.

[66] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.[66] The video coding system according to the embodiment may include coding equipment 10 and decoding equipment 20. Coding equipment 10 may deliver coded information or video and/or image data to decoding equipment 20 in the form of a file or streaming via a digital storage medium or a network.

[67] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.[67] The encoding equipment 10 according to the embodiment may include a video source generator 11, an encoding module 12, and a transmitter 13. The decoding equipment 20 according to the embodiment may include a receiver 21, a decoding module 22, and a rendering module 23. The encoding module 12 may be called a "video/image encoding module," and the decoding module 22 may be called a "video/image decoding module." The transmitter 13 may be included in the encoding module 12. The receiver 21 may be included in the decoding module 22. The rendering module 23 may include a display, and the display may be configured as a separate device or an external component.

[68] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.[68] The video source generator 11 may obtain a video/image through a process of capturing, synthesizing or generating a video/image. The video source generator 11 may include a video/image capturing device and/or a video/image generating device. The video/image capturing device may include, for example, one or more cameras, video/image archives including previously captured videos/images, etc. The video/image generating device may include, for example, computers, tablet computers and smartphones and may (electronically) generate videos/images. For example, a virtual video/image may be generated via a computer etc. In this case, the process of capturing video/images may be replaced by a process of generating associated data.

[69] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.[69] The encoding unit 12 may encode the input video/image. The encoding unit 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and encoding efficiency. The encoding unit 12 may output the encoded data (encoded video/image information) in the form of a bit stream.

[70] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.[70] The transmitter 13 may transmit encoded information or video/image data output in the form of a bit stream to the receiver 21 of the decoding equipment 20 via a digital storage medium or a network in the form of a file or streaming. The digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, etc. The transmitter 13 may include an element for generating a multimedia file via a predetermined file format and may include an element for transmitting via a broadcast network/communication network. The receiver 21 may extract/receive the bit stream from the storage medium or network and transmit the bit stream to the decoding module 22.

[71] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.[71] The decoding unit 22 may decode the video/image by performing a series of procedures such as dequantization, inverse transform, and prediction corresponding to the operation of the encoding unit 12.

[72] Модуль 23 рендеринга может выполнять рендеринг декодированного видео/изображения. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.[72] The rendering module 23 may render the decoded video/image. The video/image prepared by rendering may be displayed via a display.

[73] Общее представление оборудования кодирования изображений [73] General presentation of image coding equipment

[74] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего изобретения.[74] Fig. 2 is a view schematically showing image encoding equipment to which an embodiment of the present invention is applicable.

[75] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 взаимного прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.[75] As shown in Fig. 2, the image encoding equipment 100 may include an image segmentation module 110, a subtractor 115, a converter 120, a quantizer 130, a dequantizer 140, an inverse converter 150, an adder 155, a filter 160, a memory 170, an inter-prediction module 180, an intra-prediction module 185, and an entropy encoder 190. The inter-prediction module 180 and the intra-prediction module 185 may be collectively referred to as a "prediction module." The converter 120, the quantizer 130, the dequantizer 140, and the inverse converter 150 may be included in a residual processor. The residual processor may further include the subtractor 115.

[76] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.[76] All or at least part of the plurality of components configuring the image encoding equipment 100 may be configured by means of a single hardware component (e.g., an encoder or a processor) in some embodiments. In addition, the memory device 170 may include a decoded frame buffer (DPB) and may be configured by means of a digital storage medium.

[77] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему изобретению может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.[77] The image segmentation module 110 may segment an input image (or a frame or a movie frame) input to the image encoding equipment 100 into one or more processing units. For example, the processing unit may be referred to as a "coding unit (CU)". The coding unit may be obtained by recursively segmenting a coding tree unit (CTU) or a largest coding unit (LCU) according to a quadtree, binary tree and ternary tree (QT/BT/TT) structure. For example, one coding unit may be segmented into a plurality of coding units of greater depth based on a quadtree structure, a binary tree structure and/or a ternary structure. To segment the coding unit, a quadtree structure may be applied first, and a binary tree structure and/or a ternary structure may be applied subsequently. The encoding procedure according to the present invention may be performed based on the final coding unit, which is no longer segmented. The largest coding unit may be used as the final coding unit, or a coding unit of greater depth obtained by segmenting the largest coding unit may be used as the final coding unit. Here, the coding procedure may include a prediction, transformation, and restoration procedure, which is described below. As another example, the processing unit of the coding procedure may be a prediction unit (PU) or a transformation unit (TU). The prediction unit and the transformation unit may be split or segmented from the final coding unit. The prediction unit may be a sample prediction unit, and the transformation unit may be a unit for extracting a transformation coefficient and/or a unit for extracting a residual signal from a transformation coefficient.

[78] Модуль прогнозирования (модуль 180 взаимного прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.[78] The prediction module (inter-prediction module 180 or intra-prediction module 185) may perform prediction with respect to a block to be processed (current block) and generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra-prediction or inter-prediction is applied based on the current block or CU. The prediction module may generate various information related to the prediction of the current block and transmit the generated information to the entropy encoder 190. The information regarding the prediction may be encoded in the entropy encoder 190 and output in the form of a bit stream.

[79] Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.[79] The intra prediction module 185 may predict the current block by referring to samples in the current frame. The samples for reference may be located in the neighborhood of the current block or may be located with diversity according to the intra prediction mode and/or the intra prediction technology. The intra prediction modes may include a plurality of non-directional modes and a plurality of directional modes. The non-directional mode may include, for example, a DC mode and a planar mode. The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to the degree of granularity of the prediction direction. However, this is just an example, a larger or smaller number of directional prediction modes may be used depending on the setting. The intra prediction module 185 may determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.

[80] Модуль 180 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.[80] The inter-prediction unit 180 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of motion information between a neighboring block and the current block. The motion information may include a motion vector and an index of the reference frame. The motion information may further include information of the direction of inter-prediction (L0 prediction, L1 prediction, bi-prediction, etc.). In the case of inter-prediction, the neighboring block may include a spatial neighboring block present in the current frame and a temporal neighboring block present in the reference frame. The reference frame including the reference block and the reference frame including the temporal neighboring block may be identical or different. A temporal neighboring block may be called a "collocated reference block", "collocated CU (colCU)", and the like. A reference frame including the temporal neighboring block may be called a "collocated frame (colPic)". For example, the inter-prediction unit 180 may configure a list of candidate motion information based on the neighboring blocks and generate information indicating which candidate is used to extract a motion vector and/or a reference frame index of the current block. Inter-prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the combination mode, the inter-prediction unit 180 may use motion information of the neighboring block as motion information of the current block. In the case of the skip mode, unlike the combination mode, a residual signal may not be transmitted. In the case of the motion vector prediction (MVP) mode, the motion vector of the neighboring block can be used as a motion vector predictor, and the motion vector of the current block can be transmitted in the signaling by encoding the motion vector difference and an indicator for the motion vector predictor. The motion vector difference may mean the difference between the motion vector of the current block and the motion vector predictor.

[81] Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или взаимное прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и взаимное прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и взаимного прогнозирования для прогнозирования текущего блока может называться "комбинированным взаимным и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. В IBC, прогнозирование, по существу, выполняется в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем изобретении.[81] The prediction module may generate a prediction signal based on various prediction methods and prediction technologies described below. For example, the prediction module may not only apply intra prediction or inter prediction, but also simultaneously apply both intra prediction and inter prediction to predict the current block. The prediction method of simultaneously applying both intra prediction and inter prediction to predict the current block may be called "combined inter and intra prediction (CIIP)". In addition, the prediction module may perform intra-block copying (IBC) to predict the current block. Intra-block copying may be used for coding image/video game content and the like, such as on-screen content coding (SCC). IBC is a method of predicting the current frame using a previously reconstructed reference block in the current frame at a location spaced from the current block by a predetermined distance. When IBC is applied, the location of the reference block in the current frame may be encoded as a vector (block vector) corresponding to the predetermined distance. In IBC, the prediction is essentially performed in the current frame, but can be performed similarly to inter-prediction in that the reference block is extracted within the current frame. Thus, IBC can use at least one of the inter-prediction technologies described in the present invention.

[82] Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.[82] The prediction signal generated by the prediction module can be used to generate a reconstructed signal or to generate a residual signal. The subtractor 115 can generate a residual signal (a residual block or an array of residual samples) by subtracting the prediction signal (the predicted block or the array of predicted samples) output from the prediction module from the input image signal (the original block or the array of original samples). The generated residual signal can be transmitted to the converter 120.

[83] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.[83] The converter 120 may generate the transform coefficients by applying a transform technique to the residual signal. For example, the transform technique may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally nonlinear transform (CNT). Here, GBT means a transform obtained from a graph when the relationship information between pixels is represented by a graph. CNT means a transform obtained based on a prediction signal generated using all previously reconstructed pixels. In addition, the transform process may be applied to square pixel blocks having an identical size, or may be applied to blocks having a variable size rather than a square one.

[84] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.[84] The quantizer 130 may quantize the transform coefficients and transmit them to the entropy encoder 190. The entropy encoder 190 may encode the quantized signal (information regarding the quantized transform coefficients) and output a bit stream. The information regarding the quantized transform coefficients may be referred to as "residual information." The quantizer 130 may rearrange the quantized transform coefficients in a block form into a one-dimensional vector form based on a scan order of the coefficients and generate information regarding the quantized transform coefficients based on the quantized transform coefficients in the one-dimensional vector form.

[85] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем изобретении, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.[85] The entropy encoder 190 may implement various encoding methods, such as, for example, exponential Golomb coding, context-adaptive variable length coding (CAVLC), context-adaptive binary arithmetic coding (CABAC), and the like. The entropy encoder 190 may encode information necessary for reconstructing video/images, other than quantized transform coefficients (e.g., values of syntax elements, etc.), together or separately. The encoded information (e.g., encoded video/image information) may be transmitted or stored in units of network abstraction layers (NAL) in the form of a bit stream. The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general constraint information. The information transmitted in the service signals, the transmitted information and/or the syntax elements described in the present invention can be encoded through the above-described encoding procedure and included in the bit stream.

[86] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.[86] The bit stream may be transmitted over a network or may be stored on a digital storage medium. The network may include a broadcast network and/or a communication network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, etc. A transmitter (not shown) transmitting a signal output from the entropy encoder 190 and/or a storage module (not shown) storing the signal may be included as an internal/external element of the encoding equipment 100, and alternatively, the transmitter may be included in the entropy encoder 190.

[87] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.[87] The quantized transform coefficients output from the quantizer 130 may be used to form a residual signal. For example, the residual signal (residual block or residual samples) may be reconstructed by applying dequantization and inverse transform to the quantized transform coefficients via the dequantizer 140 and the inverse transformator 150.

[88] Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 взаимного прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). В случае, если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, если режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[88] The adder 155 adds the reconstructed residual signal to the predicted signal output from the inter-prediction module 180 or the intra-prediction module 185 to generate a reconstructed signal (a reconstructed frame, a reconstructed block, an array of reconstructed samples). In the case where there is no residual for a block to be processed, for example in the case where a skip mode is applied, the predicted block can be used as a reconstructed block. The adder 155 can be called a "reconstruction module" or a "reconstructed block generator". The reconstructed signal generated can be used for intra-prediction of the next block to be processed in the current frame, and can be used for inter-prediction of the next frame by filtering as described below.

[89] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.[89] The filter 160 may enhance the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, the filter 160 may generate a modified reconstructed frame by applying various filtering methods to the reconstructed frame and store the modified reconstructed frame in the memory 170, namely, in the DPB of the memory 170. The various filtering methods may include, for example, deblocking filtering, filtering based on a sampled adaptive offset, an adaptive loop filter, a bilateral filter, and the like. The filter 160 may generate various information related to the filtering and transmit the generated information to the entropy encoder 190, as described below in the description of each filtering method. The information related to the filtering may be encoded by the entropy encoder 190 and output in the form of a bit stream.

[90] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. Когда взаимное прогнозирование применяется через оборудование 100 кодирования изображений, рассогласование прогнозирования между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.[90] The modified reconstructed frame transmitted to the memory device 170 can be used as a reference frame in the inter-prediction unit 180. When inter-prediction is applied through the image encoding equipment 100, the prediction mismatch between the image encoding equipment 100 and the image decoding equipment can be eliminated, and the encoding efficiency can be improved.

[91] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.[91] The DPB of the memory 170 may store the modified reconstructed frame for use as a reference frame in the inter-prediction unit 180. The memory 170 may store motion information of the block from which the motion information in the current frame is extracted (or coded) and/or motion information of the blocks in the frame that have already been reconstructed. The stored motion information may be transmitted to the inter-prediction unit 180 and used as motion information of a spatial neighboring block or motion information of a temporal neighboring block. The memory 170 may store reconstructed samples of the reconstructed blocks in the current frame and may transmit the reconstructed samples to the intra-prediction unit 185.

[92] Общее представление оборудования декодирования изображений [92] General introduction of image decoding equipment

[93] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего изобретения.[93] Fig. 3 is a view schematically showing image decoding equipment to which an embodiment of the present invention is applicable.

[94] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.[94] As shown in Fig. 3, the image decoding equipment 200 may include an entropy decoder 210, a dequantizer 220, an inverse transformer 230, an adder 235, a filter 240, a memory 250, an inter-prediction module 260, and an intra-prediction module 265. The inter-prediction module 260 and the intra-prediction module 265 may be collectively referred to as a "prediction module." The dequantizer 220 and the inverse transformer 230 may be included in a residual processor.

[95] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.[95] All or at least part of the plurality of components configuring the image decoding equipment 200 may be configured by a hardware component (for example, a decoder or a processor) according to an embodiment. In addition, the memory device 250 may include a decoded frame buffer (DPB) or may be configured by a digital storage medium.

[96] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.[96] The image decoding equipment 200, which receives a bit stream including video/image information, can restore an image by performing a process corresponding to the process performed by the image encoding equipment 100 in Fig. 2. For example, the image decoding equipment 200 can perform decoding using a processing unit applied in the image encoding equipment. That is, the decoding processing unit may be, for example, a coding unit. The coding unit may be obtained by segmenting a coding tree unit or the largest coding unit. The restored image signal decoded and output by the decoding equipment 200 can be reproduced by the playback equipment.

[97] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем изобретении, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством прогнозирования вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с прогнозированием из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.[97] The image decoding equipment 200 may receive a signal output from the image encoding equipment of Fig. 2 in the form of a bit stream. The received signal may be decoded via the entropy decoder 210. For example, the entropy decoder 210 may parse the bit stream to extract information (e.g., video/image information) necessary for reconstructing images (or reconstructing frames). The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include common constraint information. The image decoding equipment may further decode the frame based on the information regarding the parameter set and/or the common constraint information. The signaling/receiving information and/or the syntax elements described in the present invention may be decoded via the decoding procedure and obtained from the bit stream. For example, the entropy decoder 210 decodes information in a bit stream based on a coding method such as Exponential Golomb coding, CAVLC or CABAC coding, and output values of syntax elements required for image reconstruction and quantized values of transform coefficients for the residual. More specifically, the entropy CABAC decoding method can receive a resolution unit corresponding to each syntax element in the bit stream, determine a context model using information of the decoding target syntax element, decoding information of a neighboring block and the decoding target block or information of a symbol/resolution unit decoded in a previous stage, and perform arithmetic decoding for the resolution unit by predicting the probability of occurrence of the resolution unit according to the determined context model and generate a symbol corresponding to the value of each syntax element. In this case, the entropy CABAC decoding method can update the context model by using the information of the decoded symbol/bin for the context model of the next symbol/bin after determining the context model. The information related to the prediction from the information decoded by the entropy decoder 210 can be provided to the prediction unit (the inter prediction unit 260 and the intra prediction unit 265), and the residual value for which the entropy decoding is performed in the entropy decoder 210, i.e., quantized transform coefficients and related parameter information may be input to the dequantizer 220. In addition, information regarding filtering from the information decoded by the entropy decoder 210 may be provided to the filter 240. Meanwhile, a receiver (not shown) for receiving a signal output from the image encoding equipment may be further configured as an internal/external element of the image decoding equipment 200, or the receiver may be a component of the entropy decoder 210.

[98] Между тем, оборудование декодирования изображений согласно настоящему изобретению может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 260 взаимного прогнозирования или модуля 265 внутреннего прогнозирования.[98] Meanwhile, the image decoding equipment according to the present invention may be called "video/image/frame decoding equipment". The image decoding equipment may be classified into an information decoder (a video/image/frame information decoder) and a sample decoder (a video/image/frame sample decoder). The information decoder may include an entropy decoder 210. The sample decoder may include at least one of a dequantizer 220, an inverse transformer 230, an adder 235, a filter 240, a memory 250, an inter-prediction unit 260, or an intra-prediction unit 265.

[99] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.[99] The dequantizer 220 may dequantize the quantized transform coefficients and output the transform coefficients. The dequantizer 220 may rearrange the quantized transform coefficients in the form of a two-dimensional block. In this case, the rearrangement may be performed based on the scanning order of the coefficients performed in the image encoding equipment. The dequantizer 220 may perform dequantization for the quantized transform coefficients by using a quantization parameter (for example, quantization step size information) and obtain the transform coefficients.

[100] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).[100] The inverse transformer 230 may inversely transform the transform coefficients to obtain a residual signal (residual block, residual sample array).

[101] Модуль прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного прогнозирования.[101] The prediction module may perform prediction for the current block and may generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra prediction or inter prediction is applied to the current block based on the prediction information output from the entropy decoder 210, and may determine a specific intra/inter prediction mode.

[102] Идентично тому, что описано в модуле прогнозирования оборудования 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.[102] Identical to what is described in the prediction module of the image encoding equipment 100, the prediction module can generate a prediction signal based on various prediction methods (technologies), which are described below.

[103] Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.[103] The intra-prediction module 265 may predict the current block by referring to samples in the current frame. The description of the intra-prediction module 185 applies equally to the intra-prediction module 265.

[104] Модуль 260 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим взаимного прогнозирования для текущего блока.[104] The inter-prediction unit 260 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of motion information between a neighboring block and the current block. The motion information may include a motion vector and an index of the reference frame. The motion information may further include information of the direction of inter-prediction (L0 prediction, L1 prediction, bi-prediction, etc.). In the case of inter-prediction, the neighboring block may include a spatial neighboring block present in the current frame and a temporal neighboring block present in the reference frame. For example, the inter-prediction module 260 may configure a list of candidate motion information based on neighboring blocks and extract a motion vector of the current block and/or a reference frame index based on the received candidate selection information. Inter-prediction may be performed based on various prediction modes, and the information regarding the prediction may include information indicating the inter-prediction mode for the current block.

[105] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 взаимного прогнозирования и/или модуль 265 внутреннего прогнозирования). Описание сумматора 155 является в равной степени применимым к сумматору 235. В случае если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[105] The adder 235 may generate a reconstructed signal (a reconstructed frame, a reconstructed block, an array of reconstructed samples) by adding the obtained residual signal to a predicted signal (a predicted block, an array of predicted samples) output from the prediction module (including the inter-prediction module 260 and/or the intra-prediction module 265). The description of the adder 155 is equally applicable to the adder 235. In the case where there is no residual for a block to be processed, for example when the skip mode is applied, the predicted block may be used as the reconstructed block. The description of the adder 155 is equally applicable to the adder 235. The adder 235 may be called a "reconstruction module" or a "reconstructed block generator". The reconstructed signal generated may be used for intra-prediction of the next block to be processed in the current frame and may be used for inter-prediction of the next frame by filtering as described below.

[106] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п.[106] The filter 240 may improve the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, the filter 240 may generate a modified reconstructed frame by applying various filtering methods to the reconstructed frame and store the modified reconstructed frame in the memory 250, namely, in the DPB of the memory 250. The various filtering methods may include, for example, deblocking filtering, filtering based on a sampled adaptive offset, an adaptive loop filter, a bilateral filter, and the like.

[107] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.[107] The (modified) reconstructed frame stored in the DPB of the memory 250 may be used as a reference frame in the inter-prediction unit 260. The memory 250 may store motion information of the block from which the motion information in the current frame is extracted (or decoded), and/or motion information of the blocks in the frame that have already been reconstructed. The stored motion information may be transmitted to the inter-prediction unit 260, so that it is used as motion information of the spatial neighboring block or motion information of the temporal neighboring block. The memory 250 may store reconstructed samples of the reconstructed blocks in the current frame and transmit the reconstructed samples to the intra-prediction unit 265.

[108] В настоящем изобретении, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного прогнозирования и модуле 185 внутреннего прогнозирования оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного прогнозирования и модулю 265 внутреннего прогнозирования оборудования 200 декодирования изображений.[108] In the present invention, the embodiments described in the filter 160, the inter-prediction unit 180, and the intra-prediction unit 185 of the image encoding equipment 100 can be equally or correspondingly applied to the filter 240, the inter-prediction unit 260, and the intra-prediction unit 265 of the image decoding equipment 200.

[109] Общее представление процедуры декодирования/кодирования изображений [109] General presentation of the image decoding/coding procedure

[110] При кодировании изображений/видео, кадр, конфигурирующий изображение/видео, может кодироваться/декодироваться согласно последовательности в порядке декодирования. Порядок кадров, соответствующий порядку вывода декодированного кадра, может задаваться по-другому по сравнению с вышеуказанным порядком декодирования, и на основе этого, не только прямое прогнозирование, но также и обратное прогнозирование может выполняться во время взаимного прогнозирования.[110] When encoding images/videos, a frame configuring an image/video may be encoded/decoded according to the sequence in the decoding order. The order of frames corresponding to the output order of the decoded frame may be set differently from the above decoding order, and based on this, not only forward prediction but also backward prediction may be performed during inter-prediction.

[111] Фиг. 4 является блок-схемой последовательности операций способа для процедуры декодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.[111] Fig. 4 is a flow chart of a method for an image decoding procedure to which an embodiment of the present invention is applicable.

[112] Каждая процедура, показанная на фиг. 4, может выполняться посредством оборудования декодирования изображений по фиг. 3. Например, этап S410 может выполняться посредством энтропийного декодера 210 оборудования декодирования изображений, этап S420 может выполняться посредством модулей 260 и 265 прогнозирования, этап S430 может выполняться посредством остаточных процессоров 220 и 230, этап S440 может выполняться посредством сумматора 235, и этап S450 может выполняться посредством фильтра 240. Этап S410 может включать в себя процедуру декодирования (синтаксического анализа) информации, описанную в настоящем изобретении, этап S420 может включать в себя процедуру взаимного/внутреннего прогнозирования, описанную в настоящем изобретении, этап S430 может включать в себя процедуру остаточной обработки, описанную в настоящем изобретении, этап S440 может включать в себя процедуру восстановления блоков/кадров, описанную в настоящем изобретении, и этап S450 может включать в себя процедуру внутриконтурной фильтрации, описанную в настоящем изобретении.[112] Each procedure shown in Fig. 4 can be performed by the image decoding equipment of Fig. 3. For example, step S410 may be performed by the entropy decoder 210 of the image decoding equipment, step S420 may be performed by the prediction units 260 and 265, step S430 may be performed by the residual processors 220 and 230, step S440 may be performed by the adder 235, and step S450 may be performed by the filter 240. Step S410 may include the information decoding (parsing) procedure described in the present invention, step S420 may include the inter/intra prediction procedure described in the present invention, step S430 may include the residual processing procedure described in the present invention, step S440 may include the block/frame restoration procedure described in the present invention, and step S450 may include the in-loop filtering procedure described in the present invention.

[113] Ссылаясь на фиг. 4, процедура декодирования кадров может схематично включать в себя процедуру (S410) для получения информации видео/изображений (посредством декодирования) из потока битов, процедуру (S420-S440) восстановления изображений (кадров) и процедуру (S450) внутриконтурной фильтрации для восстановленного изображения (кадра). Процедура восстановления изображений может выполняться на основе прогнозных выборок, полученных через взаимное/внутреннее прогнозирование (S420), и остаточных выборок, полученных через остаточную обработку (S430) (деквантование и обратное преобразование для квантованного коэффициента преобразования). Модифицированный восстановленный кадр может формироваться через процедуру (S450) внутриконтурной фильтрации для восстановленного кадра, сформированного через процедуру восстановления изображений, модифицированный восстановленный кадр может выводиться в качестве декодированного кадра, сохраненного в буфере 250 декодированных кадров (DPB) или в запоминающем устройстве оборудования декодирования изображений, и использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при декодировании последующего кадра. В некоторых случаях, процедура внутриконтурной фильтрации может опускаться. В этом случае, восстановленный кадр может выводиться в качестве декодированного кадра, сохраненного в DPB 250 или в запоминающем устройстве оборудования декодирования изображений, и использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при декодировании последующего кадра. Процедура (S450) внутриконтурной фильтрации может включать в себя процедуру фильтрации для удаления блочности, процедуру фильтрации на основе дискретизированного адаптивного смещения (SAO), процедуру адаптивной контурной фильтрации (ALF) и/или процедуру билатеральной фильтрации, как описано выше, некоторые или все из которых могут опускаться. Помимо этого, одна или некоторые из процедуры фильтрации для удаления блочности, процедуры фильтрации на основе дискретизированного адаптивного смещения (SAO), процедуры адаптивной контурной фильтрации (ALF) и/или процедуры билатеральной фильтрации могут последовательно применяться, либо все они могут последовательно применяться. Например, после того, как процедура фильтрации для удаления блочности применяется к восстановленному кадру, может выполняться SAO-процедура. Альтернативно, после того, как процедура фильтрации для удаления блочности применяется к восстановленному кадру, ALF-процедура может выполняться. Это может аналогично выполняться даже в оборудовании кодирования изображений.[113] Referring to Fig. 4, the frame decoding procedure may schematically include a procedure (S410) for obtaining video/image information (by decoding) from a bit stream, a procedure (S420-S440) for restoring images (frames), and a procedure (S450) for in-loop filtering for the restored image (frame). The image restoration procedure may be performed based on prediction samples obtained through inter/intra prediction (S420) and residual samples obtained through residual processing (S430) (dequantization and inverse transformation for the quantized transform coefficient). A modified reconstructed frame may be generated through an in-loop filtering procedure (S450) for a reconstructed frame generated through an image reconstruction procedure, the modified reconstructed frame may be output as a decoded frame stored in a decoded frame buffer (DPB) 250 or in a memory of the image decoding equipment, and used as a reference frame in an inter-prediction procedure when decoding a subsequent frame. In some cases, the in-loop filtering procedure may be omitted. In this case, the reconstructed frame may be output as a decoded frame stored in the DPB 250 or in a memory of the image decoding equipment, and used as a reference frame in an inter-prediction procedure when decoding a subsequent frame. The in-loop filtering procedure (S450) may include a deblocking filtering procedure, a sampled adaptive offset (SAO) filtering procedure, an adaptive loop filtering (ALF) procedure, and/or a bilateral filtering procedure as described above, some or all of which may be omitted. In addition, one or more of the deblocking filtering procedure, the sampled adaptive offset (SAO) filtering procedure, the adaptive loop filtering (ALF) procedure, and/or the bilateral filtering procedure may be applied sequentially, or all of them may be applied sequentially. For example, after the deblocking filtering procedure is applied to the reconstructed frame, the SAO procedure may be performed. Alternatively, after the deblocking filtering procedure is applied to the reconstructed frame, the ALF procedure may be performed. This may be similarly performed even in image coding equipment.

[114] Фиг. 5 является блок-схемой последовательности операций способа для процедуры кодирования изображений, к которой является применимым вариант осуществления настоящего изобретения.[114] Fig. 5 is a flow chart of a method for an image encoding procedure to which an embodiment of the present invention is applicable.

[115] Каждая процедура, показанная на фиг. 5, может выполняться посредством оборудования кодирования изображений по фиг. 2. Например, этап S510 может выполняться посредством модулей 180 и 185 прогнозирования оборудования кодирования изображений, этап S520 может выполняться посредством остаточных процессоров 115, 120 и 130, и этап S530 может выполняться в энтропийном кодере 190. Этап S510 может включать в себя процедуру взаимного/внутреннего прогнозирования, описанную в настоящем изобретении, этап S520 может включать в себя процедуру остаточной обработки, описанную в настоящем изобретении, и этап S530 может включать в себя процедуру кодирования информации, описанную в настоящем изобретении.[115] Each procedure shown in Fig. 5 may be performed by the image coding equipment of Fig. 2. For example, step S510 may be performed by the prediction units 180 and 185 of the image coding equipment, step S520 may be performed by the residual processors 115, 120 and 130, and step S530 may be performed in the entropy encoder 190. Step S510 may include the inter/intra prediction procedure described in the present invention, step S520 may include the residual processing procedure described in the present invention, and step S530 may include the information encoding procedure described in the present invention.

[116] Ссылаясь на фиг. 5, процедура кодирования изображений может схематично включать в себя не только процедуру для кодирования и вывода информации для восстановления кадров (например, информации прогнозирования, остаточной информации, информации сегментации и т.д.) в форме потока битов, но также и процедуру для формирования восстановленного кадра для текущего кадра и процедуру (необязательно) для применения внутриконтурной фильтрации к восстановленному кадру. Оборудование кодирования изображений может извлекать (модифицированные) остаточные выборки из квантованного коэффициента преобразования через деквантователь 140 и обратный преобразователь 150 и формировать восстановленный кадр на основе прогнозных выборок, которые представляют собой вывод этапа S510, и (модифицированных) остаточных выборок. Восстановленный кадр, сформированный таким образом, может быть равным восстановленному кадру, сформированному в оборудовании декодирования изображений. Модифицированный восстановленный кадр может формироваться через процедуру внутриконтурной фильтрации для восстановленного кадра и может сохраняться в буфере 170 декодированных кадров (DPB) или в запоминающем устройстве и может использоваться в качестве опорного кадра в процедуре взаимного прогнозирования при кодировании последующего кадра, аналогично оборудованию декодирования изображений. Как описано выше, в некоторых случаях, часть или вся процедура внутриконтурной фильтрации может опускаться. Когда процедура внутриконтурной фильтрации выполняется, связанная с (внутриконтурной) фильтрацией информация (параметр) может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов, и оборудование декодирования может выполнять процедуру внутриконтурной фильтрации с использованием идентичного способа со способом в оборудовании кодирования изображений на основе связанной с фильтрацией информации.[116] Referring to Fig. 5, the image encoding procedure may schematically include not only a procedure for encoding and outputting information for reconstructing frames (e.g., prediction information, residual information, segmentation information, etc.) in the form of a bit stream, but also a procedure for generating a reconstructed frame for the current frame and a procedure (optionally) for applying in-loop filtering to the reconstructed frame. The image encoding equipment may extract (modified) residual samples from the quantized transform coefficient via the dequantizer 140 and the inverse transformer 150 and generate a reconstructed frame based on the prediction samples, which are the output of step S510, and the (modified) residual samples. The reconstructed frame generated in this way may be equal to the reconstructed frame generated in the image decoding equipment. The modified reconstructed frame may be generated through an in-loop filtering procedure for the reconstructed frame and may be stored in the decoded frame buffer (DPB) 170 or in a memory device and may be used as a reference frame in an inter-prediction procedure when encoding a subsequent frame, similar to the image decoding equipment. As described above, in some cases, part or all of the in-loop filtering procedure may be omitted. When the in-loop filtering procedure is performed, information (parameter) associated with (in-loop) filtering may be encoded in the entropy encoder 190 and output in the form of a bit stream, and the decoding equipment may perform the in-loop filtering procedure using the same method as in the image coding equipment based on the information associated with filtering.

[117] Через такую процедуру внутриконтурной фильтрации, шум, возникающий во время кодирования видео/изображений, к примеру, артефакт блочности и артефакт кольцевания, может уменьшаться, и субъективное/объективное визуальное качество может повышаться. Помимо этого, посредством выполнения процедуры внутриконтурной фильтрации как в оборудовании кодирования изображений, так и в оборудовании декодирования изображений, оборудование кодирования изображений и оборудование декодирования изображений могут извлекать идентичный результат прогнозирования, надежность кодирования кадров может повышаться, и объем данных, которые должны передаваться для кодирования кадров, может уменьшаться.[117] Through such an in-loop filtering procedure, noise generated during video/image encoding, such as block artifact and ringing artifact, can be reduced, and subjective/objective visual quality can be improved. In addition, by performing the in-loop filtering procedure in both the image encoding equipment and the image decoding equipment, the image encoding equipment and the image decoding equipment can extract the same prediction result, the reliability of frame encoding can be increased, and the amount of data that needs to be transmitted for frame encoding can be reduced.

[118] Как описано выше, процедура восстановления изображений (кадров) может выполняться не только в оборудовании декодирования изображений, но также и в оборудовании кодирования изображений. Восстановленный блок может формироваться на основе внутреннего прогнозирования/взаимного прогнозирования в единицах блоков, и может формироваться восстановленный кадр, включающий в себя восстановленные блоки. Когда текущий кадр/срез/группа плиток представляет собой I-кадр/срез/группу плиток, блоки, включенные в текущий кадр/срез/группу плиток, могут восстанавливаться только на основе внутреннего прогнозирования. С другой стороны, когда текущий кадр/срез/группа плиток представляет собой P- или B-кадр/срез/группу плиток, блоки, включенные в текущий кадр/срез/группу плиток, могут восстанавливаться на основе внутреннего прогнозирования или взаимного прогнозирования. В этом случае, внутреннее прогнозирование может применяться для некоторых блоков в текущем кадре/срезе/группе плиток, и взаимное прогнозирование может применяться для некоторых оставшихся блоков. Цветовой компонент кадра может включать в себя компонент сигналов яркости и компонент сигналов цветности, и способы и варианты осуществления настоящего изобретения являются применимыми к компоненту сигналов яркости и компоненту сигналов цветности, если явно не ограничено в настоящем изобретении.[118] As described above, the image (frame) restoration procedure may be performed not only in the image decoding equipment but also in the image encoding equipment. The restored block may be generated based on intra prediction/inter prediction in units of blocks, and a restored frame including the restored blocks may be generated. When the current frame/slice/tile group is an I frame/slice/tile group, the blocks included in the current frame/slice/tile group can be restored based on intra prediction only. On the other hand, when the current frame/slice/tile group is a P or B frame/slice/tile group, the blocks included in the current frame/slice/tile group can be restored based on intra prediction or inter prediction. In this case, intra prediction may be applied to some blocks in the current frame/slice/tile group, and inter prediction may be applied to some remaining blocks. The color component of a frame may include a luminance component and a chrominance component, and the methods and embodiments of the present invention are applicable to the luminance component and the chrominance component unless expressly limited in the present invention.

[119] Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей фильтрацию для удаления блочности согласно настоящему изобретению. Фильтрация для удаления блочности, показанная на фиг. 6, может соответствовать фильтрации для удаления блочности из внутриконтурной фильтрации, описанной выше. Фильтрация для удаления блочности, показанная на фиг. 6, может выполняться, например, посредством фильтра 160 по фиг. 2 или фильтра 240 по фиг. 3.[119] Fig. 6 is a flow chart illustrating deblocking filtering according to the present invention. The deblocking filtering shown in Fig. 6 may correspond to the deblocking filtering of the in-loop filtering described above. The deblocking filtering shown in Fig. 6 may be performed, for example, by filter 160 of Fig. 2 or filter 240 of Fig. 3.

[120] Фильтрация для удаления блочности может соответствовать технологии фильтрации для удаления искажения, возникающего на границе между блоками в восстановленном кадре. Целевая граница может извлекаться из восстановленного кадра через процедуру фильтрации для удаления блочности (S610). Помимо этого, граничная интенсивность (bS) для извлеченной целевой границы может определяться. Фильтрация для удаления блочности для целевой границы может выполняться на основе определенной граничной интенсивности (S630). Граничная интенсивность может определяться на основе режима прогнозирования двух блоков, смежных с целевой границей, разности векторов движения, того, являются или нет опорные кадры идентичными, и/или присутствия/отсутствия ненулевого допустимого коэффициента.[120] The deblocking filtering may correspond to a filtering technique for removing a distortion occurring at the boundary between blocks in the reconstructed frame. The target boundary may be extracted from the reconstructed frame through a deblocking filtering procedure (S610). In addition, a boundary intensity (bS) for the extracted target boundary may be determined. The deblocking filtering for the target boundary may be performed based on the determined boundary intensity (S630). The boundary intensity may be determined based on a prediction mode of two blocks adjacent to the target boundary, a difference in motion vectors, whether or not the reference frames are identical, and/or the presence/absence of a non-zero allowable coefficient.

[121] Фильтрация для удаления блочности может применяться к восстановленному кадру. Фильтрация для удаления блочности может выполняться в идентичном порядке с процессом декодирования для каждой CU восстановленного кадра. Во-первых, вертикальный край может фильтроваться (горизонтальная фильтрация). После этого, горизонтальный край может фильтроваться (вертикальная фильтрация). Фильтрация для удаления блочности может применяться ко всем краям блоков (или субблоков) кодирования и краям блоков преобразования.[121] Deblocking filtering may be applied to the reconstructed frame. Deblocking filtering may be performed in the same order as the decoding process for each CU of the reconstructed frame. First, the vertical edge may be filtered (horizontal filtering). After that, the horizontal edge may be filtered (vertical filtering). Deblocking filtering may be applied to all coding block (or sub-block) edges and transform block edges.

[122] Как описано выше, внутриконтурная фильтрация может включать в себя SAO. SAO может соответствовать способу компенсации разности смещения между восстановленным кадром и исходным кадром в единицах выборок. Например, SAO может применяться на основе типа, к примеру, как полосовое смещение или краевое смещение. Согласно SAO, выборки могут классифицироваться на различные категории согласно каждому SAO-типу. Значение смещения может добавляться в каждую выборку на основе классифицированных категорий. Информация фильтрации для SAO может включать в себя информацию относительно того, применяется или нет SAO, информацию SAO-типа и/или информацию значений SAO-смещения. SAO может применяться для восстановленного кадра после применения фильтрации для удаления блочности.[122] As described above, the in-loop filtering may include SAO. SAO may correspond to a method for compensating for the difference in offset between a reconstructed frame and an original frame in units of samples. For example, SAO may be applied based on a type, such as band-pass offset or edge offset. According to SAO, samples may be classified into different categories according to each SAO type. An offset value may be added to each sample based on the classified categories. Filtering information for SAO may include information regarding whether or not SAO is applied, SAO type information, and/or SAO offset value information. SAO may be applied to the reconstructed frame after deblocking filtering is applied.

[123] Помимо этого, внутриконтурная фильтрация может включать в себя ALF. ALF может соответствовать технологии для выполнения фильтрации для восстановленного кадра в единицах выборок на основе коэффициентов фильтрации согласно форме фильтра. Оборудование кодирования может определять то, следует применять ALF, ALF-форму и/или коэффициент ALF-фильтрации, через сравнение между восстановленным кадром и исходным кадром. Помимо этого, это может передаваться в служебных сигналах в оборудование декодирования. Информация фильтрации для ALF может включать в себя информацию касательно того, следует применять ALF, информацию формы ALF-фильтра и/или информацию коэффициентов ALF-фильтрации. ALF может применяться для восстановленного кадра после применения фильтрации для удаления блочности.[123] In addition, the in-loop filtering may include ALF. ALF may correspond to a technique for performing filtering for a reconstructed frame in units of samples based on filter coefficients according to a filter shape. The encoding equipment may determine whether to apply ALF, the ALF shape, and/or the ALF filter coefficient through a comparison between the reconstructed frame and the original frame. In addition, this may be signaled to the decoding equipment. The filtering information for ALF may include information regarding whether to apply ALF, ALF shape information, and/or ALF filter coefficient information. ALF may be applied to the reconstructed frame after deblocking filtering has been applied.

[124] Согласно некоторым вариантам осуществления настоящего изобретения, граничная интенсивность может определяться согласно условию для двух блоков, смежных с целевой границей. В настоящем изобретении, граничная интенсивность и граничная интенсивность фильтрации могут использоваться взаимозаменяемо.[124] According to some embodiments of the present invention, the boundary intensity may be determined according to a condition for two blocks adjacent to the target boundary. In the present invention, the boundary intensity and the boundary filtering intensity may be used interchangeably.

[125] Фиг. 14 является видом, иллюстрирующим два блока и выборки, смежные с целевой границей фильтрации для удаления блочности согласно варианту осуществления настоящего изобретения.[125] Fig. 14 is a view illustrating two blocks and samples adjacent to a target boundary of deblocking filtering according to an embodiment of the present invention.

[126] На фиг. 14, граница, обозначаемая посредством сплошной жирной линии, может представлять собой целевую границу фильтрации для удаления блочности.[126] In Fig. 14, the boundary indicated by the solid thick line may represent the target boundary of the deblocking filtering.

[127] Как показано на фиг. 14, когда целевая граница представляет собой вертикальную границу, левый блок может задаваться как P-блок, и правый блок может задаваться как Q-блок на основе целевой границы. Помимо этого, когда целевая граница представляет собой горизонтальную границу, верхний блок может задаваться как P-блок, и нижний блок может задаваться как Q-блок на основе целевой границы.[127] As shown in Fig. 14, when the target boundary is a vertical boundary, the left block may be set as a P block and the right block may be set as a Q block based on the target boundary. In addition, when the target boundary is a horizontal boundary, the upper block may be set as a P block and the lower block may be set as a Q block based on the target boundary.

[128] В настоящем изобретении, выборка в P-блоке может обозначаться посредством p_n, и выборка в Q-блоке может обозначаться посредством q_n. Таким образом, p_n и q_n представляют собой выборки, обращенные к границе (целевой границе) между P-блоком и Q-блоком. В этом случае, n может быть целым числом, большим или равным 0, и может означать расстояние от целевой границы. p₀ может представлять собой выборку в P-блоке, непосредственно смежном с целевой границей, и q₀ может означать выборку в Q-блоке, непосредственно смежном с целевой границей. Например, p₀ может представлять собой выборку левого или верхнего блока, примыкающего к целевой границе, и q₀ может представлять собой выборку правого или нижнего блока, примыкающего к целевой границе. Альтернативно, как показано на фиг. 14, выборка в P-блоке может обозначаться посредством p_{n, m}, и выборка в Q-блоке может обозначаться посредством q_{n, m}. В этом случае, n является целым числом, большим или равным 0, как описано выше, и может означать расстояние от целевой границы. Помимо этого, m может представлять собой индекс для различения выборок, расположенных на идентичном расстоянии от целевой границы в одном блоке (в P-блоке или в Q-блоке).[128] In the present invention, a sample in a P block may be denoted by p _n , and a sample in a Q block may be denoted by q _n . That is, p _n and q _n are samples facing the boundary (target boundary) between the P block and the Q block. In this case, n may be an integer greater than or equal to 0 and may denote a distance from the target boundary. p ₀ may be a sample in a P block immediately adjacent to the target boundary, and q ₀ may denote a sample in a Q block immediately adjacent to the target boundary. For example, p ₀ may be a sample of a left or upper block adjacent to the target boundary, and q ₀ may be a sample of a right or lower block adjacent to the target boundary. Alternatively, as shown in FIG. 14 , a sample in a P block may be denoted by p _{n, m} , and a sample in a Q block may be denoted by q _{n, m} . In this case, n is an integer greater than or equal to 0 as described above and can represent the distance from the target boundary. In addition, m can be an index to distinguish samples located at the same distance from the target boundary in the same block (in the P-block or in the Q-block).

[129] Помимо этого, в нижеприведенном описании, первое, второе и третье значения граничной интенсивности, соответственно, могут означать 0, 1 и 2, но объем настоящего изобретения не ограничен таким определением.[129] In addition, in the following description, the first, second and third boundary intensity values may respectively mean 0, 1 and 2, but the scope of the present invention is not limited to such a definition.

[130] Оборудование кодирования изображений и оборудование декодирования изображений могут выполнять фильтрацию для удаления блочности на основе граничной интенсивности. Например, когда граничная интенсивность составляет первое значение (например, 0), фильтрация может не применяться для соответствующей целевой границы. Фильтрация для удаления блочности может применяться на основе интенсивности фильтрации (сильный фильтр/слабый фильтр) и/или длины фильтра.[130] The image encoding equipment and the image decoding equipment may perform deblocking filtering based on the boundary intensity. For example, when the boundary intensity is the first value (e.g., 0), filtering may not be applied to the corresponding target boundary. Deblocking filtering may be applied based on the filtering intensity (strong filter/weak filter) and/or the filter length.

[131] В настоящем изобретении, фильтрация для удаления блочности может выполняться посредством получения информации, связанной с фильтрацией для удаления блочности, из потока битов. Например, информация, связанная с фильтрацией для удаления блочности, может включать в себя флаг, указывающий то, доступна или нет фильтрация для удаления блочности. Помимо этого, информация, связанная с фильтрацией для удаления блочности, может включать в себя информацию, используемую для того, чтобы извлекать граничную интенсивность.[131] In the present invention, deblocking filtering may be performed by obtaining information related to deblocking filtering from a bit stream. For example, the information related to deblocking filtering may include a flag indicating whether deblocking filtering is available or not. In addition, the information related to deblocking filtering may include information used to extract a boundary intensity.

[132] Процедура фильтрации для удаления блочности может отдельно выполняться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности) восстановленного кадра. Например, граничная интенсивность bS может по-разному извлекаться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности). Помимо этого, например, целевая граница может отдельно извлекаться согласно цветовым компонентам (компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности). В настоящем изобретении, цветовой компонент может указываться посредством индекса cIdx компонента. Например, когда cIdx равен 0, он может указывать компонент сигналов яркости. Помимо этого, когда cIdx равен 1, он может указывать компонент Cb сигналов цветности, а когда cIdx равен 2, он может указывать компонент Cr сигналов цветности.[132] The filtering procedure for removing blockiness may be separately performed according to the color components (the luminance component (Y) and the chrominance components (Cb, Cr)) of the reconstructed frame. For example, the boundary intensity bS may be differently extracted according to the color components (the luminance component (Y) and the chrominance components (Cb, Cr). In addition, for example, the target boundary may be separately extracted according to the color components (the luminance component (Y) and the chrominance components (Cb, Cr). In the present invention, the color component may be indicated by the component index cIdx. For example, when cIdx is 0, it may indicate the luminance component. In addition, when cIdx is 1, it may indicate the Cb component of the chrominance signals, and when cIdx is 2, it may indicate the Cr component of the chrominance signals.

[133] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно варианту осуществления настоящего изобретения.[133] Fig. 7 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to an embodiment of the present invention.

[134] Ссылаясь на фиг. 7, может определяться то, представляет или нет текущий блок собой блок компонентов сигналов яркости (например, cIdx=0), и то, включаются или нет выборки p₀ и q₀ в блок кодирования (например, intra_bdpcm_luma_flag=1), к которому применяется дифференциальная импульсно-кодовая модуляция в квантованной остаточной области на основе блоков (BDPCM) (S710). Когда вышеуказанные условия удовлетворяются (S710 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).[134] Referring to Fig. 7, it may be determined whether or not the current block is a luminance component block (e.g., cIdx=0), and whether or not the samples _p0 and _q0 are included in the coding block (e.g., intra_bdpcm_luma_flag=1) to which the block-based differential pulse code modulation (BDPCM) in a quantized residual domain is applied (S710). When the above conditions are satisfied (S710 - "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a first value (e.g., 0).

[135] Когда условия этапа S710 не удовлетворяются (S710 - "Нет"), этап S720 может определяться. В частности, может определяться то, представляет собой или нет текущий блок компонент сигналов цветности блок (например, cIdx>0), и то, включаются или нет обе выборки p₀ и q₀ в блок кодирования (например, intra_bdpcm_chroma_flag=1), к которому применяется BDPCM (S720). Когда вышеуказанные условия удовлетворяются (S720 - "Да"), целевая интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).[135] When the conditions of step S710 are not satisfied (S710 - "No"), step S720 may be determined. In particular, it may be determined whether or not the current block of chrominance signal components is a block (e.g., cIdx>0), and whether or not both samples _p0 and _q0 are included in the coding block (e.g., intra_bdpcm_chroma_flag=1) to which BDPCM is applied (S720). When the above conditions are satisfied (S720 - "Yes"), the target intensity for the corresponding target boundary may be determined to constitute the first value (e.g., 0).

[136] Когда условия этапа S720 не удовлетворяются (S720 - "Нет"), этап S730 может определяться. В частности, может определяться то, включается либо нет выборка p₀ или выборка q₀ в блок кодирования, кодированный в режиме внутреннего прогнозирования (S730). Когда вышеуказанное условие удовлетворяется (S730 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая третье значение (например, 2).[136] When the conditions of step S720 are not satisfied (S720: "No"), step S730 may be determined. In particular, it may be determined whether or not the sample p ₀ or the sample q ₀ is included in the coding block coded in the intra prediction mode (S730). When the above condition is satisfied (S730: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a third value (for example, 2).

[137] Когда условие S730 не удовлетворяется (S730 - "Нет"), этап S740 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока кодирования, и то, включается или нет выборка p₀ или выборка q₀ в блок кодирования (например, ciip_flag=1), к которому применяется комбинированное взаимное и внутреннее прогнозирование (CIIP) (S740). Когда вышеуказанное условие удовлетворяется (S740 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая третье значение (например, 2).[137] When the condition S730 is not satisfied (S730: "No"), step S740 may be determined. In particular, it may be determined whether or not the target boundary is a boundary of a coding block, and whether or not the sample p ₀ or the sample q ₀ is included in the coding block (e.g., ciip_flag=1) to which the combined inter and intra prediction (CIIP) is applied (S740). When the above condition is satisfied (S740: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a third value (e.g., 2).

[138] Когда условие этапа S740 не удовлетворяется (S740 - "Нет"), этап S750 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, включается или нет выборка p₀ или выборка q₀ в блок преобразования, имеющий один или более уровней ненулевых коэффициентов преобразования (S750). Когда вышеуказанное условие удовлетворяется (S750 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[138] When the condition of step S740 is not satisfied (S740: "No"), step S750 may be determined. In particular, it may be determined whether or not the target boundary is a boundary of the transformation block, and whether or not the sample p ₀ or the sample q ₀ is included in the transformation block having one or more levels of non-zero transformation coefficients (S750). When the above condition is satisfied (S750: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1).

[139] Когда условие этапа S750 не удовлетворяется (S750 - "Нет"), этап S760 может определяться. В частности, может определяться то, отличаются или нет режим прогнозирования субблока кодирования, содержащего выборку p₀, и режим прогнозирования субблока кодирования, содержащего выборку q₀ (S760). Когда вышеуказанное условие удовлетворяется (S760 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1). Например, когда один из двух субблоков кодирования, расположенных на обеих сторонах целевой границы, кодируется в режиме IBC-прогнозирования, а другой кодируется в режиме взаимного прогнозирования, граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[139] When the condition of step S750 is not satisfied (S750: "NO"), step S760 may be determined. In particular, it may be determined whether or not a prediction mode of the coding sub-unit containing the sample p ₀ and a prediction mode of the coding sub-unit containing the sample q ₀ differ (S760). When the above condition is satisfied (S760: "YES"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1). For example, when one of the two coding sub-units located on both sides of the target boundary is coded in the IBC prediction mode and the other is coded in the inter prediction mode, the boundary intensity for the corresponding target boundary may be determined to constitute the second value (e.g., 1).

[140] Когда условие этапа S760 не удовлетворяется (S760 - "Нет"), этап S770 может определяться. В частности, на этапе S770, может определяться то, представляет собой цветовой компонент или нет компонент сигналов яркости (например, cIdx=0), то, представляет собой целевая граница или нет границу субблока (например, edgeFlags=2), и то, удовлетворяется или нет, по меньшей мере, одно из различных других условий, описанных ниже (S770). На этапе S770, когда цветовой компонент представляет собой компонент сигналов яркости, целевая граница представляет собой границу субблока, и, по меньшей мере, одно из других условий (условия 1-5), описанных ниже, удовлетворяется (S770 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[140] When the condition of step S760 is not satisfied (S760: "NO"), step S770 may be determined. Specifically, in step S770, it may be determined whether or not the color component is a luminance signal component (e.g., cIdx=0), whether or not the target boundary is a sub-block boundary (e.g., edgeFlags=2), and whether or not at least one of various other conditions described below is satisfied (S770). In step S770, when the color component is a luminance signal component, the target boundary is a sub-block boundary, and at least one of the other conditions (conditions 1-5) described below is satisfied (S770: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1).

[141] - Условие 1: Как субблок кодирования, содержащий выборку p₀, так и субблок кодирования, содержащий выборку q₀, кодируются в режиме IBC-прогнозирования, и разность между горизонтальными компонентами или вертикальными компонентами блочного вектора каждого субблока больше или равна 8-единичному значению в единице в 1/16 выборки сигналов яркости.[141] - Condition 1: Both the coding sub-block containing the sample p ₀ and the coding sub-block containing the sample q ₀ are coded in the IBC prediction mode, and the difference between the horizontal components or the vertical components of the block vector of each sub-block is greater than or equal to 8-unit value in one in 1/16 of the luminance signal sample.

[142] - Условие 2: Субблок кодирования, содержащий выборку p₀, и субблок кодирования, содержащий выборку q₀, ссылаются на различные опорные кадры или имеют различные числа векторов движения. В условии 2, то, являются или нет опорные кадры идентичными, определяется с учетом только того, являются или нет идентичными кадры, на которые ссылаются для взаимного прогнозирования, и того, принадлежит или нет соответствующий опорный кадр списку 0 опорных кадров, или список 1 опорных кадров не учитывается. Помимо этого, то, являются или нет значения индекса, указывающие соответствующий опорный кадр, идентичными, не учитывается. Помимо этого, число векторов движения может определяться с использованием значений флага направления прогнозирования (PredFlagL0, PredFlagL1). Например, число векторов движения может извлекаться в качестве PredFlagL0+PredFlagL1.[142] - Condition 2: The coding sub-unit containing the sample p ₀ and the coding sub-unit containing the sample q ₀ refer to different reference frames or have different numbers of motion vectors. In condition 2, whether or not the reference frames are identical is determined by taking into account only whether or not the frames referenced for inter-prediction are identical and whether or not the corresponding reference frame belongs to reference frame list 0 or reference frame list 1 is not taken into account. In addition, whether or not the index values indicating the corresponding reference frame are identical is not taken into account. In addition, the number of motion vectors may be determined using the values of the prediction direction flag (PredFlagL0, PredFlagL1). For example, the number of motion vectors may be extracted as PredFlagL0+PredFlagL1.

[143] - Условие 3: Один вектор движения используется для того, чтобы прогнозировать субблок кодирования, содержащий выборку p₀, и субблок кодирования, содержащий выборку q₀, и разность между горизонтальными компонентами или вертикальными компонентами вектора движения каждого субблока может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.[143] - Condition 3: One motion vector is used to predict the coding sub-block containing the sample p ₀ and the coding sub-block containing the sample q ₀ , and the difference between the horizontal components or the vertical components of the motion vector of each sub-block may be greater than or equal to 8-unit value in the unit of 1/16 of the luminance signal sample.

[144] - Условие 4: Два вектора движения и два различных опорных кадра используются для того, чтобы прогнозировать субблок кодирования, включающий в себя идентичный p₀, и два вектора движения и два идентичных опорных кадра используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, и разность между горизонтальными компонентами или вертикальными компонентами векторов движения для идентичного опорного кадра может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.[144] - Condition 4: Two motion vectors and two different reference frames are used to predict a coding sub-block including an identical p ₀ , and two motion vectors and two identical reference frames are used to predict a coding sub-block containing a sample q ₀ , and the difference between the horizontal components or the vertical components of the motion vectors for the identical reference frame may be greater than or equal to an 8-unit value in the unit of 1/16 of the luminance signal sample.

[145] - Условие 5: Два вектора движения для идентичных опорных кадров используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку p₀, два вектора движения для идентичного опорного кадра используются для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, и следующие два условия удовлетворяются (условие 5-1 и условие 5-2).[145] - Condition 5: Two motion vectors for identical reference frames are used to predict the coding sub-block containing sample p ₀ , two motion vectors for the identical reference frame are used to predict the coding sub-block containing sample q ₀ , and the following two conditions are satisfied (Condition 5-1 and Condition 5-2).

[146] - Условие 5-1: Разность между горизонтальными компонентами или вертикальными компонентами векторов движения списка 0, используемых для того, чтобы прогнозировать каждый субблок кодирования, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости, и разность между горизонтальными компонентами или вертикальными компонентами векторов движения списка 1, используемых для того, чтобы прогнозировать каждый субблок кодирования, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.[146] - Condition 5-1: The difference between the horizontal components or the vertical components of the motion vectors of list 0 used to predict each coding sub-block may be greater than or equal to an 8-unit value in a unit in 1/16 of a sample of luminance signals, and the difference between the horizontal components or the vertical components of the motion vectors of list 1 used to predict each coding sub-block may be greater than or equal to an 8-unit value in a unit in 1/16 of a sample of luminance signals.

[147] - Условие 5-2: Разность между горизонтальными компонентами или вертикальными компонентами между вектором движения списка 0, используемым для того, чтобы прогнозировать субблок кодирования, включающий в себя субблок p₀, и вектором движения списка 1, используемым для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости, либо разность между горизонтальными компонентами или вертикальными компонентами между вектором движения списка 1, используемым для того, чтобы прогнозировать субблок кодирования, включающий в себя субблок p₀, и вектором движения списка 0, используемым для того, чтобы прогнозировать субблок кодирования, содержащий выборку q₀, может быть больше или равной 8-единичному значению в единице в 1/16 выборки сигналов яркости.[147] - Condition 5-2: The difference between the horizontal components or the vertical components between the list 0 motion vector used to predict the coding sub-unit including the sub-unit p ₀ and the list 1 motion vector used to predict the coding sub-unit containing the sample q ₀ may be greater than or equal to an 8-unit value in the unit of 1/16 of a luminance sample, or the difference between the horizontal components or the vertical components between the list 1 motion vector used to predict the coding sub-unit including the sub-unit p ₀ and the list 0 motion vector used to predict the coding sub-unit containing the sample q ₀ may be greater than or equal to an 8-unit value in the unit of 1/16 of a luminance sample.

[148] В вышеприведенных условиях 1-5, разность между вертикальными (или горизонтальными) компонентами векторов движения может означать абсолютное значение разности между вертикальными (или горизонтальными) компонентами векторов движения.[148] In the above conditions 1-5, the difference between the vertical (or horizontal) components of the motion vectors may mean the absolute value of the difference between the vertical (or horizontal) components of the motion vectors.

[149] Когда условие этапа S770 не удовлетворяется (S770 - "Нет"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая первое значение (например, 0).[149] When the condition of step S770 is not satisfied (S770 - "No"), the boundary intensity for the corresponding target boundary may be determined to be a component of the first value (e.g., 0).

[150] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 7, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 7. Например, некоторые этапы, показанные на фиг. 7, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 7, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 7. Помимо этого, некоторые этапы, показанные на фиг. 7, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.[150] The method for determining the boundary intensity bS described with reference to Fig. 7 is exemplary, and the method for determining the boundary intensity according to the present invention is not limited to the example shown in Fig. 7. For example, some steps shown in Fig. 7 may be omitted, and steps other than those shown in Fig. 7 may be added to any positions of the flow chart of the method in Fig. 7. In addition, some steps shown in Fig. 7 may be performed simultaneously with other steps, or the order of the steps may be changed.

[151] В примере, показанном на фиг. 7, этап S750 определяет то, включают или нет два блока преобразования, смежные с целевой границей, в себя уровень ненулевых коэффициентов преобразования. Помимо этого, когда условие этапа S750 удовлетворяется, граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1)[151] In the example shown in Fig. 7, step S750 determines whether or not two transformation blocks adjacent to the target boundary include a level of non-zero transformation coefficients. In addition, when the condition of step S750 is satisfied, the boundary intensity for the corresponding target boundary may be determined to be a second value (e.g., 1)

[152] Тем не менее, когда остаточные выборки для двух компонентов сигналов цветности (например, Cb-компонента и Cr-компонента) кодируются как один блок преобразования, такая проблема, что определение граничной интенсивности границы блока является неточным, может возникать относительно определения этапа S750. Например, в настоящем изобретении, "объединенное остаточное CbCr-кодирование" может означать технологию, в которой остаточные выборки для двух компонентов сигналов цветности (например, Cb-компонента и Cr-компонента) кодируются как один блок преобразования. То, применяется или нет объединенное остаточное CbCr-кодирование для текущего блока, может определяться на основе информации (например, флага), передаваемой в служебных сигналах через поток битов. Таким образом, оборудование кодирования изображений может определять то, выполняется или нет объединенное остаточное CbCr-кодирование для текущего блока, и кодировать информацию флага в поток битов на основе этого. Помимо этого, оборудование декодирования изображений может определять то, выполняется (выполнено) или нет объединенное остаточное CbCr-кодирование для текущего блока, посредством синтаксического анализа информации флага из потока битов и восстанавливать текущий блок на основе этого. Например, информация флага может представлять собой tu_joint_cbcr_residual_flag в настоящем изобретении.[152] However, when residual samples for two chrominance signal components (for example, a Cb component and a Cr component) are coded as one transformation block, a problem that the determination of the boundary intensity of the block boundary is inaccurate may arise with respect to the determination of step S750. For example, in the present invention, "combined CbCr residual coding" may mean a technology in which residual samples for two chrominance signal components (for example, a Cb component and a Cr component) are coded as one transformation block. Whether or not the combined CbCr residual coding is applied to the current block may be determined based on information (for example, a flag) signaled through a bitstream. In this way, the image coding equipment can determine whether or not the combined CbCr residual coding is performed for the current block, and encode the flag information into the bitstream based on this. In addition, the image decoding equipment may determine whether or not the joint residual CbCr coding is performed for the current block by parsing flag information from the bit stream and reconstruct the current block based on this. For example, the flag information may be tu_joint_cbcr_residual_flag in the present invention.

[153] Фиг. 8 является видом, иллюстрирующим передачу в служебных сигналах синтаксического элемента в блоке преобразования, связанном с вариантом осуществления настоящего изобретения.[153] Fig. 8 is a view illustrating the transmission of a syntax element in service signals in a transformation unit related to an embodiment of the present invention.

[154] В примере, показанном на фиг. 8, tu_cb_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "Cb-блоком преобразования") Cb-компонента с координатами левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_cb_coded_flag второго значения (например, 1) может указывать то, что Cb-блок преобразования включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_cb_coded_flag первого значения (например, 0) может указывать то, что Cb-блок преобразования не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_cb_coded_flag составляет первое значение, все уровни коэффициентов преобразования в Cb-блоке преобразования могут задаваться равными 0. Помимо этого, когда tu_cb_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.[154] In the example shown in Fig. 8, tu_cb_coded_flag[x][y] may indicate whether or not the transform block (hereinafter referred to as the "Cb transform block") includes the Cb component with the upper-left sample coordinates (x, y) in it. For example, a tu_cb_coded_flag of a second value (e.g., 1) may indicate that the Cb transform block includes one or more levels of non-zero transform coefficients. In addition, a tu_cb_coded_flag of a first value (e.g., 0) may indicate that the Cb transform block does not include one or more levels of non-zero transform coefficients. When tu_cb_coded_flag is the first value, all transform coefficient levels in the Cb transform block may be set to 0. In addition, when tu_cb_coded_flag is not present in the bitstream, its value may be inferred as the first value.

[155] В примере, показанном на фиг. 8, tu_cr_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "Cr-блоком преобразования") Cr-компонента с координатой левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_cr_coded_flag второго значения (например, 1) может указывать то, что Cr-блок преобразования включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_cr_coded_flag первого значения (например, 0) может указывать то, что Cr-блок преобразования не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_cr_coded_flag составляет первое значение, все уровни коэффициентов преобразования в Cr-блоке преобразования могут задаваться равными 0. Помимо этого, когда tu_cr_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.[155] In the example shown in Fig. 8, tu_cr_coded_flag[x][y] may indicate whether or not the transform block (hereinafter referred to as the "Cr transform block") includes the Cr component with the left upper sample coordinate (x, y) in it. For example, a tu_cr_coded_flag of a second value (e.g., 1) may indicate that the Cr transform block includes one or more levels of non-zero transform coefficients. In addition, a tu_cr_coded_flag of a first value (e.g., 0) may indicate that the Cr transform block does not include one or more levels of non-zero transform coefficients. When tu_cr_coded_flag is the first value, all transform coefficient levels in the Cr transform block may be set to 0. In addition, when tu_cr_coded_flag is not present in the bitstream, its value may be inferred as the first value.

[156] В примере, показанном на фиг. 8, tu_y_coded_flag[x][y] может указывать то, включает или нет блок преобразования (в дальнейшем называется "блоком преобразования сигналов яркости") компонента сигналов яркости с координатой левой верхней выборки (x, y) в себя один или более уровней ненулевых коэффициентов преобразования. Например, tu_y_coded_flag второго значения (например, 1) может указывать то, что блок преобразования сигналов яркости включает в себя один или более уровней ненулевых коэффициентов преобразования. Помимо этого, tu_y_coded_flag первого значения (например, 0) может указывать то, что блок преобразования сигналов яркости не включает в себя один или более уровней ненулевых коэффициентов преобразования. Когда tu_y_coded_flag составляет первое значение, все уровни коэффициентов преобразования в блоке преобразования сигналов яркости могут задаваться равными 0. Когда tu_y_coded_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения или второго значения на основе других различных синтаксических элементов и/или переменных.[156] In the example shown in Fig. 8, tu_y_coded_flag[x][y] may indicate whether or not the transform block (hereinafter referred to as the "luminance transform block") includes the luminance component with the left upper sample coordinate (x, y) in itself. For example, a second tu_y_coded_flag value (e.g., 1) may indicate that the luminance transform block includes one or more levels of non-zero transform coefficients. In addition, a first tu_y_coded_flag value (e.g., 0) may indicate that the luminance transform block does not include one or more levels of non-zero transform coefficients. When tu_y_coded_flag is the first value, all transform coefficient levels in the luma transform block may be set to 0. When tu_y_coded_flag is not present in the bitstream, its value may be inferred as the first value or the second value based on various other syntax elements and/or variables.

[157] В примере, показанном на фиг. 8, tu_joint_cbcr_residual_flag[x][y] может указывать то, кодируются или нет остаточная выборка для Cb-компонента и остаточная выборка для Cr-компонента в качестве одного блока преобразования, для блока преобразования с координатой левой верхней выборки (x, y). Например, когда tu_joint_cbcr_residual_flag составляет второе значение (например, 1), единица преобразования может включать в себя уровни коэффициентов преобразования для одного блока преобразования, и остаточные выборки для Cb-компонента и Cr-компонента могут извлекаться из одного блока преобразования. Помимо этого, когда tu_joint_cbcr_residual_flag составляет первое значение (например, 0), уровни коэффициентов преобразования для компонентов сигналов цветности могут кодироваться/декодироваться, как указано посредством tu_cb_coded_flag и tu_cr_coded_flag. Например, когда tu_cb_coded_flag равен 1, уровни коэффициентов преобразования для Cb-блока преобразования могут кодироваться/декодироваться, а когда tu_cb_coded_flag равен 0, уровни коэффициентов преобразования для Cb-блока преобразования могут логически выводиться в качестве 0 без кодирования/декодирования. Аналогично, когда tu_cr_coded_flag равен 1, уровни коэффициентов преобразования для Cr-блока преобразования могут кодироваться/декодироваться, а когда tu_cr_coded_flag равен 0, уровни коэффициентов преобразования для Cr-блока преобразования могут логически выводиться в качестве 0 без кодирования/декодирования. Когда tu_joint_cbcr_residual_flag не присутствует в потоке битов, его значение может логически выводиться в качестве первого значения.[157] In the example shown in Fig. 8, tu_joint_cbcr_residual_flag[x][y] may indicate whether or not the residual sample for the Cb component and the residual sample for the Cr component are coded as one transform unit, for the transform unit with the coordinate of the upper left sample (x, y). For example, when tu_joint_cbcr_residual_flag is the second value (e.g., 1), the transform unit may include transform coefficient levels for one transform unit, and the residual samples for the Cb component and the Cr component may be extracted from one transform unit. In addition, when tu_joint_cbcr_residual_flag is the first value (e.g., 0), the transform coefficient levels for the chrominance signal components may be coded/decoded as specified by tu_cb_coded_flag and tu_cr_coded_flag. For example, when tu_cb_coded_flag is 1, the transform coefficient levels for the Cb transform block can be encoded/decoded, and when tu_cb_coded_flag is 0, the transform coefficient levels for the Cb transform block can be inferred as 0 without encoding/decoding. Similarly, when tu_cr_coded_flag is 1, the transform coefficient levels for the Cr transform block can be encoded/decoded, and when tu_cr_coded_flag is 0, the transform coefficient levels for the Cr transform block can be inferred as 0 without encoding/decoding. When tu_joint_cbcr_residual_flag is not present in the bitstream, its value can be inferred as the first value.

[158] Как показано на фиг. 8, передача остаточной информации (transform_skip_flag, residual_coding и/или residual_ts_coding) для каждого цветового компонента (сигнал (Y) яркости, сигнал (Cb и Cr) цветности может определяться на основе различных параметров и/или условий. Из фиг. 8 очевидно то, что условие передачи в служебных сигналах остаточной информации не ограничено tu_y_coded_flag, tu_cb_coded_flag и tu_cr_coded_flag. Тем не менее, в настоящем изобретении, в качестве условия передачи в служебных сигналах остаточной информации, могут упоминаться только tu_y_coded_flag, tu_cb_coded_flag, tu_cr_coded_flag и/или некоторые условия. Это служит для удобства описания, и условие передачи в служебных сигналах остаточной информации не ограничено этим. Таким образом, условие передачи в служебных сигналах остаточной информации может включать в себя все или некоторые условия передачи в служебных сигналах, показанные на фиг. 8, или может включать в себя дополнительные условия передачи в служебных сигналах, которые не показаны на фиг. 8. Как показано на фиг. 8, например, когда tu_y_coded_flag равен 1, остаточная информация для блока преобразования сигналов яркости может передаваться в служебных сигналах. Аналогично, остаточная информация для Cb-блока преобразования и Cr-блока преобразования может передаваться в служебных сигналах на основе tu_cb_coded_flag и tu_cr_coded_flag.[158] As shown in Fig. 8, the transmission of residual information (transform_skip_flag, residual_coding and/or residual_ts_coding) for each color component (luminance signal (Y), chrominance signal (Cb and Cr) can be determined based on various parameters and/or conditions. It is obvious from Fig. 8 that the signaling condition for transmitting residual information is not limited to tu_y_coded_flag, tu_cb_coded_flag and tu_cr_coded_flag. However, in the present invention, as the signaling condition for transmitting residual information, only tu_y_coded_flag, tu_cb_coded_flag, tu_cr_coded_flag and/or some conditions may be mentioned. This is for convenience of description, and the signaling condition for transmitting residual information is not limited to this. Thus, the signaling condition for transmitting residual information may include all or some of the signaling conditions shown in in Fig. 8, or may include additional transmission conditions in the service signals that are not shown in Fig. 8. As shown in Fig. 8, for example, when tu_y_coded_flag is 1, the residual information for the luminance signal transformation block may be transmitted in the service signals. Similarly, the residual information for the Cb transformation block and the Cr transformation block may be transmitted in the service signals based on tu_cb_coded_flag and tu_cr_coded_flag.

[159] Тем не менее, как показано на фиг. 8, остаточная информация для Cr-блока преобразования может передаваться в служебных сигналах только тогда, когда удовлетворяется следующее условие.[159] However, as shown in Fig. 8, the residual information for the Cr transform block can be transmitted in the service signals only when the following condition is satisfied.

[160] !(tu_cb_coded_flag andand tu_joint_cbcr_residual_flag)[160] !(tu_cb_coded_flag andand tu_joint_cbcr_residual_flag)

[161] Согласно вышеуказанному условию, когда как tu_cb_coded_flag, так и tu_joint_cbcr_residual_flag равны 1, остаточная информация для Cr-блока преобразования не передается в служебных сигналах. Таким образом, когда как tu_cb_coded_flag, так и tu_joint_cbcr_residual_flag равны 1, хотя tu_cr_coded_flag равен 1, transform_skip_flag для Cr-компонента и остаточный синтаксис не передаются в служебных сигналах. В этом случае, все уровни коэффициентов преобразования в Cr-блоке преобразования могут извлекаться в качестве 0.[161] According to the above condition, when both tu_cb_coded_flag and tu_joint_cbcr_residual_flag are 1, the residual information for the Cr transform block is not signaled. Thus, when both tu_cb_coded_flag and tu_joint_cbcr_residual_flag are 1, although tu_cr_coded_flag is 1, the transform_skip_flag for the Cr component and the residual syntax are not signaled. In this case, all transform coefficient levels in the Cr transform block can be extracted as 0.

[162] В вышеприведенном примере, когда tu_cb_coded_flag равен 1, Cb-блок преобразования включает в себя, по меньшей мере, один уровень ненулевых коэффициентов преобразования, и хотя tu_cr_coded_flag равен 1, все уровни коэффициентов преобразования в Cr-блоке преобразования могут извлекаться в качестве 0. Соответственно, на основе определения этапа S750, граничная интенсивность целевой границы для Cb-компонента может извлекаться в качестве 1, и граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.[162] In the above example, when tu_cb_coded_flag is 1, the Cb transformation block includes at least one level of non-zero transformation coefficients, and although tu_cr_coded_flag is 1, all levels of transformation coefficients in the Cr transformation block may be extracted as 0. Accordingly, based on the determination of step S750, the edge intensity of the target boundary for the Cb component may be extracted as 1, and the edge intensity of the target boundary for the Cr component may be extracted as a value other than 1.

[163] Соответственно, посредством применения объединенного остаточного CbCr-кодирования, следующие две проблемы могут возникать в процессе определения граничной интенсивности.[163] Accordingly, by applying the combined residual CbCr coding, the following two problems may arise in the process of determining the boundary intensity.

[164] Во-первых, на этапе S750, хотя tu_cr_coded_flag равен 1, граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.[164] First, in step S750, although tu_cr_coded_flag is 1, the boundary intensity of the target boundary for the Cr component may be extracted as a value other than 1.

[165] Во-вторых, хотя tu_cr_coded_flag равен 0, когда tu_joint_cbcr_flag равен 1, Cr-блок преобразования может включать в себя один или более уровней ненулевых коэффициентов преобразования. Тем не менее, на этапе S750, граничная интенсивность целевой границы для Cr-компонента может извлекаться в качестве значения, отличного от 1.[165] Second, although tu_cr_coded_flag is 0, when tu_joint_cbcr_flag is 1, the Cr transformation block may include one or more levels of non-zero transformation coefficients. However, in step S750, the boundary intensity of the target boundary for the Cr component may be extracted as a value other than 1.

[166] В дальнейшем в этом документе описываются различные варианты осуществления улучшения варианта осуществления по фиг. 7 с учетом вышеуказанных проблем согласно применению объединенного остаточного CbCr-кодирования.[166] In the following, this document describes various embodiments of improving the embodiment of Fig. 7 taking into account the above problems according to the application of joint residual CbCr coding.

[167] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[167] Fig. 9 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[168] Фиг. 9 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 9 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 9, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S750 по фиг. 7 могут соответствовать этапам S910-S950 по фиг. 9, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S970-S980 по фиг. 9, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 9 дополнительно включает в себя этап S960 по сравнению со способом по фиг. 7.[168] Fig. 9 serves to improve the method for determining the boundary intensity described with reference to Fig. 7, and the method of Fig. 7 and the method of Fig. 9 may be identical or overlap. In the method of Fig. 7 and the method of Fig. 9, repeated description of the identical or overlapping step may be omitted. For example, step S710-S750 of Fig. 7 may correspond to steps S910-S950 of Fig. 9, respectively. In addition, steps S760-S770 of Fig. 7 may correspond to steps S970-S980 of Fig. 9, respectively. Repeated description of the corresponding steps is omitted. The method for determining the boundary intensity according to Fig. 9 further includes step S960 compared to the method of Fig. 7.

[169] В частности, ссылаясь на фиг. 9, когда условие этапа S950 не удовлетворяется (S950 - "Нет"), этап S960 может определяться. Более конкретно, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из двух условий, описанных ниже (S960). Когда вышеуказанное условие удовлетворяется (S960 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[169] In particular, referring to Fig. 9, when the condition of step S950 is not satisfied (S950: "No"), step S960 may be determined. More specifically, it may be determined whether or not the target boundary is a boundary of a transformation block, and whether or not at least one of the two conditions described below is satisfied (S960). When the above condition is satisfied (S960: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1).

[170] - Условие S960-1: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.[170] - Condition S960-1: The current block is a Cb chrominance component block (e.g., cIdx=1), and sample p ₀ or sample q ₀ is included in a transform block (e.g., tu_joint_cbcr_residual_flag=1) for which joint CbCr residual coding is performed.

[171] - Условие S960-2: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.[171] - Condition S960-2: The current block is a block of Cr chrominance components (e.g., cIdx=2), and sample p ₀ or sample q ₀ is included in a transform block (e.g., tu_joint_cbcr_residual_flag=1) for which joint CbCr residual coding is performed.

[172] Вышеприведенные условия S960-1 и S960-2 могут объединяться в одно условие, например, следующим образом.[172] The above conditions S960-1 and S960-2 may be combined into one condition, for example, as follows.

[173] - Условие объединения S960: Текущий блок представляет собой блок сигналов цветности (например, cIdx>0), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.[173] - Join condition S960: The current block is a chrominance block (e.g., cIdx>0), and sample p ₀ or sample q ₀ is included in a transform block (e.g., tu_joint_cbcr_residual_flag=1) for which joint CbCr residual coding is performed.

[174] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 9, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 9. Например, некоторые этапы, показанные на фиг. 9, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 9, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 9. Помимо этого, некоторые этапы, показанные на фиг. 9, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.[174] The method for determining the boundary intensity bS described with reference to Fig. 9 is exemplary, and the method for determining the boundary intensity according to the present invention is not limited to the example shown in Fig. 9. For example, some steps shown in Fig. 9 may be omitted, and steps other than those shown in Fig. 9 may be added to any positions of the flow chart of the method in Fig. 9. In addition, some steps shown in Fig. 9 may be performed simultaneously with other steps, or the order of the steps may be changed.

[175] Например, поскольку tu_joint_cbcr_residual_flag может означать то, что, по меньшей мере, один из tu_cu_coded_flag или tu_cr_coded_flag равен 1, для Cb-блока преобразования или Cr-блока преобразования, он может изменяться, с тем чтобы опускать этап S950 в способе определения граничной интенсивности согласно фиг. 9.[175] For example, since tu_joint_cbcr_residual_flag may mean that at least one of tu_cu_coded_flag or tu_cr_coded_flag is 1, for the Cb transform block or the Cr transform block, it may be changed so as to omit step S950 in the boundary intensity determination method according to Fig. 9.

[176] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 9, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может определяться как составляющая ненулевое значение (например, 1).[176] According to the method for determining the boundary intensity described with reference to Fig. 9, the above two problems that may arise by applying the joint residual CbCr coding can be solved. In this way, when the joint residual CbCr coding is applied, the boundary intensity of the deblocking filtering for the boundary of the transform block can be determined to be a non-zero value (for example, 1).

[177] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[177] Fig. 10 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[178] Фиг. 10 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 10 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 10, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S740 по фиг. 7 могут соответствовать этапам S1010-S1040 по фиг. 10, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S1060-S1070 по фиг. 10, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 10 дополнительно может включать в себя этап S1050 вместо этапа S750 по сравнению со способом по фиг. 7.[178] FIG. 10 serves to improve the method for determining the boundary intensity described with reference to FIG. 7, and the method of FIG. 7 and the method of FIG. 10 may be identical or overlap. In the method of FIG. 7 and the method of FIG. 10, repeated description of the identical or overlapping step may be omitted. For example, step S710-S740 of FIG. 7 may correspond to steps S1010-S1040 of FIG. 10, respectively. In addition, steps S760-S770 of FIG. 7 may correspond to steps S1060-S1070 of FIG. 10, respectively. Repeated description of the corresponding steps is omitted. The method for determining the boundary intensity according to FIG. 10 may further include step S1050 instead of step S750, compared with the method of FIG. 7.

[179] В частности, ссылаясь на фиг. 10, когда условие этапа S1040 не удовлетворяется (S1040 - "Нет"), этап S1050 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из трех условий, описанных ниже (S1050). Когда вышеуказанное условие удовлетворяется (S1050 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[179] Specifically, referring to Fig. 10, when the condition of step S1040 is not satisfied (S1040: "No"), step S1050 may be determined. Specifically, it may be determined whether or not the target boundary is a boundary of a transformation block, and whether or not at least one of the three conditions described below is satisfied (S1050). When the above condition is satisfied (S1050: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1).

[180] - Условие S1050-1: Текущий блок представляет собой блок компонентов сигналов яркости (например, cIdx=0), и выборка p₀ или выборка q₀ включается в блок преобразования сигналов яркости (например, tu_y_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.[180] - Condition S1050-1: The current block is a luminance component block (e.g., cIdx=0), and sample p ₀ or sample q ₀ is included in a luminance transform block (e.g., tu_y_coded_flag=1) that includes one or more levels of non-zero transform coefficients.

[181] - Условие S1050-2: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в Cb-блок преобразования (например, tu_cb_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.[181] - Condition S1050-2: The current block is a block of Cb chrominance components (e.g., cIdx=1), and sample p ₀ or sample q ₀ is included in a Cb transform block (e.g., tu_cb_coded_flag=1) that includes one or more levels of non-zero transform coefficients.

[182] - Условие S1050-3: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в Cr-блок преобразования (например, tu_cr_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.[182] - Condition S1050-3: The current block is a block of Cr chrominance components (e.g., cIdx=2), and sample p ₀ or sample q ₀ is included in a Cr transform block (e.g., tu_cr_coded_flag=1) that includes one or more levels of non-zero transform coefficients.

[183] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 10, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 10. Например, некоторые этапы, показанные на фиг. 10, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 10, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 10. Помимо этого, некоторые этапы, показанные на фиг. 10, могут выполняться одновременно с другими этапами, или порядок других этапов может изменяться.[183] The method for determining the boundary intensity bS described with reference to Fig. 10 is exemplary, and the method for determining the boundary intensity according to the present invention is not limited to the example shown in Fig. 10. For example, some steps shown in Fig. 10 may be omitted, and steps other than those shown in Fig. 10 may be added to any positions of the flow chart of the method in Fig. 10. In addition, some steps shown in Fig. 10 may be performed simultaneously with other steps, or the order of other steps may be changed.

[184] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 10, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, поскольку способ по фиг. 10 определяет то, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования для каждого цветового компонента, даже когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может точно определяться.[184] According to the method for determining the boundary intensity described with reference to Fig. 10, the above two problems that may arise by applying the combined residual CbCr coding can be solved. In this way, since the method of Fig. 10 determines whether or not a transformation block includes one or more levels of non-zero transformation coefficients for each color component, even when the combined residual CbCr coding is applied, the boundary intensity of the deblocking filtering for the boundary of the transformation block can be accurately determined.

[185] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ определения граничной интенсивности для целевой границы согласно другому варианту осуществления настоящего изобретения.[185] Fig. 11 is a flow chart illustrating a method for determining a boundary intensity for a target boundary according to another embodiment of the present invention.

[186] Фиг. 11 служит для того, чтобы улучшать способ определения граничной интенсивности, описанный со ссылкой на фиг. 7, и способ по фиг. 7 и способ по фиг. 11 могут быть идентичными или перекрываться. В способе по фиг. 7 и в способе по фиг. 11, может опускаться повторное описание идентичного или перекрывающегося этапа. Например, этап S710-S740 по фиг. 7 могут соответствовать этапам S1110-S1140 по фиг. 11, соответственно. Помимо этого, этапы S760-S770 по фиг. 7 могут соответствовать этапам S1160-S1170 по фиг. 11, соответственно. Повторное описание соответствующих этапов опускается. Способ определения граничной интенсивности согласно фиг. 11 дополнительно может включать в себя этап S1150 вместо этапа S750 по сравнению со способом по фиг. 7.[186] Fig. 11 serves to improve the method for determining the boundary intensity described with reference to Fig. 7, and the method of Fig. 7 and the method of Fig. 11 may be identical or overlap. In the method of Fig. 7 and the method of Fig. 11, repeated description of the identical or overlapping step may be omitted. For example, step S710-S740 of Fig. 7 may correspond to steps S1110-S1140 of Fig. 11, respectively. In addition, steps S760-S770 of Fig. 7 may correspond to steps S1160-S1170 of Fig. 11, respectively. Repeated description of the corresponding steps is omitted. The method for determining the boundary intensity according to Fig. 11 may further include step S1150 instead of step S750, compared with the method of Fig. 7.

[187] Ссылаясь на фиг. 11, когда условие этапа S1140 не удовлетворяется (S1140 - "Нет"), этап S1150 может определяться. В частности, может определяться то, представляет собой целевая граница или нет границу блока преобразования, и то, удовлетворяется или нет, по меньшей мере, одно из четырех условий, описанных ниже (S1150). Когда вышеуказанное условие удовлетворяется (S1150 - "Да"), граничная интенсивность для соответствующей целевой границы может определяться как составляющая второе значение (например, 1).[187] Referring to Fig. 11, when the condition of step S1140 is not satisfied (S1140: "No"), step S1150 may be determined. Specifically, it may be determined whether or not the target boundary is a boundary of a transformation block, and whether or not at least one of the four conditions described below is satisfied (S1150). When the above condition is satisfied (S1150: "Yes"), the boundary intensity for the corresponding target boundary may be determined to constitute a second value (e.g., 1).

[188] - Условие S1150-1: Текущий блок представляет собой блок компонентов сигналов яркости (например, cIdx=0), и выборка p₀ или выборка q₀ включается в блок преобразования сигналов яркости (например, tu_y_coded_flag=1), включающий в себя один или более уровней коэффициентов преобразования.[188] - Condition S1150-1: The current block is a luminance signal component block (e.g., cIdx=0), and the sample p ₀ or the sample q ₀ is included in a luminance signal transform block (e.g., tu_y_coded_flag=1) including one or more transform coefficient levels.

[189] - Условие S1150-2: Текущий блок представляет собой блок Cb-компонентов сигналов цветности (например, cIdx=1), и выборка p₀ или выборка q₀ включается в Cb-блок преобразования (например, tu_cb_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.[189] - Condition S1150-2: The current block is a block of Cb chrominance components (e.g., cIdx=1), and sample p ₀ or sample q ₀ is included in a Cb transform block (e.g., tu_cb_coded_flag=1) that includes one or more levels of non-zero transform coefficients.

[190] - Условие S1150-3: Текущий блок представляет собой блок Cr-компонентов сигналов цветности (например, cIdx=2), и выборка p₀ или выборка q₀ включается в Cr-блок преобразования (например, tu_cr_coded_flag=1), включающий в себя один или более уровней ненулевых коэффициентов преобразования.[190] - Condition S1150-3: The current block is a block of Cr chrominance components (e.g., cIdx=2), and sample p ₀ or sample q ₀ is included in a Cr transform block (e.g., tu_cr_coded_flag=1) that includes one or more levels of non-zero transform coefficients.

[191] - Условие S1150-4: Текущий блок не представляет собой блок компонентов сигналов яркости (например, cIdx ≠ 0), и выборка p₀ или выборка q₀ включается в блок преобразования (например, tu_joint_cbcr_residual_flag=1), для которого выполняется объединенное остаточное CbCr-кодирование.[191] - Condition S1150-4: The current block is not a luminance component block (e.g., cIdx ≠ 0), and sample p ₀ or sample q ₀ is included in a transform block (e.g., tu_joint_cbcr_residual_flag=1) for which joint CbCr residual coding is performed.

[192] Способ определения граничной интенсивности bS, описанный со ссылкой на фиг. 11, является примерным, и способ определения граничной интенсивности согласно настоящему изобретению не ограничен примером, показанным на фиг. 11. Например, некоторые этапы, показанные на фиг. 11, могут опускаться, и этапы, отличные от этапов, показанных на фиг. 11, могут добавляться в любые позиции блок-схемы последовательности операций способа по фиг. 11. Помимо этого, некоторые этапы, показанные на фиг. 11, могут выполняться одновременно с другими этапами, или порядок этапов может изменяться.[192] The method for determining the boundary intensity bS described with reference to Fig. 11 is exemplary, and the method for determining the boundary intensity according to the present invention is not limited to the example shown in Fig. 11. For example, some steps shown in Fig. 11 may be omitted, and steps other than those shown in Fig. 11 may be added to any positions of the flow chart of the method in Fig. 11. In addition, some steps shown in Fig. 11 may be performed simultaneously with other steps, or the order of the steps may be changed.

[193] Согласно способу определения граничной интенсивности, описанному со ссылкой на фиг. 11, могут разрешаться вышеуказанные две проблемы, которые могут возникать посредством применения объединенного остаточного CbCr-кодирования. Таким образом, поскольку способ по фиг. 11 определяет то, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования для каждого цветового компонента, даже когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может точно определяться. Помимо этого, согласно способу по фиг. 11, когда объединенное остаточное CbCr-кодирование применяется, граничная интенсивность фильтрации для удаления блочности для границы блока преобразования может определяться как составляющая ненулевое значение (например, 1).[193] According to the method for determining the boundary strength described with reference to FIG. 11, the above two problems that may arise by applying the joint residual CbCr coding can be solved. In this way, since the method of FIG. 11 determines whether or not a transformation block includes one or more levels of non-zero transformation coefficients for each color component, even when the joint residual CbCr coding is applied, the boundary strength of the deblocking filtering for the boundary of the transformation block can be accurately determined. In addition, according to the method of FIG. 11, when the joint residual CbCr coding is applied, the boundary strength of the deblocking filtering for the boundary of the transformation block can be determined to be a non-zero value (for example, 1).

[194] В вариантах осуществления, описанных со ссылкой на фиг. 7-11, определение граничной интенсивности на основе определения того, включает или нет блок преобразования в себя один или более уровней ненулевых коэффициентов преобразования с учетом применения объединенного остаточного CbCr-кодирования, может изменяться различными способами.[194] In the embodiments described with reference to Figs. 7-11, the determination of the boundary intensity based on the determination of whether or not the transform block includes one or more levels of non-zero transform coefficients taking into account the application of the combined residual CbCr coding may be varied in various ways.

[195] Например, как описано выше, когда объединенное остаточное CbCr-кодирование применяется, по меньшей мере, для одного из двух блоков (P-блока и Q-блока), смежных с целевой границей (tu_joint_cbcr_residual_flag равен 1), граничная интенсивность может определяться как составляющая второе значение (например, 1). Помимо этого, когда, по меньшей мере, один из двух блоков (P-блок и Q-блок), смежный с целевой границей, включает в себя уровень ненулевых коэффициентов преобразования (кодированный флаг соответствующего цветового компонента равен 1), граничная интенсивность может определяться как составляющая второе значение (например, 1).[195] For example, as described above, when the joint CbCr residual coding is applied to at least one of the two blocks (the P block and the Q block) adjacent to the target boundary (tu_joint_cbcr_residual_flag is equal to 1), the boundary intensity may be determined to constitute a second value (e.g., 1). In addition, when at least one of the two blocks (the P block and the Q block) adjacent to the target boundary includes a layer of non-zero transform coefficients (the encoded flag of the corresponding color component is equal to 1), the boundary intensity may be determined to constitute a second value (e.g., 1).

[196] Соответственно, согласно другому варианту осуществления настоящего изобретения, условие этапа S750 может изменяться следующим образом.[196] Accordingly, according to another embodiment of the present invention, the condition of step S750 may be changed as follows.

[197] Для компонента сигналов яркости (например, cIdx=0), когда сумма значения tu_y_coded_flag для P-блока и значения tu_y_coded_flag для Q-блока больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).[197] For a luminance signal component (e.g. cIdx=0), when the sum of the tu_y_coded_flag value for the P-block and the tu_y_coded_flag value for the Q-block is greater than 0, the corresponding boundary intensity may be defined as comprising the second value (e.g. 1).

[198] Для Cb-компонента (например, cIdx=1), когда сумма значения tu_cb_coded_flag для P-блока, значения tu_joint_cbcr_residual_flag, значения tu_cb_coded_flag для Q-блока и значения tu_joint_cbcr_residual_flag больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).[198] For a Cb component (e.g. cIdx=1), when the sum of the tu_cb_coded_flag value for the P block, the tu_joint_cbcr_residual_flag value, the tu_cb_coded_flag value for the Q block, and the tu_joint_cbcr_residual_flag value is greater than 0, the corresponding boundary intensity may be defined as comprising the second value (e.g. 1).

[199] Для Cr-компонента (например, cIdx=2), когда сумма значения tu_cr_coded_flag для P-блока, значения tu_joint_cbcr_residual_flag, значения tu_cr_coded_flag для Q-блока и значения tu_joint_cbcr_residual_flag больше 0, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).[199] For the Cr component (e.g. cIdx=2), when the sum of the tu_cr_coded_flag value for the P block, the tu_joint_cbcr_residual_flag value, the tu_cr_coded_flag value for the Q block, and the tu_joint_cbcr_residual_flag value is greater than 0, the corresponding boundary intensity can be defined as comprising the second value (e.g. 1).

[200] Как описано выше, согласно измененному примеру, когда, по меньшей мере, один из P-блока или Q-блока включает в себя уровень ненулевых коэффициентов преобразования, либо объединенное остаточное CbCr-кодирование применяется, по меньшей мере, для одного из P-блока или Q-блока, соответствующая граничная интенсивность может определяться как составляющая второе значение (например, 1).[200] As described above, according to a modified example, when at least one of the P block or the Q block includes a layer of non-zero transform coefficients, or the combined residual CbCr coding is applied to at least one of the P block or the Q block, the corresponding boundary intensity may be determined to be a second value (e.g., 1).

[201] Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей процесс кодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.[201] Fig. 12 is a flow chart illustrating a deblocking filtering-based encoding process according to the present invention.

[202] Ссылаясь на фиг. 12, оборудование кодирования изображений может формировать восстановленный кадр (S1210). Оборудование кодирования изображений может формировать восстановленный кадр посредством кодирования входного изображения, которое должно кодироваться, и его восстановления.[202] Referring to Fig. 12, the image encoding equipment may generate a reconstructed frame (S1210). The image encoding equipment may generate the reconstructed frame by encoding an input image to be encoded and reconstructing it.

[203] Оборудование кодирования изображений может извлекать связанную с фильтром удаления блочности информацию для восстановленного кадра (S1220).[203] The image encoding equipment may extract deblocking filter related information for the reconstructed frame (S1220).

[204] Как описано выше, связанная с фильтром удаления блочности информация может включать в себя флаг, указывающий то, доступен или нет фильтр удаления блочности. Помимо этого, связанная с фильтром удаления блочности информация может включать в себя различную информацию, используемую для того, чтобы извлекать граничную интенсивность. Граничная интенсивность может по-разному извлекаться согласно компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности. Целевая граница, к которой применяется фильтрация для удаления блочности, может отдельно извлекаться согласно компоненту (Y) сигналов яркости и компонентам (Cb, Cr) сигналов цветности.[204] As described above, the deblocking filter-related information may include a flag indicating whether the deblocking filter is available or not. In addition, the deblocking filter-related information may include various information used to extract a boundary intensity. The boundary intensity may be extracted differently according to the luminance signal component (Y) and the chrominance signal components (Cb, Cr). The target boundary to which deblocking filtering is applied may be separately extracted according to the luminance signal component (Y) and the chrominance signal components (Cb, Cr).

[205] Оборудование кодирования изображений может формировать модифицированный восстановленный кадр посредством применения фильтрации для удаления блочности для восстановленного кадра на основе извлеченной связанной с фильтром удаления блочности информации (S1230). Модифицированный восстановленный кадр может передаваться в запоминающее устройство 170 и может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. DPB в запоминающем устройстве 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра для взаимного прогнозирования.[205] The image encoding equipment may generate a modified reconstructed frame by applying deblocking filtering to the reconstructed frame based on the extracted deblocking filter-related information (S1230). The modified reconstructed frame may be transmitted to the memory 170 and may be used as a reference frame in the inter-prediction unit 180. The DPB in the memory 170 may store the modified reconstructed frame for use as a reference frame for inter-prediction.

[206] Оборудование кодирования изображений может кодировать данные изображений, включающие в себя связанную с фильтром удаления блочности информацию (S1240). Например, связанная с фильтром удаления блочности информация может передаваться в энтропийный кодер 190 и кодироваться посредством энтропийного кодера 190, в силу этого выводясь в форме потока битов.[206] The image encoding equipment may encode image data including deblocking filter related information (S1240). For example, the deblocking filter related information may be supplied to the entropy encoder 190 and encoded by the entropy encoder 190, thereby being output in the form of a bit stream.

[207] Фиг. 13 является блок-схемой последовательности операций способа, иллюстрирующей процесс декодирования на основе фильтрации для удаления блочности согласно настоящему изобретению.[207] Fig. 13 is a flow chart illustrating a decoding process based on deblocking filtering according to the present invention.

[208] Ссылаясь на фиг. 13, оборудование декодирования изображений может получать данные изображений, включающие в себя связанную с фильтром удаления блочности информацию, из потока битов (S1310).[208] Referring to Fig. 13, the image decoding equipment may obtain image data including deblocking filter related information from a bit stream (S1310).

[209] Оборудование 200 декодирования изображений по фиг. 3 может принимать сигнал, выводимый из оборудования 100 кодирования изображений по фиг. 2 в форме потока битов. Энтропийный декодер 210 может получать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров), посредством синтаксического анализа потока битов.[209] The image decoding equipment 200 of Fig. 3 may receive a signal output from the image encoding equipment 100 of Fig. 2 in the form of a bit stream. The entropy decoder 210 may obtain information (e.g., video/image information) necessary for image reconstruction (or frame reconstruction) by parsing the bit stream.

[210] Оборудование декодирования изображений может формировать восстановленный кадр на основе полученной информации изображений (S1320).[210] The image decoding equipment may generate a reconstructed frame based on the received image information (S1320).

[211] Например, сумматор 235 оборудования 200 декодирования изображений по фиг. 3 может формировать восстановленный кадр посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозных выборок), выводимым из модуля прогнозирования (модуля 260 взаимного прогнозирования и/или модуля 265 внутреннего прогнозирования).[211] For example, the adder 235 of the image decoding equipment 200 of Fig. 3 may generate a reconstructed frame by adding the obtained residual signal to a predicted signal (predicted block, predicted sample array) output from the predicting module (inter-predicting module 260 and/or intra-predicting module 265).

[212] Оборудование декодирования изображений может формировать модифицированный восстановленный кадр посредством применения фильтрации для удаления блочности для восстановленного кадра (S1330).[212] The image decoding equipment may generate a modified reconstructed frame by applying deblocking filtering to the reconstructed frame (S1330).

[213] Фильтр 240 оборудования 200 декодирования изображений по фиг. 3 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному кадру. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру. Модифицированный восстановленный кадр может сохраняться в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования.[213] The filter 240 of the image decoding equipment 200 in Fig. 3 may improve the subjective/objective quality of images by applying filtering to the reconstructed frame. For example, the filter 240 may generate a modified reconstructed frame by applying various filtering methods to the reconstructed frame. The modified reconstructed frame may be stored in the memory 250, namely, in the DPB of the memory 250. The (modified) reconstructed frame stored in the DPB of the memory 250 may be used as a reference frame in the inter-prediction unit 260.

[214] Хотя примерные способы настоящего изобретения, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему изобретению, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.[214] Although the exemplary methods of the present invention described above are presented as a sequence of operations for clarity of description, this is not intended to limit the order in which the steps are performed, and the steps may be performed simultaneously or in another order as needed. In order to implement the method according to the present invention, the steps described may additionally include other steps, may include the remaining steps excluding some steps, or may include other additional steps excluding some steps.

[215] В настоящем изобретении, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, в случае если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.[215] In the present invention, the image encoding equipment or the image decoding equipment that performs a predetermined operation (step) may perform an operation (step) of confirming a condition or situation of executing the corresponding operation (step). For example, in a case where it is described that a predetermined operation is executed when a predetermined condition is satisfied, the image encoding equipment or the image decoding equipment may perform the predetermined operation after determining whether or not the predetermined condition is satisfied.

[216] Различные варианты осуществления настоящего изобретения не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего изобретения, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.[216] The various embodiments of the present invention do not represent a list of all possible combinations and are intended to describe characteristic aspects of the present invention, and the issues described in the various embodiments can be applied independently or in combination of two or more of them.

[217] Различные варианты осуществления настоящего изобретения могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего изобретения посредством аппаратных средств, настоящее изобретение может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.[217] Various embodiments of the present invention may be implemented in hardware, firmware, software, or a combination thereof. When the present invention is implemented in hardware, the present invention may be implemented using application-specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), general processors, controllers, microcontrollers, microprocessors, etc.

[218] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего изобретения, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.[218] In addition, the image decoding equipment and the image encoding equipment to which the embodiments of the present invention are applied can be included in a multimedia broadcast transceiver, a mobile communication terminal, a video device of a home theater system, a video device of a digital theater system, a surveillance camera, a video chat device, a real-time communication device such as a video communication, a mobile streaming device, a storage medium, a recording video camera, a video on demand (VoD) service providing device, an OTT (video over network) video device, an Internet streaming service providing device, a 3D video device, a video device of a video telephony system, a medical video device, and the like, and can be used to process video signals or data signals. For example, OTT video devices may include a gaming console, Blu-Ray player, Internet-enabled TV, home theater system, smartphone, tablet PC, digital video recorder (DVR), etc.

[219] Фиг. 15 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего изобретения.[219] Fig. 15 is a view showing a content streaming system to which an embodiment of the present invention is applicable.

[220] Ссылаясь на фиг. 15, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.[220] Referring to Fig. 15, a content streaming system to which the embodiment(s) of the present document are applied may mainly include an encoding server, a streaming server, a web server, a media storage, a user device, and a media input device.

[221] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.[221] The encoding server compresses content input from media input devices such as a smartphone, camera, video recording camera, etc. into digital data to form a bit stream, and transmits the bit stream to the streaming server. As another example, when media input devices such as smartphones, cameras, video recording cameras, etc. directly form a bit stream, the encoding server may be omitted.

[222] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего изобретения, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.[222] The bitstream may be generated by an image coding method or image coding equipment to which an embodiment of the present invention is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.

[223] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.[223] The streaming server transmits media data to the user device based on the user's request through the web server, and the web server serves as a medium for informing the user about the service. When the user requests the desired service from the web server, the web server can deliver it to the streaming server, and the streaming server can transmit the media data to the user. In this case, the content streaming system may include a separate control server. In this case, the control server serves to control the command/response between the devices in the content streaming system.

[224] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.[224] The streaming server may receive content from a media storage and/or an encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bit stream for a predetermined time.

[225] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.[225] Examples of a user device may include a mobile phone, a smart phone, a laptop computer, a digital broadcast terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a slate tablet PC, tablet PCs, ultrabooks, wearable devices (e.g., smart watches, smart glasses, head-mounted displays), digital televisions, desktop computers, a digital signage system, and the like.

[226] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.[226] Each server in a content streaming system may operate as a distributed server, in which case the data received from each server may be distributed.

[227] Объем изобретения включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый машиночитаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.[227] The scope of the invention includes software or computer-executable instructions (e.g., an operating system, an application, firmware, a program, etc.) for enabling the execution of operations according to the methods of various embodiments in equipment or a computer, a non-volatile computer-readable medium having such software or instructions stored and executable in the equipment or computer.

Промышленная применимостьIndustrial applicability

[228] Варианты осуществления настоящего изобретения могут использоваться для того, чтобы кодировать или декодировать изображение.[228] Embodiments of the present invention may be used to encode or decode an image.

Claims

1. A method for decoding images, carried out by means of image decoding equipment, wherein the method for decoding images comprises the steps of:

receive the reconstructed frame;

determine the target filtering boundary for deblocking in the reconstructed frame;

determine the boundary intensity for the target boundary; and

apply deblocking filtering to the target boundary based on the boundary intensity,

wherein, based on a target boundary representing a boundary of a transform block and a color component representing a component of the color signals of the reconstructed frame, the boundary intensity is determined based on the sum of two first flags indicating whether the combined residual CbCr coding is performed for two blocks adjacent to the target boundary and two second flags indicating whether the two blocks adjacent to the target boundary include a level of non-zero transform coefficients, and

wherein the combined residual CbCr coding corresponds to coding the residual samples for the Cb component of the chrominance signals and the Cr component of the chrominance signals as a single transform block.

2. The method according to paragraph 1, characterized in that the boundary intensity is determined to be equal to 1 based on a sum greater than 0.

3. The method according to claim 1, characterized in that, based on the target boundary, which is the boundary of the transformation block, and the color component, which is the component of the brightness signals of the reconstructed frame, the boundary intensity is determined based on whether at least one of the two blocks adjacent to the target boundary includes a level of non-zero transformation coefficients.

4. A method for encoding images, carried out by means of image encoding equipment, wherein the method for encoding images comprises the steps of:

form a reconstructed frame;

determine the boundary intensity for the target boundary; and

5. The method according to paragraph 4, characterized in that the boundary intensity is determined to be equal to 1 based on a sum greater than 0.

6. A non-volatile machine-readable recording medium storing machine-executable commands which, when executed by equipment, ensure that the equipment carries out the image encoding method according to paragraph 4.