RU2793710C1

RU2793710C1 - Method and device for video noise reduction, mobile communication terminal and data carrier

Info

Publication number: RU2793710C1
Application number: RU2022131392A
Authority: RU
Inventors: Биньи СУН; Минь Ян
Original assignee: Биго Текнолоджи Пте. Лтд.
Priority date: 2020-05-20
Filing date: 2021-04-02
Publication date: 2023-04-04

Abstract

FIELD: image processing technologies; video noise reduction.

SUBSTANCE: method of video noise reduction includes the following stages: obtaining video data; obtaining noise reduction-related environmental parameters in the environment of the mobile communication terminal; calculating a degree of conflict between the environment and the noise reduction based on the environment parameters; and determining, based on the degree of conflict, a noise reduction state in the video data, wherein a target weighting factor is adjusted for each of the environmental parameters to adjust the importance of the environmental parameters.

EFFECT: reduction of processing power required for processing, an increase in the reliability of noise reduction.

13 cl, 6 dwg

Description

Ссылки на родственные заявкиLinks to related applications

[0001] Настоящая заявка является переводом на национальную фазу в России международной заявки №PCT/CN2021/085251, поданной 2 апреля 2020 г., согласно которой испрашивается приоритет в соответствии с предварительной заявкой на выдачу патента Китая №202010431670.4, поданной 20 мая 2020 г., которая ссылкой полностью включена в настоящий документ.[0001] This application is a national phase transfer in Russia of International Application No. PCT/CN2021/085251, filed April 2, 2020, which claims priority under Chinese Provisional Application No. 202010431670.4, filed May 20, 2020. which is incorporated herein by reference in its entirety.

Область техники, к которой относится настоящее изобретениеThe field of technology to which the present invention relates

[0002] Настоящее раскрытие связано с областью технологий обработки изображения и, в частности, связано со способом и устройством для шумоподавления в видео, терминалом мобильной связи и носителем данных для этого.[0002] The present disclosure is related to the field of image processing technologies and is particularly related to a method and apparatus for noise reduction in video, a mobile communication terminal, and a storage medium therefor.

Предшествующий уровень техники настоящего изобретенияBackground of the Invention

[0003] С учетом быстрого развития мобильного интернета и терминалов мобильной связи видеоданные в терминале мобильной связи стали распространенным источником информации в человеческой деятельности. Например, прямые трансляции, видеозвонки и тому подобное содержат большое количество информации и служат в качестве средства доступа к внешней оригинальной информации.[0003] With the rapid development of the mobile Internet and mobile communication terminals, video data in a mobile communication terminal has become a common source of information in human activities. For example, live broadcasts, video calls, and the like contain a large amount of information and serve as a means of accessing external original information.

[0004] Полученные видеоданные могут содержать шум вследствие таких факторов, как датчики, передача, хранение, в частности, в темной среде. Из-за появления шума пользователи могут дать плохую оценку качеству видеоданных.[0004] The received video data may contain noise due to factors such as sensors, transmission, storage, in particular in a dark environment. Due to the appearance of noise, users may give a poor rating to the quality of video data.

[0005] Шум может быть фактором, который мешает пониманию принятой информации из-за своего влияния на органы чувств пользователя. Например, случайные изменения яркости и цвета пикселей в видеоданных могут мешать пользователю при просмотре видеоданных.[0005] Noise can be a factor that interferes with the understanding of received information due to its effect on the user's senses. For example, random changes in the brightness and color of pixels in the video data may interfere with the user's viewing of the video data.

[0006] Таким образом, в видеоданных обычно выполняется шумоподавление, так что бесполезная информация удаляется из видеоданных в максимально возможной степени, и при этом обеспечивается целостность оригинальной информации (то есть ее главных элементов).[0006] Thus, video data is usually denoised so that useless information is removed from the video data as much as possible while maintaining the integrity of the original information (i.e., its main elements).

[0007] Шумоподавление обычно выполняется с оценкой шума в текущем кадре и с определением надлежащих параметров для шумоподавления. Так как шумоподавление выполняется непрерывно, потребляемая вычислительная мощность является значительной, и надежность шумоподавления является низкой в случае ограниченной производительности терминала мобильной связи.[0007] Denoising is typically performed by estimating the noise in the current frame and determining the appropriate parameters for denoising. Since the noise suppression is performed continuously, the processing power consumed is significant and the reliability of the noise suppression is low in the case of limited performance of the mobile communication terminal.

Краткое раскрытие настоящего изобретенияBrief summary of the present invention

[0008] Согласно вариантам настоящего раскрытия предложены способ и устройство для шумоподавления в видео, и терминал мобильной связи и носитель данных для этого, что решает проблему низкой надежности шумоподавления в видеоданных при ограниченной производительности.[0008] According to embodiments of the present disclosure, a method and apparatus for noise reduction in video, and a mobile communication terminal and a storage medium therefor, which solves the problem of low reliability of noise reduction in video data with limited performance.

[0009] Предложен способ шумоподавления в видео. Этот способ можно применить в терминале мобильной связи. Этот способ предусматривает следующие стадии: получение видеоданных; получение параметров окружающей среды, относящихся к шумоподавлению в окружающей среде терминала мобильной связи; вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды; и определение на основании степени конфликта состояния шумоподавления в видеоданных; причем вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды предусматривает следующие стадии: подстановка параметров окружающей среды, относящихся к шумоподавлению, в заранее определенную функцию сопоставления, вычисление степени согласования между текущей окружающей средой терминала мобильной связи и шумоподавлением, и определение степени согласования в качестве степени конфликта, причем целевой весовой коэффициент настраивается для каждого из параметров окружающей среды для регулировки важности параметров окружающей среды.[0009] A video noise reduction method is provided. This method can be applied in a mobile communication terminal. This method includes the following steps: obtaining video data; obtaining environmental parameters related to noise suppression in the environment of the mobile communication terminal; calculating a degree of conflict between the environment and the noise reduction based on the environment parameters; and determining, based on the degree of conflict, a noise reduction state in the video data; wherein the calculation of the degree of conflict between the environment and the noise reduction based on the environmental parameters includes the following steps: substituting the environmental parameters related to the noise reduction into a predetermined matching function, calculating the degree of agreement between the current environment of the mobile communication terminal and the noise reduction, and determining the degree of agreement as the degree of conflict, wherein a target weighting factor is adjusted for each of the environmental parameters to adjust the importance of the environmental parameters.

[0010] Дополнительно предложен терминал мобильной связи. Терминал мобильной связи включает в себя: один или несколько процессоров; память, выполненную с возможностью хранить одну или несколько программ; причем один или несколько процессоров после загрузки и выполнения одной или нескольких программ заставляются выполнять способ шумоподавления в видео, который описан выше.[0010] Further, a mobile communication terminal is provided. The mobile communication terminal includes: one or more processors; a memory configured to store one or more programs; wherein one or more processors, upon downloading and executing one or more programs, are caused to perform the video noise reduction method described above.

Краткое описание фигурBrief description of the figures

[0011] На фиг. 1 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия;[0011] In FIG. 1 is a flow diagram of a video noise reduction method according to some embodiments of the present disclosure;

[0012] На фиг. 2 показана схема алгоритма шумоподавления согласно некоторым вариантам осуществления настоящего раскрытия;[0012] FIG. 2 is a diagram of a noise reduction algorithm according to some embodiments of the present disclosure;

[0013] На фиг. 3 показана схема сравнения частоты кадров видеоданных и параметров окружающей среды согласно некоторым вариантам осуществления настоящего раскрытия;[0013] FIG. 3 is a diagram for comparing video frame rate and environmental parameters according to some embodiments of the present disclosure;

[0014] На фиг. 4 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия;[0014] FIG. 4 is a flowchart of a video noise reduction method according to some embodiments of the present disclosure;

[0015] На фиг. 5 показана блок-схема устройства для шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия; и[0015] FIG. 5 is a block diagram of a video noise reduction apparatus according to some embodiments of the present disclosure; And

[0016] На фиг. 6 показана блок-схема терминала мобильной связи согласно некоторым вариантам осуществления настоящего раскрытия.[0016] FIG. 6 is a block diagram of a mobile communication terminal according to some embodiments of the present disclosure.

Подробное раскрытие настоящего изобретенияDetailed disclosure of the present invention

[0017] Настоящее раскрытие подробно описано ниже со ссылками на прилагаемые фигуры совместно с вариантами осуществления.[0017] The present disclosure is described in detail below with reference to the accompanying figures in conjunction with embodiments.

[0018] Первый вариант осуществления[0018] First Embodiment

[0019] На фиг. 1 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия. Варианты осуществления применяются в случае, когда необходимость выполнения шумоподавления определена на основании окружающей среды терминала мобильной связи. Способ выполняется устройством для шумоподавления в видео. Устройство для шумоподавления в видео реализовано с помощью аппаратных и/или программных средств, и оно выполнено с возможностью размещения в терминале мобильной связи, например, в мобильном телефоне, в планшетном компьютере, в умном носимом устройстве (например, в умных часах или в умных очках) и в тому подобном. В способе предусмотрены следующие стадии:[0019] FIG. 1 is a flow diagram of a video noise reduction method according to some embodiments of the present disclosure. Embodiments are applied in the case where the need to perform noise reduction is determined based on the environment of the mobile communication terminal. The method is performed by a video noise reduction device. The video noise reduction device is implemented in hardware and/or software and can be placed in a mobile communication terminal, such as a mobile phone, a tablet computer, a smart wearable device (such as a smart watch or smart glasses). ) and the like. The method includes the following steps:

[0020] На стадии S101 происходит получение видеоданных.[0020] In step S101, video data is acquired.

[0021] Согласно вариантам осуществления настоящего раскрытия, терминал мобильной связи оснащен одной или несколькими камерами, выполненными с возможностью снимать фотографии и видео. Камера расположена на задней стороне терминала мобильной связи (она также называется задней камерой), или на передней стороне терминала мобильной связи (она также называется передней камерой), и это никак не ограничено согласно вариантам осуществления настоящего раскрытия.[0021] According to embodiments of the present disclosure, a mobile communication terminal is equipped with one or more cameras configured to take photos and videos. The camera is located on the back side of the mobile communication terminal (also referred to as the rear camera), or on the front side of the mobile communication terminal (also referred to as the front camera), and this is not limited in any way according to the embodiments of the present disclosure.

[0022] Операционная система терминала мобильной связи, в том числе Android, iOS, Windows и тому подобное, поддерживает работу различных программ, например, приложения для покупок, приложения мгновенного обмена сообщениями, приложения потокового вещания, приложения видео-конференц-связи, приложения коротких видео и тому подобных.[0022] The operating system of a mobile communication terminal, including Android, iOS, Windows, and the like, supports the operation of various programs, such as shopping applications, instant messaging applications, streaming applications, video conferencing applications, short videos and the like.

[0023] Как показано на фиг. 2 на стадии S201 в прикладной программе выполняются операции обслуживания. На стадии S202 происходит получение видеоданных с помощью вызова камеры, и поэтому выполняются соответствующие операции обслуживания. Например, в операционной системе Android получение видеоданных выполняется при вызове класса MediaRecorder. Например, в операционной системе iOS получение видеоданных выполняется при вызове метода делегата AVCaptureFileOutputRecordingDelegate из комплекса программ AVFoundation, и тому подобное.[0023] As shown in FIG. 2, in step S201, maintenance operations are performed in the application program. In step S202, video data is acquired by calling the camera, and therefore, corresponding maintenance operations are performed. For example, on the Android operating system, retrieving video data is done by calling the MediaRecorder class. For example, in the iOS operating system, receiving video data is performed by calling the AVCaptureFileOutputRecordingDelegate delegate method from the AVFoundation software package, and the like.

[0024] Операции обслуживания для полученных прикладными программами видеоданных являются разными из-за различных сценариев обслуживания.[0024] Maintenance operations for video data received by application programs are different due to different maintenance scenarios.

[0025] Обычно полученные прикладными программами видеоданные направляются в операции обслуживания в режиме реального времени.[0025] Typically, video data received by application programs is sent to real-time maintenance operations.

[0026] Согласно некоторым вариантам осуществления, в сценарии обслуживания покупок полученные прикладной программой для покупок видеоданные направляются в операции обслуживания для покупки товаров, например, они описывают и показывают товары целевому пользователю и тому подобное, и в видеоданных также предусмотрена ссылка для покупки.[0026] According to some embodiments, in a shopping service scenario, the video data received by the shopping application is sent to service operations for purchasing goods, e.g., it describes and shows goods to the target user and the like, and a purchase link is also provided in the video data.

[0027] Согласно некоторым вариантам осуществления, в сценарии мгновенного обмена сообщениями получаемые прикладной программой мгновенного обмена сообщениями видеоданные направляются в операции обслуживания для видеозвонка, то есть, в сеанс с различными пользователями с обменом данными.[0027] According to some embodiments, in an instant messaging scenario, the video data received by the instant messaging application is directed to service operations for the video call, i.e., to a session with different data users.

[0028] Согласно некоторым вариантам осуществления, в сценарии обслуживания потокового вещания полученные прикладной программой потокового вещания видеоданные направляются в операции обслуживания в потоковое вещание, то есть, показывают талантливого человека или описывают игру целевому пользователю и тому подобное.[0028] According to some embodiments, in a live streaming service scenario, video data received by the live streaming application is sent to live streaming service operations, i.e., show a talent or describe a game to a target user, and the like.

[0029] Согласно некоторым вариантам осуществления, в сценарии конференц-связи полученные прикладной программой для конференц-связи видеоданные направляются в операции обслуживания для конференции, например, для последовательного выступления в качестве модератора в конференции с участием нескольких пользователей и тому подобное.[0029] According to some embodiments, in a conferencing scenario, the video data received by the conferencing application is directed to service operations for the conference, such as for successively acting as a moderator in a multi-user conference, and the like.

[0030] Полученные прикладными программами видеоданные направляются в операции обслуживания с низкими требованиями к режиму реального времени. Например, прикладная программа короткого видео определяет полученные видеоданные в качестве короткого видео, и тому подобное, что никак не ограничивается в вариантах осуществления.[0030] The video data received by the application programs is directed to maintenance operations with low real-time requirements. For example, the short video application defines the received video data as a short video, and the like, which is not limited in any way in the embodiments.

[0031] На стадии S102 относящиеся к шумоподавлению параметры окружающей среды получаются в среде терминала мобильной связи.[0031] In step S102, the noise reduction related environmental parameters are obtained in the environment of the mobile communication terminal.

[0032] Согласно вариантам осуществления, как показано на фиг. 2, относящиеся к шумоподавлению параметры получаются на основании окружающей среды терминала мобильной связи и определяются в качестве параметров окружающей среды на стадии S203, когда видео данные получаются терминалом мобильной связи.[0032] According to embodiments, as shown in FIG. 2, the noise reduction related parameters are obtained based on the environment of the mobile communication terminal and are determined as the environment parameters in step S203 when video data is acquired by the mobile communication terminal.

[0033] Окружающая среда терминала мобильной связи включает в себя внешнюю среду и внутреннюю среду. Внешняя среда является средой, расположенной снаружи терминала мобильной связи, а внутренняя среда является средой, расположенной внутри терминала мобильной связи.[0033] The environment of a mobile communication terminal includes an external environment and an internal environment. The external environment is an environment located outside the mobile communication terminal, and the internal environment is an environment located inside the mobile communication terminal.

[0034] Согласно некоторым вариантам осуществления, как показано на фиг. 2, параметры окружающей среды включают в себя, по меньшей мере, одно из следующего.[0034] According to some embodiments, as shown in FIG. 2, the environmental parameters include at least one of the following.

[0035] 1. Величина движения терминала мобильной связи во внешней среде[0035] 1. The amount of movement of the mobile communication terminal in the external environment

[0036] Величина движения в определенной степени показывает состояние движения пользователя, держащего в руках терминал мобильной связи. В случае большого движения глаза человека обращают меньше внимания на шум в видеоданных. Кроме того, шумоподавление в данных изображения с большим движением подтверждено размыванию, так что качество видеоданных снижается.[0036] The amount of movement to a certain extent indicates the state of movement of the user holding the mobile communication terminal. In the case of a large movement, the human eye pays less attention to the noise in the video data. In addition, the noise reduction in image data with large motion is confirmed to be blurred, so that the quality of video data is degraded.

[0037] Следовательно, в случае, если шумоподавление выполняется, когда пользователь находится в состоянии быстрого движения, относящиеся к шумоподавлению процессы могут увеличить степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи без заметных результатов шумоподавления.[0037] Therefore, in case noise reduction is performed when the user is in a fast moving state, noise reduction related processes can increase the resource utilization of the central processing unit (CPU), memory, and the like in the mobile communication terminal without noticeable noise reduction results.

[0038] Терминал мобильной связи оснащен датчиком для регистрации состояния движения, например, блоком инерциальных измерений (БИИ) с трехосевым датчиком ускорения, отдельным трехосевым датчиком ускорения, отдельным гироскопом и тому подобным. Согласно вариантам осуществления, датчик вызывается для регистрации первого ускорения движения терминала мобильной связи в направлении оси X, второго ускорения движения терминала мобильной связи в направлении оси Y, третьего ускорения движения терминала мобильной связи в направлении оси Z во внешней среде.[0038] The mobile communication terminal is equipped with a motion state sensor, such as an inertial measurement unit (IMU) with a three-axis acceleration sensor, a separate three-axis acceleration sensor, a separate gyroscope, and the like. According to embodiments, the sensor is called to detect the first acceleration of the mobile communication terminal in the X-axis direction, the second acceleration of the mobile communication terminal in the Y-axis direction, the third acceleration of the mobile communication terminal in the Z-axis direction in the external environment.

[0039] Согласно некоторым вариантам осуществления, в операционной системе Android ускорение, измеренное трехосевым датчиком ускорения (АКСЕЛЕРОМЕТР), опрашивается и регистрируется классом SensorManager.[0039] According to some embodiments, in the Android operating system, acceleration measured by a three-axis acceleration sensor (ACCELEROMETER) is interrogated and registered by the SensorManager class.

[0040] Согласно некоторым вариантам осуществления, в операционной системе iOS предусмотрен комплекс программ CoreMotion. Комплекс программ CoreMotion предоставляет прикладной программный интерфейс (API), и он также называется CMMotionManager. С помощью API при построении объекта CMMotionManager данные, например, данные ускорения, данные гироскопа и тому подобное, периодически получаются из объекта CMMotionManager с помощью таймера.[0040] According to some embodiments, the iOS operating system provides the CoreMotion software suite. The CoreMotion software suite provides an Application Programming Interface (API) and is also called CMMotionManager. Using the API, when constructing a CMMotionManager object, data such as acceleration data, gyroscope data, and the like is periodically obtained from the CMMotionManager object using a timer.

[0041] Поскольку первое ускорение, второе ускорение и третье ускорение в определенной степени показывают величину движения, величина движения вычисляется посредством линейного объединения.[0041] Since the first acceleration, the second acceleration, and the third acceleration show a motion amount to a certain extent, the motion amount is calculated by linear combination.

[0042] Вычисляется первое произведение первого ускорения и заранее определенного весового коэффициента первого ускорения, вычисляется второе произведение второго ускорения и заранее определенного весового коэффициента второго ускорения и вычисляется третье произведение третьего ускорения и заранее определенного весового коэффициента третьего ускорения. Сумма весового коэффициента первого ускорения, весового коэффициента второго ускорения и весового коэффициента третьего ускорения равна 1.[0042] The first product of the first acceleration and the predetermined first acceleration weight is calculated, the second product of the second acceleration and the predetermined second acceleration weight is calculated, and the third product of the third acceleration and the predetermined third acceleration weight is calculated. The sum of the first acceleration weight, the second acceleration weight, and the third acceleration weight is 1.

[0043] Вычисляется сумма первого произведения, второго произведения и третьего произведения, и она определяется в качестве величины движения терминала мобильной связи во внешней среде.[0043] The sum of the first product, the second product, and the third product is calculated, and is determined as the amount of movement of the mobile communication terminal in the external environment.

[0044] Метод линейного объединения описывается следующей формулой: [0044] The linear union method is described by the following formula:

I = α₁ ⋅ х'+α₂ ⋅ y' + α₃ ⋅ z';I = α ₁ ⋅ x'+α ₂ ⋅ y' + α ₃ ⋅ z';

[0045] В этой формуле I обозначает величину движения, х' обозначает первое ускорение, у' обозначает второе ускорение, z' обозначает третье ускорение, α₁обозначает весовой коэффициент первого ускорения, α₂ обозначает весовой коэффициент второго ускорения и α₃ обозначает весовой коэффициент третьего ускорения.[0045] In this formula, I denotes the amount of motion, x' denotes the first acceleration, y' denotes the second acceleration, z' denotes the third acceleration, α ₁ denotes the first acceleration weight, α ₂ denotes the second acceleration weight, and α ₃ denotes the weight third acceleration.

[0046] В другом варианте величина движения терминала мобильной связи во внешней среде может вычисляться другими методами. Например, сумма первого ускорения, второго ускорения и третьего ускорения определяется в качестве величины движения терминала мобильной связи во внешней среде, и тому подобное, это никак не ограничивается в вариантах осуществления.[0046] In another embodiment, the amount of movement of the mobile communication terminal in the external environment may be calculated by other methods. For example, the sum of the first acceleration, the second acceleration, and the third acceleration is determined as the amount of movement of the mobile communication terminal in the external environment, and the like, it is not limited in any way in the embodiments.

[0047] 2. Яркость света во внешней среде[0047] 2. Brightness of light in the environment

[0048] Во внешней среде при сильном освещении в полученных видеоданных имеется низкий уровень шума. В этом случае, после начала выполнения шумоподавления относящиеся к шумоподавлению процессы могут увеличить степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи без заметных результатов шумоподавления.[0048] In an outdoor environment with strong illumination, there is low noise in the received video data. In this case, once the noise reduction execution is started, the noise reduction related processes may increase the resource utilization of the central processing unit (CPU), memory, and the like in the mobile communication terminal without noticeable noise reduction results.

[0049] Если терминал мобильной связи оснащен датчиком для измерения света, например, датчиком интенсивности света, или тому подобным, и открыт API датчика, то датчик непосредственно вызывается для измерения яркости света во внешней среде.[0049] If the mobile communication terminal is equipped with a sensor for measuring light, such as a light intensity sensor or the like, and the sensor API is opened, the sensor is directly called to measure the brightness of light in the environment.

[0050] Согласно некоторым вариантам осуществления, в операционной системе Android интенсивность света, измеренная датчику интенсивности света (СВЕТ), опрашивается и регистрируется классом SensorManager.[0050] According to some embodiments, in the Android operating system, the light intensity measured to a light intensity sensor (LIGHT) is interrogated and logged by the SensorManager class.

[0051] Если терминал мобильной связи оснащен датчиком для измерения света и API датчика не открыт, то в случае, когда терминал мобильной связи автоматически регулирует яркость экрана на основании интенсивности света, или терминал мобильной связи автоматически регулирует баланс белого или другие взаимосвязи на основании интенсивности света с помощью открытия камеры, яркость экрана измеряется и преобразуется в интенсивность света, или интенсивность света считывается с камеры терминала мобильной связи и тому подобное.[0051] If the mobile communication terminal is equipped with a sensor for measuring light and the sensor API is not open, in the case where the mobile communication terminal automatically adjusts the screen brightness based on the light intensity, or the mobile communication terminal automatically adjusts the white balance or other relationships based on the light intensity by opening the camera, the brightness of the screen is measured and converted into light intensity, or the light intensity is read from the camera of the mobile communication terminal, and the like.

[0052] 3. Температура внутренней среды[0052] 3. Indoor Temperature

[0053] В случае, когда терминал мобильной связи непрерывно получает видеоданные из видеозвонка, видеоконференции и других подобных операций, высокая степень загрузки может вызывать повышение температуры терминала мобильной связи, так что подается сигнал о необходимости снижения частоты ЦП в терминале мобильной связи. Снижение частоты ЦП влияет на скорость кодирования видеоданных в реальном времени, и это оказывает значительное влияние на операции обслуживания.[0053] In the case where the mobile communication terminal continuously receives video data from a video call, video conference, and the like, a high load may cause the temperature of the mobile communication terminal to rise so that the CPU frequency in the mobile communication terminal needs to be reduced. Reducing the CPU frequency affects the rate of real-time video encoding, and this has a significant impact on service operations.

[0054] Следовательно, в случае, когда температура терминала мобильной связи повышается после выполнения шумоподавления, относящиеся к шумоподавлению процессы увеличивают степень загрузки ресурсов центрального процессора (ЦП), памяти и тому подобного в терминале мобильной связи, и оказывают отрицательное влияние на операции обслуживания.[0054] Therefore, in the case where the temperature of the mobile communication terminal rises after performing noise suppression, processes related to noise suppression increase the resource utilization of the central processing unit (CPU), memory, and the like in the mobile communication terminal, and have a negative impact on service operations.

[0055] Согласно некоторым вариантам осуществления, команды операционной системы, например, команды «cat/sys/class/thermal/thermal_zonex/temp» в операционной системе Android, непосредственно вызываются для считывания температуры внутренней среды терминала мобильной связи.[0055] According to some embodiments, operating system commands, such as the "cat/sys/class/thermal/thermal_zonex/temp" commands in the Android operating system, are directly invoked to read the temperature of the internal environment of the mobile communication terminal.

[0056] Внутренняя часть терминала мобильной связи оснащена несколькими приборами для измерения температуры, например, температуры ЦП, температуры аккумулятора и тому подобного. В этом случае температура конкретного устройства (например, ЦП) определяется как температура внутренней среды терминала мобильной связи, а температура внутренней среды терминала мобильной связи получается как линейное объединение температур всех устройств, наибольшее значение температуры определяется как температура внутренней среды терминала мобильной связи, или тому подобное, это никак не ограничивается в вариантах осуществления.[0056] The interior of the mobile communication terminal is equipped with several temperature measuring devices such as CPU temperature, battery temperature, and the like. In this case, the temperature of a specific device (for example, CPU) is determined as the temperature of the internal environment of the mobile communication terminal, and the temperature of the internal environment of the mobile communication terminal is obtained as a linear union of the temperatures of all devices, the largest temperature value is defined as the temperature of the internal environment of the mobile communication terminal, or the like. , it is not limited in the embodiments in any way.

[0057] Приведенные выше параметры внешней среды и методы их получения указаны только в качестве примеров. Согласно реализациям вариантов осуществления, могут применяться другие параметры окружающей среды и методы их получения в зависимости от фактической ситуации, например, от степени загрузки ЦП, степени загрузки памяти и тому подобного, это никак не ограничивается в вариантах осуществления. Кроме того, помимо указанных выше параметров окружающей среды и методов их получения, могут применяться другие параметры окружающей среды и методы их получения в зависимости от фактических требований, это никак не ограничивается в вариантах осуществления.[0057] The above environmental parameters and methods for obtaining them are indicated only as examples. According to implementations of the embodiments, other environmental parameters and methods for obtaining them may be applied depending on the actual situation, such as CPU usage, memory usage, and the like, it is not limited in any way in the embodiments. In addition, in addition to the above environmental parameters and methods for obtaining them, other environmental parameters and methods for obtaining them can be applied depending on actual requirements, this is not limited in any way in the embodiments.

[0058] Как показано на фиг. 3, на практике частота кадров видеоданных, получаемых терминалом мобильной связи, и частота кадров параметров окружающей среды, получаемых терминалом мобильной связи, являются различными, и обычно частота получаемых кадров параметров окружающей среды больше частоты получаемых кадров видеоданных. То есть, обычно имеется множество значений параметров окружающей среды между двумя кадрами изображения с видеоданными.[0058] As shown in FIG. 3, in practice, the frame rate of the video data received by the mobile communication terminal and the frame rate of the environmental parameters received by the mobile communication terminal are different, and generally the received frame rate of the environmental parameters is larger than the received frame rate of the video data. That is, there are usually a plurality of environmental parameter values between two image frames with video data.

[0059] Согласно вариантам осуществления, данные изображения и параметры окружающей среды выравниваются друг с другом сегментированным образом для обеспечения стабильности шумоподавления и параметров окружающей среды.[0059] According to embodiments, image data and environmental parameters are aligned with each other in a segmented manner to ensure noise reduction and environmental parameter stability.

[0060] Согласно некоторым вариантам осуществления, получается множество параметров окружающей среды в различные моменты времени между данными изображения текущего кадра и данными изображения предыдущего кадра, и каждый из множества параметров окружающей среды определяется как эталонный параметр, так что множество параметров окружающей среды сегментируется на множество сегментов со ссылкой на видеоданные.[0060] According to some embodiments, a plurality of environmental parameters are obtained at different times between the image data of the current frame and the image data of the previous frame, and each of the plurality of environmental parameters is determined as a reference parameter, so that the plurality of environmental parameters is segmented into a plurality of segments with a link to the video.

[0061] Для каждого из множества сегментов параметров окружающей среды множество эталонных параметров сглаживается, и результаты сглаживания определяются в качестве параметров окружающей среды для данных изображения текущего кадра, так что показаны разницы корреляций данных изображения и параметров окружающей среды в разные моменты времени во временной последовательности.[0061] For each of the plurality of environmental parameter segments, the plurality of reference parameters are smoothed, and the smoothing results are determined as the environmental parameters of the image data of the current frame, so that correlation differences of the image data and the environmental parameters at different points in time in the time series are shown.

[0062] В одном методе сглаживания для каждого из множества опорных параметров задается эталонный весовой коэффициент, и эталонный весовой коэффициент указывает важность эталонного параметра. То есть, чем более важен эталонный параметр, тем больше будет эталонный весовой коэффициент.[0062] In one smoothing method, a reference weight is set for each of the plurality of reference parameters, and the reference weight indicates the importance of the reference parameter. That is, the more important the reference parameter, the larger the reference weight will be.

[0063] Согласно некоторым вариантам осуществления, момент времени для получения каждого из множества эталонных параметров определен, и эталонный весовой коэффициент настроен для каждого из множества эталонных параметров на основании момента времени. Эталонный весовой коэффициент безусловно скоррелирован с моментом времени. То есть, в случае, когда момент времени для получения эталонного параметра ближе к текущему моменту времени, корреляция эталонного параметра и данных изображения текущего кадра больше, и настроенный эталонный весовой коэффициент больше. В случае, когда момент времени для получения эталонного параметра дальше от текущего момента времени, корреляция эталонного параметра и данных изображения текущего кадра меньше, так что эталонные весовые коэффициенты монотонно уменьшаются от данных изображения текущего кадра до данных изображения предыдущего кадра.[0063] According to some embodiments, a time point for obtaining each of the set of reference parameters is determined, and a reference weighting factor is adjusted for each of the set of reference parameters based on the time point. The reference weighting factor is unconditionally correlated with a point in time. That is, in the case where the time to obtain the reference parameter is closer to the current time, the correlation of the reference parameter and the image data of the current frame is larger, and the adjusted reference weight is larger. In the case where the time point for obtaining the reference parameter is farther from the current time point, the correlation of the reference parameter and the image data of the current frame is smaller, so that the reference weight coefficients decrease monotonically from the image data of the current frame to the image data of the previous frame.

[0064] В дополнение к определению эталонного весового коэффициента с помощью момента времени, эталонный весовой коэффициент может быть настроен другим образом. Например, обратное значение величины эталонного параметра определяется как эталонный весовой коэффициент или наподобие того, что никак не ограничивается в вариантах осуществления.[0064] In addition to determining the reference weight using a point in time, the reference weight may be configured in other ways. For example, the reciprocal value of the reference parameter value is defined as a reference weighting factor or the like, which is not limited in any way in the embodiments.

[0065] После настройки соответствующего эталонного весового коэффициента для каждого из множества эталонных параметров, вычисляется четвертое произведение каждого из множества эталонных параметров и эталонного весового коэффициента для каждого из множества эталонных параметров. Вычисляется отношение первого целевого значения ко второму целевому значению и это отношение определяется в качестве параметра окружающей среды для текущего кадра данных изображения. Первое целевое значение является суммой всех четвертых произведений, а второе целевое значение является суммой всех эталонных весовых коэффициентов. Таким образом, параметры окружающей среды определяются по следующей формуле:[0065] After setting the corresponding reference weight for each of the plurality of reference parameters, the fourth product of each of the plurality of reference parameters and the reference weight for each of the plurality of reference parameters is calculated. The ratio of the first target value to the second target value is calculated, and the ratio is determined as an environmental parameter for the current frame of image data. The first target value is the sum of all fourth products, and the second target value is the sum of all reference weights. Thus, the environmental parameters are determined by the following formula:

[0066] В этой формуле

обозначает параметры окружающей среды для t-ого кадра данных изображения, n параметров окружающей среды (то есть, эталонных параметров) имеется между t-ым кадром данных изображения и (t-1)-ым кадром данных изображения, y_t-i обозначает i-ый параметр окружающей среды перед t-ым кадром данных изображения, a w_i обозначает i-ый эталонный весовой коэффициент.[0066] In this formula

denotes the environmental parameters for the tth image data frame, n environmental parameters (i.e., reference parameters) exist between the tth image data frame and the (t-1)th image data frame, y _ti denotes the i-th parameter environment before the t-th frame of image data, aw _i denotes the i-th reference weight.

[0067] На стадии S103 степень конфликта между окружающей средой и шумоподавлением вычисляется на основании параметров окружающей среды.[0067] In step S103, the degree of conflict between the environment and the noise reduction is calculated based on the environment parameters.

[0068] Согласно вариантам осуществления, один или несколько параметров окружающей среды, относящихся к шумоподавлению, подставляются в заранее определенную функцию сопоставления, и степень согласования между текущей окружающей средой терминала мобильной связи и шумоподавлением вычисляется и определяется в качестве степени конфликта.[0068] According to embodiments, one or more environmental parameters related to noise reduction are substituted into a predetermined matching function, and the degree of agreement between the current environment of the mobile communication terminal and the noise reduction is calculated and determined as the degree of conflict.

[0069] Согласно некоторым вариантам осуществления, функция сопоставления является функцией линейного объединения. В случае получения, по меньшей мере, одного из параметров окружающей среды, целевой весовой коэффициент настраивается для каждого из, по меньшей мере, одного параметра окружающей среды. Целевой весовой коэффициент является регулирующим параметрам, созданным с возможностью отрегулировать важность различных параметров окружающей среды.[0069] According to some embodiments, the mapping function is a linear combining function. In case of receiving at least one of the environmental parameters, the target weighting factor is adjusted for each of the at least one environmental parameter. The target weighting factor is an adjustment parameter designed to adjust the importance of various environmental parameters.

[0070] Вычисляется пятое произведение каждого из, по меньшей мере, одного параметра окружающей среды и целевого весового коэффициента каждого из, по меньшей мере, одного параметра окружающей среды, вычисляется сумма всех пятых произведений, и она определяется как степень конфликта между окружающей средой и шумоподавлением. Таким образом, степень конфликта определяется по следующей формуле:[0070] The fifth product of each of the at least one environmental parameter and the target weighting factor of each of the at least one environmental parameter is calculated, the sum of all fifth products is calculated, and it is determined as the degree of conflict between the environment and noise reduction . Thus, the degree of conflict is determined by the following formula:

[0071] В этой формуле P_t обозначает степень конфликта для t-ого кадра данных изображения, t-ый кадр данных изображение соответствует m параметрам окружающей среды,

обозначает k-ый параметр окружающей среды, a w_k обозначает k-ый целевой весовой коэффициент.[0071] In this formula, P _t denotes the degree of conflict for the tth frame of image data, the tth frame of image data corresponds to m environmental parameters,

denotes the k-th environmental parameter, aw _k denotes the k-th target weighting factor.

[0072] Если в качестве примера взять величину движения терминала мобильной связи во внешней среде, яркость света во внешней среде терминала мобильной связи и температуру внутренней среды в терминале мобильной связи, степень конфликтов между окружающей средой и шумоподавлением вычисляется на основании следующей формулы:[0072] Taking the amount of movement of the mobile communication terminal in the outdoor environment, the brightness of the light in the outdoor environment of the mobile communication terminal, and the temperature of the indoor environment in the mobile communication terminal as an example, the degree of conflict between the environment and the noise reduction is calculated based on the following formula:

[0073] В этой формуле P_t обозначает степень конфликта для t-ого кадра данных изображения,

обозначает величину движения терминала мобильной связи во внешней среде,

обозначает яркость света во внешней среде терминала мобильной связи,

обозначает температуру во внутренней среде терминала мобильной связи, α, β и γ обозначают целевые весовые коэффициенты, а α, β и γ ∈ [0, 1].[0073] In this formula, P _t denotes the degree of conflict for the t-th frame of image data,

denotes the amount of movement of the mobile communication terminal in the external environment,

denotes the brightness of light in the external environment of the mobile communication terminal,

denotes the temperature in the internal environment of the mobile communication terminal, α, β and γ denote the target weights, and α, β and γ ∈ [0, 1].

[0074] В дополнение к линейному объединению, степень конфликта между окружающей средой и шумоподавлением вычисляется и другими методами. Например, над параметрами окружающей среды выполняется нормализация, нормализованные параметры окружающей среды суммируются, и полученная сумма определяется в качестве степени конфликта между окружающей средой и шумоподавлением, и тому подобное, что никак не ограничивается в вариантах осуществления.[0074] In addition to linear combining, the degree of conflict between the environment and noise reduction is calculated by other methods. For example, normalization is performed on the environment parameters, the normalized environment parameters are summed, and the resulting sum is determined as the degree of conflict between the environment and noise reduction, and the like, which is not limited in any way in the embodiments.

[0075] На стадии S104 состояние шумоподавления в видеоданных определяется на основании степени конфликта.[0075] In step S104, the noise reduction state of the video data is determined based on the degree of conflict.

[0076] Согласно вариантам осуществления, как показано на фиг. 2, на стадии S204 состояние шумоподавления в видеоданных определяется на основании степени конфликта между окружающей средой и шумоподавлением, то есть определяется, следует ли проводить шумоподавление. В случае удовлетворения такого условия разрешено шумоподавление в видеоданных. В случае, если такое условие не удовлетворено, шумоподавление в видеоданных не разрешено.[0076] According to embodiments, as shown in FIG. 2, in step S204, the noise reduction state of the video data is determined based on the degree of conflict between the environment and the noise reduction, that is, it is determined whether or not to perform noise reduction. If this condition is met, noise reduction in the video data is enabled. In case such condition is not satisfied, noise reduction in the video data is not allowed.

[0077] Согласно некоторым вариантам осуществления, параметр окружающей среды безусловно скоррелирован со степенью конфликта. То есть, чем больше параметры окружающей среды, тем больше степень конфликта между окружающей средой и шумоподавлением. Чем меньше параметры окружающей среды, тем меньше степень конфликта между окружающей средой и шумоподавлением.[0077] According to some embodiments, the environmental parameter is unconditionally correlated with the degree of conflict. That is, the larger the environmental parameters, the greater the degree of conflict between the environment and noise reduction. The smaller the environmental parameters, the less the degree of conflict between the environment and noise reduction.

[0078] Согласно некоторым вариантам осуществления, по формуле

чем больше величина движения терминала мобильной связи во внешней окружающей среде, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление; чем больше яркость света во внешней окружающей среде терминала мобильной связи, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление; чем больше температура внутренней среды в терминале мобильной связи, тем больше степень конфликта между окружающей средой и шумоподавлением, и тем более бесполезно шумоподавление, и тому подобное.[0078] According to some embodiments, according to the formula

the larger the amount of movement of the mobile communication terminal in the external environment, the greater the degree of conflict between the environment and the noise reduction, and the more useless the noise reduction is; the greater the brightness of the light in the external environment of the mobile communication terminal, the greater the degree of conflict between the environment and the noise reduction, and the more useless the noise reduction is; the larger the temperature of the indoor environment in the mobile communication terminal, the greater the degree of conflict between the environment and the noise reduction, and the more useless the noise reduction, and the like.

[0079] Согласно некоторым вариантам осуществления, степень конфликта сравнивается с заранее определенным порогом.[0079] According to some embodiments, the degree of conflict is compared to a predetermined threshold.

[0080] В случае, когда степень конфликта больше заранее определенного порога, степень конфликта между окружающей средой и шумоподавлением большая, и состояние шумоподавления в видеоданных не разрешает проводить шумоподавление в видеоданных.[0080] In the case where the degree of conflict is greater than a predetermined threshold, the degree of conflict between the environment and noise reduction is large, and the noise reduction state in the video data does not allow noise reduction in the video data.

[0081] В случае, когда степень конфликта меньше или равна заранее определенному порогу, степень конфликта между окружающей средой и шумоподавлением малая, и состояние шумоподавления в видеоданных разрешает проводить шумоподавление в видеоданных.[0081] In the case where the degree of conflict is less than or equal to a predetermined threshold, the degree of conflict between the environment and the noise reduction is small, and the noise reduction state in the video data allows the noise reduction in the video data.

[0082] Согласно вариантам осуществления, в случае, когда шумоподавление не разрешено, видеоданные обрабатываются согласно сценариям обслуживания, что никак не ограничивается в вариантах осуществления.[0082] According to the embodiments, in the case where noise reduction is not enabled, the video data is processed according to service scenarios, which is not limited in any way in the embodiments.

[0083] Согласно некоторым вариантам осуществления, как показано на фиг. 2, для видеоданных, шумоподавление в которых запрещено на стадии S204, эти видеоданные отображаются на экране на стадии S206, и на стадии S207 эти видеоданные кодируются, например, в формат Н.264, и упаковываются в формат флеш-видео (FLV) для пересылки на устройство, воспроизводящее видеоданные.[0083] According to some embodiments, as shown in FIG. 2, for video data in which noise reduction is disabled in step S204, this video data is displayed on the screen in step S206, and in step S207, this video data is encoded, for example, in H.264 format, and packaged in flash video (FLV) format for transmission. video playback device.

[0084] Например, проводится получение видеоданных, получение параметров окружающей среды для шумоподавления на основании окружающей среды терминала мобильной связи, проводится вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды, и проводится определение состояния шумоподавления в видеоданных на основании степени конфликта. С одной стороны, шумоподавление обычно выполняется в случае, когда окружающая среда разрешает проводить шумоподавление, так что можно обеспечить качество видеоданных. С другой стороны, шумоподавление запрещено в непригодной окружающей среде, и частота шумоподавления снижается, так что экономится вычислительная мощность для шумоподавления, степень загрузки ресурсов ЦП, памяти и тому подобного снижается, и больше вычислительной мощности остается в наличии для обеспечения нормального выполнения операций обслуживания. Более того, гибкость шумоподавления улучшается, и улучшается надежность шумоподавления.[0084] For example, video data is acquired, noise reduction environmental parameters are obtained based on the environment of the mobile communication terminal, a conflict degree between the environment and noise reduction is calculated based on the environmental parameters, and a noise reduction state in the video data is determined based on the conflict degree. On the one hand, noise reduction is generally performed when the environment permits noise reduction, so that the quality of video data can be ensured. On the other hand, noise suppression is disabled in an unsuitable environment, and the frequency of noise suppression is reduced, so that processing power for noise suppression is saved, the resource utilization of CPU, memory, and the like is reduced, and more processing power remains available to ensure the normal execution of maintenance operations. Moreover, the flexibility of the noise reduction is improved and the reliability of the noise reduction is improved.

[0085] Второй вариант осуществления[0085] Second Embodiment

[0086] На фиг. 4 показана блок-схема алгоритма способа шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия, это процесс выполнения шумоподавления в надлежащей окружающей среде в случае добавления разрешения шумоподавления в варианты осуществления на основании описанных выше вариантов осуществления. В способе предусмотрены следующие стадии:[0086] FIG. 4 is a flowchart of a video noise reduction method according to some embodiments of the present disclosure, which is the process of performing noise reduction in a proper environment in case of adding noise reduction resolution to the embodiments based on the embodiments described above. The method includes the following steps:

[0087] На стадии S401 проводится получение видеоданных.[0087] In step S401, video data acquisition is performed.

[0088] На стадии S402 относящиеся к шумоподавлению параметры окружающей среды получаются в окружающей среде терминала мобильной связи.[0088] In step S402, the noise reduction-related environmental parameters are acquired in the environment of the mobile communication terminal.

[0089] На стадии S403 степень конфликта между окружающей средой и шумоподавлением вычисляется на основании параметров окружающей среды.[0089] In step S403, the degree of conflict between the environment and the noise reduction is calculated based on the environment parameters.

[0090] На стадии S404 состояние шумоподавления в видеоданных определяется на основании степени конфликта.[0090] In step S404, the noise reduction state of the video data is determined based on the degree of conflict.

[0091] На стадии S405 используемые в шумоподавлении параметры окружающей среды выбираются из полученных параметров окружающей среды для шумоподавления в случае, когда состояние разрешает шумоподавление в видеоданных, и выбранные параметры окружающей среды определяются в качестве целевых параметров.[0091] In step S405, the environmental parameters used in the noise reduction are selected from the obtained noise reduction environmental parameters in the case where the state enables noise reduction in the video data, and the selected environmental parameters are determined as the target parameters.

[0092] Согласно вариантам осуществления, как показано на фиг. 2, если текущее состояние разрешает шумоподавление в видеоданных на стадии S204, некоторые используемые в шумоподавлении параметры окружающей среды выбираются из полученных на стадии S203 параметров окружающей среды и они определяются в качестве целевых параметров, и целевые параметры посылаются в кодах, соответствующих шумоподавлению, в формате интерфейса прямого доступа к виртуальной машине Java (JNI), и тому подобное.[0092] According to embodiments, as shown in FIG. 2, if the current state allows noise reduction in video data in step S204, some environmental parameters used in noise reduction are selected from the environmental parameters obtained in step S203, and they are determined as target parameters, and the target parameters are sent in codes corresponding to the noise reduction in the interface format direct access to the Java Virtual Machine (JNI), and the like.

[0093] Согласно некоторым вариантам осуществления, если полученные параметры окружающей среды являются величиной движения терминала мобильной связи во внешней среде, яркостью света во внешней среде терминала мобильной связи и температурой внутренней среды в терминале мобильной связи, величина движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи выбираются для использования при шумоподавлении. Величина движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи содержатся в априорной функции. В случае, когда движение текущего терминала мобильной связи большое, вектор глобального движения полученных видеоданных является большим. В случае, когда вектор глобального движения большой, глаза человека не замечают шум и шумоподавление регулируется соответственно. В случае, когда яркость света во внешней среде терминала мобильной связи низкая, глобальный шум в полученных видеоданных увеличивается, и шумоподавление регулируется соответственно.[0093] According to some embodiments, if the obtained environmental parameters are the amount of movement of the mobile communication terminal in the external environment, the brightness of the light in the external environment of the mobile communication terminal, and the temperature of the internal environment in the mobile communication terminal, the amount of movement of the mobile communication terminal in the external environment, and the brightness lights in the external environment of the mobile communication terminal are selected for use in noise reduction. The amount of movement of the mobile communication terminal in the external environment and the brightness of the light in the external environment of the mobile communication terminal are contained in an a priori function. In the case where the motion of the current mobile communication terminal is large, the global motion vector of the received video data is large. In the case when the global motion vector is large, the human eye does not notice the noise and the noise reduction is adjusted accordingly. In the case where the brightness of the light in the external environment of the mobile communication terminal is low, the global noise in the received video data increases and the noise reduction is adjusted accordingly.

[0094] На стадии S406 величина шумоподавления вычисляется на основании целевых параметров.[0094] In step S406, a noise reduction amount is calculated based on the target parameters.

[0095] Согласно вариантам осуществления, параметры шумоподавления регулируются на основании целевых параметров, так что шумоподавление согласовано с текущей окружающей средой.[0095] According to embodiments, the noise reduction parameters are adjusted based on the target parameters so that the noise reduction is consistent with the current environment.

[0096] Согласно некоторым вариантам осуществления, величина шумоподавления вычисляется на основании целевых параметров, так что величина шумоподавления безусловно скоррелирована с целевыми параметрами. То есть, чем больше целевые параметры, тем больше величина шумоподавления. Чем меньше целевые параметры, тем меньше величина шумоподавления.[0096] According to some embodiments, the noise reduction amount is calculated based on the target parameters such that the noise reduction amount is unconditionally correlated with the target parameters. That is, the larger the target parameters, the greater the amount of noise reduction. The smaller the target parameters, the smaller the amount of noise reduction.

[0097] Согласно некоторым вариантам осуществления, для величины движения терминала мобильной связи во внешней среде и яркости света во внешней среде терминала мобильной связи в случае, если величина движения терминала мобильной связи во внешней среде большая, и яркость света во внешней среде терминала мобильной связи большая, в видеоданных выполняется шумоподавление с большой величиной. То есть, скорость кодового потока текущих видеоданных сжимается, снижается степень загрузки сети передачи данных, и уменьшается «зависание» изображения в сети передачи данных.[0097] According to some embodiments, for the amount of movement of the mobile communication terminal in the external environment and the brightness of the light in the external environment of the mobile communication terminal, in the case that the amount of movement of the mobile communication terminal in the external environment is large and the brightness of the light in the external environment of the mobile communication terminal is large , the video data is denoised with a large amount. That is, the code stream rate of the current video data is compressed, the load of the data network is reduced, and the "hanging" of the image in the data network is reduced.

[0098] Согласно некоторым вариантам осуществления, величина шумоподавления вычисляется методом линейного объединения. Если в качестве примера взять величину движения терминала мобильной связи во внешней среде и яркость света во внешней среде терминала мобильной связи, вычисляется шестое произведение величины движения и заранее определенного весового коэффициента движения и вычисляется седьмое произведение яркости и заранее определенного весового коэффициента яркости, вычисляется сумма шестого произведения, седьмого произведения и заранее определенного параметра регулировки, и эта сумма определяется в качестве величины шумоподавления. Таким образом, величина шумоподавления определяется по следующей формуле:[0098] According to some embodiments, the amount of noise reduction is calculated by a linear combination method. Taking the motion amount of the mobile communication terminal in the external environment and the brightness of the light in the external environment of the mobile communication terminal as an example, the sixth product of the motion amount and the predetermined motion weight coefficient is calculated, and the seventh product of the brightness and the predetermined brightness weight coefficient is calculated, the sum of the sixth product is calculated , the seventh product, and a predetermined adjustment parameter, and this sum is determined as the noise reduction amount. Thus, the amount of noise reduction is determined by the following formula:

[0099] В этой формуле

обозначает полученную величину шумоподавления,

обозначает яркость света во внешней среде терминала мобильной связи, а обозначает весовой коэффициент движения, a ∈ [0,1], b обозначает весовой коэффициент яркости, b ∈ [0,1], а с обозначает параметр регулировки, с ∈ [0,1].[0099] In this formula

denotes the amount of noise reduction obtained,

denotes the luminance of light in the external environment of the mobile communication terminal, a denotes a motion weight, a ∈ [0,1], b denotes a luminance weight, b ∈ [0,1], and c denotes an adjustment parameter, c ∈ [0,1 ].

[00100] На стадии S407 в видеоданных выполняется шумоподавление на основании его величины.[00100] In step S407, noise reduction is performed on the video data based on its amount.

[00101] Как показано на фиг. 2, после определения текущей величины шумоподавления относящиеся к шумоподавлению параметры регулируются на основании величины шумоподавления в видеоданных.[00101] As shown in FIG. 2, after determining the current noise reduction amount, the noise reduction related parameters are adjusted based on the noise reduction amount in the video data.

[00102] Согласно некоторым вариантам осуществления, шумоподавление включает в себя следующие реализации.[00102] According to some embodiments, noise reduction includes the following implementations.

[00103] 1. Алгоритм шумоподавления на основе глубокого обучения[00103] 1. Deep learning denoising algorithm

[00104] Имеется множество алгоритмов шумоподавления на основе глубокого обучения. Например, шумоподавление в нейронной сети достигается с использованием многоярусного автокодировщика шумоподавления, механизма многослойного перцептрона (MLP) и тому подобного.[00104] There are many deep learning denoising algorithms. For example, neural network denoising is achieved using a multi-tiered denoising autoencoder, a multilayer perceptron (MLP) engine, and the like.

[00105] В случае, если сеть является мелкой, а аппаратура терминала мобильной связи улучшена, шумоподавление в видеоданных выполняется на основе алгоритма шумоподавления с глубоким обучением.[00105] In the case where the network is shallow and the equipment of the mobile communication terminal is improved, noise reduction in video data is performed based on a deep learning noise reduction algorithm.

[00106] 2. Алгоритм шумоподавления без глубокого обучения[00106] 2. Denoising algorithm without deep learning

[00107] Шумоподавление без использования глубокого обучения включает в себя двухмерное шумоподавление (2D понижение шума, 2DNR) и трехмерное шумоподавление (3D понижение шума, 3DNR).[00107] Non-deep learning denoising includes 2D denoising (2D noise reduction, 2DNR) and 3D denoising (3D noise reduction, 3DNR).

[00108] Технология 2DNR является пространственным алгоритмом шумоподавления. В 2DNR используется окно фильтра или выполняется блочное сопоставление. Таким образом, при использовании шумоподавления 2DNR окно настраивается на основании величины шумоподавления, так что видеоданные фильтруются или сопоставляются поблочно с использованием окна.[00108] 2DNR is a spatial noise reduction algorithm. 2DNR uses a filter window or performs block matching. Thus, when using 2DNR noise reduction, a window is adjusted based on the amount of noise reduction, so that video data is filtered or block-matched using the window.

[00109] Размер окна безусловно коррелирует с величиной шумоподавления. То есть, чем больше величина шумоподавления, тем больше окно; а чем меньше величина, тем меньше размер окна.[00109] The window size certainly correlates with the amount of noise reduction. That is, the larger the noise reduction value, the larger the window; and the smaller the value, the smaller the window size.

[00110] Для блочного сопоставления, если высота изображения с исходными данными равна Н, ширина изображения с исходными данными равна W, а размер окна для блочного сопоставления равен D*D, и размер выбираемого блока равен d*d, то сложность вычислений составляет O(HWD²d²).[00110] For block matching, if the height of the raw data image is H, the width of the raw data image is W, and the block matching window size is D*D, and the selectable block size is d*d, then the computational complexity is O( HWD ² d ² ).

[00111] Для фильтрации, если высота изображения с исходными данными равна Н, ширина изображения с исходными данными равна W, то сложность гауссовской фильтрации составляет O(HWd²), где d*d обозначает размер окна фильтрации, а временная сложность фильтрации с ведомым фильтром составляет O(HW).[00111] For filtering, if the height of the image with the original data is H, the width of the image with the original data is W, then the complexity of the Gaussian filtering is O(HWd ² ), where d*d denotes the size of the filtering window, and the time complexity of filtering with a driven filter is O(HW).

[00112] Исходные данные изображения защищены операцией сохранения кромки данных ведущего изображения при фильтрации, что включает в себя следующие реализации фильтрации.[00112] The original image data is protected by an edge-preserving operation of the leading image data in filtering, which includes the following filtering implementations.

[00113] 2.1. Фильтрация с ведомым фильтром[00113] 2.1. Guided Filter Filtration

[00114] В фильтрации с ведомым фильтром исходные данные изображения Р фильтруются с помощью данных ведущего изображения I, так что можно получить данные изображения Q со сниженным шумом. Фильтрация с ведомым фильтром описывается следующей формулой:[00114] In driven filtering, the original image data P is filtered with the leading image data I, so that noise-reduced image data Q can be obtained. Filtering with a driven filter is described by the following formula:

[00115] В этой формуле i обозначает пиксель, j обозначает окно фильтрации, W_ij(I) обозначает величину, используемую при вычислении взвешенного среднего, определенного по данным ведущего изображения I. Данные ведущего изображения являются отдельным кадром данных изображения или самими данными изображения Р (в этом случае ведомый фильтр вырождается до фильтра сохранения кромки).[00115] In this formula, i denotes a pixel, j denotes a filter window, Wi _ij (I) denotes a value used in calculating the weighted average determined from the leading image data I. The leading image data is a single frame of image data or image data P ( in this case, the driven filter degenerates to an edge-preserving filter).

[00116] 2.2. Совместная билатеральная фильтрация[00116] 2.2. Joint bilateral filtration

[00117] В технологии совместной билатеральной фильтрации исходные данные изображения фильтруются с помощью данных ведущего изображения I, так что можно получить данные изображения J со сниженным шумом. В случае, когда данные ведущего изображения I являются самими исходными данными изображения, совместная билатеральная фильтрация становится билатеральной фильтрацией, которая описывается следующей формулой:[00117] In the joint bilateral filtering technology, the original image data is filtered with the leading image data I, so that image data J with reduced noise can be obtained. In the case where the leading image data I is the original image data itself, the joint bilateral filtering becomes bilateral filtering, which is described by the following formula:

[00118] В этой формуле р обозначает пиксель, q обозначает окно фильтрации, ƒ(⋅) обозначает пространственный фильтр и указывает, что весовой коэффициент вычисляется на основании расстояния между текущим пикселем и окружающими пикселями, q(⋅) обозначает ранговый фильтр и указывает, что весовой коэффициент вычисляется на основании разницы пикселей в текущем пикселе и в окружающих пикселях в данных ведущего изображения, а k_p обозначает нормализованной параметр. В случае, когда разница между расстоянием и значением пикселя большая, произведение расстояние и значение пикселя является малым, так что достигается сохранение кромки.[00118] In this formula, p denotes a pixel, q denotes a filter window, ƒ(⋅) denotes a spatial filter and indicates that the weight is calculated based on the distance between the current pixel and surrounding pixels, q(⋅) denotes a rank filter and indicates that the weight coefficient is calculated based on the difference of pixels in the current pixel and surrounding pixels in the leading image data, and k _p denotes a normalized parameter. In the case where the difference between the distance and the pixel value is large, the product of the distance and the pixel value is small, so that edge preservation is achieved.

[00119] Технология 3DNR является пространственным и временным алгоритмом шумоподавления. В технологии 3DNR делается предположение для указания изменений во времени случайно создаваемых шумов в видеоданных, причем взаимосвязь описывается следующей формулой:[00119] 3DNR technology is a spatial and temporal noise reduction algorithm. In 3DNR technology, an assumption is made to indicate temporal changes in randomly generated noise in video data, the relationship being described by the following formula:

F(t)=F+N(t).F(t)=F+N(t).

[00120] В этой формуле F(t) обозначает содержащие шум данные изображения, F обозначает исходные данные изображения, N(t) обозначает изменяющийся во времени шум, при этом шум имеет гауссовское распределение и его среднее значение равно 0. Согласно закону больших чисел, в случае накопления величины N(t), чем большее время проводится накопление, тем ближе к 0 будет значение шума.[00120] In this formula, F(t) denotes image data containing noise, F denotes original image data, N(t) denotes time-varying noise, wherein the noise has a Gaussian distribution and its mean is 0. According to the law of large numbers, in the case of accumulation of the value N(t), the longer the accumulation takes place, the closer the noise value will be to 0.

[00121] Для технологии 3DNR видеоданные в вариантах осуществления являются исходными видеоданными, то есть видеоданными без какой-либо обработки (например, без баланса белого, регулировки яркости и тому подобного), обычно в формате YUV. В этом случае шум видеоданных в основном имеет гауссовское распределение со средним значением, равным 0, так что обеспечивается действие 3DNR.[00121] For 3DNR technology, the video data in the embodiments is the original video data, that is, video data without any processing (eg, without white balance, brightness adjustment, and the like), usually in YUV format. In this case, the noise of the video data mainly has a Gaussian distribution with a mean value of 0, so that a 3DNR operation is provided.

[00122] В случае, когда операционная система в терминале мобильной связи ограничена и нельзя получить исходных видеоданных, шумоподавление выполняется с видеоданными, обработанными другими методами (например, с балансом белого, регулировкой яркости и тому подобным), что никак не ограничено в вариантах осуществления.[00122] In the case where the operating system in the mobile communication terminal is limited and the original video data cannot be obtained, noise reduction is performed on video data processed by other methods (for example, white balance, brightness adjustment, and the like), which is not limited in any way in the embodiments.

[00123] Видеоданные включают в себя множество кадров с данными изображений, обозначенных символами P1, Р2, …, Pt-1, Pt, Pt+1, …, Pn, нумерация проводится в порядке их создания, t и n являются положительными целыми числами, и t+1 меньше, чем n. Поскольку видеоданные создаются в реальном масштабе времени, переменная n увеличивается при создании видеоданных, пока создание видеоданных не остановится.[00123] The video data includes a plurality of frames of image data, denoted by P1, P2, ..., Pt-1, Pt, Pt+1, ..., Pn, the numbering is in the order they were created, t and n are positive integers, and t+1 is less than n. Since the video data is created in real time, the variable n is incremented as the video data is created, until the video data creation stops.

[00124] Согласно вариантам осуществления, каждый из множества кадров данных изображений видеоданных последовательно просматривается для 3DNR. Для удобства описания подлежащие шумоподавлению данные изображения текущего кадра называются исходными данными изображения, а данные изображения предыдущего кадра со сниженным шумом называются эталонными данными изображения.[00124] According to embodiments, each of the plurality of frames of image data of video data is sequentially viewed for 3DNR. For convenience of description, the image data of the current frame to be denoised is referred to as the original image data, and the image data of the previous noise-reduced frame is referred to as the reference image data.

[00125] В этом случае стадия S407 содержит в себе следующие подстадии.[00125] In this case, step S407 includes the following substeps.

[00126] На подстадии S4071 определяется первый коэффициент смешивания, создаваемый для эталонных данных изображения после принятия решения о том, что шумоподавление будет трехмерным шумоподавлением.[00126] In sub-step S4071, a first blending factor to be generated for the reference image data after deciding that the noise reduction will be 3D noise reduction is determined.

[00127] Согласно вариантам осуществления, вероятность нахождения пикселя в движении оценивается на основании одной точки или блока, и она определяется в качестве вероятности движения. В дополнение к этому, функция сопоставления коэффициента заранее определена, и она составлена с возможностью сопоставлять вероятность движения цели с коэффициентом, пригодным для 3DNR.[00127] According to embodiments, the probability of a pixel being in motion is estimated based on one point or block, and it is determined as the probability of motion. In addition, the coefficient matching function is predetermined and is designed to match the target movement probability with a coefficient suitable for 3DNR.

[00128] Вероятность движения подставляется в функцию сопоставления коэффициента, и выходной коэффициент определяется в качестве первого коэффициента смешивания. Первый коэффициент смешивания описывается следующей формулой:[00128] The motion probability is substituted into the coefficient matching function, and the output coefficient is determined as the first mixing coefficient. The first mixing ratio is described by the following formula:

w_u = ƒ_u(P₁).w _u = ƒ _u (P ₁ ).

[00129] В этой формуле w_u обозначает первый коэффициент смешивания, w_u ∈ [0, 1], ƒ_u(⋅) обозначает функцию сопоставления вероятности, а P₁ обозначает вероятность движения.[00129] In this formula, w _u denotes the first mixing factor, w _u ∈ [0, 1], ƒ _u (⋅) denotes a probability matching function, and P ₁ denotes a motion probability.

[00130] Согласно некоторым вариантам осуществления, функция сопоставления вероятности является линейной функцией, например, ƒ(x) = gx + h. Здесь х обозначает вероятность движения, a g и h являются гиперпараметрами.[00130] According to some embodiments, the probability mapping function is a linear function, for example, ƒ(x) = gx + h. Here x denotes the probability of movement, and g and h are hyperparameters.

[00131] За исключением линейной функции, функция сопоставления коэффициента, согласно некоторым вариантам осуществления, является нелинейной функцией, что никак не ограничивается в вариантах осуществления.[00131] With the exception of a linear function, the coefficient matching function, according to some embodiments, is a non-linear function, which is not limited in any way in the embodiments.

[00132] На подстадии S4072 вычисляется восьмое произведение величины шумоподавления и первого коэффициента смешивания, и оно определяется в качестве нового первого коэффициента смешивания, и этот новый первый коэффициент смешивания используется для эталонных данных изображения.[00132] In sub-step S4072, the eighth product of the noise reduction amount and the first blending ratio is calculated and determined as the new first blending ratio, and this new first blending ratio is used for the reference image data.

[00133] Согласно вариантам осуществления, вычисляется восьмое произведение величины шумоподавления и первого коэффициента смешивания, первый коэффициент смешивания обновляется на основании восьмого произведения, и обновленный первый коэффициент смешивания используется для эталонных данных изображения.[00133] According to embodiments, the eighth product of the noise reduction amount and the first blend factor is calculated, the first blend factor is updated based on the eighth product, and the updated first blend factor is used for the reference image data.

[00134] На подстадии S4073 вычисляется второй коэффициент смешивания на основании нового первого коэффициента смешивания, и второй коэффициент смешивания используется для исходных данных изображения.[00134] In sub-step S4073, a second blending factor is calculated based on the new first blending factor, and the second blending factor is used for the original image data.

[00135] Согласно вариантам осуществления, между первым коэффициентом смешивания и вторым коэффициентом смешивания имеются взаимоотношение преобразования. Второй коэффициент смешивания вычисляется на основании взаимоотношения преобразования, и второй коэффициент смешивания используется для исходных данных изображения.[00135] According to embodiments, there is a transformation relationship between the first mixing ratio and the second mixing ratio. The second blending factor is calculated based on the transformation relationship, and the second blending factor is used for the original image data.

[00136] Согласно некоторым вариантам осуществления, второй коэффициент смешивания получается при вычитании из 1 нового первого коэффициента смешивания.[00136] In some embodiments, the second blending factor is obtained by subtracting the new first blending factor from 1.

[00137] На подстадии S4074 целевые данные изображения получаются при наложении исходных данных изображения со вторым коэффициентом смешивания на эталонные данные изображения с новым первым коэффициентом смешивания[00137] In sub-step S4074, the target image data is obtained by overlaying the original image data with the second blend ratio on the reference image data with the new first blend ratio

[00138] Согласно вариантам осуществления, в случае, когда настроены первый коэффициент смешивания и второй коэффициент смешивания, эталонные данные изображения и исходные данные изображения накладываются вместе, и такие совмещенные данные изображения являются данными изображения после выполнения 3DNR, они называются целевыми данными изображения.[00138] According to embodiments, in the case where the first blend ratio and the second blend ratio are adjusted, the reference image data and the original image data are superimposed together, and such superimposed image data is image data after performing 3DNR, it is called target image data.

[00139] В этом случае, шумоподавление 3DND описывается следующей формулой:[00139] In this case, 3DND noise reduction is described by the following formula:

B_t = w_u * R_u * B_t-1 + (1 - w_u * R_u) * F_t.B _t = w _u * R _u * B _t-1 + (1 - w _u * R _u ) * F _t .

[00140] В этой формуле B_t обозначает целевые данные изображения, w_uобозначает первый коэффициент смешивания, R_u обозначает величину шумоподавления, w_u * R_u обозначает новый первый коэффициент смешивания, (1 - w_t * R_u) обозначает второй коэффициент смешивания, B_t-1 обозначает эталонные данные изображения, a F_tобозначает исходные данные изображения.[00140] In this formula, B _t denotes the target image data, w _u denotes the first blend ratio, R _u denotes the amount of noise reduction, w _u * R _u denotes the new first blend ratio, (1 - w _t * R _u ) denotes the second blend ratio , B _t-1 denotes reference image data, and F _t denotes original image data.

[00141] Согласно вариантам осуществления, для видеоданных со сниженным шумом выполняется последовательная обработка на основании сценариев обслуживания, что никак не ограничивается в вариантах осуществления.[00141] According to the embodiments, the noise reduced video data is sequentially processed based on service scenarios, which is not limited in any way in the embodiments.

[00142] Согласно некоторым вариантам осуществления, как показано на фиг. 2, видеоданные после шумоподавления 3DNR отображаются на экране на стадии S206, а на стадии S207 видеоданные со сниженным шумом кодируются, например, в формат Н.264, и упаковываются в формат флеш-видео (FLV) для пересылки на устройство, воспроизводящее видеоданные.[00142] According to some embodiments, as shown in FIG. 2, video data after 3DNR noise reduction is displayed on a screen in step S206, and in step S207, noise reduced video data is encoded in H.264 format, for example, and packaged in flash video (FLV) format for transmission to a video data playback device.

[00143] Согласно вариантам осуществления, используемые в шумоподавлении параметры окружающей среды выбираются из полученных относящихся к шумоподавлению параметров окружающей среды в случае, когда разрешено шумоподавление в видеоданных, и выбранные параметры окружающей среды определяются в качестве целевых параметров. Величина шумоподавления вычисляется на основании целевых параметров, и величина шумоподавления безусловно скоррелирована с целевыми параметрами. Шумоподавление выполняется в видеоданных на основании величины шумоподавления, так что величина шумоподавления согласована с окружающей средой, и улучшается эффективность использования вычислительной мощности компьютера. В дополнение к этому, скорость кодового потока видеоданных со сниженным шумом является надлежащей, так что скорость кодового потока сохраняется для кодировщика, снижается степень загрузки сети передачи данных, и уменьшается «зависание» изображения в сети передачи данных.[00143] According to embodiments, the environmental parameters used in the noise reduction are selected from the obtained noise reduction-related environmental parameters in the case where noise reduction is enabled in the video data, and the selected environmental parameters are determined as the target parameters. The noise reduction amount is calculated based on the target parameters, and the noise reduction amount is unconditionally correlated with the target parameters. Noise reduction is performed on video data based on the noise reduction amount, so that the noise reduction amount is consistent with the environment, and the processing efficiency of the computer is improved. In addition, the codestream of the noise reduced video is appropriate so that the codestream is saved for the encoder, the load on the data network is reduced, and the "stuck" of the image on the data network is reduced.

[00144] Третий вариант осуществления[00144] Third embodiment

[00145] На фиг. 5 показана блок-схема устройства для шумоподавления в видео согласно некоторым вариантам осуществления настоящего раскрытия. Это устройство можно применить в терминале мобильной связи.[00145] FIG. 5 is a block diagram of a device for video noise reduction according to some embodiments of the present disclosure. This device can be used in a mobile communication terminal.

[00146] Это устройство включает в себя: модуль 501 получения видеоданных, выполненный с возможностью получать видеоданные; модуль 502 получения параметров окружающей среды, выполненный с возможностью получать параметры окружающей среды, относящиеся к шумоподавлению в окружающей среде терминала мобильной связи; модуль 503 вычисления степени конфликта, выполненный с возможностью вычислять степень конфликта между средой и шумоподавлением на основании параметров окружающей среды; и модуль 504 определения состояния шумоподавления, выполненный с возможностью определять на основании степени конфликта состояние шумоподавления в видеоданных.[00146] This apparatus includes: a video data acquisition unit 501 configured to acquire video data; an environmental parameter acquisition unit 502, configured to acquire environmental parameters related to noise suppression in the environment of the mobile communication terminal; a conflict degree calculation unit 503, configured to calculate a conflict degree between the environment and the noise reduction based on the environment parameters; and a noise reduction state determination unit 504, configured to determine, based on the degree of conflict, the noise reduction state in the video data.

[00147] Устройство для шумоподавления в видео, согласно вариантам осуществления, выполняет способ шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия, и имеет те же самые функциональные модули и действия, как и способ.[00147] The video noise reduction apparatus according to the embodiments performs the video noise reduction method according to any embodiment of the present disclosure, and has the same functional modules and operations as the method.

[00148] Четвертый вариант осуществления[00148] Fourth embodiment

[00149] На фиг. 6 показана блок-схема терминала мобильной связи согласно некоторым вариантам осуществления настоящего раскрытия. Как показано на фиг. 6, терминал мобильной связи включает в себя процессор 600, память 601, модуль 602 передачи данных, входное устройство 603 и выходное устройство 604. Процессор 600, память 601, модуль 602 передачи данных, входное устройство 603 и выходное устройство 604 соединены вместе с помощью шины или другим способом, и на фиг. 6 в качестве примера используется шина.[00149] FIG. 6 is a block diagram of a mobile communication terminal according to some embodiments of the present disclosure. As shown in FIG. 6, the mobile communication terminal includes a processor 600, a memory 601, a communication module 602, an input device 603, and an output device 604. The processor 600, the memory 601, the communication module 602, the input device 603, and the output device 604 are connected together via a bus. or in another way, and in FIG. 6 uses a tire as an example.

[00150] Память 601, как машиночитаемый носитель данных, выполнена с возможностью хранить программы программного обеспечения, выполняемые компьютером программы и модули, например, модули, соответствующие способу шумоподавления в видео согласно вариантам осуществления (например, модуль 501 получения видеоданных, модуль 502 получения параметров окружающей среды, модуль 503 вычисления степени конфликта и модуль 504 определения состояния шумоподавления). Процессор 600 выполняет различные функциональные прикладные программы и обработку данных в терминале мобильной связи, то есть, способ шумоподавления в видео согласно приведенным выше вариантам осуществления, с помощью обработки или выполнения программ программного обеспечения, инструкций и модулей, которые хранятся в памяти 601.[00150] The memory 601, as a computer-readable storage medium, is configured to store software programs, computer-executable programs, and modules, such as modules corresponding to the video noise reduction method according to the embodiments (for example, the video data acquisition module 501, the environmental environment, a conflict degree calculation unit 503, and a noise reduction state determination unit 504). The processor 600 executes various functional applications and data processing in the mobile communication terminal, that is, the video noise reduction method according to the above embodiments, by processing or executing software programs, instructions, and modules stored in the memory 601.

[00151] Процессор 600 выполняет различные функциональные прикладные программы и обработку данных в устройстве, то есть, способ шумоподавления в видео согласно приведенным выше вариантам осуществления, с помощью обработки или выполнения программ программного обеспечения, инструкций и модулей, которые хранятся в памяти 601.[00151] The processor 600 executes various functional application programs and data processing in the device, that is, the video noise reduction method according to the above embodiments, by processing or executing software programs, instructions, and modules that are stored in the memory 601.

[00152] Терминал мобильной связи в вариантах осуществления выполняет способ шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия, и реализует соответствующие функции и действия.[00152] The mobile communication terminal in the embodiments executes the video noise reduction method according to any embodiment of the present disclosure, and implements the corresponding functions and actions.

[00153] Пятый вариант осуществления[00153] Fifth Embodiment

[00154] Согласно вариантам осуществления настоящего раскрытия дополнительно предложен машиночитаемый носитель данных. В машиночитаемом носителе данных хранится одна или несколько компьютерных программ. Одна или несколько компьютерных программ, будучи загруженными и выполняемыми процессором, заставляют процессор выполнить способ шумоподавления в видео. Этот способ предусматривает следующие стадии: получение видеоданных; получение параметров окружающей среды для шумоподавления на основании окружающей среды терминала мобильной связи; вычисление степени конфликта между окружающей средой и шумоподавлением на основании параметров окружающей среды; и определение на основании степени конфликта состояния шумоподавления в видеоданных.[00154] According to embodiments of the present disclosure, a computer-readable storage medium is further provided. A computer-readable storage medium stores one or more computer programs. One or more computer programs, when loaded and executed by the processor, causes the processor to perform a video noise reduction method. This method includes the following steps: obtaining video data; obtaining environmental parameters for noise reduction based on the environment of the mobile communication terminal; calculating a degree of conflict between the environment and the noise reduction based on the environment parameters; and determining, based on the degree of conflict, a noise reduction state in the video data.

[00155] Что касается машиночитаемого носителя данных, согласно вариантам осуществления настоящего раскрытия, компьютерная программа не ограничена описанными выше операциями способа, и она дополнительно способна выполнять соответствующие процессы в способе шумоподавления в видео согласно любому варианту осуществления настоящего раскрытия.[00155] With regard to the computer-readable storage medium, according to the embodiments of the present disclosure, the computer program is not limited to the method steps described above, and is further capable of performing the corresponding processes in the video noise reduction method according to any embodiment of the present disclosure.

Claims

1. A video noise reduction method that can be applied to a mobile communication terminal, this method includes the steps of:

receiving video data;

obtaining noise reduction-related environmental parameters in the environment of the mobile communication terminal;

calculating a degree of conflict between the environment and the noise reduction based on the environment parameters; And

determining a noise reduction state in the video data based on the degree of conflict;

wherein the calculation of the degree of conflict between the environment and the noise reduction based on the environmental parameters includes the steps:

substituting the noise reduction-related environmental parameters into a predetermined matching function, calculating the degree of agreement between the current environment of the mobile communication terminal and the noise reduction, and determining the degree of agreement as the degree of conflict, wherein the target weighting factor is adjusted for each of the environmental parameters for adjustment the importance of environmental parameters.

2. The method according to claim. 1, in which the environment includes the external environment and the internal environment, and the environmental parameters contain at least one of the parameters of the amount of movement of the mobile communication terminal in the external environment, the brightness of the light in the external environment , and temperature in the internal environment.

3. The method of claim 2, wherein obtaining the noise reduction-related environmental parameters in the environment of the mobile communication terminal comprises the steps of:

registering a first movement acceleration of the mobile communication terminal in the X-axis direction, a second movement acceleration of the mobile communication terminal in the Y-axis direction, a third movement acceleration of the mobile communication terminal in the Z-axis direction in the external environment;

calculating a first product of the first acceleration and a predetermined weighting factor of the first acceleration;

calculating a second product of the second acceleration and a predetermined second acceleration weight;

calculating a third product of the third acceleration and a predetermined third acceleration weight; And

calculating the sum of the first product, the second product and the third product, and determining this sum as the amount of movement of the mobile communication terminal in the external environment.

4. The method according to any one of paragraphs. 1-3, in which

the video data includes a plurality of frames of image data; And

obtaining noise reduction-related environmental parameters in the environment of a mobile communication terminal involves the steps of:

obtaining a plurality of reference parameters by obtaining a plurality of environmental parameters at different times between the image data of the current frame and the image data of the previous frame, and determining each of the plurality of environmental parameters as a reference parameter; And

smoothing a plurality of reference parameters; and determining the smoothing results as environmental parameters for the image data of the current frame.

5. The method of claim 4, wherein smoothing the plurality of reference parameters, and determining the smoothing results as environmental parameters for the image data of the current frame, comprises the steps of:

setting a reference weighting factor for each of the plurality of reference parameters;

calculating a fourth product of each of the plurality of reference parameters and a reference weight for each of the plurality of reference parameters; And

calculating the ratio of the first target value to the second target value and determining this ratio as the environmental parameters for the image data of the current frame, where the first target value is the sum of all fourth products, and the second target value is the sum of all reference weights.

6. The method of claim 5, wherein setting the reference weight for each of the plurality of reference parameters comprises the steps of:

determining a point in time for obtaining each of the plurality of reference parameters; And

setting a reference weight for each of the plurality of reference parameters based on a point in time, wherein the reference weight is unconditionally correlated with the point in time.

7. The method of claim 1, wherein calculating the degree of conflict between the environment and the noise reduction based on the environmental parameters comprises the steps of:

setting, if at least one of the environmental parameters is obtained, a target weighting factor for each of the at least one environmental parameter;

calculating a fifth product of each of the at least one environmental parameter and a target weighting factor of each of the at least one environmental parameter; And

calculating the sum of all fifth products, and determining this sum as the degree of conflict between the environment and noise reduction.

8. The method of claim. 1, in which determining the state of noise reduction in video data based on the degree of conflict includes the steps:

comparing the degree of conflict with a predetermined threshold;

prohibition of noise reduction in the video if the degree of conflict is greater than a predetermined threshold; And

the resolution of noise reduction in the video if the degree of conflict is not greater than a predetermined threshold.

9. The method according to any one of paragraphs. 1-3 or according to any one of paragraphs. 5-8, which further provides for the steps:

selecting the environmental parameters used in the noise reduction from the obtained noise reduction related environmental parameters in a case where the state enables noise reduction in the video data, and determining the selected environmental parameters as the target parameters;

calculating a noise reduction amount based on the target parameters, wherein the noise reduction amount is unconditionally correlated with the target parameters; And

performing noise reduction on the video data based on its amount.

10. The method according to claim 9, in which

the environment includes the environment, and the target parameters include the amount of movement of the mobile communication terminal in the environment and the brightness of the light in the environment; And

calculating the amount of noise reduction based on the target parameters involves the following steps:

calculating a sixth product of the motion amount and the predetermined motion weight;

calculating a seventh product of luminance and a predetermined luminance weight; And

calculating the sum of the sixth product, the seventh product and the predetermined adjustment parameter, and determining the sum as a noise reduction amount.

11. The method of claim 9, wherein performing noise reduction on the video data based on its value includes the steps of:

adjusting the window based on the magnitude if the noise reduction is 2D noise reduction, wherein the window size unconditionally correlates with the magnitude; And

filtering or block matching in video data using a window.

12. The method of claim 9, wherein performing noise reduction on the video data based on its magnitude comprises the steps of:

determining a first blending factor generated for the reference image data after deciding that the noise reduction is 3D noise reduction, the reference image data being image data of a previous frame with reduced noise;

calculating an eighth product of a magnitude and a first blending ratio, determining the eighth product as a new first blending ratio, and setting a new first blending ratio for the reference image data;

calculating a second blending ratio based on the new first blending ratio, and adjusting a second ratio for the original image data, the original image data being the image data of the current frame to be denoised; And

obtaining the target image data by overlaying the original image data with the second blend ratio on the reference image data with the new first blend ratio.

13. Mobile communication terminal with noise reduction in video, containing:

one or more processors;

a memory configured to store one or more programs;

moreover, one or more processors after downloading and executing one or more programs are forced to perform a video noise reduction method, as defined in any of paragraphs. 1-12.