RU2431889C1 - Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления - Google Patents
Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления Download PDFInfo
- Publication number
- RU2431889C1 RU2431889C1 RU2010133219/09A RU2010133219A RU2431889C1 RU 2431889 C1 RU2431889 C1 RU 2431889C1 RU 2010133219/09 A RU2010133219/09 A RU 2010133219/09A RU 2010133219 A RU2010133219 A RU 2010133219A RU 2431889 C1 RU2431889 C1 RU 2431889C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- resolution
- filter
- frames
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000012549 training Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101000633607 Bos taurus Thrombospondin-2 Proteins 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- ALPWRKFXEOAUDR-GKEJWYBXSA-M sodium;[(2r)-2,3-di(octadecanoyloxy)propyl] hydrogen phosphate Chemical compound [Na+].CCCCCCCCCCCCCCCCCC(=O)OC[C@H](COP(O)([O-])=O)OC(=O)CCCCCCCCCCCCCCCCC ALPWRKFXEOAUDR-GKEJWYBXSA-M 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к области фото- и видеоизображений. Техническим результатом является получение увеличенного изображения высокого разрешения (т.е. суперразрешения) с использованием нескольких кадров низкого разрешения, а также возможность высокоскоростной съемки нескольких кадров изображения при сканировании лишь части сенсора. Результат достигается тем, что получение суперразрешения изображений включает экспонирование нескольких кадров, получение исходных изображений путем считывания с сенсора, выравнивание их, формирование увеличенного изображения, его фильтрацию фильтром. При этом исходное изображение получают с цифрового сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой, при которой частота кадров обратно пропорциональна величине сканируемой части светочувствительной области сенсора, увеличенное изображение формируют путем объединения исходных изображений низкого разрешения, а повышение разрешения осуществляют нелинейным фильтром, применяя его к увеличенному изображению. Увеличенное изображение формируют путем объединения наиболее четких кадров исходных изображений. 2 н. и 3 з.п. ф-лы, 6 ил.
Description
Изобретение относится к области фото- и видеоизображений и может быть использовано, например, для получения высококачественных изображений визуально приближенных объектов фотоаппаратом или видеокамерой, снабженных сенсорами с электронным затвором.
Современные мобильные устройства, как правило, оборудованы фото- и видеокамерами, позволяющими получать изображения неплохого качества. Однако для получения изображений визуально приближенных, требование мобильности этих устройств не позволяет использовать в них оптические системы (объективы) с переменным фокусным расстоянием (трансфокатор, зум, вариообъектив) в виду их большого размера. Поэтому в таких мобильных устройствах используется цифровой зум.
Известны следующие технические решения, являющиеся аналогами первого объекта заявляемой группы изобретений:
Известен способ получения увеличенного изображения с низким разрешением с применением цифрового зума. При использовании этого способа визуального приближения для получения изображения используется лишь центральная часть сенсора. Затем для получения изображения с количеством пикселей, равным полному количеству пикселей сенсора полученное уменьшенное изображение с центральной части сенсора интерполируется с помощью одного из известных способов двумерной интерполяции (билинейной или бикубической) [en.wikipedia.org/wiki/Digital_zoom].
Недостатки цифрового зума:
- при интерполяции происходит пропорциональное увеличение смазанности изображения, вызываемого движением рук во время экспонирования. Использование же традиционных систем стабилизации [David Sachs, Steven Nasiri, Daniel Goehl "Image Stabilization Technology Overview",
http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper 05160 6.pdf] затруднено в связи с требованием мобильности;
- в интерполированном сигнале не содержатся высокочастотные компоненты, в результате грани выглядят нечеткими, мелкие детали отсутствуют.
Известен способ улучшения изображений [Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2:115-120, June 1990], использующий несколько кадров и наличие небольших пространственных сдвигов между ними для увеличения разрешения или получения суперразрешения. В данном способе итеративным образом происходит приближение (схождение) к оптимальному изображению высокого разрешения. Начинаются итерации с создания первичной (грубой) версии изображения высокого разрешения. Такая первичная версия создается, как правило, путем простого суммирования интерполированных изображений низкого разрешения. Второй этап итерации - обратное получение изображений низкого разрешения из данной версии высокого разрешения, сравнение их с исходными изображениями низкого разрешения и вычисление поправки. Последующие итерации вычисляют новые версии изображения высокого разрешения с учетом поправки на предыдущей итерации.
Недостатком данного способа является чрезвычайно низкая скорость получения результата вследствие большого количества итераций. Кроме того, непредсказуемо необходимое количество итераций.
Известен способ улучшения изображений путем повышения разрешения [А.В.Насонов, А.С.Крылов "Быстрое суперразрешение изображений с использованием смешанной медианной фильтрации", труды 12 Международной конференции и выставки "Цифровая обработка сигналов и ее применение" (DSPA' 2010), т.2, стр.101-104], при котором применяют метод регуляризации Тихонова для обеспечения сходимости итеративных приближений к результату с высоким разрешением. Этот способ эффективен при съемке нескольких кадров изображения для получения визуально приближенного изображения с улучшенным разрешением.
Недостатком его является то, что ввиду неизбежных пауз, возникающих между снимками при съемке традиционным способом, движущиеся (нестационарные) объекты в кадре будут запечатлены смазанными либо с многократным двоением контуров. Данный способ не имеет возможности корректировать искажения (размытие/нечеткость) оптической системы камеры. Кроме того, примененная в данном способе медианная фильтрация сохраняет четкость граней, однако уничтожает мелкие детали изображения, выявление которых и является одной из целей суперразрешения.
Наиболее близким к первому объекту заявляемой группы изобретений является способ улучшения разрешения последовательностей изображений [Jung-Hyun Hwang, Hweihn Chung, Sung-Ii Su, Yong-Chul Park, Chul-Ho Lee "High resolution digital zoom using temporal IIR filter", IEEE Transactions on Consumer Electronics, Vol.42, No.3, August 1996], которые несут больший объем информации, чем одно двумерное изображение. Предлагается определение движения на субпиксельном уровне и IIR фильтрация по временной оси для визуального увеличения изображений с получением высокого разрешения, а также для цифровой стабилизации изображений. Продемонстрированы экспериментальные результаты на реальных последовательностях изображений.
Осуществляют способ следующим образом: производят сбор данных с сенсора, выравнивание, увеличение изображения, объединение/фильтрацию увеличенного изображения линейным фильтром, при этом очередной пришедший кадр суммируется с предыдущим результатом с использованием различных весов. После увеличения изображения, но перед объединением, производят дополнительную свертку с прямоугольным окном, т.е. дополнительную фильтрацию, чтобы субпиксельно сдвинутое изображение можно было напрямую суммировать (фильтровать IIR фильтром) с пикселями предыдущего результата.
Недостатки прототипа заключаются, во-первых, в том, что простота применяемого на выходе фильтра не позволяет получать оптимально четкое результирующее изображение. Кроме того, фильтр не использует область примыкающих, соседних пикселей изображения, что не дает возможности корректировать искажения (размытие/нечеткость) оптической системы камеры. Сбор данных с сенсора производят стандартным, низкоскоростным, способом, что приводит к смазыванию изображения, а также к двоению нестационарных объектов.
Аналогами второго объекта заявляемого технического решения являются следующие.
Известен способ повышения четкости изображения [Masaaki Hayashi, "Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data" United States Patent 6,301,381], где один нелинейный фильтр, реализованный с помощью нейросети, используется для разделения изображения на области, содержащие текст, и области, содержащие иллюстрации, а другой нелинейный фильтр, реализованный с помощью нейросети, используется для повышения четкости изображения. Оба фильтра сконструированы следующим образом:
- из области изображения, содержащей пиксель, для которого производится фильтрация, выбираются данные этого пикселя, а также соседних с ним пикселей;
- значения выбранных пикселей передаются на вход предварительно натренированной нейросети;
- в случае фильтра, повышающего четкость, нейросеть выдает непосредственно значение пикселя для формирования четкого изображения;
- в случае фильтра, используемого для отделения текста от иллюстраций, нейросеть выдает сигнал с уровнем, пропорциональным вероятности наличия текста в данной области изображения.
Недостатки такого способа:
- в качестве исходного используется лишь один кадр, что не позволяет уменьшить уровень шума в результирующем изображении по сравнению с исходным;
- большой динамический диапазон значений пикселей препятствует эффективной работе нейросети;
- в результате обработки повышается четкость изображения, однако не происходит повышения разрешения изображения.
Наиболее близким ко второму объекту заявляемого технического решения является способ повышения разрешения изображения [Lin, et al. "Method for image resolution enhancement" United States Patent 7,187,811], в котором в качестве исходного используется один кадр изображения. При использовании данного способа участки исходного изображения классифицируются на две группы: участки изображения, имеющие грани, и участки изображения без граней. Участки изображения без граней интерполируются с помощью обычной билинейной интерполяции. Участки с гранями интерполируются с использованием нейросети. Такое разделение изображения на две категории и раздельная их интерполяция позволяет избежать определенных недостатков, свойственных обычным способам интерполяции (билинейной и бикубической), таких, как появление эффекта 'лестницы' на наклонных гранях изображения.
При таком способе используют нелинейный цифровой фильтр (интерполятор) для участков изображения с наличием граней, сконструированный с использованием нейросети. Нейросеть предварительно натренирована с использованием 'полевых', естественных изображений. Входными данными для интерполятора служат координаты области, 'качество' грани, наклон грани, значение обрабатываемого пикселя и соседних с ним пикселей. 'Качество' грани и наклон грани вычисляются на основе данных пикселей входящих в область. Эти данные передаются на входы нейросети. Нейросеть перемножает входные данные на веса, определенные на этапе предварительной тренировки нейросети, и применяет заранее определенные нелинейные передаточные функции. Результатом работы нейросети является значение интерполированного пикселя. В данном способе нейросеть выступает нелинейным фильтром, непосредственно на входы которой передаются координаты области, 'качество' грани, наклон грани, значение обрабатываемого пикселя и соседних с ним пикселей. Нейросеть непосредственно выдает значение интерполированного пикселя.
Недостатки такого способа:
- в качестве исходного используется лишь один кадр, что не позволяет уменьшить уровень шума в результирующем изображении по сравнению с исходным;
- нейросеть натренировывается на распознавание предопределенного, ограниченного набора паттернов (вариантов ориентации грани), что влечет за собой неправильную интерполяцию изображений, непохожих на изображения из естественного набора;
- большой динамический диапазон значений пикселей препятствует эффективной работе нейросети;
- в процессе обработки есть необходимость деления изображения на две группы, что требует дополнительных вычислительных ресурсов.
При анализе всего объема доступной для ознакомления информации автором заявляемого изобретения не было обнаружено технических решений, которые бы решали задачу получения изображений высокого разрешения при их визуальном приближении способом, описанном в заявляемом.
Целью изобретения является создание способа, который позволил бы получать визуально приближенные изображения высокого качества и разрешения при фото- и видеосъемке как неподвижных, так и движущихся объектов.
Предлагаемое техническое решение основано на применении способа повышения разрешения изображения, использующего несколько кадров низкого разрешения для получения одного кадра высокого разрешения (т.е. суперразрешения), а также на возможности высокоскоростной съемки нескольких кадров изображения при сканировании лишь части сенсора. При этом решение поставленной задачи, т.е. достижение необходимого технического эффекта, достигается благодаря применению сконструированного для этой цели нелинейного фильтра.
Сущность заявляемого изобретения заключается в том, что для суперразрешения изображений в известном способе улучшения изображений, включающем экспонирование нескольких кадров, получение исходных изображений путем считывания с сенсора, выравнивание их, формирование увеличенного изображения, его фильтрацию фильтром, исходное изображение получают с цифрового сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой, при которой частота кадров обратно пропорциональна величине сканируемой части светочувствительной области сенсора. При этом увеличенное изображение формируют путем объединения исходных изображений низкого разрешения, выявляя наиболее четкие кадры, а повышение разрешения осуществляют нелинейным фильтром, применяя его к увеличенному изображению. Для фильтрации изображений, с целью получения суперразрешения, используют нелинейный цифровой фильтр, входными данным для которого являются пиксели обрабатываемого изображения, включающий нейросеть, предварительно натренированную с использованием тестового изображения. На нейросеть подают модифицированные оцифрованные данные, при этом их модификация включает: выделение низкочастотной компоненты, поэлементную компоновку пикселей, вычитание низкочастотной компоненты из скомпонованных пикселей, и последующее их нормирование. Затем данные на выходе нейросети подвергают обратному нормированию, а низкочастотную компоненту прибавляют к значению на выходе нейросети. Кроме того, для получения значения фильтра используют только данные пикселя, подлежащего фильтрации и пикселей, отстоящих не более чем на 3 точки в горизонтальном и вертикальном направлениях из увеличенного изображения.
На фиг.1 изображен стандартный случай съемки кадров в режиме видео с использованием сенсора с электронным затвором. Между экспозициями кадров имеются паузы. Вертикальные линии 1; 2; 3 на шкале времени отмечают время начала экспозиции кадра, при этом расстояние между ними соответствует частоте кадров. Заштрихованные области - фактическое время экспозиции строк сенсора (т.к. используется сенсор с электронным затвором, то фактическое время начала и конца экспозиции отдельных строк несколько смещено во времени).
Фиг.2 - съемка кадров без пауз с использованием сенсора с электронным затвором. Вертикальные линии 1; 2; 3; 4 на шкале времени отмечают время начала экспозиции кадра. Экспозиция следующего кадра начинается сразу после считывания данных строки текущего кадра и паузы отсутствуют.
На фиг.3 - схема сенсора, где 301 - светочувствительная область сенсора; 302 - его центральная часть, используемая для получения визуально приближенного изображения.
На фиг.4 показано выравнивание нескольких кадров и их объединение в одно изображение увеличенного размера с последующим повышением разрешения (блок-схема), где:
401 (верхний ряд) - исходные снимки;
402 (второй ряд) - выровненные снимки;
403 - блок объединения кадров, который принимает на входе выровненные снимки и выдает объединенный кадр увеличенного размера;
404 - исходное 'размытое' изображение;
405 - нелинейный фильтр;
406 - увеличенное изображение с суперразрешением.
На фиг.5 показано применение нелинейного фильтра для повышения разрешения, где:
501 - исходный увеличенный снимок,
502 - схема фильтра, включающего предварительную подготовку данных (503); нейросеть(504) и суммирование(505);
506 - финальное изображение с суперразрешением.
Фиг.6 - тестовое изображение, используемое на этапе предварительной тренировки нейросети.
Съемку предлагаемым способом производят следующим образом: т.к. максимальная скорость получения данных с сенсора в современных мобильных устройствах ограничивается максимальной возможной скоростью интерфейса передачи данных, а при съемке визуально приближенных изображений нет необходимости сканирования всей поверхности сенсора, то при сканировании лишь части сенсора возможно пропорционально увеличить частоту получения кадров. Экспонируют несколько кадров при фиксированных частоте и выдержке, с частотой кадров, позволяющей исключить паузы между экспозициями. В случае слабой освещенности объекта возможно либо увеличить выдержку каждого кадра, либо, что предпочтительнее, увеличить количество экспонируемых кадров.
Так, при трехкратном визуальном приближении объекта съемки сканируют лишь 1/9 поверхности сенсора, соответственно, максимальную частота кадров возможно увеличить в 9 раз, а значит, съемка, например, девяти кадров занимает то же самое время, что и съемка одного кадра при использовании стандартного способа. При такой съемке как стационарные, так и движущиеся объекты в каждом из кадров будут четкими, а уровень шума ниже, чем при съемке аналогичными известными способами, т.к. амплитуда шумовой компоненты отдельных кадров при объединении растет пропорционально квадратному корню из общего количества кадров, а амплитуда полезной компоненты (собственно изображения) - пропорционально количеству кадров.
В полученной таким образом серии кадров некоторые из них несколько сдвинуты друг относительно друга за счет неизбежной тряски камеры при съемке с рук. Кроме того, изображение на некоторых кадрах может быть менее четким, чем на других. Поэтому следующим этапом обработки является выявление наиболее четких кадров, а также выравнивание их относительно друг друга. Существует множество способов оценки четкости кадра, например, способ описанный в [Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi "Blind Image Quality Assessment tor Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP '08. Volume: 1, ISBN: 978-0-7695-3119-9], где для определения четкости кадра отбирают подмножество наиболее четких граней, определяют среднюю четкость отобранных граней и усредненное значение используют в качестве метрики четкости всего кадра.
В предлагаемом способе суперразрешения изображения при визуальном приближении используют один кадр увеличенного размера (404), полученный путем выравнивания и объединения кадров предыдущего этапа (фиг.4). Увеличение кадра осуществляют путем интерполяции (например, бикубической). Объединение кадров производят либо простым усреднением значений совпадающих пикселей увеличенных кадров, либо более сложным суммированием с использованием весовых коэффициентов. Например, в случае наличия движущихся объектов производят выборочное усреднение кадров с отбором данных из тех кадров, в которых позиция (расположение) движущихся объектов совпадает. В случае различий в уровне шума в отдельных кадрах, объединение производят с приданием большего веса тем кадрам, в которых уровень шума ниже, чтобы понизить общий уровень шума в объединенном кадре.
Изображение с суперразрешением получают путем применения, последовательно к каждому пикселю, увеличенного кадра, нелинейного фильтра. При этом фильтр использует область пикселей, расположенных в непосредственной близости от пикселя, для которого повышается разрешение (фиг.5).
Нелинейный фильтр с фиксированными параметрами предварительно конструируют под конкретную систему объектив-сенсор. Это обеспечивает максимальное повышение разрешения для данной конкретной системы, а также оптимальное шумоподавление. Фильтр конструируется с использованием искусственной нейросети. Для целей суперразрешения возможно использование различных типов нейросетей. В заявленном решении был использован нелинейный многослойный персептрон [Медведев B.C., Потемкин В.Г, "Нейронные сети. MATLAB 6", - М: Диалог-МИФИ, 2002, глава 4]. Экспериментально установлено, что наиболее оптимальной архитектурой нейросети для поставленной задачи является персептрон с одним скрытым слоем, сигмоидальными или тангенциальными функциями активации во всех слоях, четырьмя нейронами во входном слое, четырьмя нейронами в скрытом слое. В случае применения фильтра к монохроматическому изображению или лишь к яркостной составляющей изображения, в выходном слое используется один нейрон. В случае применения фильтра к многоцветному изображению выходной слой может содержать количество нейронов, равное количеству цветовых слоев изображения, или же отдельный фильтр может применяться к каждому цветовому слою независимо.
Нелинейный фильтр включает:
- модификацию оцифрованных данных изображения,
- подачу их на вход предварительно натренированной нейросети,
- обратное нормирование,
- последующее суммирование результатов работы нейросети с низкочастотными данными, полученными на этапе предварительной модификации оцифрованных данных.
Предварительная модификация оцифрованных данных состоит из следующих этапов:
1. Выделение компонент для фильтрации. В случае использования фильтра для фильтрации лишь яркостной компоненты изображения или отдельного цветового слоя выделяют эту компоненту из изображения.
2. Отделение низких частот. Производят с помощью обычного линейного фильтра (например, вычисления усредненного значения всех пикселей в радиусе 8 пикселей от данного). Отделение низких частот позволяет снизить динамический диапазон входных данных.
3. Поэлементная компоновка пикселей, соседних с пикселем, для которого происходит нелинейная фильтрация в массивы. Так, если используются все пиксели, отстоящие от данного не более чем на три пикселя по горизонтали/вертикали, то массив будет состоять из 7×7=49 элементов.
4. Вычитание значения низкочастотной составляющей из всех элементов массива. Для этого из отделенной на этапе 2 низкочастотной составляющей выбирается значение с координатой, соответствующей пикселю, для которого производится фильтрация.
5. Нормирование. Нейросеть работает в наиболее благоприятном режиме, если динамический диапазон входных значений невелик, нормирование же позволяет дополнительно снизить динамический диапазон. Все массивы пикселей нормируются таким образом, чтобы значения пикселей попадали в определенный диапазон (например, [0…1]).
Модифицированные таким образом данные передаются на вход нейросети. Их используют как при тренировке нейросети, так и при использовании нейросети в составе нелинейного фильтра.
Для тренировки нейросети используют тестовое изображение (фиг.6), специально подготовленное для этой цели, отснятое системой объектив-сенсор, для которой фильтр будет использован.
Требования к тестовому изображению
Т.к. нейронные сети обладают способностью к 'генерализации' (т.е. к выводу неких общих правил и зависимостей на основании ограниченного набора данных), то нет необходимости использовать на этапе тренировки нейросети все возможные варианты изображений. Однако изображение, используемое при тренировке, должно отвечать минимальным требованиям для того, чтобы в результате тренировки получить сеть, работающую достаточно хорошо для всех изображений. На изображении должны присутствовать:
- плавные изменения яркости различной направленности и значений градиента яркости,
- резкие изменения яркости (грани) различной ориентации,
- при тренировке сети, обрабатывающей цветовые компоненты - плавные и резкие изменения цветовых компонент, с различной ориентацией и значениями градиента.
- темные и светлые штрихи различной толщины и направленности,
- радиальные и синусоидальные миры,
- реперные точки, с целью облегчения последующего выравнивания отснятого изображения.
Съемку кадров тестового изображения а также их выравнивание и объединение производят заявленным способом с использованием реперных точек (перекрестий) для упрощения выравнивания кадров отснятого изображения. Например, сетки из 5×5 реперных точек, как показано на тестовом изображении, на фиг.6. В качестве целевых данных при тренировке нейросети используют соответствующие по координатам, нормированные пиксели тестового изображения, из которого предварительно отфильтрованы высокие и низкие частоты. Частоту среза высоких частот выбирают экспериментально, исходя из требований к четкости конечного изображения и допустимого уровня шумов/искажений в нем. Частоту среза низких частот выбирают равной частоте фильтра низких частот, используемого для модификации входных оцифрованных данных. Для тренировки нейросети используют алгоритм Левенберга-Марквардта [7], который дает наилучшие результаты для нейросетей среднего и малого размера.
После получения данных на выходе нейросети производят их обратное нормирование. Например, если на этапе 5 предварительной модификации нормирование было осуществлено простым домножением на константу, то обратное нормирование производится путем деления данных полученных с выхода нейросети на ту же константу.
Таким образом, процедура обработки данных нелинейным фильтром состоит из:
1. Предварительной модификации оцифрованных данных.
2. Обработки данных предварительно натренированной нейросетью.
3. Процедуры, обратной нормированию на этапе 5 предварительной модификации оцифрованных данных.
4. Прибавления к результату, вычисленному с помощью нейросети, низкочастотных данных, отфильтрованных на этапе 2 предварительной модификации оцифрованных данных.
Предлагаемый способ суперразрешения визуально приближенных изображений с сенсора с электронным затвором дает возможность получения качественных изображений с высоким разрешением и применим при использовании различного рода мобильных устройств, выпускаемых промышленностью в настоящее время. Необходимая для получения высокого разрешения пост-обработка данных, полученных с сенсора, предъявляет невысокие требования к вычислительным ресурсам устройства и может быть произведена непосредственно на мобильном устройстве. Он обладает следующими преимуществами перед уже известными:
- происходит экспонирование множества кадров, однако выдержка для каждого кадра существенно ниже выдержки, используемой для цифрового зума, в результате смазанность изображения уменьшается;
- наличие большого количества кадров, изображающих одну и ту же сцену, позволяет эффективно отфильтровать различные шумы;
- метод суперразрешения позволяет воспроизвести четкие грани, мелкие детали на изображении;
- высокоскоростная работа предлагаемого метода суперразрешения позволяет использовать его в мобильных устройствах, где одним из требований является немедленное получение результата съемки;
- в отличие от других способов, комбинирующих несколько кадров для получения одного качественного изображения, отсутствуют проблемы передачи движущихся объектов.
Claims (5)
1. Способ суперразрешения изображений, включающий экспонирование нескольких кадров, получение исходных изображений путем считывания с сенсора, выравнивание их, формирование увеличенного изображения, его фильтрацию фильтром, отличающийся тем, что исходное изображение получают с цифрового сенсора в виде непрерывной последовательности кадров высокоскоростной съемкой, при которой частота кадров обратно пропорциональна величине сканируемой части светочувствительной области сенсора, увеличенное изображение формируют путем объединения исходных изображений низкого разрешения, а повышение разрешения осуществляют нелинейным фильтром, применяя его к увеличенному изображению.
2. Способ по п.1, отличающийся тем, что увеличенное изображение формируют путем объединения наиболее четких кадров исходных изображений.
3. Нелинейный цифровой фильтр для получения суперразрешения изображений, входными данными для которого являются пиксели обрабатываемого изображения, включающий нейросеть, предварительно натренированную с использованием тестового изображения, отличающийся тем, что на нейросеть подают предварительно модифицированные оцифрованные данные, при этом их модификация включает: выделение низкочастотной компоненты, поэлементную компоновку пикселей, вычитание низкочастотной компоненты из скомпонованных пикселей и последующее их нормирование, данные на выходе нейросети подвергают обратному нормированию, а низкочастотную компоненту прибавляют к значению на выходе нейросети.
4. Фильтр по п.3, отличающийся тем, что для получения значения фильтра используют только данные пикселя, подлежащего фильтрации, и пикселей, отстоящих не более чем на 3 точки в горизонтальном и вертикальном направлениях из увеличенного изображения.
5. Фильтр по п.3, отличающийся тем, что тестовое изображение содержит радиальные и синусоидальные миры, а также реперные точки.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010133219/09A RU2431889C1 (ru) | 2010-08-06 | 2010-08-06 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
| DE112011102647T DE112011102647T5 (de) | 2010-08-06 | 2011-05-16 | Verfahren zur Herstellung von super-auflösenden Bildern und nicht-linearer Filter zu dessen Implementierung |
| KR1020137004968A KR101612165B1 (ko) | 2010-08-06 | 2011-05-16 | 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터 |
| US13/814,664 US9020302B2 (en) | 2010-08-06 | 2011-05-16 | Method for producing super-resolution images and nonlinear digital filter for implementing same |
| CN201180037162.7A CN103098089B (zh) | 2010-08-06 | 2011-05-16 | 图像超分辨率的方法 |
| JP2013523122A JP5784723B2 (ja) | 2010-08-06 | 2011-05-16 | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
| PCT/RU2011/000329 WO2012018282A1 (ru) | 2010-08-06 | 2011-05-16 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2010133219/09A RU2431889C1 (ru) | 2010-08-06 | 2010-08-06 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2431889C1 true RU2431889C1 (ru) | 2011-10-20 |
Family
ID=44999290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2010133219/09A RU2431889C1 (ru) | 2010-08-06 | 2010-08-06 | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9020302B2 (ru) |
| JP (1) | JP5784723B2 (ru) |
| KR (1) | KR101612165B1 (ru) |
| CN (1) | CN103098089B (ru) |
| DE (1) | DE112011102647T5 (ru) |
| RU (1) | RU2431889C1 (ru) |
| WO (1) | WO2012018282A1 (ru) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2538941C1 (ru) * | 2013-06-14 | 2015-01-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Улучшения качества распознавания за счет повышения разрешения изображений |
| RU2549353C1 (ru) * | 2014-02-03 | 2015-04-27 | Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" | Способ повышения разрешающей способности видеосистем |
| RU2583725C1 (ru) * | 2014-10-17 | 2016-05-10 | Самсунг Электроникс Ко., Лтд. | Способ и система для обработки изображения |
| RU2635883C1 (ru) * | 2016-06-02 | 2017-11-16 | Самсунг Электроникс Ко., Лтд. | Способ и система обработки изображений для формирования изображений сверхвысокого разрешения |
| RU2664540C2 (ru) * | 2016-05-04 | 2018-08-20 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ повышения разрешения изображения |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101485512B1 (ko) * | 2014-03-28 | 2015-01-23 | 주식회사 성우음향정보통신 | 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법 |
| US10007970B2 (en) | 2015-05-15 | 2018-06-26 | Samsung Electronics Co., Ltd. | Image up-sampling with relative edge growth rate priors |
| US9741107B2 (en) * | 2015-06-05 | 2017-08-22 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
| US9582762B1 (en) | 2016-02-05 | 2017-02-28 | Jasmin Cosic | Devices, systems, and methods for learning and using artificially intelligent interactive memories |
| US10366480B2 (en) | 2016-07-01 | 2019-07-30 | Analytical Mechanics Associates, Inc. | Super-resolution systems and methods |
| CN106101556B (zh) * | 2016-07-29 | 2017-10-20 | 广东欧珀移动通信有限公司 | 移动终端的图像合成方法、装置及移动终端 |
| US10554877B2 (en) | 2016-07-29 | 2020-02-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image synthesis method and apparatus for mobile terminal, and mobile terminal |
| US10380767B2 (en) * | 2016-08-01 | 2019-08-13 | Cognex Corporation | System and method for automatic selection of 3D alignment algorithms in a vision system |
| US9864933B1 (en) | 2016-08-23 | 2018-01-09 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation |
| RU2661537C2 (ru) * | 2016-08-30 | 2018-07-17 | Самсунг Электроникс Ко., Лтд. | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
| US10452974B1 (en) | 2016-11-02 | 2019-10-22 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation |
| JP6929047B2 (ja) * | 2016-11-24 | 2021-09-01 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| EP3552388B1 (en) | 2016-12-09 | 2024-10-30 | Google LLC | Feature recognition assisted super-resolution method |
| US10607134B1 (en) | 2016-12-19 | 2020-03-31 | Jasmin Cosic | Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation |
| JP6236731B1 (ja) * | 2017-03-10 | 2017-11-29 | 株式会社ツバサファクトリー | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム |
| WO2018212599A1 (en) | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Super-resolution processing method for moving image and image processing apparatus therefor |
| TWI754764B (zh) * | 2017-06-30 | 2022-02-11 | 美商克萊譚克公司 | 由低解析度影像產生高解析度影像以用於半導體應用 |
| US10102449B1 (en) | 2017-11-21 | 2018-10-16 | Jasmin Cosic | Devices, systems, and methods for use in automation |
| US10474934B1 (en) | 2017-11-26 | 2019-11-12 | Jasmin Cosic | Machine learning for computing enabled systems and/or devices |
| US10402731B1 (en) | 2017-12-15 | 2019-09-03 | Jasmin Cosic | Machine learning for computer generated objects and/or applications |
| US11372243B2 (en) | 2018-04-28 | 2022-06-28 | Almalence, Inc. | Optical hybrid reality system having digital correction of aberrations |
| KR102695519B1 (ko) | 2018-07-02 | 2024-08-14 | 삼성전자주식회사 | 영상 모델 구축 장치 및 방법 |
| KR102614908B1 (ko) * | 2018-09-13 | 2023-12-18 | 삼성전자주식회사 | 이미지 복원 방법 및 장치 |
| US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
| KR102604016B1 (ko) | 2018-10-24 | 2023-11-22 | 삼성전자주식회사 | 전자 장치 및 이의 제어방법 |
| KR102545667B1 (ko) * | 2018-10-30 | 2023-06-21 | 삼성전자주식회사 | 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치 |
| KR20200142883A (ko) * | 2019-06-13 | 2020-12-23 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
| US11153513B2 (en) * | 2019-08-19 | 2021-10-19 | Synaptics Incorporated | Light source for camera |
| EP4044110A4 (en) | 2020-10-27 | 2023-02-22 | Samsung Electronics Co., Ltd. | METHOD FOR GENERATION OF IMAGE DATA WITH REDUCED NOISE AND ELECTRONIC DEVICE FOR IMPLEMENTING IT |
| CN112345251B (zh) * | 2020-11-04 | 2022-03-04 | 山东科技大学 | 基于信号分辨率增强的机械智能故障诊断方法 |
| CN114708144B (zh) * | 2022-03-16 | 2023-05-26 | 荣耀终端有限公司 | 图像数据处理方法及装置 |
| CN114897746A (zh) * | 2022-06-01 | 2022-08-12 | 浙江大华技术股份有限公司 | 图像处理方法、设备及存储介质 |
| CN115908142B (zh) * | 2023-01-06 | 2023-05-09 | 诺比侃人工智能科技(成都)股份有限公司 | 一种基于视觉识别的接触网微小部件验损方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5262871A (en) * | 1989-11-13 | 1993-11-16 | Rutgers, The State University | Multiple resolution image sensor |
| JPH06348840A (ja) * | 1993-06-03 | 1994-12-22 | Konica Corp | 画像復元方法 |
| JPH08263649A (ja) * | 1995-02-21 | 1996-10-11 | Xerox Corp | ニューラルベースの空間画像強化システム |
| JPH08305846A (ja) | 1995-03-07 | 1996-11-22 | Matsushita Electric Ind Co Ltd | ニューロフィルターと像域分割方法とフィルター装置 |
| US6747697B1 (en) | 2000-07-12 | 2004-06-08 | Koninklijke Philips Electronics, N.V. | Method and apparatus for digital image defect correction and noise filtering |
| US7085436B2 (en) * | 2001-08-28 | 2006-08-01 | Visioprime | Image enhancement and data loss recovery using wavelet transforms |
| US7187811B2 (en) | 2003-03-18 | 2007-03-06 | Advanced & Wise Technology Corp. | Method for image resolution enhancement |
| FR2864631B1 (fr) * | 2003-12-31 | 2006-04-14 | Mauna Kea Technologies | Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede |
| KR100555866B1 (ko) * | 2004-06-08 | 2006-03-03 | 삼성전자주식회사 | 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법 |
| JP4184319B2 (ja) * | 2004-06-10 | 2008-11-19 | オリンパス株式会社 | 撮像装置 |
| US20060291750A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution) |
| US7412107B2 (en) * | 2004-12-17 | 2008-08-12 | The Regents Of The University Of California, Santa Cruz | System and method for robust multi-frame demosaicing and color super-resolution |
| US8374464B2 (en) | 2006-05-31 | 2013-02-12 | Nec Corporation | Method, apparatus and program for enhancement of image resolution |
| US9799098B2 (en) * | 2007-04-24 | 2017-10-24 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
| JP4886583B2 (ja) * | 2007-04-26 | 2012-02-29 | 株式会社東芝 | 画像拡大装置および方法 |
| JP5040449B2 (ja) * | 2007-05-31 | 2012-10-03 | 富士通セミコンダクター株式会社 | 固体撮像素子および固体撮像素子を用いた信号処理方法 |
| US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
| JP2009194896A (ja) * | 2008-01-18 | 2009-08-27 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに撮像装置 |
| JP2009273072A (ja) * | 2008-05-12 | 2009-11-19 | Hitachi Ltd | 高精細画像処理装置、高精細画像処理方法、およびプログラム |
| JP5156982B2 (ja) * | 2008-06-05 | 2013-03-06 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
| US8374444B2 (en) * | 2008-08-06 | 2013-02-12 | Sony Corporation | Method and apparatus for providing higher resolution images in an embedded device |
| US8233747B2 (en) * | 2009-04-03 | 2012-07-31 | Sony Corporation | Method and apparatus for forming super resolution images from raw data representative of color filter array images |
-
2010
- 2010-08-06 RU RU2010133219/09A patent/RU2431889C1/ru active
-
2011
- 2011-05-16 KR KR1020137004968A patent/KR101612165B1/ko active IP Right Grant
- 2011-05-16 WO PCT/RU2011/000329 patent/WO2012018282A1/ru active Application Filing
- 2011-05-16 DE DE112011102647T patent/DE112011102647T5/de not_active Withdrawn
- 2011-05-16 US US13/814,664 patent/US9020302B2/en active Active
- 2011-05-16 JP JP2013523122A patent/JP5784723B2/ja active Active
- 2011-05-16 CN CN201180037162.7A patent/CN103098089B/zh active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2538941C1 (ru) * | 2013-06-14 | 2015-01-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Улучшения качества распознавания за счет повышения разрешения изображений |
| RU2549353C1 (ru) * | 2014-02-03 | 2015-04-27 | Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" | Способ повышения разрешающей способности видеосистем |
| RU2583725C1 (ru) * | 2014-10-17 | 2016-05-10 | Самсунг Электроникс Ко., Лтд. | Способ и система для обработки изображения |
| RU2664540C2 (ru) * | 2016-05-04 | 2018-08-20 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ повышения разрешения изображения |
| RU2635883C1 (ru) * | 2016-06-02 | 2017-11-16 | Самсунг Электроникс Ко., Лтд. | Способ и система обработки изображений для формирования изображений сверхвысокого разрешения |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112011102647T5 (de) | 2013-07-11 |
| JP5784723B2 (ja) | 2015-09-24 |
| CN103098089B (zh) | 2017-03-29 |
| KR101612165B1 (ko) | 2016-04-12 |
| US20130156345A1 (en) | 2013-06-20 |
| JP2013532878A (ja) | 2013-08-19 |
| KR20130102550A (ko) | 2013-09-17 |
| US9020302B2 (en) | 2015-04-28 |
| WO2012018282A1 (ru) | 2012-02-09 |
| CN103098089A (zh) | 2013-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
| Wronski et al. | Handheld multi-frame super-resolution | |
| JP5909540B2 (ja) | 画像処理表示装置 | |
| US9998666B2 (en) | Systems and methods for burst image deblurring | |
| Delbracio et al. | Burst deblurring: Removing camera shake through fourier burst accumulation | |
| US10282822B2 (en) | Digital correction of optical system aberrations | |
| JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| JP5468404B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| Delbracio et al. | Removing camera shake via weighted fourier burst accumulation | |
| JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
| WO2011090107A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
| CN102082912A (zh) | 图像拍摄装置及图像处理方法 | |
| JP2009135561A (ja) | ぶれ検出装置、ぶれ補正装置及び方法 | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| Wang et al. | High-quality image deblurring with panchromatic pixels. | |
| JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
| JP2006279807A (ja) | 手ぶれ補正装置 | |
| Bhagat et al. | Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques | |
| JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| EP4332834A1 (en) | Method and camera device for generating a moiré-corrected image file | |
| Conklin | Deblurring Long Exposure Astrophotography with Neural Networks | |
| JP6818461B2 (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
| Šorel et al. | Restoration of color images degraded by space-variant motion blur | |
| Park | Super resolution image reconstruction using averaged image and regularized deconvolution | |
| WO2021158136A1 (en) | Devices and methods for digital signal processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20151019 |