KR101193152B1 - Method and apparatus for mixing objects between object based sound source - Google Patents
Method and apparatus for mixing objects between object based sound source Download PDFInfo
- Publication number
- KR101193152B1 KR101193152B1 KR1020100121491A KR20100121491A KR101193152B1 KR 101193152 B1 KR101193152 B1 KR 101193152B1 KR 1020100121491 A KR1020100121491 A KR 1020100121491A KR 20100121491 A KR20100121491 A KR 20100121491A KR 101193152 B1 KR101193152 B1 KR 101193152B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- objects
- speed
- matching
- adjusting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000001755 vocal effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 발명은 서로 다른 객체 기반 음원간 객체의 정합을 위한 전처리 방법에 관한 것으로서, 본 발명의 일면에 따른 객체 기반 음원간 객체 정합 방법은, 서로 다른 객체 기반 음원에 포함되어 있는 복수의 객체를 정합하는 방법에 있어서, 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정하는 단계와, 상기 기준 객체와, 속도가 조정된 복수의 상기 다른 객체의 음원 길이를 조정하는 단계를 포함한다.The present invention relates to a preprocessing method for matching objects between different object-based sound sources, and an object matching method between object-based sound sources according to an aspect of the present invention provides a method of matching a plurality of objects included in different object-based sound sources. A method comprising: adjusting a speed of a plurality of different objects included in a plurality of different sound sources to be matched according to a speed of a reference object included in a set reference sound source, wherein the reference object and the speed are adjusted Adjusting a sound source length of the plurality of other objects.
Description
본 발명은 서로 다른 객체 기반 음원간 객체의 정합을 위한 전처리 방법 및 장치에 관한 것으로서, 보다 상세하게는 서로 다른 환경에서 만들어진 객체 기반 음원에서 특정 객체만 선택하여 정합할 경우 각 객체의 속도 및 음색 등의 성질을 처리하여 정합할 수 있는 새로운 객체 기반 음원간 객체 정합 방법에 관한 것이다.The present invention relates to a preprocessing method and apparatus for matching objects between different object-based sound sources, and more particularly, to select and match only specific objects in object-based sound sources made in different environments, such as speed and tone of each object. The present invention relates to a new object-based inter-object matching method that can be processed by matching the properties of.
각종 IT 기기가 고도화 되면서 컨텐츠 저장 공간의 제약은 줄어들어 고품질 멀티미디어 컨텐츠의 생성 및 재생이 가능하게 변화하였다. 이와 같은 추세를 반영하여 멀티미디어 가전 시장에서는 컨텐츠를 수동적으로 재생하는 제품이 아닌 인간의 감성 및 이동성을 모두 고려한 멀티미디어 서비스 제품이 경쟁력을 가질 것으로 예상된다.As various IT devices have been advanced, the limitation of content storage space has been reduced, making it possible to create and play high quality multimedia contents. Reflecting such a trend, it is expected that multimedia service products that consider both human emotion and mobility, rather than passively playing contents, will be competitive in the multimedia home appliance market.
이에 따라 IT 기술뿐 만 아니라 네트워크 및 감성 공학 기술을 고려한 멀티미디어 기반 요소 기술 연구가 필요하다. 고품질 컨텐츠 기반 실감형 멀티미디어 서비스와 관련하여 오디오 기술 분야에서는 고품질 무손실 오디오 저작(authoring) 기술 및 객체 기반 오디오 처리 기술, 사용자의 감성 및 환경 정보를 반영한 실감 오디오 전송 및 표현 기술 등에 관한 연구가 진행되고 있다. Accordingly, it is necessary to study multimedia-based element technology considering not only IT technology but also network and emotional engineering technology. In relation to high-quality content-based immersive multimedia services, researches on high-quality lossless audio authoring and object-based audio processing techniques, and realistic audio transmission and presentation techniques reflecting user's emotion and environmental information are conducted in the audio technology field. .
기존 2 채널 기반 스테레오 음원 컨텐츠는 저용량으로 음원 저장이 가능하고 음장의 공간적 특성을 쉽게 재생할 수 있지만 멀티 채널 스피커를 지원하는 음원 소스로는 적합하지 않다. 컨텐츠 저장 공간의 제약이 줄어든 현재 무손실 다채널 오디오 저작 기술은 왜곡 없이 고품질 컨텐츠를 재생 함으로써 풍부한 음향의 오디오 청취를 가능하게 한다. Existing 2 channel-based stereo sound source contents can be stored in low volume and easily reproduce the spatial characteristics of the sound field, but they are not suitable as a sound source that supports multi-channel speakers. Current lossless multi-channel audio authoring technology with reduced content storage space enables rich audio listening by playing high quality content without distortion.
객체 기반 오디오 처리 기술은 하나의 음원을 구성하는 다양한 종류의 객체 오디오 소스를 각각 제어 가능하게 하여 객체 기반 오디오 컨텐츠 생성 및 저작, 수정을 가능하게 하는 기술이다.The object-based audio processing technology is a technology that enables object-based audio content generation, authoring, and modification by controlling various types of object audio sources constituting a single sound source.
종래 기술에 의해 음원을 생성할 때는 독립적인 오디오 소스를 저작하기 보다 여러 개의 악기로 만든 오디오 객체를 생성하고 이를 정합 (mixing)하여 사용하는 경우가 대부분이다. 음원 저작 특성을 이용하여 오디오 객체를 기반으로 제어 및 수정하는 기술은 제작자와 청취자가 원하는 방향으로 능동형 오디오 서비스를 가능하게 한다. When generating a sound source according to the prior art, it is most often used to create and mix audio objects made of several instruments rather than authoring an independent audio source. Techniques for controlling and modifying audio objects based on audio authoring features enable active audio services in the direction desired by producers and listeners.
현재 오디오 음원은 보컬을 비롯한 악기 등 여러 개의 개별 음원에 독립적인 오디오 소스를 사용하기 보다는 제작자가 하나의 오디오 음원으로 정합하여 제공하며 사용자가 수동적으로 청취하는 포맷이 대부분이다. Currently, the audio source is provided by the producer as a single audio source rather than using independent audio sources such as vocals and musical instruments, and most of the formats manually listened to by the user.
객체 기반 오디오 처리 기술은 하나의 음원을 구성하는 다양한 객체 오디오 소스를 각각 제어 가능하게 하여 객체 기반 오디오 컨텐츠 생성 및 재생을 가능하게 하는 기술이다. 이는 제작자와 청취자가 원하는 오디오 객체를 능동적으로 제어 가능하게 하고 별도로 음원 세트를 조합 가능하므로 재생산이 가능하다. Music 2.0은 MPEG-A 멀티미디어 응용 포맷 분야(Multimedia Application Format) 국제표준을 주도한 객체 지향 멀티미디어 음원 기술로서, 세계 최초로 제품화 및 서비스 구현을 실현하였다. The object-based audio processing technology is a technology that enables object-based audio content generation and playback by controlling various object audio sources constituting a single sound source. This allows the producer and the listener to actively control the desired audio object, and can be reproduced by separately combining the sound source sets. Music 2.0 is an object-oriented multimedia sound source technology that led the international standard of MPEG-A Multimedia Application Format. It is the world's first product and service implementation.
도 1을 참조하여 Music 2.0 플레이어에 의한 객체 기반 음원의 재생 방법을 설명한다. 도 1은 종래 기술에 따른 Music 2.0 플레이어 재생 화면으로 보컬과 여러 악기소리가 각자의 독립된 트랙을 구성하여 한 곡을 이루고 있으며, 플레이어를 통해 각 음악에 포함된 보컬, 피아노, 기타, 바이올린, 드럼 등 각 악기 음의 객체를 선택하여 조합 재생이 가능하다. A method of playing an object-based sound source by a Music 2.0 player will be described with reference to FIG. 1. 1 is a music 2.0 player playback screen according to the prior art, vocals and various musical instrument sounds constitute a separate track, and each song comprises a vocal, piano, guitar, violin, drum, etc. included in each music through the player. Combination playback is possible by selecting the object of each instrument sound.
사용자가 음원 파일을 선택 재생 할 경우 플레이어에서는 Scene description을 이용해 음원의 종류 및 재생 관련한 기본 정보를 제공한다. 이에 기반하여 객체 기반 음원의 경우 세부 개별 트랙 정보 확인 및 개인 맞춤 제어가 가능하므로 더욱 풍부하고 실감 있는 음원 재생이 가능하다. 또한 다채널 출력 스피커의 위치를 포함한 기본 설정 정보를 알고 있는 경우 이에 맞추어 음원 스트리밍 출력 조절이 가능하다.When the user selects and plays the sound source file, the player uses the scene description to provide basic information about the type and playback of the sound source. Based on this, in case of object-based sound source, detailed individual track information can be checked and personalized control can be made to play richer and more realistic sound. Also, if you know the basic setting information including the location of the multi-channel output speaker, you can adjust the sound streaming output accordingly.
이와 같이, 객체 기반의 음원은 기존 스테레오 기반 음원보다 객체 단위 별 재 구성 및 정합 등이 가능하여 여러 다른 방식과 구성의 음원 컨텐츠를 만들어 낼 수 있다.As such, the object-based sound source can be reconstructed and matched for each object unit than the existing stereo-based sound source, and thus, sound source contents of various different methods and configurations can be created.
하지만 서로 다른 음원에서 객체를 선택하여 정합할 경우 그 음원의 빠르기와 음색 및 톤이 각각 다르므로 자연스러운 음원으로 재생산 하기가 힘들다. 종래 기술에 따른 객체 기반 음원 정합 기술은 음원의 크기를 조절하여 정합하는 정도의 기술을 사용하고 있지만 음원 정합 시 가장 중요한 부분이 곡의 리듬 및 빠르기가 매끄럽게 조합되어 재생 하는 부분이기 때문에 다양한 음원 소스의 객체를 자유롭게 선택하여 재생산 하는 것이 어렵다. 이 때문에 재생산 하더라도 기존 곡의 객체의 음원 크기를 조절하거나 삭제 하는 정도로 사용되고 있다.However, when selecting and matching objects from different sound sources, it is difficult to reproduce them as natural sound sources because the speed, tone, and tone of the sound sources are different. The object-based sound source matching technology according to the prior art uses a technique that adjusts the size of the sound source, but the most important part in the sound source matching is the part that plays smoothly combining the rhythm and the speed of the song, It is difficult to freely select and reproduce objects. For this reason, even if reproduced, it is used to adjust or delete the size of the sound source of the object of the existing song.
이와 같이, 종래 기술에 따른 객체 기반 음원 정합 방법에 따르면, 객체 기반으로 음원이 생성되고 있으나 그 처리가 어려워 기존 곡의 객체 음원을 삭제, 선택하거나 크기를 조절하는 정도로 응용되고 있고, 서로 다른 음원에서 다른 객체를 선택하여 정합하는 것은 곡의 속도 등이 맞지 않아 불협화음이 생기므로 현실적으로 불가능하였다.As described above, according to the object-based sound source matching method according to the prior art, the sound source is generated based on the object, but its processing is difficult, so that it is applied to delete, select, or adjust the object sound source of the existing song, and in different sound sources Selecting and matching other objects was not practical because discordant sounds occurred because the speed of the song did not match.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 객체 기반 음원 재생 시 서로 다른 음원들 간의 객체들을 효과적으로 재생 및 재구성하기 위한 객체 기반 음원간 객체 정합 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an object-based object matching method and apparatus for effectively reproducing and reconstructing objects between different sound sources during object-based sound source reproduction.
본 발명의 다른 목적은, 객체 기반 음원 재생 시, 다른 객체 기반으로 생성된 음원을 디코딩하고 각 다른 음원 소스의 다른 객체를 정합할 경우 생기는 불협화음 같은 문제점을 보안할 수 있는 객체 기반 음원간 객체 정합 방법 및 장치를 제공하는 것이다.Another object of the present invention, when object-based sound source playback, object-based inter-object object matching method that can secure problems such as discordant sound when decoding the sound source generated based on the other object and matching different objects of each different sound source And to provide an apparatus.
본 발명의 또 다른 목적은, 서로 다른 환경에서 생성된 음원에서 특정 객체만을 선택하여 정합할 경우, 객체의 속도 및 음색 등을 처리하여 효과적으로 정합할 수 있는 객체 기반 음원간 객체 정합 방법 및 장치를 제공하는 것이다. It is still another object of the present invention to provide an object-based object matching method and apparatus that can effectively match by processing speed and tone of an object when selecting and matching only a specific object from sound sources generated in different environments. It is.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 목적을 달성하기 위한 본 발명의 일면에 따른 객체 기반 음원간 객체 정합 방법은, 서로 다른 객체 기반 음원에 포함되어 있는 복수의 객체를 정합하는 방법에 있어서, 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정하는 단계와, 상기 기준 객체와, 속도가 조정된 복수의 상기 다른 객체의 음원 길이를 조정하는 단계를 포함한다.Object matching method between the object-based sound source according to an aspect of the present invention for achieving the above object, in the method of matching a plurality of objects included in different object-based sound source, the reference object included in the set reference sound source Adjusting the speeds of the plurality of other objects included in the plurality of different sound sources to be matched with the speed, and adjusting the lengths of the reference objects and the sound sources of the plurality of other objects whose speeds are adjusted; Include.
여기서, 복수의 다른 객체의 속도는 사용자 인터페이스를 입력 되는 속도 조절 파라미터에 의해 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 조정이 된다.Here, the speeds of the plurality of other objects are adjusted according to the speeds of the reference objects included in the reference sound source set by the speed adjustment parameter inputting the user interface.
객체의 음원 길이는 사용자 인터페이스를 통해 입력되는 파라미터에 의해 상기 기준 객체의 음원 길이에 맞춰 다른 객체의 반복 재생 여부를 결정함으로써 수행될 수 있고, 또는 상기 기준 객체와 속도가 조정된 복수의 상기 다른 객체 중에서, 음원 길이가 가장 긴 객체를 선택하는 단계를 거쳐 음원 길이가 가장 긴 것으로 선택된 상기 객체의 음원 길이에 맞춰 나머지 다른 객체의 반복 재생 여부를 결정함으로써 수행될 수도 있다.The sound source length of the object may be performed by determining whether to repeatedly play another object according to the sound source length of the reference object by a parameter input through a user interface, or the plurality of other objects whose speed is adjusted with the reference object. The method may be performed by selecting an object having the longest sound source length and determining whether to repeatedly play the other objects according to the sound source length of the object selected as the longest sound source.
본 발명의 다른 면에 따른 객체 기반 음원간 객체 정합 장치는, 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정하는 속도 조정부와, 상기 기준 객체와, 속도가 조정된 복수의 상기 다른 객체의 음원 길이를 조정하는 음원 길이 조정부를 포함한다.An object-based inter-sound object matching device according to another aspect of the present invention adjusts the speed of a plurality of different objects included in a plurality of different sound sources to be matched according to the speed of a reference object included in a set reference sound source. And a speed adjusting unit, a sound source length adjusting unit for adjusting sound source lengths of the reference object and the plurality of other objects whose speed is adjusted.
본 발명에 따른 객체 기반 음원간 객체 정합 방법 및 장치에 의하면, 복수의 객체 기반 음원에 포함된 복수의 객체를 정합하는 경우에 있어서, 객체 기반 음원 재생 시 다른 음원을 디코딩하고 이를 전 처리함으로써, 사용자의 요구에 따라 서로 다른 음원 사이에 자연스러운 정합이 가능하다.According to the object matching method and apparatus between object-based sound source according to the present invention, in the case of matching a plurality of objects included in the plurality of object-based sound source, by decoding and pre-processing the other sound source when the object-based sound source, Natural matching is possible between different sound sources as required.
도 1은 종래의 객체 기반 음원 정합 방법 기술에 따른 Music 2.0 플레이어 재생 화면을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원을 도시한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원의 객체의 특성을 도시한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원의 각 객체 별 특성을 도시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 수행된 결과에 따라 전처리된 각 객체를 도시한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 객체 기반 음원간 객체 정합 장치를 도시한 블록도이다.1 is a diagram illustrating a music 2.0 player playback screen according to a conventional object-based sound source matching method technology.
2 is a flowchart illustrating an object matching method between object-based sound sources according to an exemplary embodiment of the present invention.
3 is an exemplary diagram illustrating an object-based sound source to which an object-based sound source matching method is applied according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an object characteristic of an object-based sound source to which an object-based sound source matching method is applied according to an embodiment of the present invention.
5 is an exemplary diagram illustrating the characteristics of each object of the object-based sound source to which the object-based sound source matching method according to an embodiment of the present invention is applied.
FIG. 6 is an exemplary diagram illustrating each object preprocessed according to the result of performing the object-based sound source matching method according to an embodiment of the present invention.
7 is a block diagram illustrating an object-based inter-object matching device according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the elements of each drawing, the same elements are denoted by the same reference numerals as much as possible even though they are shown in other drawings, and in describing the present invention, If the description can obscure the subject matter of the present invention, the detailed description is omitted.
도 2 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법을 설명한다. 도 2는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법을 도시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원을 도시한 예시도이고, 도 4는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원의 객체의 특성을 도시한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 적용되는 객체 기반 음원의 각 객체 별 특성을 도시한 예시도이고, 도 6은 본 발명의 일 실시예에 따른 객체 기반 음원간 객체 정합 방법이 수행된 결과에 따라 전처리된 각 객체를 도시한 예시도이다.An object matching method between object-based sound sources according to an embodiment of the present invention will be described with reference to FIGS. 2 to 6. 2 is a flowchart illustrating an object matching method between object-based sound sources according to an embodiment of the present invention, and FIG. 3 illustrates an object-based sound source to which an object-based sound source matching method is applied according to an embodiment of the present invention. 4 is an exemplary diagram illustrating an object characteristic of an object-based sound source to which an object-based sound source matching method is applied according to an embodiment of the present invention, and FIG. 5 is an embodiment of the present invention. FIG. 6 is an exemplary diagram illustrating the characteristics of each object of the object-based sound source to which the object-based sound source matching method is applied, and FIG. It is an exemplary diagram showing each object preprocessed.
본 발명에서 제안하는 객체 기반 음원간 객체 정합 장치는 복수의 객체 기반 음원에서 객체가 선택되어 정합될 경우, 각 음원 별 속도와 음원의 길이 및 기타 조건이 다르기 때문에 발생될 수 있는 정합된 음원의 어긋남을 최소화 하기 위한 것이다.In the object matching apparatus between object-based sound sources proposed in the present invention, when an object is selected and matched from a plurality of object-based sound sources, misalignment of matched sound sources that may occur due to different speeds, lengths, and other conditions for each sound source are different. To minimize this.
여기서, 객체는 각 음원에 포함되어 있는 고유 값으로 보통 악기나 음성으로 이루어질 수 있다.Here, the object is a unique value included in each sound source, and may be made of a normal musical instrument or a voice.
이하, 정합된 음원의 어긋남을 최소화 하기 위한 본 발명의 일 실시예에서 제안하는 객체 기반 음원간 객체 정합 방법을 도 2 내지 도 5를 참조하여 설명한다.Hereinafter, an object-based object matching method proposed by an embodiment of the present invention for minimizing misalignment of matched sound sources will be described with reference to FIGS. 2 to 5.
도 2를 참조하면, 먼저 기준이 되는 객체 기반 음원의 재생 시 복수의 다른 음원의 객체를 정합 하려는 작업을 할 경우, 정합의 대상이 되는 객체 기반 음원 및 상기 음원에 포함되어 있는 객체가 입력된다(S210).Referring to FIG. 2, first, when an object-based sound source is played as a reference to match objects of a plurality of different sound sources, an object-based sound source and an object included in the sound source are input ( S210).
입력되는 음원 및 객체는 객체 기반 음원간 객체 정합 장치의 사용자 인터페이스를 통해 사용자에 의해 선택될 수 있어 사용자의 요구에 따라 효과적으로 다른 음원간 객체들의 정합을 수행할 수 있다.The input sound source and the object may be selected by the user through the user interface of the object-based inter-tone object matching device, and may effectively match other inter-sound sources according to a user's request.
또는, 객체 기반 음원간 객체 정합 장치의 정합 후보 리스트에 수록되어 있는 후보음원 군들 중에서 현재 객체 기반 음원간 객체 정합 장치에서 재생 중인 기준 음원의 정보(예를 들어, 기준 음원에 포함되어 있는 객체에 대한 정보(객체의 위치 및 종류 등), 장르, 속도, 음원 길이 등)에 가장 부합되는 음원 및 그 음원의 객체가 자동으로 선택되어 입력될 수도 있다.Alternatively, among the candidate sound source groups included in the matching candidate list of the object-based sound source object matching device, information of the reference sound source currently being played by the object-based sound source object matching device (for example, about an object included in the reference sound source). The sound source that best matches the information (such as the location and type of the object), genre, speed, sound source length, and the like, and an object of the sound source may be automatically selected and input.
상세하게는, 객체 기반 음원간 객체 정합 장치는 현재 재생 중인 음원의 정보를 분석한다. 이와 같은 음원의 정보는 객체 기반 음원의 디코딩함으로써 획득될 수 있다.In detail, the object-based object matching apparatus analyzes information of a sound source currently being played. The information of the sound source may be obtained by decoding the object-based sound source.
그리고 객체 기반 음원간 객체 정합 장치는 정합 후보 리스트에 수록되어 있는 후보 음원 군들의 음원 정보를 분석한다. 이 역시 음원의 디코딩에 의해 획득될 수 있다.The object-based object matching apparatus analyzes sound source information of candidate sound source groups included in the matching candidate list. This can also be obtained by decoding of the sound source.
상기 분석된 기준 음원의 정보와 정합 후보 리스트에 수록되어 있는 후보 음원 군들의 음원 정보는 그 정보의 종류에 따라 각각 분류되고, 매칭된다.The information of the analyzed reference sound source and the sound source information of the candidate sound source groups included in the matching candidate list are classified and matched according to the type of the information.
매칭 결과, 후보 리스트에 수록되어 있는 후보 음원 군들 중에서 기준 음원의 정보와 부합되는 음원 및 그 음원의 객체가 자동으로 선택되어 입력된다.As a result of the matching, a sound source matching the information of the reference sound source and an object of the sound source among the candidate sound source groups included in the candidate list are automatically selected and input.
여기서, 자동으로 입력되는 음원 및 그 음원의 객체는 매칭 수행 결과 유사도가 가장 큰 하나의 음원 및 그 음원의 객체일 수 있고, 또는 기 설정된 유사도 값 이상의 복수의 음원 및 그 음원의 객체일 수도 있다. Here, the automatically input sound source and the object of the sound source may be one sound source having the largest similarity as a result of matching and the object of the sound source, or may be a plurality of sound sources having a predetermined similarity value and the object of the sound source.
이와 같은 객체 기반 음원 및 그 음원에 속하는 객체 사이의 관계는 도 3에 도시된 바와 같다. 도 3은 객체 기반 음원과 객체 사이의 관계를 나타낸다.The relationship between the object-based sound source and the objects belonging to the sound source is as shown in FIG. 3. 3 illustrates a relationship between an object-based sound source and an object.
도 3을 참조하면, 각 객체 기반 음원들은 고유의 객체를 갖고 있다. 고유의 객체는 보통 악기나 음성으로 이루어지며, 종래 기술에 따른 음원들은 이 객체를 합쳐 하나의 음원 소스로 유통하기 때문에 음원의 객체 각각에 대한 제어를 수행할 수 없었으나 본 발명에 따른 객체 기반 음원들은 객체 각각 제거 하여 재생하거나, 취사 선택 후 재생 가능하고, 각 객체 별 크기를 조절 가능하다.Referring to FIG. 3, each object-based sound source has its own object. The unique object is usually composed of a musical instrument or a voice, and since the sound sources according to the prior art combine these objects and distribute them as a single sound source, the object-based sound sources according to the present invention cannot be controlled. They can be played by removing each object, or playing it after selecting a meal. The size of each object can be adjusted.
도 3과 같이 각각 다른 개수의 객체를 갖는 N개의 객체 기반 음원이 있을 때, 그 중 M 개의 객체를 골라 정합 하는 것을 가정해보자. 도 4에 도시된 바와 같이 동일한 객체 기반 음원에 포함되어 있는 객체는 동일한 음원 길이와 속도로 구성되어 있으나, 서로 다른 객체 기반 음원 간에는 음원의 길이와 속도 및 크기 등에 차이가 있다. M 개의 객체는 각기 다른 음악적 특성을 갖고 있기 때문에 정합 전 전처리 과정으로 어긋남을 최소화 한 후 정합을 할 필요가 있다.When there are N object-based sound sources each having a different number of objects as shown in FIG. 3, let's assume that M objects are selected and matched. As shown in FIG. 4, the objects included in the same object-based sound source are configured with the same sound source length and speed, but there are differences in the length, speed, and size of the sound source between different object-based sound sources. Since M objects have different musical characteristics, it is necessary to perform matching after minimizing the deviation by preprocessing before matching.
예를 들어, 도 5에 도시된 바와 같이 1번 음원에서 1-1, 1-2 객체가 입력되고, 2번 음원에서 2-1 객체가 입력되고, 3번 음원에서는 3-3 객체가 객체 기반 음원간 객체 정합 장치에서 서로 합성된다고 가정해보자.For example, as shown in FIG. 5, 1-1 and 1-2 objects are input in sound source 1, 2-1 objects are input in
여기서, 각 사각형의 가로는 음원의 속도를 도식적으로 나타내고, 세로의 길이는 음원의 길이를 나타낸다. 가로가 길수록 속도가 더 빠르고 가로의 길이가 짧을수록 느리다.Here, the width of each rectangle schematically shows the speed of the sound source, and the length of the vertical indicates the length of the sound source. The longer the width, the faster the speed, and the shorter the length, the slower.
이런 객체를 전처리 과정 없이 정합할 경우 음원의 길이도 일정하지 않고 속도도 다르기 때문에 곡 전체의 흐름이 매끄럽지 않게 된다.When these objects are matched without preprocessing, the length of the sound source is not constant and the speed is different, so the flow of the whole song is not smooth.
이를 위하여, 객체 기반 음원간 객체 정합 장치는 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정한다(S220).To this end, the object-based object matching device adjusts the speeds of the plurality of different objects included in the plurality of different sound sources to be matched according to the speed of the reference object included in the set reference sound source (S220).
예를 들어, 도 6에 도시된 바와 같이, 기준 음원으로 입력된 1 번 음원의 속도에 맞춰 2-1, 3-3 음원 객체의 속도가 그 비율만큼 조정된다.For example, as shown in FIG. 6, the speeds of the 2-1 and 3-3 sound source objects are adjusted by the ratio in accordance with the speed of the first sound source input as the reference sound source.
이는 사용자 인터페이스를 통해 입력 받은 속도 조절 파라미터에 의해 수행될 수 있다. 이와 같이 음원의 속도가 변경되면, 그 만큼 음원의 길이도 늘어나거나 줄어들게 된다. 조정된 객체의 음원 길이에 따라, 기준 객체와 속도가 조정된 복수의 다른 객체의 음원 길이를 조정할 필요가 있다.This may be performed by the speed adjustment parameter received through the user interface. When the speed of the sound source is changed in this way, the length of the sound source is increased or decreased by that amount. According to the sound source length of the adjusted object, it is necessary to adjust the sound source length of the reference object and a plurality of other objects whose speed is adjusted.
이를 위하여, 객체 기반 음원간 객체 정합 장치는 기준 객체와 속도가 조정된 복수의 다른 객체의 음원 길이의 조정을 수행한다(S230).To this end, the object-based object matching apparatus performs sound source length adjustment of the reference object and a plurality of other objects whose speed is adjusted (S230).
예를 들어, 객체 기반 음원간 객체 정합 장치는 기준 객체의 음원 길이에 맞춰 상기 다른 객체의 반복 재생을 통하여 전체 곡의 길이를 맞출 수 있다. For example, the object-based inter-object object matching device may adjust the length of the entire song through repeated playback of the other object in accordance with the sound source length of the reference object.
또한, 객체 기반 음원간 객체 정합 장치는 기준 객체와 속도가 조정된 복수의 다른 객체 중에서, 음원 길이가 가장 긴 객체를 선택하고, 음원 길이가 가장 긴 것으로 선택된 객체의 음원 길이에 맞춰 나머지 다른 객체의 반복 재생 여부를 결정함으로써 전체 곡의 길이를 맞출 수도 있다.Also, the object-based inter-object object matching device selects the object having the longest sound source length from among the reference object and the plurality of other objects whose speed is adjusted, and matches the sound source length of the selected object with the longest sound source length. By determining whether to play repeatedly, the length of the entire song can be adjusted.
한편, S220 단계에서 수행되는 객체의 속도 조정 및 S230 단계에서 수행되는 객체의 음원 길이의 조정 여부는 사용자 인터페이스에 입력 되는 파라미터에 따라서 선택이 가능할 수 있다.Meanwhile, whether to adjust the speed of the object performed in step S220 and the length of the sound source of the object performed in step S230 may be selected according to a parameter input to the user interface.
다음으로, 객체 기반 음원간 객체 정합 장치는 속도 및 음원 길이가 조정된 객체를 정합하게 된다(S240).Next, the object-based object matching device based on the object is to match the object adjusted the speed and sound source length (S240).
이하, 도 7을 참조하여 본 발명의 다른 실시예에 따른 객체 기반 음원간 객체 정합 장치를 설명한다. 도 7은 본 발명의 다른 실시예에 따른 객체 기반 음원간 객체 정합 장치를 도시한 블록도이다.Hereinafter, an object-based object matching device according to another embodiment of the present invention will be described with reference to FIG. 7. 7 is a block diagram illustrating an object-based inter-object matching device according to another embodiment of the present invention.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 객체 기반 음원간 객체 정합 장치(700)는 속도 조정부(710), 음원 길이 조정부(720), 객체 정합부(730), 사용자 인터페이스(740)를 포함한다.Referring to FIG. 7, the object-based sound source
속도 조정부(710)는 설정된 기준 음원에 포함된 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정한다. 여기서, 기준 음원은 사용자 인터페이스(740)를 통해 입력된 사용자 선택 정보에 의해 설정될 수 있다. The
예를 들어, 속도 조정부(710)는 사용자 인터페이스(740)를 통해 입력 받은 속도 조절 파라미터에 의해 기준 음원의 속도에 맞춰 정합의 대상이 되는 다른 객체의 속도를 변경한다. For example, the
이와 같이 음원의 속도가 변경되면, 그 만큼 음원의 길이도 늘어나거나 줄어들게 된다. 조정된 객체의 음원 길이에 따라, 기준 객체와 속도가 조정된 복수의 다른 객체의 음원 길이를 조정할 필요가 있다.When the speed of the sound source is changed in this way, the length of the sound source is increased or decreased by that amount. According to the sound source length of the adjusted object, it is necessary to adjust the sound source length of the reference object and a plurality of other objects whose speed is adjusted.
이를 위하여, 음원 길이 조정부(720)는 객체 기반 음원간 객체 정합 장치는 기준 객체와 속도가 조정된 복수의 다른 객체의 음원 길이의 조정을 수행한다.To this end, the sound source
예를 들어, 음원 길이 조정부(720)는 기준 객체의 음원 길이에 맞춰 상기 다른 객체의 반복 재생을 통하여 전체 곡의 길이를 맞출 수 있다.For example, the sound source
또한, 음원 길이 조정부(720)는 기준 객체와 속도가 조정된 복수의 다른 객체 중에서, 음원 길이가 가장 긴 객체를 선택하고, 음원 길이가 가장 긴 것으로 선택된 객체의 음원 길이에 맞춰 나머지 다른 객체의 반복 재생 여부를 결정함으로써 전체 곡의 길이를 맞출 수도 있다.In addition, the sound source
객체 정합부(730)은 속도 및 음원 길이가 조정된 객체를 정합하게 된다.The
사용자 인터페이스부(740)에는 사용자로부터 객체의 속도 조정 및 객체의 음원 길이의 조정 여부를 결정하는 파라미터가 입력되고, 또는 객체의 속도 조정 및 객체의 음원 길이 조정이 수행될 때 요구되는 기준 속도 조절 파라미터 및 기준 음원 길이 파라미터가 입력된다.The
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
700: 객체 기반 음원간 객체 정합 장치
710: 속도 조정부
720: 음원 길이 조정부
730: 객체 정합부
740: 사용자 인터페이스700: object matching device between objects
710: speed adjustment unit
720: sound source length adjustment unit
730: object registration
740: user interface
Claims (8)
정합의 대상이 되는 복수의 객체를 사용자 인터페이스를 통해 입력 받는 단계;
상기 사용자 인터페이스를 통해, 기준 객체에 대한 사용자 선택 입력을 받는 단계;
상기 기준 객체의 속도에 맞춰 정합의 대상이 되는 복수의 다른 음원에 포함되어 있는 복수의 다른 객체의 속도를 조정하는 단계; 및
상기 기준 객체와, 속도가 조정된 복수의 상기 다른 객체의 음원 길이를 조정하는 단계를 포함하되,
상기 복수의 다른 객체의 속도를 조정하는 단계는,
상기 사용자 인터페이스를 통해 속도 조절 파라미터를 입력받는 단계를 포함하는 것
인 객체 기반 음원간 객체 정합 방법.In the method of matching a plurality of objects contained in different object-based sound source,
Receiving a plurality of objects to be matched through a user interface;
Receiving a user selection input for a reference object through the user interface;
Adjusting the speeds of the plurality of different objects included in the plurality of different sound sources to be matched according to the speeds of the reference objects; And
Adjusting sound source lengths of the reference object and the plurality of other objects whose speed is adjusted;
Adjusting the speed of the plurality of other objects,
Receiving a speed adjustment parameter through the user interface;
Object-based object matching method.
상기 기준 객체의 음원 길이에 맞춰 상기 다른 객체의 반복 재생 여부를 결정하는 단계를 포함하는 것
인 객체 기반 음원간 객체 정합 방법.The method of claim 1, wherein adjusting the sound source length comprises:
Determining whether to repeatedly play the other object according to a sound source length of the reference object.
Object-based object matching method.
상기 기준 객체와 속도가 조정된 복수의 상기 다른 객체 중에서, 음원 길이가 가장 긴 객체를 선택하는 단계; 및
음원 길이가 가장 긴 것으로 선택된 상기 객체의 음원 길이에 맞춰 나머지 다른 객체의 반복 재생 여부를 결정하는 단계를 포함하는 것
인 객체 기반 음원간 객체 정합 방법.The method of claim 1, wherein adjusting the sound source length comprises:
Selecting an object having a longest sound source length from the reference object and the plurality of other objects whose speed is adjusted; And
Determining whether to repeatedly play the other object in accordance with the sound source length of the object selected as the longest sound source.
Object-based object matching method.
사용자 인터페이스를 통해 상기 다른 객체의 반복 재생 여부를 결정하는 파라미터를 입력 받는 단계를 포함하는 것
인 객체 기반 음원간 객체 정합 방법.The method of claim 2 or 3, wherein adjusting the sound source length comprises:
Receiving a parameter for determining whether to repeatedly play the other object through a user interface.
Object-based object matching method.
상기 기준 객체와, 속도가 조정된 복수의 상기 다른 객체의 음원 길이를 조정하는 음원 길이 조정부; 및
상기 기준 객체 및 복수의 상기 다른 객체의 속도 및 음원 길이를 조정하기 위한 파라미터를 입력받는 사용자 인터페이스
를 포함하는 객체 기반 음원간 객체 정합 장치.A speed adjusting unit that adjusts speeds of a plurality of different objects included in a plurality of different sound sources to be matched according to a speed of a reference object included in the set reference sound source;
A sound source length adjustment unit for adjusting sound source lengths of the reference object and the plurality of other objects whose speed is adjusted; And
User interface receiving a parameter for adjusting the speed and sound source length of the reference object and the plurality of other objects
Object-based inter-object matching device including a.
상기 기준 객체와 속도가 조정된 복수의 상기 다른 객체 중에서, 음원 길이가 가장 긴 객체를 선택하고, 음원 길이가 가장 긴 것으로 선택된 상기 객체의 음원 길이에 맞춰 나머지 다른 객체의 반복 재생 여부를 결정하는 것
인 객체 기반 음원간 객체 정합 장치.The method of claim 6, wherein the sound source length adjustment unit,
Selecting an object having the longest sound source length from among the plurality of other objects whose speed is adjusted with the reference object, and determining whether to repeatedly play the other object in accordance with the sound source length of the object selected as the longest sound source length;
Object-based inter-object matching device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100121491A KR101193152B1 (en) | 2010-12-01 | 2010-12-01 | Method and apparatus for mixing objects between object based sound source |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100121491A KR101193152B1 (en) | 2010-12-01 | 2010-12-01 | Method and apparatus for mixing objects between object based sound source |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120059965A KR20120059965A (en) | 2012-06-11 |
| KR101193152B1 true KR101193152B1 (en) | 2012-10-22 |
Family
ID=46611004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100121491A Active KR101193152B1 (en) | 2010-12-01 | 2010-12-01 | Method and apparatus for mixing objects between object based sound source |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101193152B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7068480B2 (en) * | 2018-02-22 | 2022-05-16 | ライン プラス コーポレーション | Computer programs, audio playback devices and methods |
-
2010
- 2010-12-01 KR KR1020100121491A patent/KR101193152B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120059965A (en) | 2012-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7517500B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
| US11132984B2 (en) | Automatic multi-channel music mix from multiple audio stems | |
| JP5514803B2 (en) | Object-based audio content generation / playback method, and computer-readable recording medium recording data having a file format structure for object-based audio service | |
| CN103597543B (en) | Semantic audio track mixer | |
| KR100868475B1 (en) | How to create, edit, and play multi-object audio content files for object-based audio services, and how to create audio presets | |
| US20150268924A1 (en) | Method and system for selecting tracks on a digital file | |
| CN115706913A (en) | Method and system for instrument source separation and reproduction | |
| WO2011087460A1 (en) | A method and a device for generating at least one audio file, and a method and a device for playing at least one audio file | |
| KR101193152B1 (en) | Method and apparatus for mixing objects between object based sound source | |
| KR20090052780A (en) | Object-based audio service providing method, multi-object audio content file creation / editing / playback method and file structure for the same | |
| Karadogan et al. | Auditory Scenography in Music Production: Case Study Mixing Classical Turkish Music in Higher Order Ambisonics | |
| KR200447608Y1 (en) | High-quality multichannel audio system for karaoke using DSP | |
| US11445316B2 (en) | Manipulating signal flows via a controller | |
| Laine | Cinematic music creation in Dolby Atmos: producing and mixing contemporary cinematic music in immersive audio | |
| Malyshev | Sound production for 360 videos: in a live music performance case study | |
| WO2024177629A1 (en) | Dynamic audio mixing in a multiple wireless speaker environment | |
| Karlsson | Mixing pop in 9.1: How do listeners perceive different delay/panning combinations, applied to solo pop guitar? | |
| KR101125364B1 (en) | Apparatus and method for providing and reproducting object based audio file | |
| Preis | Perfecting Sound [Book Reviews] | |
| Waldrep | Creating and Delivering High-Resolution Multiple 5.1 Surround Music Mixes | |
| Paddock | The production and recording of an album of pop/rock music in surround sound and stereophonic formats | |
| JP2018081285A (en) | Sound processing apparatus, sound processing method, and program | |
| JP2018082411A (en) | Sound processor, sound processing method, and program | |
| HK1214039B (en) | System and method for automatic multi-channel music mix from multiple audio stems | |
| KR20080096611A (en) | Multichannel sound source file providing server and its multichannel sound source file service providing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20101201 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120508 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20121008 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20121015 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20121015 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20150626 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150626 Start annual number: 4 End annual number: 4 |
|
| LAPS | Lapse due to unpaid annual fee |