KR101590256B1 - 3d image creating method using video photographed with smart device - Google Patents
3d image creating method using video photographed with smart device Download PDFInfo
- Publication number
- KR101590256B1 KR101590256B1 KR1020140081110A KR20140081110A KR101590256B1 KR 101590256 B1 KR101590256 B1 KR 101590256B1 KR 1020140081110 A KR1020140081110 A KR 1020140081110A KR 20140081110 A KR20140081110 A KR 20140081110A KR 101590256 B1 KR101590256 B1 KR 101590256B1
- Authority
- KR
- South Korea
- Prior art keywords
- image information
- point
- image
- metadata
- rotating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 대상 물체를 여러 방향으로 촬영하고 이를 사용자의 제어에 따라 출력할 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 개시한다. 본 발명에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법은 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 촬영하여 연속적인 프레임으로 구성된 이미지 정보를 생성하는 이미지 정보 생성 단계 및 중앙처리장치의 제어에 따라 상기 이미지 정보에 따른 메타데이터를 생성하고 저장장치에 저장하는 편집 단계를 포함하여 이루어지며, 상기 메타데이터는 상기 대상 물체에 대한 코멘트를 디스플레이에 출력하는 태그를 포함하여 구성되되, 상기 태그의 설명선은 상기 회전하는 대상 물체에 형성되는 설명점을 따라 함께 이동하도록 형성됨으로써, 사용자는 대상 물체를 여러 시각으로 관찰할 수 있게 된다.The present invention discloses a method of generating a 3D image using a moving picture photographed by a smart device capable of photographing an object in various directions and outputting the object in accordance with a user's control. A 3D image generation method using a moving picture photographed with a smart device according to the present invention includes an image information generation step of generating image information composed of successive frames by photographing a rotating object at a predetermined time interval with a camera, And an editing step of creating metadata in accordance with the image information and storing the generated metadata in a storage device, wherein the metadata includes a tag for outputting a comment on the object to a display, The explanation lines of the tag are formed to move along the explanatory point formed on the rotating object, so that the user can observe the object at various times.
Description
본 발명은 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법에 관한 것이다. 보다 구체적으로는 대상 물체를 여러 방향으로 촬영하고 이를 사용자의 제어에 따라 출력할 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법에 관한 것이다.The present invention relates to a 3D image generation method using a moving picture photographed by a smart device. More particularly, the present invention relates to a 3D image generation method using a moving image captured by a smart device capable of capturing an object in various directions and outputting the object in accordance with a user's control.
전통적인 상품의 광고 방식은 신문, TV 또는 인터넷에 상품의 이미지와 설명을 기재하는 방법이 대부분이었다.The traditional method of advertisement of commercial products is to describe images and descriptions of goods on newspapers, TV or internet.
하지만, 상기와 같은 광고 방식은 광고자가 미리 촬영한 상품의 이미지만 소비자에게 보여줄 수 있었으며, 그에 따라 광고를 시청하는 소비자는 상품을 원하는 시점으로 확인할 수 없었다.However, in the above-described advertisement method, only the image of the product that the advertiser has photographed can be shown to the consumer, so that the consumer who watches the advertisement can not confirm the product at the desired point of time.
그리고, 소비자는 시청한 광고를 바탕으로 구입한 상품을 확인한 결과 구입 만족도가 떨어지는 경우가 발생하였으며, 심지어 상품을 반품하는 경우도 있었다.Also, as a result of checking the purchased product based on the advertisement viewed by the consumer, the satisfaction of the purchase was lowered, and even the product was returned.
따라서, 상기와 같은 문제점을 해결하기 위하여 소비자가 상품을 다양한 시점에서 확인할 수 있도록 하고, 각 시점에 따라 상품을 설명할 수 있는 방법의 필요성이 제기되었다.Accordingly, in order to solve the above-mentioned problems, there has been a need for a method of allowing a consumer to identify a product at various points in time and to explain the product at each point in time.
또한, 소비자에게 흥미를 불러일으키기 위하여 상기 상품의 이미지를 보정할 경우, 추후 상기 상품의 이미지에서 보정된 내용을 일부만 수정하거나 다시 삭제하기가 어려워 이를 해결할 수 있는 방법이 요구되었다.
In addition, when the image of the product is corrected in order to appeal to the consumer, there is a need for a method for solving the problem, since it is difficult to correct or partially delete the corrected content in the image of the product later.
본 발명의 목적은 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a 3D image generation method using a moving picture photographed by a smart device.
본 발명의 다른 목적은 대상 물체를 다양한 시점에서 확인할 수 있도록 하는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 제공하는 것이다.Another object of the present invention is to provide a method of generating a 3D image using a moving picture photographed by a smart device, which allows a target object to be viewed at various points in time.
본 발명의 또 다른 목적은 대상 물체를 다양한 시점으로 확인하는데 필요한 이미지 데이터 용량을 줄일 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 제공하는 것이다.It is still another object of the present invention to provide a 3D image generation method using a moving picture photographed with a smart device capable of reducing the image data capacity required for verifying a target object at various points in time.
본 발명의 또 다른 목적은 회전하는 대상 물체에 맞추어 태그를 제공할 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 제공하는 것이다.It is still another object of the present invention to provide a method of generating a 3D image using a moving picture photographed by a smart device capable of providing a tag in accordance with a rotating object.
상기의 과제를 해결하기 위한 수단으로 본 발명에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법은 회전하는 대상 물체에 대한 연속적인 프레임으로 구성된 이미지 정보를 생성하는 이미지 정보 생성 단계 및 중앙처리장치의 제어에 따라 상기 이미지 정보에 따른 메타데이터를 생성하고 저장장치에 저장하는 편집 단계를 포함하여 이루어지며, 상기 메타데이터는 상기 대상 물체에 대한 코멘트를 디스플레이에 출력하는 태그를 포함하여 구성되되, 상기 태그의 설명선은 상기 회전하는 대상 물체에 형성되는 설명점을 따라 함께 이동하도록 형성하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a 3D image generating method using a moving image photographed by a smart device, the method comprising: an image information generating step of generating image information composed of successive frames for a rotating object; And an editing step of creating metadata in accordance with the image information and storing the generated metadata in a storage device, wherein the metadata includes a tag for outputting a comment on the object to a display, And a description line of the tag is formed so as to move along the explanatory point formed on the object to be rotated.
또한, 상기 이미지 정보 생성 단계는 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 찍어 연속적인 프레임으로 구성된 이미지 정보를 생성하는 것을 특징으로 한다.In the image information generating step, the rotating object is photographed by the camera at a predetermined time interval to generate image information constituted of continuous frames.
또한, 상기 이미지 정보 생성 단계는 회전하는 대상 물체를 촬영한 동영상에서 미리 정해진 시간 간격에 따라 프레임을 뽑아 이미지 정보를 생성하는 것을 특징으로 한다.In the image information generating step, image information is generated by extracting a frame at a predetermined time interval in a moving image of a rotating object.
또한, 상기 이미지 정보 생성 단계는 미리 정해진 회전 시간 내에 360˚로 회전하는 상기 대상 물체의 이미지를 정보를 생성하며, 상기 중앙처리장치는 상기 디스플레이를 이용하여 사용자가 상기 회전 시간의 경과 유무를 확인할 수 있도록 출력하는 것을 특징으로 한다.In addition, the image information generating step generates information about an image of the object rotating at 360 degrees within a predetermined rotation time, and the central processing unit can use the display to check whether the rotation time has passed or not So as to be output.
또한, 상기 편집 단계는 태그를 생성하는데 있어서, 상기 이미지 정보에서 상기 대상 물체가 촬영된 범위의 좌측 끝에서부터 우측 끝까지의 거리를 대상 물체의 직경으로 정의하고 상기 설명점은 상기 대상 물체의 회전에 따라 상기 직경의 범위 내에서 이동하며, 상기 설명점의 이동 거리는 상기 대상 물체의 각속도에 따라 변화하는 것을 특징으로 한다.In the editing step, the tag may be generated by defining the distance from the left end to the right end of the range in which the object is photographed in the image information as the diameter of the object, And the movement distance of the explanatory point changes according to the angular velocity of the object.
또한, 상기 편집 단계는 태그를 생성하는데 있어서, 상기 이미지 정보에서 상기 회전하는 대상 물체에 형성된 상기 설명점의 좌측 끝 지점, 우측 끝 지점 및 중계 지점을 지정하고 상기 지점들을 잇는 포물선을 생성하여 상기 설명점의 궤도를 도출하며, 상기 설명점의 이동 거리는 상기 회전하는 대상 물체의 각속도에 따라 변화하는 것을 특징으로 한다.In addition, in the editing step, the tag may be generated by specifying a left end point, a right end point, and a relay point of the explanatory point formed in the rotating object in the image information, and creating a parabola connecting the points, The trajectory of the point is derived, and the moving distance of the point of explanation changes according to the angular velocity of the rotating object.
또한, 상기 중앙처리장치의 제어에 따라 상기 이미지 정보에 상기 메타데이터를 병합하여 디스플레이에 출력하는 출력 단계를 상기 편집 단계 이후에 더 포함하며, 상기 출력 단계는 디스플레이에 하나의 프레임을 출력하고 사용자의 제어에 따라 현재 출력된 프레임을 다른 프레임으로 변경하는 것을 특징으로 한다.The method further includes an output step of merging the metadata into the image information under the control of the central processing unit and outputting the merged metadata to a display, wherein the output step outputs one frame to the display, The control unit changes the currently output frame to another frame according to the control.
또한, 상기 출력 단계는 사용자로부터 드래그 제어 명령을 입력받으면, 상기 드래그한 거리에 따라 미리 정해진 개수의 프레임을 연속되게 출력하고, 상기 드래그한 속도에 따라 상기 연속된 프레임이 출력되는 속도를 제어하는 것을 특징으로 한다.
When the drag control command is received from the user, the output step consecutively outputs a predetermined number of frames according to the dragged distance, and controls the speed at which the continuous frames are output according to the dragged speed .
상술한 바와 같이 본 발명에 따르면, 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 촬영하여 연속적인 프레임으로 구성된 이미지 정보로 생성하고 이를 출력함으로써, 상기 대상 물체를 다양한 시점에서 확인할 수 있도록 하며, 이미지 정보 생성에 사용되는 데이터 용량도 줄일 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법이 제공된다.As described above, according to the present invention, a rotating object is photographed by a camera at predetermined time intervals to generate image information composed of continuous frames and outputting the image information, There is provided a method of generating a 3D image using a moving picture photographed by a smart device capable of reducing data capacity used for generating image information.
또한, 상기 대상 물체에 형성되는 태그의 설명점도 상기 대상 물체의 이동에 따라 함께 이동함으로써, 대상 물체에 맞추어 태그를 제공할 수 있는 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법이 제공된다.Also, a description of a tag formed on the object is provided by moving the object along with movement of the object, thereby providing a tag in accordance with the object.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 3D 이미지 생성 장치를 도시한 것이다.
도 3은 플레이트 회전장치를 도시한 것이다.
도 4는 고정부제 회전장치를 도시한 것이다.
도 5는 연속적인 프레임으로 대상 물체가 촬영된 이미지 정보를 도시한 것이다.
도 6은 대상 물체의 직경을 이용한 설명점 지정 방법을 도시한 것이다.
도 7은 3점 지정 방식을 이용한 설명점 지정 방법을 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 도시한 것이다.
도 9는 사용자의 제어에 따라 메타데이터와 이미지 정보가 병합되어 디스플레이에 출력되는 모습을 도시한 것이다.FIG. 1 illustrates a method of generating a 3D image using a moving picture captured by a smart device according to an exemplary embodiment of the present invention.
FIG. 2 illustrates a 3D image generating apparatus according to an embodiment of the present invention.
3 shows a plate rotating device.
4 shows a fixed sub-rotating device.
5 shows image information in which a target object is photographed in successive frames.
Fig. 6 shows a description point specifying method using the diameter of the object.
Fig. 7 shows a description point designation method using a three-point designation scheme.
FIG. 8 illustrates a method of generating a 3D image using moving images captured by a smart device according to another embodiment of the present invention.
FIG. 9 shows a state in which metadata and image information are merged and output to a display according to a user's control.
본 발명은 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법에 관한 것으로 도 1 내지 도 9를 참고로 본 발명에 따른 방법을 상세히 설명하기로 한다.The present invention relates to a method for generating a 3D image using a moving picture photographed by a smart device, and a method according to the present invention will be described in detail with reference to FIG. 1 to FIG.
도 1은 본 발명의 일 실시예에 따른 방법을 도시한 것으로 이미지 정보 생성 단계(S110) 및 편집 단계(S120)를 포함하여 이루어진다.FIG. 1 illustrates a method according to an embodiment of the present invention, which includes an image information generating step (S110) and an editing step (S120).
이미지 정보 생성 단계(S110)는 회전하는 대상 물체에 대한 연속적인 프레임으로 구성된 이미지 정보를 생성하는 단계이다. 이때, 상기 대상 물체는 상기 발명의 배경이 되는 기술에 기재되었던 상품과 같은 다양한 시점으로 관찰하고자 하는 물건을 의미한다.The image information generating step (S110) is a step of generating image information composed of successive frames for a rotating object. In this case, the object means an object to be observed at various points of time such as a product described in the technology of the background of the invention.
상기, 이미지 정보 생성 단계는 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 찍어 연속적인 프레임으로 구성된 이미지 정보를 생성할 수 있으며, 회전하는 대상 물체를 촬영한 동영상으로부터 미리 정해진 시간 간격에 따라 프레임을 뽑아 이미지 정보를 생성할 수도 있다.In the image information generating step, the rotating object may be imaged by a camera at predetermined time intervals to generate image information composed of successive frames. In the image information generating step, To generate image information.
도 2는 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 찍어 이미지 정보를 생성하는 방법이 구현되는 3D 이미지 생성 장치의 구성도로서, 이를 바탕으로 상기 이미지 정보 생성 단계(S110)를 상세히 설명하면 아래와 같다.FIG. 2 is a block diagram of a 3D image generating apparatus in which a method of generating image information by taking a camera at a predetermined time interval by rotating the object is implemented, and the image information generating step (S110) will be described in detail with reference to FIG. It is as follows.
도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 방법이 구현되는 3D 이미지 생성 장치는 회전장치(100), 중앙처리장치(200), 카메라(300), 저장장치(400) 및 디스플레이(500)를 포함하여 구성된다.2, a 3D image generation apparatus in which a method according to an embodiment of the present invention is implemented includes a
상기와 같이 구성된 3D 이미지 생성 장치에 있어서, 이미지 정보 생성 단계(S110)에서는 먼저 대상 물체를 회전시키기 위하여 회전장치(100)를 사용하게 된다.In the 3D image generating apparatus configured as described above, in the image information generating step (S110), the
상기 회전장치(100)는 대상 물체를 일정한 속도로 회전시키는 장치로서, 장치의 구성과 동작 방식에 따라 플레이트 회전장치(110) 및 고정부제 회전장치(120)로 구성될 수 있다.The
플레이트 회전장치(110)는 도 3에 도시된 것과 같이 대상 물체(C)를 안착하여 회전시킬 수 있는 플레이트 형태의 장치이며, 고정부제 회전장치(120)는 도 4에 도시된 것과 같이 대상 물체의 하부 또는 상부에 막대 형태의 고정부제를 부착하고 이를 회전시키는 것을 특징으로 한다.3, the
상기 플레이트 회전장치(110)는 대상 물체를 간단히 안착하는 것만으로 대상 물체를 회전시킬 수 있으므로, 크기가 크거나 외형이 불규칙하여 상기 고정부제를 부착하기 어려운 대상 물체를 회전시키는데 적합하다.The plate rotating
상기 고정부제 회전장치(120)는 고정부제를 이용하여 대상 물체의 하면 또는 상면을 고정하고 회전시킴에 따라 대상 물체의 하면을 촬영하는데 적합하며, 대상 물체를 원하는 각도로 기울여서 촬영하는데도 적합하다.The fixed part rotating
또한, 상기 고정부제 회전장치(120)는 대상 물체를 더욱 안정성 있게 고정하기 위하여 지구본과 같이 대상 물체의 하면과 상면 모두 고정부제를 부착하여 회전시키는 형태로 구성될 수도 있다.In addition, the fixed-unit
상기와 같은 다양한 형태의 회전장치(100)는 사용자가 직접 장치를 회전시킬 수도 있으나, 회전장치(100)의 회전 축에 모터와 같이 회전력을 발생시키는 동력 기계를 연결하여 일정한 각속도로 대상 물체를 회전시키는 것이 바람직하며 상기 동력기계의 회전속도는 후술할 중앙처리장치(20)에서 제어할 수도 있다.The user may directly rotate the apparatus, but it is also possible to connect the power machine that generates the rotational force to the rotation axis of the rotating
그리고, 이미지 정보 생성 단계(S110)에서는 상기 회전장치(100)에 의해 회전되는 대상 물체를 촬영하여 이미지 정보를 생성하기 위해 카메라(300)를 사용하며, 상기 카메라의 동작은 중앙처리장치(200)에 의해 제어된다.In the image information generating step S110, the
중앙처리장치(200)는 미리 저장된 명령에 따라 동작을 수행하는 프로세서로서 상기 카메라(300)를 제어하여 도 5에 도시된 것과 같이 미리 정해진 시간 간격에 따라 연속적인 프레임으로 대상 물체가 촬영된 이미지 정보를 생성하고 이를 저장장치(400)에 저장한다.The
상기 이미지 정보로 생성된 대상 물체의 이미지는 도 5에 도시된 것과 같이 360˚로 회전한 모습이 촬영됨으로써, 대상 물체의 모든 면을 확인할 수 있게 된다.The image of the target object generated by the image information is photographed in a state rotated 360 ° as shown in FIG. 5, so that all surfaces of the target object can be identified.
물론, 상기 대상 물체를 360˚이상 회전시키면서 이미지 정보를 계속 생성할 수도 있지만, 360˚이상의 회전은 대상 물체의 모든 면을 확인하는데 불필요하며 이미지 정보 데이터가 낭비됨을 당업자들이 극히 용이하게 이해할 수 있다.Although it is possible to continuously generate the image information while rotating the object by 360 degrees or more, it is extremely easy for those skilled in the art to understand that rotation of 360 degrees is unnecessary for checking all surfaces of the object and image information data is wasted.
따라서, 상기 중앙처리장치(200)는 상기 대상 물체가 360˚로 회전할 동안 대상 물체를 촬영할 수 있도록 카메라를 제어할 필요가 있다.Therefore, the
대상 물체가 360˚로 회전하는 것을 촬영하는 방법으로는, 먼저 사용자에게 미리 정해진 촬영 시간을 부여하고 상기 촬영 시간 동안 사용자가 상기 대상물체를 360˚로 직접 회전하는 동안 촬영을 하는 방법이 있다.As a method of photographing that the object rotates 360 degrees, there is a method of giving a predetermined photographing time to the user first, and photographing while the user directly rotates the object to 360 degrees during the photographing time.
이를 위하여 상기 중앙처리장치(200)는 상기 촬영 시간을 디스플레이(500)에 표시하고 사용자가 이를 확인하면서 대상 물체를 회전하도록 할 수 있도록 한다.To this end, the
또는, 대상 물체가 360˚로 회전하는 것을 감지하면서 촬영하기 위하여 상기 중앙처리장치(200)는 상기 이미지 정보에서 대상 물체의 어느 한 지점을 목표 점으로 설정하고, 상기 대상 물체가 회전을 시작하기 전에 상기 목표 점의 시작 위치를 인식한 후, 상기 대상 물체의 회전에 따라 이동하는 상기 목표 점이 상기 시작 위치로 다시 돌아올 때까지의 이미지 정보를 생성하도록 상기 카메라를 제어할 수도 있다.Alternatively, the
상기와 같은 방법 외에도, 회전장치(100)가 동력 기계의 동력으로 회전할 경우, 중앙처리장치(200)가 상기 동력 기계를 제어하여 회전장치가 360˚로 회전하도록 제어하고 이를 감지하는 방법을 사용할 수도 있다.In addition to the above-described methods, when the rotating
편집 단계(S120)는 상기와 같이 생성된 이미지 정보를 편집하는 단계이다.The editing step S120 is a step of editing the image information generated as described above.
상기 이미지 정보를 편집하는데 있어서 본 발명에서는 이미지를 보정하고 보정된 이미지를 추후에 손쉽게 수정하거나 삭제할 수 있도록 메타데이터를 활용한다. 상기 메타데이터는 속성정보라고도 하며, 일정한 규칙에 따라 콘텐츠에 별도로 부여되는 데이터를 의미한다.In editing the image information, the present invention utilizes the metadata so as to correct the image and easily modify or delete the corrected image in the future. The metadata is also referred to as attribute information, and refers to data separately assigned to the content according to a certain rule.
본 발명에서는 상기 메타데이터로 태그 및 이미지변환정보를 포함한다. In the present invention, the metadata includes tag and image conversion information.
태그(T)는 대상 물체의 이미지와 함께 출력되는 코멘트를 의미하며, 도 5에 도시된 것과 같이 상품에 대한 정보가 입력되는 텍스트박스(T1), 상기 정보가 가리키는 지점인 설명점(T3) 및 상기 텍스트 박스와 설명점을 연결하는 선인 설명선(T2)를 포함하여 이루어진다.The tag T denotes a comment output together with an image of the object. The tag T includes a text box T1 into which information on a product is input, an explanation point T3 as a point indicated by the information, And a description line (T2) which is a line connecting the text box and the explanation point.
상기와 같이 태그를 이용하여 상기 이미지 정보에 대상 물체의 정보를 추가하는데 있어서, 이미지 정보의 각 프레임마다 촬영되는 대상 물체는 회전 운동을 하므로 그에 따라 태그도 이동해야 하며, 특히 도 5에 도시된 것과 같이 설명점(T3)과 설명선(T2)은 대상 물체의 회전에 맞추어 이동해야 할 필요가 있다.As described above, in the case of adding the information of the object to the image information by using the tag, the object to be photographed is rotated in each frame of the image information, so the tag must be moved accordingly. In particular, Similarly, the explanatory point T3 and the explanatory line T2 need to be moved in accordance with the rotation of the target object.
상기 설명점(T3)과 설명선(T2)을 회전하는 대상 물체에 맞추기 위하여 사용자가 직접 이미지 정보의 각 프레임마다 설명점(T3)의 위치를 설정하는 방법도 있으나, 이미지 정보의 프레임 수가 많아 질수록 직접적인 위치 설명 방법은 시간이 오래 걸리고 번거로우므로 이를 해결하기 위한 방법이 필요하다.There is also a method of setting the position of the explanatory point T3 for each frame of the image information directly in order to align the explanatory point T3 and the explanatory line T2 with the object to be rotated. However, The method of describing the direct location is time-consuming and troublesome.
도 6은 대상 물체의 직경을 이용한 설명점 지정 방법을 도시한 것이다. Fig. 6 shows a description point specifying method using the diameter of the object.
상기 중앙처리장치(200)는 이미지 정보에 저장된 대상 물체의 프레임을 모두 확인하여 대상 물체가 촬영된 범위의 좌측 끝(LE)에서부터 우측 끝(RE)까지의 거리를 대상 물체의 직경(D)으로 정의하고, 상기 설명점(T3)은 상기 대상 물체의 각속도에 따라 상기 직경의 범위 내에서 이동하도록 태그를 생성할 수 있다.The
하지만, 상기와 같이 직경을 이용한 설명점 지정 방법은 대상물체가 원통형이고 정면에서 촬영된 이미지 정보인 경우에는 정확하게 설명점의 위치를 예측할 수 있으나, 그 외의 경우에는 예측 위치가 어긋날 수도 있다.However, in the case of the explanation point specifying method using the diameter as described above, the position of the explanation point can be precisely predicted when the object is cylindrical and the image information is photographed from the front, but in other cases, the prediction position may be shifted.
도 7은 3점 지정 방식을 이용한 설명점 지정 방법을 도시한 것이다.Fig. 7 shows a description point designation method using a three-point designation scheme.
도면에 도시된 것과 같이 상기 이미지 정보에서 상기 회전하는 대상 물체에 형성된 상기 설명점의 좌측 지점(LP), 우측 지점(RP)과 그 사이의 중계 지점(TP)을 지정하면, 상기 중앙처리장치(200)는 상기 세 지점을 잇는 포물선을 생성하여 상기 설명점의 궤도(R)를 도출하며, 상기 설명점은 상기 대상 물체의 각속도에 따라 상기 궤도를 이동하도록 생성할 수도 있다.When a left point (LP), a right point (RP), and a relay point (TP) between the left point (LP) and the right point (RP) of the explanatory point formed on the rotating object are specified in the image information, 200 may generate a parabola connecting the three points to derive the trajectory R of the explanatory point, and the explanatory point may be generated to move the trajectory according to the angular velocity of the object.
이때, 상기 설명점 지정 방법들에 사용된 대상 물체의 각속도는 촬영된 이미지 정보를 통해 계산하거나 회전장치의 회전 속도를 측정하여 알 수 있으며, 그 외에 다른 방법으로 대상 물체의 각속도를 측정할 수 있다면 대체하여도 무방하다.At this time, the angular velocity of the target object used in the description point designating methods can be calculated through the photographed image information or by measuring the rotation speed of the rotary device, or the angular velocity of the target object can be measured by another method It is also acceptable to substitute.
그리고, 상기 메타데이터로서 이미지변환정보는 상기 프레임의 명도, 채도 및 대비의 변경 값과 같이 이미지의 속성을 변환할 수 있는 정보가 저장된다. As the metadata, the image conversion information stores information capable of converting attributes of the image such as brightness, saturation, and contrast change values of the frame.
상기 이미지변환정보는 상기 태그와 같이 상기 이미지 정보의 각 프레임에 따라 다른 속성을 적용할 수 있으며, 일정 프레임 범위를 지정하여 속성 변환 정보를 적용할 수도 있다.As with the tag, the image conversion information may have different attributes according to each frame of the image information, and attribute conversion information may be applied by specifying a predetermined frame range.
상기와 같이 생성된 상기 메타데이터는 상기 이미지 정보와 함께 저장장치(400)에 저장되며, 이때 상기 메타데이터와 상기 이미지 정보를 병합하여 하나의 파일로 저장되거나 또는 각각 별도의 파일로 제작되어 저장할 수도 있음을 당업자들이 극히 용이하게 이해할 수 있다.The metadata generated as described above is stored in the
도 8은 다른 실시예에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 도시한 것으로, 상기 저장 장치에 저장된 상기 메타데이터를 상기 이미지 정보와 병합하여 디스플레이에 출력하는 출력 단계(S230)를 상기 편집 단계(S120) 이후에 더 포함하는 것을 특징으로 한다.FIG. 8 illustrates a 3D image generation method using a moving image captured by a smart device according to another embodiment. In the output step S230, the metadata stored in the storage device is merged with the image information and output to the display And further after the editing step (S120).
도 9는 사용자의 제어에 따라 상기 메타데이터와 상기 이미지 정보가 병합되어 디스플레이에 출력되는 모습을 도시한 것이다.FIG. 9 shows a state where the metadata and the image information are merged and output to a display according to a user's control.
도면에 도시된 것과 같이 디스플레이에는 대상 물체가 촬영된 하나의 프레임과 상기 대상 물체를 설명하는 태그를 포함하여 출력될 수 있다.As shown in the figure, the display may include a frame in which a target object is photographed and a tag for describing the target object.
상기와 같이 출력된 대상 물체를 다른 시점에서 관찰하고 싶을 경우, 사용자는 도면에 도시된 것과 같이 드래그 제어 명령을 입력할 수 있다.When it is desired to observe the output target object at another viewpoint, the user can input a drag control command as shown in the figure.
그리고, 상기 드래그 제어 명령을 인식한 중앙처리장치(200)는 상기 드래그된 거리에 따라 미리 정해진 개수의 프레임을 연속되게 출력하며, 상기 드래그된 속도에 따라 상기 연속된 프레임이 출력되는 속도를 제어할 수도 있다.The
또한, 사용자가 대상 물체를 여러 시점으로 관찰하는 방법으로 좌측 회전 버튼과 우측 회전 버튼을 이용하여 대상 물체를 회전시키는 버튼식 방법이나, 회전하는 다이얼을 사용자가 제어하여 대상 물체를 회전시키는 다이얼 방법 등과 같은 다양한 관찰 방법을 적용할 수도 있다.
In addition, there is a button-type method in which a user rotates a target object using a left rotation button and a right rotation button as a method of observing a target object at various points of view, a dialing method in which a user rotates a rotating dial to rotate the target object, A variety of observation methods can be applied as well.
그리고, 상기와 같은 본 발명에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법은 앱(Application)으로 구현할 수 있으며, 사용자는 이 앱을 다운받아 스마트폰과 같은 스마트 디바이스를 통해 실행시킴으로써 스마트 디바이스의 카메라, 프로세서, 저장장치 및 디스플레이를 활용하여 본원발명을 손쉽게 사용할 수 있다.
The method of generating a 3D image using a moving picture photographed by the smart device according to the present invention as described above can be implemented as an application. The user can download the app and execute it through a smart device such as a smart phone, The present invention can be easily utilized by utilizing a camera, a processor, a storage device, and a display of the present invention.
지금까지 본 발명에 따른 스마트 디바이스로 촬영한 동영상을 이용한 3D 이미지 생성 방법을 첨부된 도면을 참조로 구체적인 실시예로 한정되게 설명하였으나 이는 하나의 실시예일 뿐이며, 첨부된 특허청구범위에서 청구된 발명의 사상 및 그 영역을 이탈하지 않으면서 다양한 변화 및 변경이 있을 수 있음을 이해하여야 할 것이다.
Although the method of generating a 3D image using a moving image photographed by a smart device according to the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the present invention is not limited thereto. It should be understood that various changes and modifications may be made therein without departing from the spirit and scope thereof.
100 : 회전 장치 200 : 중앙처리장치
300 : 카메라 400 : 저장 장치
500 : 디스플레이 S110 : 이미지 정보 생성 단계
S120 : 편집 단계 S230 : 출력 단계100: rotating device 200: central processing unit
300: camera 400: storage device
500: display S110: image information generating step
S120: Editing Step S230: Outputting Step
Claims (9)
중앙처리장치의 제어에 따라 상기 이미지 정보에 따른 메타데이터를 생성하고 저장장치에 저장하는 편집 단계;
를 포함하여 이루어지며,
상기 메타데이터는 상기 대상 물체에 대한 코멘트를 디스플레이에 출력하는 태그를 포함하여 구성되고, 상기 태그의 설명선은 상기 연속적인 프레임의 프레임 전환에 따라 이동하는 상기 회전하는 대상 물체에 형성되는 설명점을 따라 함께 이동하도록 형성하되, 상기 설명선이 상기 연속적인 프레임 중 적어도 2개의 프레임에서의 설명점을 연결하는 궤도를 따라 이동하도록 형성하는 3D 이미지 생성 방법.
An image information generating step of generating image information composed of successive frames for a rotating object; And
An editing step of generating metadata according to the image information under the control of the central processing unit and storing the generated metadata in a storage device;
And,
Wherein the metadata includes a tag for outputting a comment on the object to be displayed on a display, and a description line of the tag is a description point formed on the rotating object moving according to a frame change of the continuous frame Wherein the description line is configured to move along an orbit connecting an explanatory point in at least two of the consecutive frames.
상기 이미지 정보 생성 단계는 회전하는 대상 물체를 미리 정해진 시간 간격에 따라 카메라로 찍어 연속적인 프레임으로 구성된 이미지 정보를 생성하는 3D 이미지 생성 방법.
The method according to claim 1,
Wherein the image information generating step generates image information composed of continuous frames by capturing a rotating object at a predetermined time interval with a camera.
상기 이미지 정보 생성 단계는 회전하는 대상 물체를 촬영한 동영상에서 미리 정해진 시간 간격에 따라 프레임을 뽑아 이미지 정보를 생성하는 3D 이미지 생성 방법.
The method according to claim 1,
Wherein the image information generating step generates image information by extracting a frame at a predetermined time interval in a moving image of a rotating object.
상기 이미지 정보 생성 단계는 미리 정해진 회전 시간 내에 360˚로 회전하는 상기 대상 물체의 이미지 정보를 생성하며, 상기 중앙처리장치는 상기 디스플레이를 이용하여 사용자가 상기 회전 시간의 경과 유무를 확인할 수 있도록 출력하는 3D 이미지 생성 방법.
The method according to claim 1,
The image information generating step generates image information of the object rotating at 360 degrees within a predetermined rotation time, and the central processing unit outputs the image information so that the user can check the lapse of the rotation time using the display How to create a 3D image.
상기 편집 단계에서 태그를 생성하는데 있어서, 상기 이미지 정보에서 상기 회전하는 대상 물체에 형성된 상기 설명점의 좌측 끝 지점 및 우측 끝 지점을 지정하고, 상기 지점들을 잇는 직선을 상기 궤도로 도출하며, 상기 설명점의 이동 거리는 상기 대상 물체의 각속도에 따라 변화하는 3D 이미지 생성 방법.
The method according to claim 1,
Wherein, in generating the tag in the editing step, a left end point and a right end point of the explanatory point formed in the rotating object are specified in the image information, a straight line connecting the points is derived as the orbit, Wherein the moving distance of the point changes according to the angular velocity of the object.
상기 편집 단계는 태그를 생성하는데 있어서, 상기 이미지 정보에서 상기 회전하는 대상 물체에 형성된 상기 설명점의 좌측 끝 지점, 우측 끝 지점 및 중계 지점을 지정하고 상기 지점들을 잇는 포물선을 상기 궤도로 도출하며, 상기 설명점의 이동 거리는 상기 회전하는 대상 물체의 각속도에 따라 변화하는 3D 이미지 생성 방법.
The method according to claim 1,
Wherein the editing step includes the steps of specifying a left end point, a right end point, and a relay point of the explanatory point formed in the rotating object in the image information and deriving a parabola connecting the points to the orbit, Wherein the moving distance of the explanatory point changes according to the angular velocity of the rotating object.
상기 중앙처리장치의 제어에 따라 상기 이미지 정보에 상기 메타데이터를 병합하여 디스플레이에 출력하는 출력 단계를 상기 편집 단계 이후에 더 포함하며, 상기 출력 단계는 디스플레이에 하나의 프레임을 출력하고 사용자의 제어에 따라 현재 출력된 프레임을 다른 프레임으로 변경하는 3D 이미지 생성 방법.
The method according to claim 1,
Further comprising an output step of merging the metadata with the image information according to the control of the central processing unit and outputting the merged metadata to a display, wherein the output step outputs one frame to the display, And changing the currently output frame to another frame.
상기 출력 단계는 사용자로부터 드래그 제어 명령을 입력받으면, 상기 드래그한 거리에 따라 미리 정해진 개수의 프레임을 연속되게 출력하고, 상기 드래그한 속도에 따라 상기 연속된 프레임이 출력되는 속도를 제어하는 3D 이미지 생성 방법.
8. The method of claim 7,
Wherein the outputting step sequentially outputs a predetermined number of frames according to the dragged distance and controls a speed at which the continuous frames are output according to the dragged speed when receiving a drag control command from a user, Way.
A computer-readable recording medium storing a smartphone application for executing a method according to any one of claims 1 to 8 on a smartphone.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140081110A KR101590256B1 (en) | 2014-06-30 | 2014-06-30 | 3d image creating method using video photographed with smart device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140081110A KR101590256B1 (en) | 2014-06-30 | 2014-06-30 | 3d image creating method using video photographed with smart device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160002531A KR20160002531A (en) | 2016-01-08 |
| KR101590256B1 true KR101590256B1 (en) | 2016-02-04 |
Family
ID=55170426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140081110A Active KR101590256B1 (en) | 2014-06-30 | 2014-06-30 | 3d image creating method using video photographed with smart device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101590256B1 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019209886A1 (en) * | 2018-04-26 | 2019-10-31 | Fyusion, Inc. | Visual annotation using tagging sessions |
| US11055534B2 (en) | 2018-04-26 | 2021-07-06 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| US11435869B2 (en) | 2015-07-15 | 2022-09-06 | Fyusion, Inc. | Virtual reality environment based manipulation of multi-layered multi-view interactive digital media representations |
| US11632533B2 (en) | 2015-07-15 | 2023-04-18 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US11636637B2 (en) | 2015-07-15 | 2023-04-25 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US11776229B2 (en) | 2017-06-26 | 2023-10-03 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
| US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
| US11876948B2 (en) | 2017-05-22 | 2024-01-16 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
| US11956412B2 (en) | 2015-07-15 | 2024-04-09 | Fyusion, Inc. | Drone based capture of multi-view interactive digital media |
| US11960533B2 (en) | 2017-01-18 | 2024-04-16 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
| US12020355B2 (en) | 2015-07-15 | 2024-06-25 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US12261990B2 (en) | 2015-07-15 | 2025-03-25 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US12381995B2 (en) | 2017-02-07 | 2025-08-05 | Fyusion, Inc. | Scene-aware selection of filters and effects for visual digital media content |
| US12495134B2 (en) | 2015-07-15 | 2025-12-09 | Fyusion, Inc. | Drone based capture of multi-view interactive digital media |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102682576B1 (en) * | 2023-05-10 | 2024-07-08 | (주)유엑스스토리 | Method for providing responsive video using responsive video providing system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100452839B1 (en) * | 2003-10-07 | 2004-10-15 | (주)오픈브이알 | Apparatus and method for creating 3-dimensional image which can make plural images simultaneously |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100013671A (en) | 2008-07-31 | 2010-02-10 | 김태완 | A 3-dimension model making system |
| KR101265554B1 (en) | 2010-11-08 | 2013-05-20 | 송근호 | 3D advertising method and system |
-
2014
- 2014-06-30 KR KR1020140081110A patent/KR101590256B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100452839B1 (en) * | 2003-10-07 | 2004-10-15 | (주)오픈브이알 | Apparatus and method for creating 3-dimensional image which can make plural images simultaneously |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11956412B2 (en) | 2015-07-15 | 2024-04-09 | Fyusion, Inc. | Drone based capture of multi-view interactive digital media |
| US12495134B2 (en) | 2015-07-15 | 2025-12-09 | Fyusion, Inc. | Drone based capture of multi-view interactive digital media |
| US12380634B2 (en) | 2015-07-15 | 2025-08-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multi-layered multi-view interactive digital media representations |
| US11435869B2 (en) | 2015-07-15 | 2022-09-06 | Fyusion, Inc. | Virtual reality environment based manipulation of multi-layered multi-view interactive digital media representations |
| US12261990B2 (en) | 2015-07-15 | 2025-03-25 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US11632533B2 (en) | 2015-07-15 | 2023-04-18 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US11636637B2 (en) | 2015-07-15 | 2023-04-25 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US12020355B2 (en) | 2015-07-15 | 2024-06-25 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US11776199B2 (en) | 2015-07-15 | 2023-10-03 | Fyusion, Inc. | Virtual reality environment based manipulation of multi-layered multi-view interactive digital media representations |
| US12190916B2 (en) | 2015-09-22 | 2025-01-07 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
| US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
| US11960533B2 (en) | 2017-01-18 | 2024-04-16 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
| US12381995B2 (en) | 2017-02-07 | 2025-08-05 | Fyusion, Inc. | Scene-aware selection of filters and effects for visual digital media content |
| US11876948B2 (en) | 2017-05-22 | 2024-01-16 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
| US12432327B2 (en) | 2017-05-22 | 2025-09-30 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
| US11776229B2 (en) | 2017-06-26 | 2023-10-03 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
| US12541933B2 (en) | 2017-06-26 | 2026-02-03 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
| US11967162B2 (en) | 2018-04-26 | 2024-04-23 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| US11055534B2 (en) | 2018-04-26 | 2021-07-06 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| US11488380B2 (en) | 2018-04-26 | 2022-11-01 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| US10958891B2 (en) | 2018-04-26 | 2021-03-23 | Fyusion, Inc. | Visual annotation using tagging sessions |
| US12525045B2 (en) | 2018-04-26 | 2026-01-13 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| WO2019209886A1 (en) * | 2018-04-26 | 2019-10-31 | Fyusion, Inc. | Visual annotation using tagging sessions |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160002531A (en) | 2016-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101590256B1 (en) | 3d image creating method using video photographed with smart device | |
| US11496673B1 (en) | Apparatus and method for supplying content aware photo filters | |
| CA2997034C (en) | Method and apparatus for playing video content from any location and any time | |
| CN111008985B (en) | Panorama picture seam detection method and device, readable storage medium and electronic equipment | |
| US20190228263A1 (en) | Training assistance using synthetic images | |
| US20110228112A1 (en) | Using accelerometer information for determining orientation of pictures and video images | |
| US20130335445A1 (en) | Methods and systems for realistic rendering of digital objects in augmented reality | |
| US8542255B2 (en) | Associating media content items with geographical data | |
| US11288871B2 (en) | Web-based remote assistance system with context and content-aware 3D hand gesture visualization | |
| CN115379195B (en) | Video generation method, device, electronic device and readable storage medium | |
| WO2017028498A1 (en) | 3d scenario display method and apparatus | |
| US20160371885A1 (en) | Sharing of markup to image data | |
| US11941763B2 (en) | Viewing system, model creation apparatus, and control method | |
| US20170150212A1 (en) | Method and electronic device for adjusting video | |
| US10269155B1 (en) | Image artifact masking | |
| US20190208124A1 (en) | Methods and apparatus for overcapture storytelling | |
| CN108449631A (en) | Systems and methods for linking video sequences using face detection | |
| CN105791390A (en) | Data transmission method, device and system | |
| CN103377469B (en) | Terminal and image processing method | |
| CN104837066B (en) | Images of items processing method, device and system | |
| KR101759799B1 (en) | Method for providing 3d image | |
| US10832425B2 (en) | Image registration method and apparatus for terminal, and terminal | |
| CN109873945A (en) | A kind of method, photo taking, photo processing method, electronic equipment and storage medium | |
| CN109978761B (en) | Method and device for generating panoramic picture and electronic equipment | |
| JP2012141753A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| P14-X000 | Amendment of ip right document requested |
St.27 status event code: A-5-5-P10-P14-nap-X000 |
|
| P16-X000 | Ip right document amended |
St.27 status event code: A-5-5-P10-P16-nap-X000 |
|
| Q16-X000 | A copy of ip right certificate issued |
St.27 status event code: A-4-4-Q10-Q16-nap-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| R18 | Changes to party contact information recorded |
Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |