[go: up one dir, main page]

KR100696656B1 - Stereoscopic Imager with Mobile Image Capture - Google Patents

Stereoscopic Imager with Mobile Image Capture Download PDF

Info

Publication number
KR100696656B1
KR100696656B1 KR1020040050583A KR20040050583A KR100696656B1 KR 100696656 B1 KR100696656 B1 KR 100696656B1 KR 1020040050583 A KR1020040050583 A KR 1020040050583A KR 20040050583 A KR20040050583 A KR 20040050583A KR 100696656 B1 KR100696656 B1 KR 100696656B1
Authority
KR
South Korea
Prior art keywords
image
point
camera
eye image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040050583A
Other languages
Korean (ko)
Other versions
KR20060001453A (en
Inventor
송명섭
이장두
장형욱
남희
김범식
Original Assignee
삼성에스디아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디아이 주식회사 filed Critical 삼성에스디아이 주식회사
Priority to KR1020040050583A priority Critical patent/KR100696656B1/en
Publication of KR20060001453A publication Critical patent/KR20060001453A/en
Application granted granted Critical
Publication of KR100696656B1 publication Critical patent/KR100696656B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • G03B35/04Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 입체영상 기기는, 입체영상 표시부와; 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영하여 좌안 이미지의 영상 신호와 우안 이미지의 영상 신호를 입체영상 표시부에 제공하는 이미지 포착부를 포함한다. 이미지 포착부는 카메라와; 목표하는 대상의 좌안용 이미지 촬영을 위한 제1 지점과, 우안용 이미지 촬영을 위한 제2 지점을 설정하여 제1 지점과 제2 지점을 잇는 궤도 상으로 카메라를 이동시키는 이동부를 포함한다. 상기 이동부는 제1 지점과 제2 지점을 잇는 직선 궤도 상으로 카메라를 이동시키거나, 제1 지점과 제2 지점을 잇는 곡선 궤도 상으로 카메라를 이동시킬 수 있다.The stereoscopic imaging device of the present invention includes a stereoscopic image display unit; And an image capturing unit configured to photograph the left eye image and the right eye image of the target to obtain image information, and provide an image signal of the left eye image and an image signal of the right eye image to the stereoscopic image display unit. The image capturing unit; And a moving unit configured to set a first point for photographing a left eye image of a target object and a second point for photographing a right eye image, and move the camera on a track connecting the first point and the second point. The moving unit may move the camera on a linear track connecting the first point and the second point, or move the camera on a curved track connecting the first point and the second point.

입체영상, 모바일, 카메라, 패럴랙스베리어, 렌티큘러렌즈, 이동부Stereoscopic Video, Mobile, Camera, Parallax Barrier, Lenticular Lens, Moving Part

Description

이동식 이미지 포착부를 갖는 입체영상 기기 {AUTOSTEREOSCOPY DEVICE WITH MOVABLE IMAGE ACQUISITION APPARATUS}Stereoscopic Imager with Mobile Image Capture {AUTOSTEREOSCOPY DEVICE WITH MOVABLE IMAGE ACQUISITION APPARATUS}

도 1은 본 발명의 일 실시예에 따른 입체영상 기기의 정면도이다.1 is a front view of a stereoscopic imaging device according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 입체영상 기기 중 패럴랙스 베리어 방식의 입체영상 표시부를 도시한 부분 단면도이다.FIG. 2 is a partial cross-sectional view of a 3D image display unit using a parallax barrier type in a 3D image device according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 입체영상 기기 중 렌티큘러 렌즈 방식의 입체영상 표시부를 도시한 부분 단면도이다.FIG. 3 is a partial cross-sectional view of a stereoscopic image display unit of a lenticular lens type among stereoscopic apparatuses according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 입체영상 기기 중 이미지 포착부의 동작 원리를 설명하기 위해 도시한 개략도이다.4 is a schematic diagram illustrating an operation principle of an image capturing unit of a stereoscopic image device according to an embodiment of the present invention.

도 5와 도 6은 본 발명의 일 실시예에 따른 입체영상 기기 중 이동부의 구현 가능한 실시예들을 도시한 개략도이다.5 and 6 are schematic diagrams illustrating embodiments of a moving unit of a stereoscopic image device according to an embodiment of the present invention.

본 발명은 이미지 포착부를 구비한 입체영상 기기에 관한 것으로서, 보다 상세하게는 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 촬영하는 이미지 포착부를 개선한 입체영상 기기에 관한 것이다. The present invention relates to a stereoscopic imaging apparatus having an image capturing unit, and more particularly, to a stereoscopic imaging apparatus which improves an image capturing unit for capturing a left eye image and a right eye image of an object to obtain image information.                         

일반적으로 입체영상 표시장치는 사용자의 좌안과 우안에 서로 다른 이미지를 제공하여 사용자가 보는 영상에 거리감과 입체감을 느끼도록 하는 장치로서, 사용자가 편광 안경과 같은 장비를 착용하지 않고도 입체 영상을 시청할 수 있는 오토스테레오스코피(autostereoscopy) 장치가 공지되어 있다.In general, a stereoscopic image display device is a device that provides a different image to the user's left and right eyes to feel a sense of distance and three-dimensional feeling to the user's image, the user can watch a stereoscopic image without wearing equipment such as polarized glasses Autostereoscopy devices are known.

통상의 오토스테레오스코피 장치는 렌티큘러 렌즈나 패럴랙스 베리어와 같은 광학적 분리소자를 이용하여 이미지 표시부에서 구현된 좌안용 이미지와 우안용 이미지를 각각 사용자의 좌안 방향과 우안 방향으로 공간 분할하는 방식을 채택하고 있다. 오토스테레오스코피 장치와 관련한 종래 기술로는 미국 등록특허 5,465,175호 및 6,046,849호에 개시된 입체영상 표시장치 등이 있다.A typical autostereoscopy device adopts a method of spatially dividing a left eye image and a right eye image implemented in an image display unit using an optical separation device such as a lenticular lens or a parallax barrier in a left eye direction and a right eye direction, respectively. have. Conventional techniques related to autostereoscopic devices include a stereoscopic image display device disclosed in US Pat. Nos. 5,465,175 and 6,046,849.

상기 오토스테레오스코피 장치에서 입체영상을 구현하기 위해서는 입체 카메라를 통해 얻어진 영상신호를 이용해야 한다. 이는 이미지 신호를 얻고자 하는 대상 주위에 여러대의 카메라를 설치하여 서로 다른 위치에서 상기 대상을 동시에 촬영함으로써 여러장의 영상신호을 얻는 방법이다. 그러나 이 방법은 같은 종의 카메라를 사용하더라도 각 카메라마다 서로 다른 기계적 특성에 의해 노이즈가 발생하거나, 카메라의 미세 교정이 어려운 문제가 있다.In order to implement a stereoscopic image in the autostereoscopic device, an image signal obtained through a stereoscopic camera must be used. This is a method of obtaining a plurality of video signals by placing a plurality of cameras around an object to obtain an image signal and simultaneously photographing the objects at different positions. However, even if the same type of camera is used, noise may be generated due to different mechanical properties of each camera, or it may be difficult to finely calibrate the camera.

한편, 최근들어 셀룰러폰이나 디지털 카메라와 같은 모바일(mobile) 기기에 입체영상을 표시 또는 촬영하기 위한 장치를 적용하려는 노력이 진행되고 있다. 그런데 모바일 기기에 입체영상 표시장치가 적용될 때에는 모바일 기기의 특성상 표시장치의 크기와 해상도에 제한이 있으므로, 좌안용 이미지와 우안용 이미지만을 이용하여 입체영상을 표시하는 2안식(2-view) 표시장치가 우선적으로 고려될 수 있 다.Recently, efforts have been made to apply a device for displaying or photographing a stereoscopic image to a mobile device such as a cellular phone or a digital camera. However, when a 3D image display device is applied to a mobile device, the size and resolution of the display device are limited due to the characteristics of the mobile device. Therefore, a 2-view display device displaying a 3D image using only a left eye image and a right eye image is used. May be considered first.

또한 2안식 입체영상 표시장치가 구비된 모바일 기기에 입체영상 촬영을 위한 장치가 적용될 때에는 적어도 좌안용 이미지와 우안용 이미지를 각각 촬영하기 위한 두 대 이상의 카메라가 필요하지만, 종래의 입체 카메라는 장비가 크고 단가가 높은 단점이 있어 모바일 기기 또는 소형 입체영상 기기에 적용되기 어려운 문제가 있다.In addition, when the apparatus for capturing stereoscopic images is applied to a mobile device equipped with a binocular stereoscopic display device, at least two cameras for capturing at least one left eye image and a right eye image are required. There is a problem in that it is difficult to be applied to a mobile device or a small stereoscopic image device because of the disadvantage of large and high unit price.

따라서 본 발명은 상기한 문제점을 해소하기 위한 것으로서, 본 발명의 목적은 이미지 포착부가 여러대의 카메라를 구비하지 않고도 이미지 정보를 얻고자 하는 대상을 용이하게 촬영하도록 하여 그 구성이 단순화되고 소형화 제작에 유리한 입체영상 기기를 제공하는데 있다.Accordingly, an object of the present invention is to solve the above problems, and an object of the present invention is to make it easy to photograph an object to obtain image information without having multiple cameras, thereby simplifying the construction and advantageous for miniaturization. The present invention provides a stereoscopic imaging device.

상기의 목적을 달성하기 위하여 본 발명은,In order to achieve the above object, the present invention,

입체영상 표시부와; 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영하여 좌안 이미지의 영상 신호와 우안 이미지의 영상 신호를 입체영상 표시부에 제공하는 이미지 포착부를 포함하며, 이미지 포착부가 카메라와; 이미지 정보를 얻고자 하는 대상의 좌안용 이미지 촬영을 위한 제1 지점과, 우안용 이미지 촬영을 위한 제2 지점을 설정하여 제1 지점과 제2 지점을 잇는 궤도 상으로 카메라를 이동시키는 이동부를 포함하는 입체영상 기기를 제공한다.A stereoscopic image display unit; An image capturing unit configured to capture a left eye image and a right eye image of an object to obtain image information, and provide an image signal of a left eye image and an image signal of a right eye image to a stereoscopic image display unit, the image capturing unit comprising: a camera; It includes a moving unit for moving the camera on the orbit connecting the first point and the second point by setting a first point for the left eye image capture of the target to obtain image information, and a second point for the right eye image capture Provided is a stereoscopic image device.

상기 이동부는 제1 지점과 제2 지점을 잇는 직선 궤도 상으로 상기 카메라를 이동시킬 수 있다. 이 경우, 이동부는 카메라를 고정시키면서 카메라의 이동 궤적에 대응하는 직선상 장변을 가지는 지지부와, 지지부 뒷면에 형성되는 랙(rack)과, 랙과 맞물려 회전하는 피니언(pinion)과, 피니언에 설치되어 이를 구동시키는 모터를 포함할 수 있다.The moving unit may move the camera on a linear track connecting a first point and a second point. In this case, the moving part is fixed to the support part having a straight long side corresponding to the movement trajectory of the camera while fixing the camera, a rack formed on the back side of the support part, a pinion rotating in engagement with the rack, and installed on the pinion. It may include a motor for driving it.

또한, 상기 이동부는 제1 지점과 제2 지점을 잇는 곡선 궤도 상으로 카메라를 이동시킬 수 있으며, 이 곡선 궤도는 이미지 정보를 얻고자 하는 대상을 향해 오목하게 형성된다. 이 경우, 이동부는 카메라를 고정시키면서 카메라의 이동 궤적에 대응하는 곡선상 장변을 가지는 지지부와, 지지부 뒷면에 형성되는 랙(rack)과, 랙과 맞물려 회전하는 피니언(pinion)과, 피니언에 설치되어 이를 구동시키는 모터를 포함할 수 있다.In addition, the moving unit may move the camera on a curved track connecting the first point and the second point, and the curved track is concave toward the object to obtain image information. In this case, the moving part is installed on the support having a curved long side corresponding to the movement trajectory of the camera while fixing the camera, a rack formed on the back of the support, a pinion which rotates in engagement with the rack, and a pinion. It may include a motor for driving it.

상기 이동부는 카메라의 이동 궤적 중심부에 이미지 정보를 얻고자 하는 대상의 2차원 촬영을 위한 제3 지점을 설정할 수 있으며, 사용자가 원하는 입체영상의 입체 정도에 따라 제1 지점과 제2 지점간 거리를 가변시키는 제어부를 더욱 포함할 수 있다.The moving unit may set a third point for two-dimensional photographing of an object to obtain image information in the center of the movement trajectory of the camera, and adjust the distance between the first point and the second point according to the stereoscopic degree of the three-dimensional image desired by the user. The control unit may be further included.

상기 입체영상 표시부는 좌안용 이미지와 우안용 이미지에 대응하는 복수의 서브 픽셀들이 임의의 패턴을 가지고 형성되는 이미지 표시부와, 이미지 표시부 앞면에 배치되며 슬릿 형상의 광 차단부와 광 투과부가 일정한 주기를 가지고 반복 배열되는 패럴랙스 베리어를 포함할 수 있다.The stereoscopic image display unit includes an image display unit in which a plurality of sub-pixels corresponding to the left eye image and the right eye image are formed in an arbitrary pattern, a front surface of the image display unit, and a slit-shaped light blocking unit and a light transmitting unit have a constant period. It may include parallax barriers that are repeatedly arranged.

다른 실시예로서 상기 입체영상 표시부는 좌안용 이미지와 우안용 이미지에 대응하는 복수의 서브 픽셀들이 임의의 패턴을 가지고 형성되는 이미지 표시부와, 이미지 표시부 앞면에 배치되며 적어도 2개의 서브 픽셀들에 대응하는 복수의 렌티큘러 렌즈로 이루어진 렌티큘러 렌즈 시트를 포함할 수 있다.In another embodiment, the stereoscopic image display unit may include an image display unit in which a plurality of subpixels corresponding to the left eye image and the right eye image are formed in an arbitrary pattern, and disposed in front of the image display unit and corresponding to at least two subpixels. It may include a lenticular lens sheet consisting of a plurality of lenticular lenses.

이하, 첨부한 도면을 참고하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 입체영상 기기의 정면도로서, 본 실시예의 입체영상 기기가 셀룰러폰에 적용된 경우를 예로 하여 도시하였다.FIG. 1 is a front view of a stereoscopic image device according to an embodiment of the present invention, and is illustrated by taking an example where the stereoscopic image device of the present embodiment is applied to a cellular phone.

도면을 참고하면, 입체영상 기기는 입체영상을 표시하는 입체영상 표시부(2)와, 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영하여 좌안 영상 신호와 우안 영상 신호를 생성하고 이를 입체영상 표시부(2)에 제공하는 이미지 포착부(4)를 포함한다.Referring to the drawings, the stereoscopic apparatus generates a left eye image signal and a right eye image signal by capturing a stereoscopic image display unit 2 for displaying a stereoscopic image and a left eye image and a right eye image of a target to obtain image information, respectively. And an image capturing unit 4 which provides the stereoscopic image display unit 2 to the stereoscopic image display unit 2.

상기 입체영상 표시부(2)는 도 2에 도시한 바와 같이 패럴랙스 베리어를 이미지 분리기로 사용하는 방식과, 도 3에 도시한 바와 같이 렌티큘러 렌즈 시트를 이미지 분리기로 사용하는 방식이 적용될 수 있다.As shown in FIG. 2, the stereoscopic image display unit 2 may use a parallax barrier as an image separator and a lenticular lens sheet as an image separator as illustrated in FIG. 3.

먼저, 도 2를 참고하면, 입체영상 표시부(2)는 우안용 이미지와 좌안용 이미지에 대응하는 복수의 서브 픽셀들(1R, 1L)이 임의의 패턴을 가지고 형성되는 이미지 표시부(6)와, 이미지 표시부(6) 앞면에 배치되며 슬릿 형상의 광 차단부(8)와 광 투과부(10)가 일정한 주기를 가지고 반복 배열되는 패럴랙스 베리어(12)를 포함한다.First, referring to FIG. 2, the stereoscopic image display unit 2 includes an image display unit 6 in which a plurality of subpixels 1R and 1L corresponding to an image for a right eye and an image for a left eye have an arbitrary pattern; A parallax barrier 12 is disposed on the front surface of the image display unit 6 and the slit-shaped light blocking unit 8 and the light transmitting unit 10 are repeatedly arranged at regular intervals.

각각의 서브 픽셀(1R, 1L)에는 우안 영상 신호(R)와 좌안 영상 신호(L) 중 어느 하나의 영상 신호가 입력되어 이미지 표시부(6)는 우안용 이미지에 대응하는 서브 픽셀들(1R)에서 우안 이미지를 표시하고, 좌안용 이미지에 대응하는 서브 픽셀들(1L)에서 좌안 이미지를 표시한다.Each of the subpixels 1R and 1L receives an image signal of any one of the right eye image signal R and the left eye image signal L, so that the image display unit 6 receives the subpixels 1R corresponding to the right eye image. The right eye image is displayed at, and the left eye image is displayed at the subpixels 1L corresponding to the left eye image.

상기 구성에 의해, 이미지 표시부(6)의 우안용 서브 픽셀들(1R)에서 구현된 우안 이미지는 패럴랙스 베리어(12)의 광 투과부(10)를 거쳐 사용자의 우안 방향으로 분리되며, 이미지 표시부(6)의 좌안용 서브 픽셀들(1L)에서 구현된 좌안 이미지는 패럴랙스 베리어(12)의 광 투과부(10)를 거쳐 사용자의 좌안 방향으로 분리됨으로써 사용자는 이미지 표시부(6)의 영상을 입체 영상으로 인식하게 된다.By the above configuration, the right eye image implemented in the right eye subpixels 1R of the image display unit 6 is separated in the right eye direction of the user via the light transmitting unit 10 of the parallax barrier 12, and the image display unit ( The left eye image implemented in the left eye sub-pixels 1L of 6) is separated in the left eye direction of the user through the light transmitting part 10 of the parallax barrier 12 so that the user can stereoscopic image the image of the image display part 6. Will be recognized.

상기에서는 패럴랙스 베리어(12)가 이미지 표시부(6) 앞면에 배치되는 경우를 설명하였으나, 이미지 표시부(6)가 광원(도시하지 않음)으로부터 빛을 제공받아 이미지를 표시하는 투과형 표시소자인 경우에는 패럴랙스 베리어(12)가 광원과 이미지 표시부(6) 사이에 배치될 수 있다.In the above, the case where the parallax barrier 12 is disposed on the front surface of the image display unit 6 has been described. However, when the image display unit 6 is a transmissive display device that receives light from a light source (not shown) and displays an image. The parallax barrier 12 may be disposed between the light source and the image display unit 6.

다음으로 도 3을 참고하면, 입체영상 표시부(2)는 좌안용 이미지와 우안용 이미지에 대응하는 복수의 서브 픽셀들(1R, 1L)이 임의의 패턴을 가지고 형성되는 이미지 표시부(6)와, 이미지 표시부(6) 앞면에 배치되며 다수의 렌티큘러 렌즈(14a)로 이루어진 렌티큘러 렌즈 시트(14)를 포함한다. 각각의 렌티큘러 렌즈(14a)는 2개 이상의 서브 픽셀(1R, 1L)에 대응 배치된다.Next, referring to FIG. 3, the stereoscopic image display unit 2 includes an image display unit 6 in which a plurality of sub-pixels 1R and 1L corresponding to a left eye image and a right eye image have an arbitrary pattern; The lenticular lens sheet 14 disposed on the front surface of the image display unit 6 and composed of a plurality of lenticular lenses 14a is included. Each lenticular lens 14a is disposed corresponding to two or more subpixels 1R and 1L.

상기 구성에 의해, 이미지 표시부(6)의 우안용 서브 픽셀들(1R)에서 구현된 우안 이미지는 렌티큘러 렌즈(14a)에 의해 굴절되어 사용자의 우안 방향으로 분리되고, 이미지 표시부(6)의 좌안용 서브 픽셀들(1L)에서 구현된 좌안 이미지는 렌티큘러 렌즈(14a)에 의해 굴절되어 사용자의 좌안 방향으로 분리됨으로써 사용자는 이미지 표시부(6)의 영상을 입체 영상으로 인식하게 된다.By the above configuration, the right eye image implemented in the right eye sub-pixels 1R of the image display unit 6 is refracted by the lenticular lens 14a to be separated in the right eye direction of the user, and for the left eye of the image display unit 6. The left eye image implemented in the subpixels 1L is refracted by the lenticular lens 14a and separated in the left eye direction of the user, thereby allowing the user to recognize the image of the image display unit 6 as a stereoscopic image.

상기 입체영상 표시부(2)는 이미지 포착부(4)가 촬영한 좌안 이미지의 영상 신호와 우안 이미지의 영상 신호를 제공받아 이를 표시하는데, 본 실시예에서 이미지 포착부(4)는 카메라 이동식으로서, 한 대의 카메라(16)를 이용하여 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영한다.The stereoscopic image display unit 2 receives and displays an image signal of a left eye image and an image signal of a right eye image captured by the image capturing unit 4. In the present embodiment, the image capturing unit 4 is a camera movable type. The left eye image and the right eye image of the target to obtain image information are photographed using one camera 16, respectively.

도 4는 이미지 포착부의 동작 원리를 설명하기 위해 도시한 개략도이다.4 is a schematic diagram illustrating the operation principle of the image capturing unit.

도면을 참고하면, 이미지 포착부는 카메라(16)와, 카메라(16)를 위치를 제어하는 이동부(18)를 포함한다. 이동부(18)는 목표하는 대상의 좌안용 이미지 촬영을 위한 제1 지점(P1)과, 우안용 이미지 촬영을 위한 제2 지점(P2)을 설정하여 제1 지점(P1)과 제2 지점(P2)을 잇는 궤도 상으로 카메라(16)를 이동시킨다. 상기 제1 지점(P1)과 제2 지점(P2)을 잇는 궤도의 중앙에는 이미지 정보를 얻고자 하는 대상의 2차원 촬영을 위한 제3 지점(P3)이 설정될 수 있다.Referring to the drawings, the image capturing unit includes a camera 16 and a moving unit 18 for controlling the position of the camera 16. The moving unit 18 sets the first point P1 for photographing the left eye image of the target object and the second point P2 for photographing the right eye image, so that the first point P1 and the second point ( The camera 16 is moved on the track connecting P2). A third point P3 for two-dimensional imaging of an object for which image information is to be obtained may be set at the center of the trajectory connecting the first point P1 and the second point P2.

따라서 사용자가 2차원 촬영 모드를 선택하면, 이동부(18)는 카메라(16)를 제3 지점(P3)으로 이동시켜 카메라(16)가 이 위치에서 목표하는 대상을 촬영하도록 한다. 그리고 사용자가 3차원 촬영 모드를 선택하면, 이동부(18)는 카메라(16)를 제1 지점(P1)으로 이동시켜 카메라(16)가 이 위치에서 목표하는 대상의 좌안용 이미지를 촬영하도록 하며, 이어서 카메라(16)를 제2 지점(P2)으로 이동시켜 카메라(16)가 이 위치에서 목표하는 대상의 우안용 이미지를 촬영하도록 한다.Therefore, when the user selects the two-dimensional imaging mode, the moving unit 18 moves the camera 16 to the third point P3 so that the camera 16 captures a target object at this position. When the user selects the 3D photographing mode, the moving unit 18 moves the camera 16 to the first point P1 so that the camera 16 captures an image for the left eye of the target object at this position. Then, the camera 16 is moved to the second point P2 so that the camera 16 captures the image for the right eye of the target object at this position.

이 때, 이동부(18)의 구동을 제어하는 모터 제어부(20, 도 5와 도 6 참고)에 타이머 장치를 설치하면, 카메라(16)가 제1 지점(P1)에서 목표하는 대상의 좌안용 이미지를 촬영한 후 자동으로 카메라(16)를 제2 지점(P2)으로 이동시킴으로써 한번의 촬영 명령으로 두 장의 이미지를 연속 촬영하도록 할 수 있다.At this time, when the timer device is installed in the motor control unit 20 (see FIGS. 5 and 6) for controlling the driving of the moving unit 18, the camera 16 is for the left eye of the target to be targeted at the first point P1. After capturing an image, the camera 16 may be automatically moved to the second point P2 to continuously photograph two images with a single photographing command.

또한, 이동부(18)는 사용자가 원하는 입체영상의 입체 정도에 따라 카메라(16)의 이동을 제어할 수 있다. 즉, 사용자가 큰 입체감을 원하는 경우에는 제1 지점(P1)과 제2 지점(P2)을 제3 지점(P3)으로부터 가능한 멀게 설정하여 카메라(16)의 좌안용 이미지 촬영 위치와 우안용 이미지 촬영 위치 사이의 거리를 크게 하고, 사용자가 작은 입체감을 원하는 경우에는 제1 지점(P1)과 제2 지점(P2)을 제3 지점(P3)으로부터 가깝게 설정하여 카메라(16)의 좌안용 이미지 촬영 위치와 우안용 이미지 촬영 위치 사이의 거리를 작게 한다.In addition, the moving unit 18 may control the movement of the camera 16 according to the stereoscopic degree of the stereoscopic image desired by the user. That is, when the user desires a large three-dimensional effect, the first point P1 and the second point P2 are set as far as possible from the third point P3 so that the left eye image capturing position and the right eye image capturing of the camera 16 are taken. If the distance between the positions is increased and the user wants a small three-dimensional effect, the first point P1 and the second point P2 are set close to the third point P3, and the left eye image photographing position of the camera 16 is set. And the distance between the right eye image-taking position is reduced.

상기 이동부(18)는 직선 궤도 상으로 카메라(16)를 이동시킬 수 있으며, 이 경우에는 한 대의 카메라가 공지의 평행축 방식의 입체 카메라로 기능하여 목표하는 대상의 좌안용 이미지와 우안용 이미지를 촬영한다. 또한 상기 이동부(18)는 목표하는 대상을 향해 오목한 곡선 궤도 상으로 카메라(16)를 이동시킬 수 있으며, 이 경우에는 한 대의 카메라(16)가 공지의 교차축 방식의 입체 카메라로 기능하여 목표하는 대상의 좌안용 이미지와 우안용 이미지를 촬영한다.The moving unit 18 may move the camera 16 on a linear track, in which case one camera functions as a well-known parallel axis stereoscopic camera and a left eye image and a right eye image of a target object. To shoot. In addition, the moving unit 18 may move the camera 16 on a concave curved track toward the target object. In this case, one camera 16 functions as a three-dimensional camera of a known cross-axis method. Shoot the left eye image and the right eye image of the subject.

도 5는 상기 카메라가 직선 궤도 상에서 이동할 때 이동부의 구현 가능한 일 실시예를 나타낸 개략도이고, 도 6은 상기 카메라가 곡선 궤도 상에서 이동할 때 이동부의 구현 가능한 일 실시예를 나타낸 개략도이다.FIG. 5 is a schematic view showing one embodiment of a moving part when the camera moves on a straight track, and FIG. 6 is a schematic view showing one embodiment of a moving part when the camera moves on a curved track.

먼저 도 5를 참고하면, 이동부(18)는 카메라(16)를 고정시키면서 카메라(16)의 이동 궤적에 대응하는 직선상 장변을 가지는 지지부(22)와, 지지부(22) 뒷면에 형성되는 랙(rack, 24)과, 랙(24)과 맞물려 회전하는 피니언(pinion, 26)과, 피니언(26)에 설치되어 이를 구동시키는 모터(28) 및 감속기(30)를 포함한다. 상기 카메라(16)는 지지부(22) 중앙에 위치하며, 이 지점이 2차원 영상 촬영을 위한 제3 지점(P3)이 될 수 있다.First, referring to FIG. 5, the moving unit 18 fixes the camera 16 and has a support 22 having a straight long side corresponding to the movement trajectory of the camera 16, and a rack formed on the back of the support 22. (rack, 24), a pinion (26) to rotate in engagement with the rack 24, and a motor 28 and a reducer (30) installed in the pinion (26) to drive it. The camera 16 is located at the center of the support 22, and this point may be the third point P3 for 2D image capturing.

이로써 사용자가 3차원 촬영 모드를 선택하면, 모터(28) 구동으로 피니언(26)이 정회전(실선 화살표 참고)하면서 지지부(22)의 위치 이동으로 카메라(16)가 제1 지점(P1)에 위치하고, 목표하는 대상의 좌안용 이미지를 촬영한다. 그리고 다시 모터(28) 구동으로 피니언(26)이 역회전(점선 화살표 참고)하면서 지지부(22)의 위치 이동으로 카메라(16)가 제2 지점(P2)에 위치하고, 목표하는 대상의 우안용 이미지를 촬영한다. 이 때, 모터 제어부(20)가 모터(28)의 구동 시간과 이에 따른 피니언(26)의 회전수를 제어하여 카메라(16)를 목표하는 지점에 정확히 위치시킨다.Thus, when the user selects the 3D shooting mode, the pinion 26 is rotated forward by the driving of the motor 28 (see the solid arrow), and the camera 16 moves to the first point P1 by moving the position of the support 22. It is located and photographs the left eye image of the target object. Then, the pinion 26 is reversely rotated (see the dashed arrow) by the driving of the motor 28, and the camera 16 is located at the second point P2 by the position movement of the support 22. To shoot. At this time, the motor controller 20 controls the driving time of the motor 28 and the rotation speed of the pinion 26 accordingly to accurately position the camera 16 at the target point.

다음으로 도 6을 참고하면, 이동부(18')는 카메라(16)를 고정시키면서 카메라(16)의 이동 궤적에 대응하는 곡선상 장변을 가지는 지지부(22')와, 지지부(22') 뒷면에 형성되는 랙(24)과, 랙(24)과 맞물려 회전하는 피니언(26)과, 피니언(26)에 설치되어 이를 구동시키는 모터(28) 및 감속기(30)를 포함한다. 이 때에도 상기 카메라(16)는 지지부(22') 중앙에 위치하며, 이 지점이 2차원 영상 촬영을 위한 제3 지점(P3)이 될 수 있다.Next, referring to FIG. 6, the moving part 18 ′ supports the support part 22 ′ having a curved long side corresponding to the movement trajectory of the camera 16 while fixing the camera 16, and the back side of the support part 22 ′. It includes a rack 24 formed in the pinion 26 to rotate in engagement with the rack 24, the motor 28 and the reducer 30 is installed in the pinion 26 to drive it. In this case, the camera 16 is positioned at the center of the support 22 ', and this point may be the third point P3 for capturing the 2D image.

이와 같이 본 실시예에 의한 입체영상 기기는 이동식 카메라(16)를 이용하여 목표하는 대상의 좌안용 이미지와 우안용 이미지를 촬영함에 따라, 복잡한 장치나 기능의 추가를 최소화하면서 입체영상 표시를 위한 이미지를 촬영할 수 있으며, 이미지 포착부(4)의 소형 제작이 가능하여 모바일 기기에 용이하게 적용될 수 있다.As described above, the stereoscopic imaging apparatus according to the present exemplary embodiment captures the left eye image and the right eye image of the target object by using the mobile camera 16, thereby minimizing the addition of complicated devices or functions, and the image for displaying the stereoscopic image. Can be taken, and the image capture unit 4 can be made compact and can be easily applied to a mobile device.

한편, 도 1에서는 본 실시예의 입체영상 기기가 셀룰러폰에 적용된 경우를 도시하였으나, 본 실시예의 입체영상 기기는 셀룰러폰 뿐만 아니라 노트PC, 디지털 카메라 및 캠코더와 같은 다양한 종류의 모바일 기기에 적용될 수 있으며, 텔레비전 및 모니터와 같은 통상의 표시장치에도 용이하게 적용될 수 있다.Meanwhile, although FIG. 1 illustrates a case where the stereoscopic image device of the present embodiment is applied to a cellular phone, the stereoscopic image device of the present embodiment may be applied to various types of mobile devices such as note PCs, digital cameras and camcorders as well as cellular phones. The present invention can be easily applied to conventional display devices such as televisions and monitors.

또한, 전술한 이미지 표시부(6)로는 음극선관(CRT), 액정 표시장치(LCD), 유기발광다이오드(OLED) 및 플라즈마 디스플레이 패널(PDP)와 같은 공지의 모든 디스플레이 장치가 적용될 수 있다.In addition, all the known display devices such as a cathode ray tube (CRT), a liquid crystal display (LCD), an organic light emitting diode (OLED), and a plasma display panel (PDP) may be applied to the image display unit 6 described above.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although the preferred embodiments of the present invention have been described above, the present invention is not limited thereto, and various modifications and changes can be made within the scope of the claims and the detailed description of the invention and the accompanying drawings. Naturally, it belongs to

이와 같이 본 발명에 의한 입체영상 기기는 이동식 카메라를 이용하여 목표하는 대상의 좌안용 이미지와 우안용 이미지를 촬영함에 따라, 복잡한 장치나 기능의 추가를 최소화하면서 입체영상 표시를 위한 이미지를 용이하게 촬영할 수 있다. 또한 본 발명에 의한 입체영상 기기는 이미지 포착부의 소형화가 가능하여 모바일 기기에 용이하게 적용될 수 있으며, 사용자의 설정에 따라 입체영상의 입체감을 임의로 조정할 수 있다.As described above, the stereoscopic imaging apparatus according to the present invention captures the left eye image and the right eye image of the target object by using a mobile camera, thereby easily capturing an image for displaying a stereoscopic image while minimizing the addition of complicated devices or functions. Can be. In addition, the stereoscopic image device according to the present invention can be easily applied to a mobile device since the image capturing unit can be miniaturized, and the stereoscopic image of the stereoscopic image can be arbitrarily adjusted according to a user's setting.

Claims (10)

입체영상 표시부; 및Stereoscopic image display unit; And 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영하여 좌안 이미지의 영상 신호와 우안 이미지의 영상 신호를 상기 입체영상 표시부에 제공하는 이미지 포착부를 포함하며,An image capturing unit configured to capture a left eye image and a right eye image of an object to obtain image information, and provide an image signal of a left eye image and an image signal of a right eye image to the stereoscopic image display unit; 상기 이미지 포착부가,The image capture unit, 카메라; 및camera; And 상기 대상의 좌안용 이미지 촬영을 위한 제1 지점과, 우안용 이미지 촬영을 위한 제2 지점을 설정하여 제1 지점과 제2 지점을 잇는 궤도 상으로 상기 카메라를 이동시키는 이동부A moving unit for moving the camera on the track connecting the first point and the second point by setting a first point for the left eye image capture of the target and a second point for the right eye image capture 를 포함하며,Including; 상기 이동부가 상기 제1 지점과 제2 지점을 잇는 직선 궤도 상으로 상기 카메라를 이동시키고,The moving unit moves the camera on a linear track connecting the first point and the second point, 상기 이동부가 상기 카메라를 고정시키면서 카메라의 이동 궤적에 대응하는 직선상 장변을 가지는 지지부와, 지지부 뒷면에 형성되는 랙(rack)과, 랙과 맞물려 회전하는 피니언(pinion)과, 피니언에 설치되어 이를 구동시키는 모터를 포함하는 입체영상 기기.The moving part is fixed to the support and has a linear long side corresponding to the movement trajectory of the camera, a rack (rack) formed on the back of the support, a pinion to rotate in engagement with the rack, it is installed on the pinion Stereoscopic imaging device comprising a motor for driving. 삭제delete 삭제delete 입체영상 표시부; 및Stereoscopic image display unit; And 이미지 정보를 얻고자 하는 대상의 좌안용 이미지와 우안용 이미지를 각각 촬영하여 좌안 이미지의 영상 신호와 우안 이미지의 영상 신호를 상기 입체영상 표시부에 제공하는 이미지 포착부를 포함하며,An image capturing unit configured to capture a left eye image and a right eye image of an object to obtain image information, and provide an image signal of a left eye image and an image signal of a right eye image to the stereoscopic image display unit; 상기 이미지 포착부가,The image capture unit, 카메라; 및camera; And 상기 대상의 좌안용 이미지 촬영을 위한 제1 지점과, 우안용 이미지 촬영을 위한 제2 지점을 설정하여 제1 지점과 제2 지점을 잇는 궤도 상으로 상기 카메라를 이동시키는 이동부A moving unit for moving the camera on the track connecting the first point and the second point by setting a first point for the left eye image capture of the target and a second point for the right eye image capture 를 포함하며,Including; 상기 이동부가 상기 제1 지점과 제2 지점을 잇는 곡선 궤도 상으로 카메라를 이동시키며, 이 곡선 궤도가 이미지 정보를 얻고자 하는 대상을 향해 오목하게 형성되며The moving part moves the camera on a curved track connecting the first point and the second point, the curved track being concave toward the object to obtain image information. 상기 이동부가 상기 카메라를 고정시키면서 카메라의 이동 궤적에 대응하는 곡선상 장변을 가지는 지지부와, 지지부 뒷면에 형성되는 랙(rack)과, 랙과 맞물려 회전하는 피니언(pinion)과, 피니언에 설치되어 이를 구동시키는 모터를 포함하는 입체영상 기기.The moving part is fixed to the support and has a curved long side corresponding to the movement trajectory of the camera, a rack (rack) formed on the back of the support, the pinion (pinion) to rotate in conjunction with the rack, is installed on the pinion Stereoscopic imaging device comprising a motor for driving. 삭제delete 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 이동부가 상기 카메라의 이동 궤적 중심부에 이미지 정보를 얻고자 하는 대상의 2차원 촬영을 위한 제3 지점을 설정하는 입체영상 기기.And the moving unit sets a third point for 2D photographing of an object for which image information is to be obtained at the center of the movement trajectory of the camera. 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 이동부는 사용자가 원하는 입체영상의 입체 정도에 따라 상기 제1 지점과 제2 지점간 거리를 가변시키는 제어부를 더욱 포함하는 입체영상 기기.The moving unit further comprises a control unit for varying the distance between the first point and the second point according to the stereoscopic degree of the stereoscopic image desired by the user. 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 입체영상 표시부가, 좌안용 이미지와 우안용 이미지에 대응하는 복수의 서브 픽셀들이 임의의 패턴을 가지고 형성되는 이미지 표시부와, 이미지 표시부 앞면에 배치되며 슬릿 형상의 광 차단부와 광 투과부가 일정한 주기를 가지고 반복 배열되는 패럴랙스 베리어를 포함하는 입체영상 기기.The stereoscopic image display unit may include an image display unit in which a plurality of sub-pixels corresponding to the left eye image and the right eye image are formed in an arbitrary pattern, and a slit-shaped light blocking unit and a light transmitting unit disposed on the front surface of the image display unit. Stereoscopic imaging device comprising a parallax barrier is arranged repeatedly with. 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 입체영상 표시부가, 좌안용 이미지와 우안용 이미지에 대응하는 복수의 서브 픽셀들이 임의의 패턴을 가지고 형성되는 이미지 표시부와, 이미지 표시부 앞면에 배치되며 적어도 2개의 서브 픽셀들에 대응하는 복수의 렌티큘러 렌즈로 이루어진 렌티큘러 렌즈 시트를 포함하는 입체영상 기기.The stereoscopic image display unit may include an image display unit in which a plurality of subpixels corresponding to a left eye image and a right eye image are formed in an arbitrary pattern, and a plurality of lenticulars disposed on a front surface of the image display unit and corresponding to at least two subpixels. Stereoscopic imaging device comprising a lenticular lens sheet made of a lens. 제1항 또는 제4항에 있어서,The method according to claim 1 or 4, 상기 입체영상 기기가 모바일 기기용인 입체영상 기기.A stereoscopic imaging device, wherein the stereoscopic imaging device is for a mobile device.
KR1020040050583A 2004-06-30 2004-06-30 Stereoscopic Imager with Mobile Image Capture Expired - Fee Related KR100696656B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040050583A KR100696656B1 (en) 2004-06-30 2004-06-30 Stereoscopic Imager with Mobile Image Capture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040050583A KR100696656B1 (en) 2004-06-30 2004-06-30 Stereoscopic Imager with Mobile Image Capture

Publications (2)

Publication Number Publication Date
KR20060001453A KR20060001453A (en) 2006-01-06
KR100696656B1 true KR100696656B1 (en) 2007-03-19

Family

ID=37104597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040050583A Expired - Fee Related KR100696656B1 (en) 2004-06-30 2004-06-30 Stereoscopic Imager with Mobile Image Capture

Country Status (1)

Country Link
KR (1) KR100696656B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248467A (en) * 1994-03-08 1995-09-26 Sharp Corp Device for inputting three-dimensional information and device for reproducing it
JPH1114914A (en) 1997-06-18 1999-01-22 Koa:Kk Perforated parallax image display device
JP2001013606A (en) 1997-09-04 2001-01-19 M Aren Dan Method for making stereoscopic pair of film chip
US6421056B1 (en) 1995-10-09 2002-07-16 Nintendo Co., Ltd. Three-dimensional image processing apparatus
KR20040054324A (en) * 2002-12-18 2004-06-25 엘지전자 주식회사 A mobile telecommunication terminal having two camera and a method for measuring a distance by using the terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248467A (en) * 1994-03-08 1995-09-26 Sharp Corp Device for inputting three-dimensional information and device for reproducing it
US6421056B1 (en) 1995-10-09 2002-07-16 Nintendo Co., Ltd. Three-dimensional image processing apparatus
JPH1114914A (en) 1997-06-18 1999-01-22 Koa:Kk Perforated parallax image display device
JP2001013606A (en) 1997-09-04 2001-01-19 M Aren Dan Method for making stereoscopic pair of film chip
KR20040054324A (en) * 2002-12-18 2004-06-25 엘지전자 주식회사 A mobile telecommunication terminal having two camera and a method for measuring a distance by using the terminal

Also Published As

Publication number Publication date
KR20060001453A (en) 2006-01-06

Similar Documents

Publication Publication Date Title
US8077964B2 (en) Two dimensional/three dimensional digital information acquisition and display device
JP5014979B2 (en) 3D information acquisition and display system for personal electronic devices
EP2389003B1 (en) Three-dimensional video image pick-up and display system
JP4863527B2 (en) Stereoscopic imaging device
EP2593835B1 (en) Variable three-dimensional camera assembly for still photography
US6816158B1 (en) Three-dimensional display system
US20170026634A1 (en) Multi-planar camera apparatus
EP1048167B1 (en) System and method for generating and displaying panoramic images and movies
US20120176474A1 (en) Rotational adjustment for stereo viewing
US8816939B2 (en) Monocular display apparatus
US20120176483A1 (en) Three channel delivery of stereo images
KR102421512B1 (en) Portable Stereoscopic Cameras and Systems
US20120307016A1 (en) 3d camera
US9179139B2 (en) Alignment of stereo images pairs for viewing
KR100696656B1 (en) Stereoscopic Imager with Mobile Image Capture
KR100658718B1 (en) Stereoscopic Imager with Image Capture
JP2001112024A (en) Multiple-lens stereoscopic photographing display device
JP2005173270A (en) Optical device for stereoscopic photography, photographing device, and system and device for stereoscopic photography
JP2001016620A (en) Image pickup device, its convergence distance decision method, storage medium and optical device
US9185399B2 (en) Stereoscopic video receiver
JP2004258594A (en) Three-dimensional image display device realizing appreciation from wide angle
JPH06276552A (en) Stereoscopic picture image pickup device and picture display device
JP2005020187A (en) Stereoscopic image photographing apparatus, and electronic apparatus provided with stereoscopic image photographing apparatus
JPH0435395A (en) Stereoscopic monitor
US20240040220A1 (en) Camera having imaging lenses with varied inter-lens spacings

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20040630

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20050916

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20040630

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061107

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070226

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070312

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070313

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100226

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110228

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120229

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130228

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140303

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150227

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160229

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160229

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180302

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20190304

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 15

End annual number: 15

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241223