KR101192121B1 - Method and apparatus for generating anaglyph image using binocular disparity and depth information - Google Patents
Method and apparatus for generating anaglyph image using binocular disparity and depth information Download PDFInfo
- Publication number
- KR101192121B1 KR101192121B1 KR1020100134816A KR20100134816A KR101192121B1 KR 101192121 B1 KR101192121 B1 KR 101192121B1 KR 1020100134816 A KR1020100134816 A KR 1020100134816A KR 20100134816 A KR20100134816 A KR 20100134816A KR 101192121 B1 KR101192121 B1 KR 101192121B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel
- depth map
- generating
- anaglyph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 13
- 239000011521 glass Substances 0.000 description 13
- 229920000298 Cellophane Polymers 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
스테레오 영상을 사용하여 애너그리프 영상을 생성하기 위한 방법 및 장치가 제공된다. 깊이 맵과 양안시차를 계산하여 가장 입체감 있는 애너그리프 영상이 생성된다. 깊이 맵의 계산을 통해 획득된 픽셀들의 변이 정보 및 시청자의 양안 시차가 스테레오 영상 중 한 편의 영상의 픽셀들을 이동시키기 위해 사용된다. 픽셀들이 이동된 영상 및 스테레오 영상의 다른 한 편의 영상을 합성함으로써 애너그리프 영상이 생성된다.A method and apparatus are provided for generating an anaglyph image using a stereo image. The depth map and binocular disparity are calculated to produce the most stereoscopic anaglyph image. The disparity information of the pixels obtained through the calculation of the depth map and the binocular disparity of the viewer are used to move the pixels of one of the stereo images. An anaglyph image is generated by synthesizing the image from which the pixels are moved and the other image of the stereo image.
Description
아래의 실시예들은 애너그리프 영상을 생성하기 위한 방법 및 장치에 관한 것이다.The following embodiments are directed to a method and apparatus for generating an anamorphic image.
디지털 미디어 세계에서, 3D 디지털 입체영상의 구현이 화두가 되고 있다.In the digital media world, the realization of 3D digital stereoscopic images is a hot topic.
3D 영화 등에 의해 3D에 대한 시청자들의 관심 및 요구가 증대됨에 따라, 3D TV, 모니터, 영화 같은 다양한 3D 관련 매체들이 개발되었다.As viewers' interest and demand for 3D has increased due to 3D movies, various 3D related media such as 3D TVs, monitors, and movies have been developed.
그 중, 3D 디지털 입체영상은 시청자를 영상으로 완전히 몰입시킬 수 있다. 더 나아가, 시각뿐만 아닌 청각, 촉각 및 후각을 모두 이용하는 시스템에 의해, 시청자는 좀 더 현실감을 느끼면서 영상에 몰입할 수 있다.Among them, 3D digital stereoscopic images can completely immerse viewers into images. Furthermore, with a system that uses not only vision but also hearing, touch and smell, viewers can immerse themselves in the image while feeling more realistic.
이러한 3D 입체영상은 디지털 시대에서 기대되는 영상매체 중 하나 이다.This 3D stereoscopic image is one of the image media expected in the digital age.
3D 입체영상 디스플레이는 표시 방식, 시점, 시청자의 안경 착용 여부, 시스템의 구성 및 촬영 조건 등에 따라 다양하게 분류될 수 있다.The 3D stereoscopic image display may be classified into various types according to a display method, a viewpoint, whether a viewer wears glasses, a configuration of a system, and shooting conditions.
영상을 입체적으로 표시하는 방식은, 크게 안경을 사용하는 방식 및 안경을 사용하지 않는 방식으로 분류될 수 있다.The method of displaying an image in three dimensions may be classified into a method of using glasses and a method of not using glasses.
안경을 사용하는 방식으로서, 편광 방식 및 시분할 방식 등이 있다.As a method of using glasses, there are a polarization method and a time division method.
안경을 사용하지 않는 방식으로서, 패럴랙스 베리어(parallax barrier), 렌티큘러(lenticular), 다시점 방식 및 완전 3차원 방식 등이 있다.As a method that does not use glasses, there are parallax barriers, lenticular, multi-view methods, and full 3D methods.
영상을 입체적으로 표시함에 있어서, 시청자의 눈의 피로를 더 적게 발생시키면서, 입체감을 최대한 표현할 수 있는 방법이 연구되어야 한다.In displaying images in three dimensions, a method of expressing the three-dimensional effect as much as possible while generating less fatigue of the viewer should be studied.
인간이 영상으로부터 입체감을 느낄 수 있는 대표적인 방법 중 하나로, 양안시차(binocular disparity)에 의한 방법이 있다.One of the typical methods by which a human can feel a three-dimensional effect from an image is a method by binocular disparity.
인간의 양 안들은 평균적으로 좌, 우 65mm의 간격을 두고 존재한다. 이러한 간격에 의해, 인간이 사물을 볼 때, 양 안들 각각의 망막에 결상되는 영상들은 서로 미세하게 상이하다. 시청자의 뇌는 양 영상들 간의 미세한 차이를 해석한다.Both human eyes are on average 65mm left and right. By this interval, when a human looks at an object, the images formed on the retinas of each of the two eyes are slightly different from each other. The viewer's brain interprets the subtle differences between the two images.
이러한 해석에 의해, 시청자는 영상들 내의 객체에 대한 거리감을 인지할 수 있고, 시청자는 입체감을 느낄 수 있다.By this interpretation, the viewer can perceive the sense of distance to the object in the images, and the viewer can feel the three-dimensional feeling.
따라서, 특정한 입체 영상 표시 방식이 시청자에 양 안들 각각에 서로 상이한 영상들을 표시할 경우, 시청자의 양 안들이 서로 상이한 각도에서 물체를 본 것과 같은 효과가 인위적으로 발생할 수 있다.Therefore, when a particular stereoscopic image display method displays different images in each of the two eyes to the viewer, an effect such as viewing the object from both eyes of the viewer may be artificially generated.
본 발명의 일 실시에는 영상의 깊이 맵 및 시청자의 양안시차를 사용하여 애너그리프(anaglyph) 영상을 생성하는 장치 및 방법을 제공할 수 있다.According to an embodiment of the present invention, an apparatus and method for generating an anaglyph image using a depth map of an image and binocular parallax of a viewer may be provided.
본 발명의 일측에 따르면, 스테레오 영상에 기반하여 애너그리프 영상을 생성하는 애너그리프 영상 생성 장치에 있어서, 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부 및 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 장치가 제공된다.According to an aspect of the present invention, in the anagrip image generating apparatus for generating an anagrip image based on a stereo image, a depth map generator for generating a depth map based on a first image and a second image, the depth map and An image moving unit generating a moved first image by moving the pixels in the first image based on the binocular disparity of the viewer, and color mixing generating an anaglyph image based on the moved first image and the second image. In addition, the first image and the second image, each of which is one of the stereo image, Anagrip image generating apparatus is provided.
상기 애너그리프 영상 생성 장치는, 상기 제1 영상 및 상기 제2 영상을 수신하는 스테레오 영상 수신부를 더 포함할 수 있다.The anaglyph image generating apparatus may further include a stereo image receiver configured to receive the first image and the second image.
상기 애너그리프 영상 생성 장치는, 상기 애너그리프 영상 생성 장치 내에 저장된 데이터를 독출하여 상기 제1 영상 및 상기 제2 영상을 제공하는 저장부를 더 포함할 수 있다.The anaglyph image generating apparatus may further include a storage unit configured to read data stored in the anaglyph image generating apparatus and provide the first image and the second image.
상기 제1 영상은 좌측 영상이고, 상기 제2 영상은 우측 영상일 수 있다.The first image may be a left image, and the second image may be a right image.
상기 깊이 맵 생성부는 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출할 수 있고, 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산할 수 있다.The depth map generator may detect a second pixel in the second image corresponding to the first pixel in the first image, and based on the difference between the coordinates of the first pixel and the coordinates of the second pixel. The depth of one pixel can be calculated.
상기 깊이 맵 생성부는 상기 제1 픽셀을 포함하는 제1 블록을 설정할 수 있고, 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산할 수 있다.
The depth map generator may set a first block including the first pixel, and calculate a depth of the first pixel by detecting a second block in the second image having the highest matching degree with the first block. Can be.
상기 깊이 맵 생성부는 상기 제1 블록이 위치한 수평 위치에서 블록들을 스캔함으로써 상기 제2 블록을 검출할 수 있다.The depth map generator may detect the second block by scanning the blocks at a horizontal position where the first block is located.
상기 깊이 맵 생성부는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록들 간의 정합도를 계산할 수 있다.The depth map generator may calculate the degree of matching between blocks based on sum of square differences (SSD).
상기 제1 블록은 정사각형일 수 있다.The first block may be square.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시킬 수 있고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정될 수 있다.The image shifter may move the first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel, and the shift amount of the pixel may be determined by the binocular disparity.
상기 영상 이동부는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정할 수 있다.The image moving unit may determine the value of the binocular disparity based on an average viewing distance of the viewer.
상기 색상 혼합부는 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성할 수 있고, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성할 수 있고, 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성할 수 있다.The color mixing unit may generate a red channel of the anaglyph image based on the green channel and the blue channel of the shifted first image, and generate a green channel of the anaglyph image based on the green channel of the second image. The blue channel of the anaglyph image may be generated based on the blue channel of the second image.
본 발명의 다른 측에 따르면, 스테레오 영상에 기반하여 애너그리프 영상을 출력하는 애너그리프 영상 출력 장치에 있어서, 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부, 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부 및 상기 애너그리프 영상을 출력하는 디스플레이부를 포함하고, 상기 영상 이동부는 상기 시청자 및 상기 디스플레이부 간의 거리에 기반하여 상기 양안시차의 값을 결정하고, 상기 제1 영상 및 상기 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 출력 장치가 제공된다.According to another aspect of the present invention, an anamorphic image output device for outputting an anamorphic image based on a stereo image, the depth map generator for generating a depth map based on a first image and a second image, the depth map And an image moving unit generating a moved first image by moving the pixels in the first image based on the binocular disparity of the viewer, and a color generating an anaglyph image based on the moved first image and the second image. A mixing unit and a display unit for outputting the anaglyph image, wherein the image moving unit determines the value of the binocular disparity based on a distance between the viewer and the display unit, and the first image and the second image are respectively An anamorphic image output apparatus is provided, which is one of the stereo images.
상기 애너그리프 영상 출력 장치는, 상기 거리를 측정하여, 상기 측정된 거리를 상기 영상 이동부에게 제공하는 거리 측정부를 더 포함할 수 있다.The anaglyph image output apparatus may further include a distance measuring unit measuring the distance and providing the measured distance to the image moving unit.
상기 거리 측정부는 상기 시청자의 변화하는 위치를 동적으로 검출할 수 있고, 상기 동적으로 검출된 시청자의 위치에 기반하여 상기 디스플레이부 및 상기 시청자 간의 거리를 동적으로 계산할 수 있다. 상기 영상 이동부는 상기 동적으로 계산된 거리에 기반하여 상기 양안시차의 값을 동적으로 변경할 수 있고, 상기 변경된 양안시차의 값에 기반하여 상기 이동된 제1 영상을 생성할 수 있다.The distance measuring unit may dynamically detect a changing position of the viewer, and dynamically calculate a distance between the display unit and the viewer based on the dynamically detected viewer's position. The image moving unit may dynamically change the value of the binocular disparity based on the dynamically calculated distance, and generate the moved first image based on the changed value of the binocular disparity.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시킬 수 있고, 상기 픽셀의 이동량은 상기 거리 및 상기 디스플레이부의 픽셀 피치에 기반하여 결정될 수 있다.The image shifter may move a first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel, and the shift amount of the pixel may be determined based on the distance and the pixel pitch of the display unit. have.
본 발명의 또 다른 측에 따르면, 스테레오 영상에 기반하여 애너그리프 영상을 생성하는 애너그리프 영상 생성 방법에 있어서, 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성 단계, 상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동 단계 및 상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합 단계를 포함하고, 상기 제1 영상 및 상기 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 방법이 제공된다.According to another aspect of the present invention, in the anagrip image generation method for generating an anagrip image based on a stereo image, a depth map generation step of generating a depth map based on a first image and a second image, the depth An image shifting step of generating a moved first image by moving pixels in the first image based on a map and a binocular disparity of a viewer and generating an anagrip image based on the moved first image and the second image And a color mixing step, wherein each of the first image and the second image is one of the stereo images.
상기 깊이 맵 생성 단계는, 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하는 단계 및 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.The depth map generating may include detecting a second pixel in the second image corresponding to the first pixel in the first image and based on a difference between the coordinates of the first pixel and the coordinates of the second pixel. Calculating the depth of the first pixel.
상기 깊이 맵 생성 단계는, 상기 제1 픽셀을 포함하는 제1 블록을 설정하는 단계 및 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.The depth map generating may include setting a first block including the first pixel and detecting a second block in the second image having the highest matching degree with the first block to detect the depth of the first pixel. It may include the step of calculating.
상기 정합도는 SSD에 기반하여 계산될 수 있다.The matching degree may be calculated based on the SSD.
상기 영상 이동 단계는, 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키는 단계를 포함할 수 있고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정될 수 있다.The moving image may include moving the first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel, and the shift amount of the pixel may be determined by the binocular disparity. have.
상기 색상 혼합 단계는, 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하는 단계, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하는 단계 및 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는 단계를 포함할 수 있다.The color mixing may include generating a red channel of the anaglyph image based on the shifted green channel and the blue channel, and based on the green channel of the second image. And generating a blue channel of the anaglyph image based on the blue channel of the second image.
영상의 깊이 맵 및 시청자의 양안시차를 사용하여 애너그리프 영상을 생성하는 장치 및 방법이 제공된다.An apparatus and method are provided for generating an anaglyph image using a depth map of an image and binocular parallax of a viewer.
도 1은 본 발명의 일 예에 따른 애너그리프 방식을 설명한다.
도 2는 본 발명의 일 예에 따른 디스플레이 및 시청자 간의 거리에 따른 입체감을 예시한다.
도 3은 본 발명의 일 예에 따른 애너그리프 영상의 초점 문제를 예시한다.
도 4는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 장치의 구조도이다.
도 5는 본 발명의 일 예에 따른 스테레오 영상의 기하 구조에 따른 깊이 맵의 생성 방법을 설명한다.
도 6은 본 발명의 일 예에 따른 깊이 맵 생성 방법을 설명한다.
도 7은 본 발명의 일 예에 따른 서로 상이한 크기를 사용하여 생성된 깊이 맵들을 도시한다.
도 8은 본 발명의 일 예에 따른 양안시차에 기반한 이동된 영상의 생성 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 애너그리프 영상의 생성을 설명한다.
도 10은 본 발명의 일 예에 따른 애너그리프 영상의 생성 예를 도시한다.
도 11은 본 발명의 일 실시예에 따른 애너그리프 영상 출력 장치의 구조도이다.
도 12는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 방법의 흐름도이다.1 illustrates an anaglyph scheme according to an example of the present invention.
2 illustrates a three-dimensional effect according to a distance between a display and a viewer according to an embodiment of the present invention.
3 illustrates a focus problem of an anaglyph image according to an embodiment of the present invention.
4 is a structural diagram of an anaglyph image generating apparatus according to an embodiment of the present invention.
5 illustrates a method of generating a depth map according to the geometry of a stereo image according to an embodiment of the present invention.
6 illustrates a depth map generation method according to an embodiment of the present invention.
7 illustrates depth maps generated using different sizes according to an example of the present invention.
8 illustrates a method of generating a moved image based on binocular disparity according to an embodiment of the present invention.
9 illustrates generation of an anaglyph image according to an embodiment of the present invention.
10 illustrates an example of generating an anaglyph image according to an embodiment of the present invention.
11 is a structural diagram of an anaglyph image output apparatus according to an embodiment of the present invention.
12 is a flowchart of a method of generating an anagrip image according to an embodiment of the present invention.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일 예에 따른 애너그리프 방식을 설명한다.1 illustrates an anaglyph scheme according to an example of the present invention.
애너그리프(anaglyph) 방식은 안경을 사용하여 영상을 입체적으로 표시한다.The anaglyph method displays an image three-dimensionally using glasses.
애너그리프 방식은 적/청(red/cyan) 안경을 사용한다.Anagrip uses red / cyan glasses.
적/청 안경의 한 쪽 렌즈는 적색 렌즈, 다른 한 쪽 렌즈는 청색 렌즈이다.One lens of the red / blue glasses is a red lens and the other is a blue lens.
적색 렌즈는 적색이 입혀진 렌즈, 적색 셀로판지가 부착된 렌즈 또는 적색 셀로판지 등 영상이 투과될 수 있는 적색의 투명체이다. 일반적으로, 적/청 안경의 왼쪽 렌즈가 적색 렌즈이다.The red lens is a red transparent body through which an image can pass, such as a lens coated with red, a lens with red cellophane, or a red cellophane paper. Generally, the left lens of red / blue glasses is a red lens.
청색 렌즈는 청색이 입혀진 렌즈, 청색 셀로판지가 부착된 렌즈 또는 청색 셀로판지 등 영상이 투과될 수 있는 청색의 투명체이다. 일반적으로, 적/청 안경의 오른쪽 렌즈가 적색 렌즈이다.The blue lens is a blue transparent body through which an image can pass, such as a lens coated with blue, a lens with blue cellophane, or a blue cellophane. Generally, the right lens of red / blue glasses is a red lens.
시청자가 적/청 안경을 쓰면, 한 쪽 눈은 적색 렌즈를 통해 적색이 제거된 영상을 보며, 다른 한 쪽 눈은 청색 렌즈를 통해 청색이 제거된 영상을 본다. 따라서, 시청자의 양 눈들에는 서로 상이한 영상들이 전달된다.When a viewer wears red / blue glasses, one eye sees an image with red removed through a red lens, and the other eye sees an image with blue removed through a blue lens. Thus, different images are delivered to both eyes of the viewer.
애너그리프 방식은, 적/청 안경을 착용한 시청자의 양 안들 각각에게 적합한 영상을 전달하기 위해, 원본(source) 영상을 조작한다.The anagrip scheme manipulates the source image to deliver an appropriate image to each of the viewers wearing red / blue glasses.
애너그리프 영상(110)은 애너그리프 방식에 의해 조작된 영상이다. 애너그리프 영상은 적/청 안경을 쓴 시청자에게 입체감을 제공할 수 있도록 조작된 영상이다.The
애너그리프 영상은, 스테레오 카메라를 통해 획득된 좌측 영상 및 우측 영상을 사용함으로써 생성될 수 있다. 즉, 좌측 영상의 레드(red) 채널(120) 및 우측 영상의 그린(green), 블루(blue) 채널(130)을 합성함으로써 애너그리프 영상이 생성될 수 있다.Anagrip images may be generated by using left and right images obtained through a stereo camera. In other words, the anamorphic image may be generated by synthesizing the
즉, 좌측 영상 및 우측 영상은 단순히 적색 및 청색으로 분류되며, 적색으로 분류된 좌측 영상 및 청색으로 분류된 우측 영상이 합쳐짐으로써 애너그리프 영상이 생성된다. 이러한 합침에 의해, 시청자의 양 안들이 각각 다른 각도로 물체를 보는 효과를 발생시킴으로써 시청자가 입체감을 느끼게 할 수 있다.That is, the left image and the right image are simply classified as red and blue, and the anamorphic image is generated by combining the left image classified as red and the right image classified as blue. By this combination, the viewers can feel the three-dimensional effect by generating the effect of viewing the object at different angles.
스테레오 영상을 사용한 애너그리프 영상 생성 방법은 단순하게 구현될 수 있다. 그러나, 좌측 영상의 촬영 시점 및 우측 영상의 촬영 시점이 매우 멀리 떨어진 경우, 합성에 의해 생성된 애너그리프 영상의 입체감이 많이 떨어진다. 또한, 좌측 영상의 촬영 시점 및 우측 영상의 촬영 시점이 매우 인접한 경우, 촬영된 두 영상들 간의 차이가 거의 없기 때문에 시청자는 애너그리프 영상을 통해 입체감을 느끼지 못할 수 있다.The anaglyph image generation method using the stereo image may be simply implemented. However, when the photographing time point of the left image and the photographing time point of the right image are far apart, the stereoscopic feeling of the anagrip image generated by the synthesis is inferior. In addition, when the photographing time point of the left image and the photographing time point of the right image are very close to each other, the viewer may not be able to feel a three-dimensional effect through the anagrid image because there is little difference between the two images.
또한, 좌측 영상 및 우측 영상의 깊이(depth)는 전체적으로 균일하지 않다. 따라서, 초점이 조절되더라도, 시청자는 초점이 맞춰진 영상 내의 특정 영역에서만 입체감을 느낄 수 있고, 다른 영역에서는 입체감을 느끼지 못할 수 있다.
Also, the depths of the left and right images are not uniform throughout. Therefore, even if the focus is adjusted, the viewer may feel a three-dimensional effect only in a specific area within the focused image, and may not feel a three-dimensional feeling in another area.
도 2는 본 발명의 일 예에 따른 디스플레이 및 시청자 간의 거리에 따른 입체감을 예시한다.2 illustrates a three-dimensional effect according to a distance between a display and a viewer according to an embodiment of the present invention.
고정된 스테레오 카메라를 사용하여 스테레오 영상이 촬영된 경우, 디스플레이된 애너그리프 영상(210) 및 시청자 간의 거리에 따라 시청자가 느끼는 영상의 입체감이 상이할 수 있다.When a stereo image is captured by using a fixed stereo camera, the stereoscopic sense of the image felt by the viewer may be different according to the displayed
이는, 시청자의 양 안들 간의 양안시차가 애너그리프 영상 및 상기 양 안들 간의 거리에 따라 달라지기 때문이다.This is because the binocular disparity between the two eyes of the viewer depends on the anaglyph image and the distance between the two eyes.
따라서, 시청자 및 디스플레이 간의 거리에 따라, 시청자가 최적의 입체감을 느낄 수 있는 시차가 측정될 필요가 있으며, 이러한 측정된 시차에 기반하여 애너그리프 영상이 생성될 필요가 있다.
Therefore, according to the distance between the viewer and the display, a parallax for the viewer to feel an optimal three-dimensional feeling needs to be measured, and an anagrid image needs to be generated based on the measured parallax.
도 3은 본 발명의 일 예에 따른 애너그리프 영상의 초점 문제를 예시한다.3 illustrates a focus problem of an anaglyph image according to an embodiment of the present invention.
도 3에서, 스테레오 영상의 좌측 영상(310)이 도시되었다.In FIG. 3, the
또한, 좌측 카메라(즉, 좌측 영상이 촬영된 지점) 및 우측 카메라(즉, 우측 영상이 촬영된 지점)의 거리에 따라, 2 개의 우측 영상(320 및 330)이 도시되었다.Also, two
양 카메라들 간의 거리(즉, 양 영상들이 촬영된 지점들 간의 거리)가 δ일 때, 좌측 영상(310) 및 우측 영상(320)의 합성에 의해 생성된 결과 영상(340)이 도시되었다. 또한, 양 카메라들 간의 거리가 2δ일 때, 좌측 영상(310) 및 우측 영상(330)의 합성에 의해 생성된 결과 영상(350)이 도시되었다.When the distance between both cameras (ie, the distance between the points where both images are photographed) is δ, the
전술된 것처럼, 최적의 입체감을 제공하기 위해서는, 양 카메라들 간의 거리에 기반하여 적합한 애너그리프 영상(340 또는 350)이 생성되어야 한다.As described above, in order to provide an optimal three-dimensional experience, a
만약, 양 카메라들 간의 거리가 고려되지 않은 채 애너그리프 영상이 조합되면, 시청자의 양 안들에 각각 -히는 영상들의 초점이 일치하지 않는 문제가 발생할 수 있다.
If anagrip images are combined without considering the distances between the two cameras, a problem may arise in that the focus of the respective -height images does not coincide in both viewers.
도 4는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 장치의 구조도이다.4 is a structural diagram of an anaglyph image generating apparatus according to an embodiment of the present invention.
애너그리프 영상 생성 장치(400)는 스테레오 영상 수신부(410), 깊이 맵 생성부(420), 영상 이동부(430) 및 색상 혼합부(440)를 포함할 수 있다.The anaglyph
스테레오 영상 수신부(410)는 제1 영상 및 제2 영상을 수신한다.The
제1 영상 및 제2 영상은 동일한 피사체를 서로 상이한 시점에서 촬영한 스테레오 영상이다.The first image and the second image are stereo images of the same subject photographed at different viewpoints.
제1 영상은 스테레오 영상 중 좌측 영상일 수 있다. 제2 영상은 스테레오 영상 중 우측 영상일 수 있다.The first image may be a left image of the stereo image. The second image may be a right image of the stereo image.
깊이 맵 생성부(420)는 제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성한다.The
영상 이동부(430)는 깊이 맵 및 시청자의 양안시차에 기반하여 제1 영상 내의 픽셀(pixel)들을 이동함으로써 이동된 제1 영상을 생성한다.The
색상 혼합부(440)는 이동된 제1 영상 및 제2 영상에 기반하여 애너그리프 영상을 생성한다.The
애너그리프 영상 생성 장치(400)는 장치(400) 내에 저장된 데이터를 독출하여 스테레오 영상을 제공하는 저장부를 더 포함할 수 있다. 저장부는 애너그리프 영상 생성 장치(400) 내의 지역 저장소(local storage)일 수 있다.
The anaglyph
도 5는 본 발명의 일 예에 따른 스테레오 영상의 기하 구조에 따른 깊이 맵의 생성 방법을 설명한다.5 illustrates a method of generating a depth map according to the geometry of a stereo image according to an embodiment of the present invention.
하기의 수학식 1은 스테레오 카메라를 통해 획득된 좌측 영상 및 우측 영상을 이용하여 깊이 맵을 생성하는 방법을 설명한다.Equation 1 below describes a method of generating a depth map by using a left image and a right image acquired through a stereo camera.
여기서, b는 스테레오 카메라들 사이의 거리를 의미한다. 즉, b는 스테레오 카메라들 사이의 기선(baseline)의 길이이다.Here, b means the distance between the stereo cameras. B is the length of the baseline between the stereo cameras.
f는 카메라의 초점거리를 나타낸다. f represents the focal length of the camera.
z는 영상의 깊이를 나타내는 값이다. 예컨대, 깊이는 피사체 및 기선 간의 거리이다.z is a value representing the depth of the image. For example, depth is the distance between the subject and the baseline.
△u는 같은 물체를 바라봤을 때 두 영상들 간의 거리 차이를 나타낸다.Δu represents the distance difference between two images when looking at the same object.
도 5에서, 수학식 1 내의 요소들의 기하 구조 관계가 도시되었다.
In FIG. 5, the geometric relationships of the elements in Equation 1 are shown.
도 6은 본 발명의 일 예에 따른 깊이 맵 생성 방법을 설명한다.6 illustrates a depth map generation method according to an embodiment of the present invention.
깊이 맵 생성부(420)는 수학식 1을 사용하여 변이(disparity)를 계산할 수 있다.The
좌측 영상(610) 및 우측 영상(620)은 각각 하나 이상의 픽셀들로 구성된다.The
픽셀의 변이에 따라, 좌측 영상(610) 내의 제1 픽셀과 상기 제1 픽셀에 대응하는 우측 영상(620) 내의 제2 픽셀은 서로 다른 x 좌표 값을 갖는다. 여기서, 서로 대응하는 픽셀이란, 피사체의 동일 지점을 나타내는 픽셀을 의미한다.According to the pixel variation, the first pixel in the
본 예에서는, 제1 픽셀이 좌측 영상(610) 내에 있고, 제2 픽셀이 우측 영상(620) 내에 있는 것을 전제로, 깊이 맵 생성 방법이 설명된다. 그러나, 본 예는 제1 픽셀이 우측 영상(620) 내에 있고, 제1 픽셀이 좌측 영상(610) 내에 있는 경우에도 적용될 수 있다.In this example, the depth map generation method is described assuming that the first pixel is in the
제1 픽셀의 좌표 및 제2 픽셀의 좌표 간의 차가 제1 픽셀의 변이이다. 깊이 맵 생성부(420)는 제1 픽셀의 변이에 기반하여 제1 픽셀의 깊이를 계산할 수 있다.The difference between the coordinates of the first pixel and the coordinates of the second pixel is the variation of the first pixel. The
제1 픽셀의 변이를 계산하기 위해서, 깊이 맵 생성부(420)는 제1 픽셀에 대응하는 제2 픽셀을 우측 영상(620) 내에서 검출할 수 있다.In order to calculate the variation of the first pixel, the
그러나, 깊이 맵 생성부(420)가 우측 영상(620) 내의 각 픽셀을 제1 픽셀과 비교함으로써 대응하는 제2 픽셀을 검출할 경우, 한 픽셀의 주변에는 유사한 색상을 갖는 다른 픽셀들이 분포할 가능성이 높기 때문에, 깊이 맵 생성부(420)는 대응하는 픽셀을 정확하게 찾지 못할 수 있다. 따라서, 대응하는 픽셀을 검출하기 위해 블록 정합(block matching)이 사용될 수 있다.However, when the
계산된 픽셀들의 변이가 계산되면, 깊이 맵 생성부(420)는 픽셀들의 변이에 기반하여 깊이 맵을 생성할 수 있다.When the calculated variation of the pixels is calculated, the
하기에서, 블록 정합을 설명한다.In the following, block matching is described.
깊이 맵 생성부(420)는 제1 픽셀을 포함하는 제1 블록(612)을 설정한다.The
제1 블록(614)은 제1 픽셀 및 제1 픽셀의 가장 가까운 이웃(nearest neighbor) 픽셀들로 구성될 수 있다.The
제1 픽셀은 제1 블록(614)의 중앙에 위치한 픽셀일 수 있다.The first pixel may be a pixel located at the center of the
제1 블록(614)은 사각형일 수 있다.The
제1 블록(614)은 5x5(가로 5 픽셀, 세로 5 픽셀), 7x7, 9x9, 12x12 등과 같은 정사각형일 수 있다. 일반적으로, 제1 픽셀은 제1 블록(614)을 구성하는 픽셀들 중 중심의 픽셀이다.The
깊이 맵 생성부(420)는 제1 블록(614)과의 정합도가 가장 높은 우측 영상(620) 내의 제2 블록(624)을 검출함으로써 제1 픽셀의 깊이를 계산할 수 있다. 즉, 제1 블록은 블록 매칭을 위해 사용되는 정합 창(Matching Window)이다.The
제2 블록(624)은 제1 블록(614)과 동일한 모양을 갖는 블록이다. 제2 블록(624) 중, 제1 픽셀의 제1 블록(614) 내에서의 위치와 동일한 위치(예컨대, 블록의 중심)에 있는 픽셀이 제2 픽셀이다.The
스테레오 영상의 특성 상, 일반적으로 제1 픽셀의 y 좌표 값 및 제2 픽셀의 y 좌표 값은 동일하다. 즉, 제1 픽셀이 위치한 좌측 영상(610) 내의 수평선(612) 및 제2 픽셀이 위치한 우측 영상(620) 내의 수평선(622)는 동일한 위치에 존재한다.In general, the y coordinate value of the first pixel and the y coordinate value of the second pixel are the same. That is, the
따라서, 깊이 맵 생성부(420)는 제1 픽셀이 위치한 수평선 상에서 픽셀들을 스캔(scan)함으로써 제2 픽셀을 검출할 수 있다. 또한, 깊이 맵 생성부(420)는 제1 블록(614)이 위치한 수평 위치에서 블록들을 스캔함으로써 제2 블록(624)을 검출할 수 있다.Therefore, the
깊이 맵 생성부(420)는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록 간의 정합도를 계산할 수 있다.The
깊이 맵 생성부(420)는 하기의 수학식 2에 기반하여 SSD를 계산할 수 있다.The
여기서, N(x, y)는 좌표 값이 (x, y)인 제1 픽셀을 중심으로 한 제1 블록(614)(즉, 정합 창)을 나타낸다.Here, N ( x , y ) represents a first block 614 (ie, a matching window) centered on a first pixel whose coordinate value is ( x , y ).
하기에서, 좌표 값이 (x, y)인 픽셀을 "픽셀(x, y)"로 표시한다.In the following, a pixel whose coordinate value is ( x , y ) is denoted as "pixel ( x , y )".
(i, j)는 제1 블록(614) 내의 픽셀의 좌표(또는, 위치)이다. I L (x, y)는 좌측 영상(610) 내의 픽셀(x, y)의 픽셀 값(예컨대, 픽셀의 컬러 값)을 나타낸다. I R (x, y)는 우측 영상(620) 내의 픽셀(x, y)의 픽셀 값(예컨대, 픽셀의 컬러 값)을 나타낸다.( i , j ) are the coordinates (or positions) of the pixels in the
d는 스캔 범위 내에 존재하는 변이를 나타낸다. d represents the variation present within the scan range.
d(x, y)는 제1 픽셀의 최종적인 변이 값이다. d(x, y)의 값은, 스캔 범위 내의 값들 중, 수식 "
좌측 영상(610) 내의 픽셀들 각각의 변이가 계산되면, 깊이 맵 생성부(420)는 픽셀의 변이에 기반하여 픽셀의 깊이 값을 계산할 수 있다.
When the variation of each pixel in the
도 7은 본 발명의 일 예에 따른 서로 상이한 크기를 사용하여 생성된 깊이 맵들을 도시한다.7 illustrates depth maps generated using different sizes according to an example of the present invention.
깊이 맵 생성의 대상이 되는 영상(710) 및 상기 영상(710)의 실제 깊이 맵(720)이 도시되었다.The
또한, 깊이 맵 생성부(420)에 의해 생성된 4 개의 깊이 맵들(730, 740, 750 및 760)이 도시되었다.In addition, four
제1 깊이 맵(730)은 3x3 블록이 사용되었을 경우에 생성된 깊이 맵이다.The
제2 깊이 맵(740)은 5x5 블록이 사용되었을 경우에 생성된 깊이 맵이다.The
제3 깊이 맵(750)은 7x7 블록이 사용되었을 경우에 생성된 깊이 맵이다.The
제4 깊이 맵(760)은 9x9 블록이 사용되었을 경우에 생성된 깊이 맵이다.The
도시된 것처럼, 어떠한 크기의 블록이 사용되었는가에 따라, 생성된 깊이 맵들의 정확도가 각각 상이하다.As shown, the accuracy of the generated depth maps differs, respectively, according to what size block is used.
실험적으로, 7x7 블록이 사용되었을 경우에 생성된 깊이 맵(750)이 영상(710)의 실제 깊이(720) 맵과 가장 근사하였다.Experimentally, the
따라서, 깊이 맵 생성부(420)는 제1 영상(610)의 실제 깊이 맵과 가장 근사한 깊이 맵을 생성하는 것으로 실험적으로 판정된 크기로 제1 블록(614)을 설정할 수 있다.
Therefore, the
도 8은 본 발명의 일 예에 따른 양안시차에 기반한 이동된 영상의 생성 방법을 설명한다.8 illustrates a method of generating a moved image based on binocular disparity according to an embodiment of the present invention.
양안시차가 고려되지 않은 채, 가장 가까운 물체 또는 가장 먼 물체에 초점이 맞추어진 애너그리프 영상이 생성되면, 생성된 애너그리프 영상의 전체적인 입체감이 떨어진다.When an anamorphic image focused on the nearest object or the farthest object is generated without binocular disparity being considered, the overall stereoscopic sense of the generated anamorphic image is degraded.
좌측 영상 및 우측 영상 간의 차이가 양안시차보다 더 큰데, 양안시차가 고려되지 않은 채 애너그리프 영상이 생성되면, 시청자는 생성된 애너그리프 영상으로부터 입체감을 느끼지 못할 수 있다.If the difference between the left image and the right image is larger than the binocular disparity, and the anamorphic image is generated without the binocular disparity being considered, the viewer may not be able to feel a three-dimensional effect from the generated anaglyph image.
영상 이동부(430)는 깊이 맵에 양안 시차를 적용함으로써 원본 영상(810) 내의 픽셀들을 이동시킬 수 있다. 원본 영상(810)은 전술된 좌측 영상(610)일 수 있다. 즉, 원본 영상(810)은 깊이 맵 생성부(420)에 의해 깊이 맵이 생성된 영상이다.The
영상 이동부(430)는 원본 영상(610) 내의 픽셀들을 이동시킴으로써 이동된 영상(820)을 생성할 수 있다.The
영상 이동부(440)는 하기의 수학식 3 및 수학식 4에 기반하여 원본 영상(610) 내의 픽셀들을 이동시킬 수 있다.The
d(x, y)는 픽셀(x, y)의 변이 값이다. d ( x , y ) is the disparity value of pixel ( x , y ).
C는 시청자의 양안시차에 의해 결정되는 픽셀의 이동량이다. 예컨대, C는 시청자에게 최적의 입체감을 제공하기 위한 좌측 영상 및 우측 영상의 대응하는 픽셀들 간의 거리이다. C is an amount of movement of the pixel determined by the binocular disparity of the viewer. For example, C is the distance between the corresponding pixels of the left image and the right image to provide the viewer with optimal stereoscopic feeling.
좌측 영상 내의 좌표 값이 (x, y)인 제1 픽셀과, 상기 제1 픽셀에 대응하는 우측 영상 내의 제2 픽셀은 이미 d(x, y) 만큼 떨어져있다.The first pixel whose coordinate value in the left image is ( x , y ) and the second pixel in the right image corresponding to the first pixel are already separated by d ( x , y ).
따라서, 제1 픽셀과 제2 픽셀이 최적의 거리 C만큼 떨어지기 위해서는, 제1 픽셀이 "C - d(x, y)" 만큼 이동해야 한다. 즉, δ(x, y)는 픽셀(x, y)이 이동해야 되는 거리이다.Thus, in order for the first pixel and the second pixel to fall by an optimal distance C , the first pixel must move by " C - d ( x , y )". That is, δ ( x , y ) is the distance by which pixels ( x , y ) should be moved.
영상 이동부(440)는 깊이 맵 정보를 이용하여 좌측 영상이 우측 영상에서 C만큼 떨어지도록 좌측 영상을 조작하기 위해, 좌측 영상의 픽셀(x, y)에 대해 차이 값 δ(x, y)를 계산할 수 있다.The
I L (x, y)는 원본 영상(810) 내의 픽셀(x, y)의 픽셀 값을 나타낸다. I L (x, y) denotes a pixel value of the pixel (x, y) in the original image (810).
I' L (x, y)는 이동된 영상(820) 내의 픽셀(x, y)의 픽셀 값을 나타낸다. I 'L (x, y) denotes a pixel value of the pixel (x, y) within the moving
수학식 4에 따라, 영상 이동부(440)는 원본 영상(810) 내의 픽셀을 양안시차에 따른 픽셀의 이동량 C 및 상기 픽셀의 변의 값의 차 d(x, y)만큼 이동시킴으로써 이동된 영상(820)을 생성할 수 있다.According to Equation 4, the
따라서, 영상 이동부(440)는 좌측 영상 내의 제1 픽셀이, 상기 제1 픽셀의 깊이에 따라, 상기 제1 픽셀에 대응하는 우측 영상 내의 제2 픽셀과 C 만큼 떨어지게 한다.Therefore, the
하기의 표 1은 시청자 및 애너그리프 영상 간의 거리, 상기 거리에 따른 양안시차, 상기 양안시차(또는, 상기 거리) 의해 결정되는 픽셀의 이동량의 일 예를 나타낸다.Table 1 below shows an example of the amount of movement of pixels determined by the distance between the viewer and the anaglyph image, the binocular disparity according to the distance, and the binocular disparity (or the distance).
즉, 시청자 및 영상(또는, 영상이 표시되는 디스플레이) 간의 거리가 600mm일 때, 양안시차는 1.9mm이고, 양안시차에 따라 픽셀이 이동되어야 하는 이동량은 7이다. 즉, 픽셀의 x 좌표는 7만큼 변경되어야 한다.That is, when the distance between the viewer and the image (or the display on which the image is displayed) is 600 mm, the binocular disparity is 1.9 mm, and the amount of movement that the pixel must move according to the binocular disparity is 7. That is, the x coordinate of the pixel should be changed by seven.
픽셀의 이동량은, 실험적으로 측정된 것으로, 양안시차에 의해 가장 입체감을 느낄 수 있는 차이가 측정된 것이다.The amount of movement of the pixels is measured experimentally, and the difference that can feel the most three-dimensional effect by the binocular parallax is measured.
표 1의 양안시차는 전술될 수학식 1을 이용하여, 시청자 및 애너그리프 영상 간의 거리에 대한 양안시차를 측정한 값을 나타낸 것이다.The binocular disparity of Table 1 represents a value obtained by measuring binocular disparity with respect to the distance between the viewer and the anagrip image using Equation 1 to be described above.
인간의 눈의 초점 거리 f는 17mm이고, 두 눈 사이의 거리를 나타내는 기선은 평균적으로 60~70mm이다. 표 1의 거리 400~700mm는 사용자의 눈에 해롭지 않은 디스플레이 및 눈의 평균적인 거리이다.The focal length f of the human eye is 17 mm, and the baseline representing the distance between the two eyes is 60-70 mm on average. The distance 400-700 mm in Table 1 is the average distance between the display and the eye that is not harmful to the user's eyes.
즉, 표 1의 값들은, 고정된 값(f는 17mm, b는 65mm)이 대입된 수학식 1에 의해 계산된 결과이다.That is, the values in Table 1 are the results calculated by Equation 1 into which fixed values ( f is 17 mm and b are 65 mm) are substituted.
표 1에서 나타난 것처럼, 좌측 영상 및 우측 영상 간의 시차가 6~10 픽셀일 경우, 가장 적절한 입체감이 시청자에게 제공될 수 있다.As shown in Table 1, when the parallax between the left image and the right image is 6-10 pixels, the most suitable stereoscopic feeling may be provided to the viewer.
영상 이동부(440)는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정할 수 있다. 예컨대, 시청자의 평균적인 시청 거리가 600mm이면, 영상 이동부(440)는 양안시차를 1.9로 결정할 수 있고, 픽셀의 이동량을 7로 결정할 수 있다.The
도 9는 본 발명의 일 실시예에 따른 애너그리프 영상의 생성을 설명한다.9 illustrates generation of an anaglyph image according to an embodiment of the present invention.
이동 전의 원본 영상(710), 원본 영상(710)의 깊이 맵(720) 및 애너그리프 영상 생성 장치(400)에 의해 생성된 애너그리프 영상(910)이 도시되었다.The
원본 영상은 좌측 영상(610)일 수 있다.The original image may be a
애너그리프 영상(910)은 픽셀이 이동량이 10으로 설정된 채 생성된 것이다.The
색상 혼합부(440)는 이동된 좌측 영상(820)(즉, 이동된 좌측 영상) 및 우측 영상(620)을 혼합함으로써 애너그리프 영상을 생성할 수 있다.The
애너그리프 영상으로 인한 눈의 피로감을 감소시키고, 가장 입체감 있는 영상을 생성하기 위해, 최적화된 색상 혼합 방법이 사용될 수 있다.In order to reduce eye strain due to an anagrip image and produce the most stereoscopic image, an optimized color mixing method can be used.
색상 혼합부(440)는 하기의 수학식 5에 기반하여 애너그리프 영상을 생성할 수 있다.The
I R R 은 우측 영상(620)의 레드 채널(red channel)이다. I R G 은 우측 영상(620)의 그린 채널(green channel)이다. I R B 은 우측 영상(620)의 블루 채널(red channel)이다. I R R is a red channel of the
I' L R 은 이동된 좌측 영상(820)의 레드 채널이다. I' L G 은 이동된 좌측 영상(820)의 그린 채널이다. I' L B 은 이동된 좌측 영상(820)의 블루 채널이다. I ' L R is the red channel of the moved
I final R 은 애너그리프 영상(910)의 레드 채널이다. I final G 은 애너그리프 영상(910)의 그린 채널이다. I final B 은 애너그리프 영상(910)의 블루 채널이다. I final R is the red channel of the
수학식 5에 따라, I final R = 0.7I' L G + 0.3I' L B 이고, I final G = I R G 이고, I R B =I R B 이다.According to Equation 5, I final R = 0.7 I ' L G + 0.3 I' L B , I final G = I R G , I R B = I R B.
즉, 좌측 눈에 투영될 영상의 레드 채널 값은, 이동된 좌측 영상(820)의 레드 값의 0%, 그린 값의 70% 및 블루 값의 30%의 합이다. 또한, 우측 영상의 그린 값 및 블루 값은 그대로 남겨졌다. 이러한 방식으로 생성된 애너그리프 영상은 가장 뛰어난 품질로 색을 재현하고, 입체감을 형성하는 특성을 갖는다. 이러한 특성은, 모노톤(monotone) 및 컬러 혼합의 애너그리프 영상에서 발생하는 블루 및 레드 부분의 망막 경합이, 전술된 방법에 따라 생성된 애너그리프 영상에서는 현저하게 감소되는 것에 기인한다.That is, the red channel value of the image to be projected to the left eye is the sum of 0% of the red value, 70% of the green value, and 30% of the blue value of the shifted
즉, 색상 혼합부(440)는 이동된 좌측 영상(820)의 그린 채널 및 블루 채널에 기반하여 애너그리프 영상의 레드 채널을 생성할 수 있고, 우측 영상(620)의 그린 채널에 기반하여 애너그리프 영상의 그린 채널을 생성할 수 있고, 우측 영상(620)의 블루 채널에 기반하여 애너그리프 영상의 블루 채널을 생성할 수 있다.That is, the
전술된 본 발명의 예들에 의해 설명된 것처럼, 깊이 맵을 이용함으로써 입체 영상의 초점이 맞지 않거나 제한된 영역에만 초점이 맞는 문제가 해결될 수 있다.As described by the examples of the present invention described above, the problem of focusing only on a limited area or an out of focus of a stereoscopic image can be solved by using a depth map.
또한, 양안시차를 고려함으로써 입체감이 골고루 느껴질 수 있는 입체 영상이 생성될 수 있으며, 최적화된 색상 혼합 방법을 사용함으로써 입체 영상으로 인한 눈의 피로감을 감소시킬 수 있다.
In addition, by considering binocular parallax, a stereoscopic image may be generated in which a stereoscopic sense may be evenly sensed, and an eye fatigue due to a stereoscopic image may be reduced by using an optimized color mixing method.
도 10은 본 발명의 일 예에 따른 애너그리프 영상의 생성 예를 도시한다.10 illustrates an example of generating an anaglyph image according to an embodiment of the present invention.
콘(corn), 책 및 목재를 나타내는 영상의 실제 깊이 값을 나타내는 깊이 맵(1010, 1020 및 1030)이 제1 열에 도시되었다.
제2 열에 도시된 영상들(1012, 1022 및 1032)은 양안시차를 고려하지 않은 채 생성된 종래의 애너그리프 영상이다.The
제3 열에 도시된 영상들(1014, 1024 및 1034)은, 전술된 본 발명의 실시예들에 따른, 양안시차 및 색상 혼합이 적용된 애너그리프 영상이다.The
영상(1012) 및 영상(1014)를 비교하면, 적색 및 청색 영상 간의 떨어진 거리의 차가 서로 상이한 것을 알 수 있다.Comparing the image 1012 and the image 1014, it can be seen that the difference in the distance between the red and blue image is different from each other.
제3 열의 영상들(1014, 1024 및 1034)은 제2 열의 영상들(1012, 1022 및 1032)에 비해 뛰어난 입체감을 제공할 수 있으며, 시청자의 눈이 느끼는 피로감을 경감시킬 수 있다.The third row of
도시된 영상들을 통해 알 수 있듯이, 좌측 영상 및 우측 영상의 초점이 맞지 않고, 양 영상들 간의 시차가 너무 큰 경우에는, 시청자가 인식하는 영상의 입체감이 떨어질 수 있으며, 시청자에게 시각적으로 피로감을 줄 수 있다.
As can be seen from the illustrated images, when the left and right images are not in focus, and when the parallaxes between the two images are too large, the stereoscopic sense of the image perceived by the viewer may be degraded, which may cause visual fatigue to the viewer. Can be.
도 11은 본 발명의 일 실시예에 따른 애너그리프 영상 출력 장치의 구조도이다.11 is a structural diagram of an anaglyph image output apparatus according to an embodiment of the present invention.
애너그리프 영상 출력 장치는 스테레오 영상 수신부(410), 깊이 맵 생성부(420), 영상 이동부(430) 및 색상 혼합부(440)를 포함하며, 거리 측정부(1110) 및 디스플레이부(1120)를 포함한다.The anaglyph image output apparatus includes a
디스플레이부(1120)는 색상 혼합부(440)에 의해 생성된 애너그리프 영상을 출력한다.The
영상 이동부(430) 시청자 및 디스플레이부(1120)의 거리에 기반하여 양안시차의 값을 결정한다.The
거리 측정부(1110)는 시청자(1190) 및 디스플레이부(1120) 간의 거리 L을 측정하여 측정된 거리 L을 영상 이동부(430)에게 제공한다.The
거리 측정부(1110)는 모션 캡춰(motion capture) 장치 또는 적외선 탐지 장치와 같은, 물체의 위치 또는 물체와의 거리를 측정하는 장치이다.The
거리 측정부(1110)는 시청자(1190)의 위치를 검출하여 디스플레이부(1120) 및 시청자(1190)의 거리 L을 계산할 수 있다.The
영상 이동부(430)는 계산된 거리 및 디스플레이부(1120)의 픽셀 피치(pitch)에 기반하여 픽셀의 이동량을 계산할 수 있다.The
거리 측정부(1110)는 시청자(1190)의 변화하는 위치를 동적으로 검출할 수 있고, 동적으로 검출된 시청자의 위치에 기반하여 디스플레이부(1120) 및 시청자(1190) 간의 거리를 동적으로 계산할 수 있다. 따라서, 영상 이동부는(430) 동적으로 계산된 거리에 기반하여 양안시차의 값을 동적으로 변경하고, 변경된 양안시차 값에 기반하여 픽셀이 이동된 제1 영상을 생성할 수 있다.The
앞서 도 1 내지 도 10을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
The technical contents according to one embodiment of the present invention described above with reference to FIGS. 1 to 10 may be applied to the present embodiment as it is. Therefore, more detailed description will be omitted below.
도 12는 본 발명의 일 실시예에 따른 애너그리프 영상 생성 방법의 흐름도이다.12 is a flowchart of a method of generating an anagrip image according to an embodiment of the present invention.
스테레오 영상 수신 단계(S1210)에서, 제1 영상 및 제2 영상이 수신된다.In operation S1210, the first image and the second image are received.
제1 영상 및 제2 영상은 각각 스테레오 영상 중 한 편의 영상이다. 제1 영상은 좌측 영상일 수 있고, 제2 영상은 우측 영상일 수 있다.Each of the first image and the second image is one of stereo images. The first image may be a left image and the second image may be a right image.
깊이 맵 생성 단계(S1220)에서, 제1 영상 및 제2 영상에 기반하여 깊이 맵이 생성된다.In the depth map generation step S1220, a depth map is generated based on the first image and the second image.
깊이 맵 생성 단계(S1120)는 1) 1 영상 내의 제1 픽셀과 대응하는 제2 영상 내의 제2 픽셀을 검출하는 단계 및 2) 제1 픽셀의 좌표 및 제2 픽셀의 좌표 간의 차에 기반하여 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.Depth map generation step (S1120) may include 1) detecting a second pixel in a second image corresponding to the first pixel in the first image, and 2) generating a second map based on a difference between the coordinates of the first pixel and the coordinates of the second pixel. Calculating a depth of one pixel.
깊이 맵 생성 단계(S1120)는 1) 제1 픽셀을 포함하는 제1 블록을 설정하는 단계 및 2) 제1 블록과의 정합도가 가장 높은 제2 영상 내의 제2 블록을 검출함으로써 제1 픽셀의 깊이를 계산하는 단계를 포함할 수 있다.Depth map generation step (S1120) is performed by 1) setting a first block including a first pixel and 2) detecting a second block in a second image having the highest matching degree with the first block. Calculating the depth.
블록들 간의 정합도는 SSD에 기반하여 계산될 수 있다.The match between blocks may be calculated based on the SSD.
거리 측정 단계(S1230)에서, 애너그리프 영상을 출력하는 디스플레이 및 시청자 간의 거리가 측정된다.In the distance measuring step S1230, the distance between the display outputting the anaglyph image and the viewer is measured.
영상 이동 단계(S1240)에서, 깊이 맵 및 시청자의 양안시차에 기반하여 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상이 생성된다.In the image moving step S1240, the moved first image is generated by moving the pixels in the first image based on the depth map and the binocular disparity of the viewer.
영상 이동 단계(S1240)는 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 제1 픽셀의 변의 값의 차만큼 이동시키는 단계를 포함할 수 있으며, 픽셀의 이동량은 양안시차에 의해 결정될 수 있다.The image shifting step S1240 may include moving the first pixel in the first image by the difference between the shift amount of the pixel and the value of the side of the first pixel, and the shift amount of the pixel may be determined by binocular disparity.
또한, 거리 측정 단계(S1230)에서, 애너그리프 영상을 출력하는 디스플레이 및 시청자 간의 거리가 측정된 경우, 양안시차는 측정된 거리에 기반하여 결정될 수 있다.In addition, in the distance measuring step S1230, when the distance between the display outputting the anaglyph image and the viewer is measured, the binocular disparity may be determined based on the measured distance.
색상 혼합 단계(S1250)에서, 이동된 제1 영상 및 제2 영상에 기반하여 애너그리프 영상이 생성된다.In the color mixing step (S1250), an anaglyph image is generated based on the moved first image and the second image.
이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 애너그리프 영상의 레드 채널이 생성될 수 있고, 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널이 생성될 수 있고, 제2 영상의 블루 채널에 기반하여 애너그리프 영상의 블루 채널이 생성될 수 있다.A red channel of the anaglyph image may be generated based on the moved green channel and the blue channel of the first image, and a green channel of the anagryph image may be generated based on the green channel of the second image. The blue channel of the anaglyph image may be generated based on the blue channel of the image.
혼합된 영상 출력 단계(S1260)에서, 생성된 애너그리프 영상이 디스플레이에 의해 출력된다.In the mixed image output step (S1260), the generated anaglyph image is output by the display.
앞서 도 1 내지 도 11을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
Technical contents according to an embodiment of the present invention described above with reference to FIGS. 1 to 11 may be applied to the present embodiment as it is. Therefore, more detailed description will be omitted below.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
400: 애너그리프 영상 생성 장치.
420: 깊이 맵 생성부
430: 영상 이동부
440: 색상 혼합부400: an anamorphic image generating device.
420: depth map generator
430: the image moving unit
440: color mixing unit
Claims (23)
제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부;
상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부; 및
상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부
를 포함하고, 제1 영상 및 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 장치.An apparatus for generating an anagrip image based on a stereo image, the apparatus comprising:
A depth map generator configured to generate a depth map based on the first image and the second image;
An image moving unit generating a moved first image by moving pixels in the first image based on the depth map and binocular parallax of the viewer; And
A color mixer for generating an anagrip image based on the moved first image and the second image.
Wherein the first image and the second image are one of the stereo images, respectively.
상기 제1 영상 및 상기 제2 영상을 수신하는 스테레오 영상 수신부
를 더 포함하는, 애너그리프 영상 생성 장치.The method of claim 1,
Stereo image receiver for receiving the first image and the second image
Further comprising, anagrip image generating apparatus.
상기 애너그리프 영상 생성 장치 내에 저장된 데이터를 독출하여 상기 제1 영상 및 상기 제2 영상을 제공하는 저장부
를 더 포함하는, 애너그리프 영상 생성 장치.The method of claim 1,
A storage unit for reading the data stored in the anaglyph image generating apparatus and providing the first image and the second image
Further comprising, anagrip image generating apparatus.
상기 제1 영상은 좌측 영상이고, 상기 제2 영상은 우측 영상인, 애너그리프 영상 생성 장치.The method of claim 1,
And the first image is a left image and the second image is a right image.
상기 깊이 맵 생성부는 상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하고, 상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는, 애너그리프 영상 생성 장치.The method of claim 1,
The depth map generator detects a second pixel in the second image corresponding to the first pixel in the first image and based on a difference between the coordinates of the first pixel and the coordinates of the second pixel. Calculate the depth of the anagrip image generating device.
상기 깊이 맵 생성부는 상기 제1 픽셀을 포함하는 제1 블록을 설정하고, 상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는, 애너그리프 영상 생성 장치.The method of claim 4, wherein
The depth map generator sets a first block including the first pixel and calculates a depth of the first pixel by detecting a second block in the second image having the highest matching degree with the first block. Anagrip image generator.
상기 깊이 맵 생성부는 상기 제1 블록이 위치한 수평 위치에서 블록들을 스캔함으로써 상기 제2 블록을 검출하는, 애너그리프 영상 생성 장치.The method of claim 6,
And the depth map generator detects the second block by scanning the blocks at a horizontal position where the first block is located.
상기 깊이 맵 생성부는 SSD(Sum of Square Differences; 제곱 차들의 총 합)에 기반하여 블록들 간의 정합도를 계산하는, 애너그리프 영상 생성 장치.The method of claim 6,
The depth map generator calculates a degree of matching between blocks based on sum of square differences (SSD).
상기 깊이 맵 생성부는 하기의 수학식 1에 기반하여 상기 깊이 맵을 생성하는, 애너그리프 영상 생성 장치.
[수학식 1]
여기서, (x, y)는 상기 제1 픽셀의 좌표이고, N(x, y)는 상기 제1 픽셀을 중심으로 한 상기 제1 블록이고, (i, j)는 상기 제1 블록 내의 픽셀의 좌표이고, I L (x, y)는 상기 제1 영상 내의 좌표가 (x, y)인 픽셀의 픽셀 값이고, I R (x, y)는 상기 제2 영상 내의 좌표가 (x, y)인 픽셀의 픽셀 값이고, d는 상기 깊이 맵 생성부의 스캔 범위 내에 존재하는 변이이고, d(x, y)는 상기 제1 픽셀의 최종적인 변이 값임.The method of claim 6,
The depth map generator generates the depth map based on Equation 1 below.
[Equation 1]
Here, ( x , y ) is the coordinate of the first pixel, N ( x , y ) is the first block around the first pixel, and ( i , j ) is the pixel of the first block. coordinates and, I L (x, y) is the pixel value of the pixel coordinates in the first image (x, y), I R (x, y) are the coordinates in the second image (x, y) Is a pixel value of a pixel, d is a shift existing within a scan range of the depth map generator, and d ( x , y ) is a final shift value of the first pixel.
상기 제1 블록은 정사각형인, 애너그리프 영상 생성 장치.The method of claim 6,
And the first block is square.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정되는, 애너그리프 영상 생성 장치.The method of claim 1,
And the image shifting unit moves a first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel, and the shift amount of the pixel is determined by the binocular disparity.
상기 영상 이동부는 상기 시청자의 평균적인 시청 거리에 기반하여 상기 양안시차의 값을 결정하는, 애너그리프 영상 생성 장치.The method of claim 1,
And the image moving unit determines the value of the binocular disparity based on an average viewing distance of the viewer.
상기 색상 혼합부는 상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하고, 상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하고, 상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는, 애너그리프 영상 생성 장치.The method of claim 1,
The color mixer generates a red channel of the anaglyph image based on the green channel and the blue channel of the moved first image, and generates a green channel of the anaglyph image based on the green channel of the second image. And generating a blue channel of the anaglyph image based on the blue channel of the second image.
제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성부;
상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동부;
상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합부; 및
상기 애너그리프 영상을 출력하는 디스플레이부
를 포함하고, 상기 영상 이동부는 상기 시청자 및 상기 디스플레이부 간의 거리에 기반하여 상기 양안시차의 값을 결정하고, 상기 제1 영상 및 상기 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 출력 장치.An anamorphic image output device for outputting an anamorphic image based on a stereo image,
A depth map generator configured to generate a depth map based on the first image and the second image;
An image moving unit generating a moved first image by moving pixels in the first image based on the depth map and binocular parallax of the viewer;
A color mixer configured to generate an anaglyph image based on the moved first image and the second image; And
A display unit for outputting the anagrip image
Wherein the image moving unit determines the value of the binocular disparity based on a distance between the viewer and the display unit, and the first image and the second image are each one of the stereo images. Video output device.
상기 거리를 측정하여, 상기 측정된 거리를 상기 영상 이동부에게 제공하는 거리 측정부를 더 포함하는, 애너그리프 영상 출력 장치.15. The method of claim 14,
And a distance measuring unit measuring the distance and providing the measured distance to the image moving unit.
상기 거리 측정부는 상기 시청자의 변화하는 위치를 동적으로 검출하고, 상기 동적으로 검출된 시청자의 위치에 기반하여 상기 디스플레이부 및 상기 시청자 간의 거리를 동적으로 계산하며, 상기 영상 이동부는 상기 동적으로 계산된 거리에 기반하여 상기 양안시차의 값을 동적으로 변경하고, 상기 변경된 양안시차의 값에 기반하여 상기 이동된 제1 영상을 생성하는, 애너그리프 영상 출력 장치.16. The method of claim 15,
The distance measuring unit dynamically detects a changing position of the viewer, dynamically calculates a distance between the display unit and the viewer based on the dynamically detected viewer's position, and the image moving unit dynamically calculates the distance. And dynamically changing the value of the binocular disparity based on a distance, and generating the shifted first image based on the changed value of the binocular disparity.
상기 영상 이동부는 상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키고, 상기 픽셀의 이동량은 상기 거리 및 상기 디스플레이부의 픽셀 피치에 기반하여 결정되는, 애너그리프 영상 출력 장치.17. The method of claim 16,
The image shifter moves the first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel, and the shift amount of the pixel is determined based on the distance and the pixel pitch of the display unit. Grip video output device.
제1 영상 및 제2 영상에 기반하여 깊이 맵을 생성하는 깊이 맵 생성 단계;
상기 깊이 맵 및 시청자의 양안시차에 기반하여 상기 제1 영상 내의 픽셀들을 이동시킴으로써 이동된 제1 영상을 생성하는 영상 이동 단계; 및
상기 이동된 제1 영상 및 상기 제2 영상에 기반하여 애너그리프 영상을 생성하는 색상 혼합 단계
를 포함하고, 상기 제1 영상 및 상기 제2 영상은 각각 상기 스테레오 영상 중 한 편의 영상인, 애너그리프 영상 생성 방법.In the method for generating an anagrip image based on a stereo image,
A depth map generation step of generating a depth map based on the first image and the second image;
An image shifting step of generating a shifted first image by shifting pixels in the first image based on the depth map and binocular parallax of the viewer; And
A color mixing step of generating an anaglyph image based on the shifted first image and the second image
Wherein the first image and the second image are one piece of the stereo image, respectively.
상기 깊이 맵 생성 단계는,
상기 제1 영상 내의 제1 픽셀과 대응하는 상기 제2 영상 내의 제2 픽셀을 검출하는 단계; 및
상기 제1 픽셀의 좌표 및 상기 제2 픽셀의 좌표 간의 차에 기반하여 상기 제1 픽셀의 깊이를 계산하는 단계
를 포함하는, 애너그리프 영상 생성 방법.19. The method of claim 18,
The depth map generation step,
Detecting a second pixel in the second image corresponding to a first pixel in the first image; And
Calculating a depth of the first pixel based on a difference between the coordinates of the first pixel and the coordinates of the second pixel
Including, an anagrip image generation method.
상기 깊이 맵 생성 단계는,
상기 제1 픽셀을 포함하는 제1 블록을 설정하는 단계; 및
상기 제1 블록과의 정합도가 가장 높은 상기 제2 영상 내의 제2 블록을 검출함으로써 상기 제1 픽셀의 깊이를 계산하는 단계
룰 포함하는, 애너그리프 영상 생성 방법.19. The method of claim 18,
The depth map generation step,
Setting a first block comprising the first pixel; And
Calculating a depth of the first pixel by detecting a second block in the second image having the highest matching degree with the first block
Anagrip image generation method comprising a rule.
상기 정합도는 SSD에 기반하여 계산되는, 애너그리프 영상 생성 방법.21. The method of claim 20,
The matching degree is calculated based on the SSD, anagrip image generation method.
상기 영상 이동 단계는,
상기 제1 영상 내의 제1 픽셀을 픽셀의 이동량 및 상기 제1 픽셀의 변의 값의 차만큼 이동시키는 단계
를 포함하고, 상기 픽셀의 이동량은 상기 양안시차에 의해 결정되는, 애너그리프 영상 생성 방법.19. The method of claim 18,
The moving image step,
Moving a first pixel in the first image by a difference between a shift amount of a pixel and a value of a side of the first pixel
And an amount of movement of the pixel is determined by the binocular disparity.
상기 색상 혼합 단계는,
상기 이동된 제1 영상의 그린 채널 및 블루 채널에 기반하여 상기 애너그리프 영상의 레드 채널을 생성하는 단계;
상기 제2 영상의 그린 채널에 기반하여 상기 애너그리프 영상의 그린 채널을 생성하는 단계; 및
상기 제2 영상의 블루 채널에 기반하여 상기 애너그리프 영상의 블루 채널을 생성하는 단계
를 포함하는, 애너그리프 영상 생성 방법.19. The method of claim 18,
The color mixing step,
Generating a red channel of the anaglyph image based on the green channel and the blue channel of the moved first image;
Generating a green channel of the anaglyph image based on the green channel of the second image; And
Generating a blue channel of the anaglyph image based on the blue channel of the second image
Including, an anagrip image generation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100134816A KR101192121B1 (en) | 2010-12-24 | 2010-12-24 | Method and apparatus for generating anaglyph image using binocular disparity and depth information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100134816A KR101192121B1 (en) | 2010-12-24 | 2010-12-24 | Method and apparatus for generating anaglyph image using binocular disparity and depth information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120072892A KR20120072892A (en) | 2012-07-04 |
| KR101192121B1 true KR101192121B1 (en) | 2012-10-16 |
Family
ID=46707499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100134816A Active KR101192121B1 (en) | 2010-12-24 | 2010-12-24 | Method and apparatus for generating anaglyph image using binocular disparity and depth information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101192121B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963385B1 (en) * | 2012-12-12 | 2019-03-28 | 엘지디스플레이 주식회사 | Disparity calculation method and stereoscopic image display device |
| KR102271853B1 (en) | 2014-03-21 | 2021-07-01 | 삼성전자주식회사 | Electronic apparatus, image processing method, and computer-readable recording medium |
| US12003697B2 (en) | 2021-05-06 | 2024-06-04 | Samsung Electronics Co., Ltd. | Wearable electronic device and method of outputting three-dimensional image |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100776805B1 (en) | 2006-09-29 | 2007-11-19 | 한국전자통신연구원 | Apparatus and Method for Efficient Image Transmission in Intelligent Service Robot System through Stereo Vision Processing |
-
2010
- 2010-12-24 KR KR1020100134816A patent/KR101192121B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100776805B1 (en) | 2006-09-29 | 2007-11-19 | 한국전자통신연구원 | Apparatus and Method for Efficient Image Transmission in Intelligent Service Robot System through Stereo Vision Processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120072892A (en) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101629479B1 (en) | High density multi-view display system and method based on the active sub-pixel rendering | |
| JP6308513B2 (en) | Stereoscopic image display apparatus, image processing apparatus, and stereoscopic image processing method | |
| EP1704730B1 (en) | Method and apparatus for generating a stereoscopic image | |
| TWI523488B (en) | A method of processing parallax information comprised in a signal | |
| US8817073B2 (en) | System and method of processing 3D stereoscopic image | |
| US8606043B2 (en) | Method and apparatus for generating 3D image data | |
| US9754379B2 (en) | Method and system for determining parameters of an off-axis virtual camera | |
| JP6128442B2 (en) | Method and apparatus for stereo-based expansion of stereoscopic images and image sequences {METHOD AND DEVICE FOR STREEO BASE EXTENSION OF STREOSSCOPIC IMAGES AND IMAGE SEQUENCES} | |
| CN102905145B (en) | Stereoscopic image system, image generation method, image adjustment device and method thereof | |
| KR20120016408A (en) | A video output method of a display device that outputs three-dimensional content and a display device employing the method | |
| US9477305B2 (en) | Stereoscopic image display apparatus and computer-readable recording medium storing program thereon | |
| KR101697181B1 (en) | Image processing apparatus and method using eye tracking of user | |
| US20120120065A1 (en) | Image providing apparatus and image providing method based on user's location | |
| JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
| KR20120030005A (en) | Image processing device and method, and stereoscopic image display device | |
| JP2011164781A (en) | Stereoscopic image generation program, information storage medium, apparatus and method for generating stereoscopic image | |
| JPH08115439A (en) | Picture data processor and picture reproduction device | |
| KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
| CN107155102A (en) | 3D automatic focusing display method and system thereof | |
| CN101908233A (en) | Method and system for producing plural viewpoint picture for three-dimensional image reconstruction | |
| JP2015037282A (en) | Image processing device, image processing method, and program | |
| JP2012105172A (en) | Image generation device, image generation method, computer program, and record medium | |
| KR20140113066A (en) | Multi-view points image generating method and appararus based on occulsion area information | |
| KR20190016139A (en) | Stereoscopic video generation | |
| KR101907127B1 (en) | Stereoscopic video zooming and foreground and background detection in a video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20101224 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120221 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20120731 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20121010 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20121010 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20151001 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20151001 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20161004 Start annual number: 5 End annual number: 5 |
|
| LAPS | Lapse due to unpaid annual fee |