[go: up one dir, main page]

KR101583289B1 - 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 - Google Patents

영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 Download PDF

Info

Publication number
KR101583289B1
KR101583289B1 KR1020130152593A KR20130152593A KR101583289B1 KR 101583289 B1 KR101583289 B1 KR 101583289B1 KR 1020130152593 A KR1020130152593 A KR 1020130152593A KR 20130152593 A KR20130152593 A KR 20130152593A KR 101583289 B1 KR101583289 B1 KR 101583289B1
Authority
KR
South Korea
Prior art keywords
image
overlapping area
brightness
area
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130152593A
Other languages
English (en)
Other versions
KR20150066936A (ko
Inventor
김환철
강수련
강지형
Original Assignee
씨제이씨지브이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨제이씨지브이 주식회사 filed Critical 씨제이씨지브이 주식회사
Priority to KR1020130152593A priority Critical patent/KR101583289B1/ko
Priority to PCT/KR2014/011647 priority patent/WO2015088171A1/en
Priority to JP2016538009A priority patent/JP2017500801A/ja
Priority to US14/557,919 priority patent/US9558541B2/en
Priority to CN201410748685.8A priority patent/CN104702928B/zh
Publication of KR20150066936A publication Critical patent/KR20150066936A/ko
Application granted granted Critical
Publication of KR101583289B1 publication Critical patent/KR101583289B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

본 발명은 영상 중첩 영역의 보정 방법에 관한 것으로, 보다 상세하게는 복수의 프로젝터에서 투사하는 영상 간 중첩 영역을 식별하는 단계, 영상의 중첩 영역과 비중첩 영역의 밝기 또는 색상 중 적어도 어느 하나 이상의 차이를 판단하는 단계, 투사되는 영상의 RGB 정보를 분석하는 단계 및 상기 RGB 정보에 대응하여 중첩 영역 또는 비중첩 영역에 투사되는 영상의 밝기 또는 색상을 조절하는 단계를 포함하는 영상 중첩 영역의 보정 방법에 관한 것이다.

Description

영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치{Method for image correction at ovelapped region of image, computer readable medium and executing device thereof}
본 발명은 영상 처리 방법에 관한 것으로, 보다 상세하게는 복수의 프로젝터에 의해 투사되는 영상 중 중첩되는 영역을 보정하여 전체적으로 통일감 있는 영상을 제공하기 위한 영상 보정 방법 등에 관한 것이다.
종래에는 극장에서 영화, 광고 등의 영상을 재생하기 위하여 상영관의 정면에 배치된 단일의 스크린에 2차원 영상을 투사하였다. 하지만, 이러한 시스템 하에서 관객들은 평면적인(2 Dimension, 2D) 영상만을 감상할 수밖에 없었다.
최근에는 관객에게 입체감 있는 영상을 제공할 수 있는 3D 영상 관련 기술이 개발되었는데, 3D 영상 기술은 사람의 좌측 눈과 우측 눈에 서로 다른 영상이 들어가고 뇌에서 합쳐지는 경우 평면 영상에서도 입체감을 느낄 수 있는 원리를 이용하는 것으로, 영상 촬영 시 서로 다른 편광 필터가 장착된 두 대의 카메라를 이용하고, 영상 시청시 편광 필터가 장착된 안경 등을 써서 좌측 눈과 우측 눈에 서로 다른 영상이 들어갈 수 있도록 한다.
하지만, 이러한 3D 기술은 사용자에게 입체감 있는 영상을 제공할 수 있으나 여전히 단일 스크린에서 재생되는 영상을 감상하는 것에 불과하여 영상 자체에 대한 몰입도가 낮다는 한계가 있었다. 또한, 관객들이 느끼는 입체감의 방향이 단일 스크린이 존재하는 방향으로 한정된다는 한계도 있었다. 또한, 종래의 3D 기술은 영상 시청시 편광 필터가 장착된 안경 등을 착용해야하므로 영상을 시청하는 관객들에게 불편함을 줄 수 있었고, 좌측 눈과 우측 눈에 인위적으로 서로 다른 영상을 강제로 주입시키기 때문에 민감한 관객들은 어지러움이나 울렁거림을 느낄 수 있었다.
따라서, 단일 스크린을 기반으로 하는 종래의 상영 시스템의 문제점을 해결할 수 있는 이른바 '다면 상영 시스템'이 제안(본 출원인의 선행 출원)되었는데, 여기서 말하는 '다면 상영 시스템'이란 관객석 주변에 복수의 투사면(스크린, 벽면 등)을 배치하고 복수의 투사면상에 하나의 일체감 있는 영상을 재생하여, 관객들에게 입체감 및 몰입감을 제공할 수 있는 시스템을 의미한다. 또한, '다면 상영관'이란, 이러한 '다면 상영 시스템'이 구축된 상영관을 의미한다. 도 1에는 다면 상영 시스템의 일 예가 도시되어 있다.
'다면 상영 시스템'을 효과적으로 운영하기 위해서는, 복수의 투사면에 투사되는 영상들을 효과적으로 보정할 수 있는 기술들이 필요하다. 상기 '다면 상영 시스템'에서는, 단일 투사면이 아닌 복수의 투사면에 투사되는 다수의 영상들이 통합적으로 보정되어야 하고, 상영관의 구조가 변화함에 따라 다수의 영상들이 보정되는 방식도 변경되어야 하므로, 영상 보정 프로세스가 매우 복잡하고 오류가 발생 가능성도 매우 높기 때문이다. 따라서, 이러한 '다면 상영 시스템'의 영상 보정 프로세스에 도움을 줄 수 있는 기술들이 요구되고 있다.
한편, 다면 상영 시스템 뿐만 아니라, 단일 투사면에도 복수의 프로젝터를 이용하여 영상을 투사하는 경우가 있다. 그 예로 투사면의 넓이가 넓거나 혹은 투사면의 가로-세로 비율이 한 대의 프로젝터로는 커버되지 않는 경우 등을 들 수 있다.
복수의 프로젝터를 이용하여 영상을 투사해야 하는 경우에는 일체감 있는 영상을 제공하는 것이 매우 중요하다. 특히, 각 프로젝터에서 투사되는 영상의 경계 또는 중첩 영역과 비중첩 영역이 구분되지 않도록 영상을 보정할 필요가 있다.
한국공개특허공보 제 2012-0020793호
본 발명은 상술한 문제를 해결하기 위한 것으로, 복수의 프로젝터를 이용하여 영상을 투사하는 경우에 각 프로젝터에서 투사되는 영상이 전체적으로 일체감 있게 재생되도록 하는 것을 목적으로 한다.
특히, 영상 중첩 영역으로 투사되는 영상의 다양한 요소를 제어하여 중첩 영역과 비중첩 영역에서의 이질감을 낮추는 것을 목적으로 한다.
상술한 과제를 해결하기 위한 본 발명의 영상 중첩 영역 보정 방법은 복수의 프로젝터에서 투사하는 영상 간 중첩 영역을 식별하는 단계, 영상의 중첩 영역과 비중첩 영역의 밝기 또는 색상 중 적어도 어느 하나 이상의 차이를 판단하는 단계, 투사되는 영상의 RGB 정보를 분석하는 단계 및 상기 RGB 정보에 대응하여 중첩 영역 또는 비중첩 영역에 투사되는 영상의 밝기 또는 색상을 조절하는 단계를 포함한다.
이 때, 상기 식별 단계는 상기 복수의 프로젝터를 제어하는 마스터 장치에 저장 또는 연산된 프로젝터 별 영상 투사 영역 정보를 이용하여 투사면 상에서 영상이 중첩되는 영역을 연산할 수 있다. 또한, 상기 식별 단계는 영상이 중첩되는 영역의 좌표 또는 중첩되는 정도 중 어느 하나 이상을 연산할 수 있다.
한편, 판단 단계는 중첩 영역과 비중첩 영역 사이의 밝기 차이를 판단하고, 조절 단계는 가장 밝은 중첩 영역을 기준으로 중첩 영역 또는 비중첩 영역의 밝기를 조절할 수 있다.
본 발명의 일 실시예에서, 판단 단계는 영상의 프레임 별로 판단할 수 있고, 영상의 픽셀 별로 판단할 수도 있다.
분석 단계는 영상 투사 이전에 실행되고, 분석된 RGB 정보에 대응하여 영상의 밝기 또는 색상 조절을 스케쥴링할 수 있고, 다른 실시예에서 분석 단계는 영상 투사 중에 실행되고, 분석된 RGB 정보를 실시간으로 반영하여 상기 조절 단계가 실행될 수 있다.
본 발명의 조절 단계는 중첩 영역과 비중첩 영역의 경계에서 블러 필터링을 적용할 수 있고, 각 프로젝터에서 중첩 영역으로 투사하는 영상에 투명도 변수를 반영할 수 있으며, 투명도 변수에 색수차 변수를 더 반영할 수도 있다.
본 발명의 영상 중첩 영역의 보정 방법은 이를 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체 또는 실행하기 위한 프로그램을 실행하기 위한 장치를 포함한다.
본 발명에 따르면, 복수의 프로젝터를 이용하여 영상을 투사하는 경우에 전체적으로 일체감, 통일감 있는 영상을 재생할 수 있다. 특히, 중첩 영역 또는 비중첩 영역으로 투사되는 영상의 다양한 요소를 제어하여 중첩 영역과 비중첩 영역에서의 이질감을 줄일 수 있게 된다.
도 1은 다면 상영 시스템의 구조의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예를 나타낸 순서도이다.
도 3은 복수의 프로젝터에 의해 영상이 투사되는 일 예를 나타낸 그림이다.
도 4는 중첩 영역과 비중첩 영역에서의 밝기 차이를 표현한 그림이다.
도 5는 본 발명의 실시예 적용 전, 후에 투사면에 표시되는 영상을 비교한 그림이다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예를 나타낸 순서도이다. 본 발명의 영상 중첩 영역 보정 방법은 복수의 프로젝터에서 투사하는 영상 간 중첩 영역을 식별하는 단계, 영상의 중첩 영역과 비중첩 영역의 밝기 또는 색상 중 적어도 어느 하나 이상의 차이를 판단하는 단계, 중첩 영역에 투사되는 영상의 RGB 정보를 분석하는 단계 및 상기 RGB 정보에 대응하여 중첩 영역 또는 비중첩 영역에 투사되는 영상의 밝기 또는 색상을 조절하는 단계를 포함한다.
영상 간 중첩 영역을 식별하기 위해서는 먼저 각 프로젝터에서 투사되는 영상이 투사면의 어느 지점으로 투사되는지 확인하여야 한다. 이를 위해 본 발명의 일 실시예에서는 일정한 패턴(예, 격자 무늬)이 형성된 기준 이미지를 각 프로젝터 별로 투사하고, 기준 이미지가 투사면 상의 어느 지점에 투사되는지 판단한다. 이후, 각 프로젝터에서 투사되는 기준 이미지 간에 중첩되는 지점의 좌표를 획득하면, 투사면 상의 어느 위치가 중첩 영역/비중첩 영역인지 파악할 수 있고, 중첩 영역은 영상 내에서 어느 부분에 해당하는지도 파악할 수 있다. 중첩 영역을 손쉽게 파악하기 위하여 연속하여 배치된 프로젝터에서 투사하는 기준 이미지는 형태는 같되 색상을 달리하는 것도 가능하다.
다른 실시예에서는 복수의 프로젝터를 제어하는 마스터 장치에 저장 또는 연산된 프로젝터 별 영상 투사 영역 정보를 이용하여 투사면 상에서 영상이 중첩되는 영역을 연산할 수도 있다. 본 발명의 영상 중첩 영역의 보정 방법이 실행되는 장치인 마스터 장치에는 각 프로젝터가 투사면의 어느 영역에 영상을 투사하는지에 관한 정보인 영상 투사 영역 정보가 다양한 프로세서에 의해 연산되거나 또는 기 연산된 투사 영역 정보가 저장 장치에 저장될 수 있다. 따라서 이러한 정보를 바탕으로 복수의 프로젝터에서 투사하는 영상 간 중첩 영역의 위치, 좌표 등을 획득할 수 있으며, 특정 중첩 영역이 몇 개의 프로젝터에 의해 중첩되는지(중첩되는 정도)를 연산할 수도 있다.
도 4는 중첩 영역과 비중첩 영역에서의 밝기 차이를 표현한 그림이다. 도 4의 (a)는 두 개의 프로젝터(1, 2)가 영상을 투사하는 예로, a는 비중첩 영역, b는 중첩 영역에 해당한다. 앞서 언급한 또는 후술할 방식에 의해 중첩 영역 및 비중첩 영역의 투사면을 기준으로 하는 좌표를 구할 수도 있고, 해당 위치에 투사되는 영상을 기준으로 하는 좌표를 구할 수도 있다.
도 4의 (b)는 네 개의 프로젝터(1~4)가 영상을 투사하는 예를 표시한 것으로 a는 비중첩 영역, b는 2개의 프로젝터에 의해 영상이 중첩되는 영역, c는 4개의 프로젝터에 의해 중첩되는 영역을 나타낸다. 비중첩 영역과 중첩 영역의 구분도 중요하지만 중첩 영역이 몇 개의 프로젝터에 의해 중첩되는지도 본 발명을 실시하는 데에 있어 매우 중요하다. 영상이 중첩되는 정도에 따라 보정되는 정도가 달라지기 때문이다. 도 4를 보면 중첩 영역이 비중첩 영역에 비하여 상대적으로 밝게 표시되어 있는데, 영상이 중첩될수록 색상이 겹쳐서 표현되거나 광량이 더해지므로 밝아진다. 이러한 요소를 고려한 본 발명의 실시예에 대해서는 후술한다.
중첩 영역 및 비중첩 영역을 식별하고, 각 영역의 투사면 상의 좌표, 프로젝터 상의 좌표 등을 획득한 이후에는, 영상의 중첩 영역과 비중첩 영역 사이에 발생하는 밝기 또는 색상 등의 차이를 판단한다.
본 발명에서 밝기 차이를 판단하는 일 실시예로 영상 재생 중 특정 시점(특정 프레임)에서 투사되는 영상의 광량을 픽셀 별로 추출한다. 이는 영상을 분석하여 추출할 수도 있고, 투사면에 투사되고 있는 전체 영상의 영역(중첩 영역, 비중첩 영역) 별 광량을 체크하여 추출할 수도 있다.
본 발명은 영상의 프레임 별로 각 픽셀에서의 밝기 또는 색상의 차이를 판단한 이후, 중첩 영역에 투사되는 영상의 RGB 정보를 분석한다. 이는 현재 투사되는 영상의 밝기, 색상에 따라 최적화된 영상 조절을 가능하게 하기 위함이다.
본 발명의 1차적인 목적은 중첩 영역에 어두운 영상 내지 검정색 영상이 투사되는 경우에 발생하는 밝기, 색상 차이를 보정하는 것이다. 본래 영상 내에 검정색을 표현하기 위해서는 프로젝터에서 아무런 색상도 투사하지 않을 뿐 아니라(R, G, B 값이 0) 아무런 빛도 투사되지 않도록 해야 한다. 그러나 프로젝터는 픽셀별로 시시각각 변하는 색, 빛을 투사해야 하므로, 검정색을 표현하더라도 빛과 색상을 완전히 차단하지 못하고, 미세한 양의 빛이 출력된다.
검정색을 표현하는 시점에 투사면으로 출력되는 빛의 양이 미세하더라도 프로젝터가 영상을 투사하는 환경은 대부분 주위가 어두운 곳이므로(예, 극장 상영관) 사람의 동공이 열려있는 상태 즉, 미세한 밝기 차이도 감지할 수 있는 상태가 된다. 중첩 영역에서 빛의 밝기가 가산되는 경우, 중첩 영역과 비중첩 영역의 밝기 차이는 사람이 인지가능한 정도가 된다.
앞서 언급한 대로, 어두운(검정색) 영상 투사시 프로젝터에서 발생되는 빛은 불가피한 것이고 광량을 줄일 수는 없으므로, 본 발명의 일 실시예에서는 가장 밝은 중첩 영역을 기준으로 중첩 영역 또는 비중첩 영역의 밝기를 조절한다. 즉, 가장 밝은 영역에 맞추어 그 외 영역의 밝기를 상향 조정한다. 이를 수식으로 표현하면 아래 [수학식 1]과 같다.
[수학식 1]
R(x, y) = R0(x, y) + Offset(x, y)
G(x, y) = G0(x, y) + Offset(x, y)
B(x, y) = B0(x, y) + Offset(x, y)
상기 [수학식 1]에서 (x, y)는 프로젝터에서 투사되는 영상의 특정 위치, 좌표를 의미하고 R0(x, y) 등은 보정 전 (x, y)에서의 R, G, B 값을, Offset(x, y)는 (x, y)에서의 색상, 밝기 보정 값, R(x, y)등은 (x, y)에서의 색상, 밝기가 보정된 R, G, B 값을 의미한다. 투사면의 어두운 영역에 투사되는 영상에 Offset(x, y)만큼의 색상, 밝기 보정 값을 더해주어 전체적으로 통일된 영상이 제공될 수 있도록 한다.
본 발명의 2차적인 목적은 어두운 영상에서만 밝기를 상향 조정하는 것이 아니라 현재 투사되는 영상의 RGB 정보에 대응하여 어떠한 색상/밝기의 영상에 대해서도 영상의 중첩 영역과 비중첩 영역이 구분되어 식별되지 않도록 하는 것이다.
어두운 영상(밝기가 낮은 영상 또는 RGB값이 각각 0에 가까운 영상)을 기준으로 밝기를 조절하는 경우, 영상의 밝기, RGB 값이 증가하는 때에 중첩 영역과 비중첩 영역간 이질감이 발생할 수 있다. 따라서 영상의 다양한 상태에 부합하도록 영상의 재생 시점 동안 지속적으로 영상을 보정하여 투사할 필요가 있다. 이를 위해 본 발명은 투사되는 영상의 RGB 정보를 분석한다. 디지털 재생 영상은 RGB값의 합에 의하여 색을 표현하므로, 영상을 재생하는 장치(예, 마스터 장치)에서는 재생하는 영상의 프레임별, 픽셀별 RGB 값을 획득할 수 있다. 즉, 투사되는 영상은 사람의 눈에는 특정 색으로 구현되어 표시되지만 이를 재생하기 위한 장치는 해당 색을 특정 RGB 값으로 인식, 저장, 처리하므로, 디지털 영상을 재생하는 장치에서 프레임별, 픽셀별 RGB값을 획득할 수 있게 된다.
일 실시예로, 획득된 R, G, B 정보가 각각 또는 그 합이 기설정된 수치 이하라면(R, G, B 값이 0에 가깝다면) 투사면 상에는 검정색이 표현되므로 영상 내 프레임별, 픽셀별 R, G, B 값을 분석하여 영상의 어두운 영역을 식별하고 가장 밝은 영역을 기준으로 어두운 영역에 투사되는 영상의 밝기/색상을 조절한다. 반대로 R, G, B 값이 매우 높은(256에 가까운 경우) 때에, 어두운 영역에 적용된 것과 동일하게 색상/밝기가 조절된다면, 조절 정도의 차이로 인해 색상이 왜곡될 수 있으므로, 현재 투사되는 영상의 스펙에 맞게 밝기 또는 영상을 조절한다.
본 발명은 재생 중인 영상의 RGB 정보를 분석하여 밝은 영상, 어두운 영상, 특정 색이 두드러지는 영상 등을 구분하고, 분석된 RGB 정보에 대응하여 영상의 밝기 또는 색상을 조절함으로써 시시각각 변경되는 영상의 특성에 알맞게 보정될 수 있다.
이하에서는 본 발명에서 RGB 정보에 대응하여 영상의 밝기 또는 색상을 조절하는 단계의 일 예를 상세하게 설명한다. 본 실시예를 수식으로 표현하면 아래 [수학식 2] 등으로 표현할 수 있다.
[수학식 2]
R(x, y) = R0(x, y) + Offset(x, y) * [(255 - R0(x, y))/255]n
G(x, y) = G0(x, y) + Offset(x, y) * [(255 - G0(x, y))/255]n
B(x, y) = B0(x, y) + Offset(x, y) * [(255 - B0(x, y))/255]n
상기 [수학식 2]에서 (x, y)는 프로젝터에서 투사되는 영상의 특정 위치, 좌표를 의미하고 R0(x, y) 등은 보정 전 (x, y)에서의 R, G, B 값을, Offset(x, y)는 (x, y)에서의 색상, 밝기 보정 값, R(x, y)등은 (x, y)에서의 색상, 밝기가 보정된 R, G, B 값을 의미한다.
RGB 색상 표시는 0부터 255 사이에서 결정되고 255에 가까울수록 적/녹/청색에 가까운 밝은 색이된다. 따라서 위 수식에 따르면 밝은 색일 수록(바꿔말하면, RGB 값이 클수록) [(255 - R0(x, y))/255]n 의 값이 작아진다. 그 결과 Offset(x, y)의 값도 작아지고, (x, y) 지점에서의 보정되는 정도도 작아진다. 즉, 영상의 RGB 값에 따라 영상이 보정되는 정도가 달라진다.
n은 정수로, 필요에 따라 선택될 수 있으며, 실험 결과 n이 20인 경우에 적절한 정도로 영상이 보정되는 것을 확인할 수 있었다. 다만 이는 실험예에 불과하며, 본 발명이 위 [수학식 2] 및 n 값에 한정되는 것은 아니다.
본 발명의 일 실시예에서, 전술한 분석 단계는 영상 투사 이전에 실행되고, 분석된 RGB 정보에 대응하여 영상의 밝기 또는 색상 조절을 스케쥴링할 수 있다. 이 후 조절 단계는 영상의 재생 시점에 맞추어 밝기 조절 정도가 스케쥴링 된 결과를 이용하여 중첩 영역 또는 비중첩 영역에 투사되는 영상의 밝기 또는 색상을 조절한다.
본 실시예의 경우, 영상 투사 이전에 영상의 중첩 영역, 비중첩 영역에서의 프레임/픽셀 별 RGB 값을 획득하고, 해당 값에 맞추어 영상을 조절하는 정도를 미리 스케쥴링 함으로써, 영상을 재생/투사함과 동시에 영상을 분석하고 보정하는 데에 따른 데이터 처리의 부하를 줄일 수 있다.
본 발명의 다른 실시예에서 분석 단계는 영상 투사 중에 실행되고, 분석된 RGB 정보를 실시간으로 반영하여 조절 단계를 실행할 수도 있다. 본 실시예의 경우 실시간으로 영상을 분석하고 이에 맞추어 영상을 보정해야하므로 데이터 처리 속도가 빨라야 하지만, 영상을 재생하는 타이밍에 맞추어 정확하게 보정할 수 있는 장점이 있다.
한편, 본 발명의 일 실시예에서는 밝기/색상을 조절하는 데에 있어서 블러 필터링을 적용함으로써 중첩 영역과 비중첩 영역의 경계에서 밝기/색상이 연속적으로 변하고, 그 결과 경계에서의 이질감을 감소시키고 전체적으로 일체화된 영상을 재생할 수 있다.
본 발명의 일 실시예에서 조절 단계는 각 프로젝터에서 중첩 영역으로 투사하는 영상에 투명도 변수(α)를 반영한다. 이는 중첩에 의해 영상의 밝기, 색상이 왜곡되는 것을 보정하기 위한 것이다. 예를 들어 중첩 영상 내의 어떤 픽셀이 3개의 프로젝터에서 투사한 영상에 의해 3번 겹쳐서 투사된다면, 프로젝터의 색상은 가산되므로 본래에 비하여 3배만큼 밝은 밝기로 영상이 재생된다. 이를 방지하기 위하여 각 프로젝터에서 투사되는 영상을 본래에 비하여 1/3만큼만 투사함으로써 본래의 밝기대로 영상을 표시할 수 있다. 이 때 1/3을 투명도 변수(α)라 한다. 다만 위 예에서 투명도 변수를 1/3으로 설정한 것은 일례에 불과하고 투명도 변수를 설정, 적용하는 것은 아래 [수학식 3]과 같다.
[수학식 3]
C = Σα * C, α = 1
(C는 각 픽셀에서 최종적으로 표현되는 색상, α는 각 픽셀에서의 투명도 변수)
다른 예를 통해 위 [수학식 3]을 설명하면, i번째 프로젝터와 j번째 프로젝터가 절반씩 좌/우로 겹쳐져 있다고 가정하면, 좌측에 위치한 프로젝터 i는 중첩 영역에서 α값이 1부터 0까지 감소하게 될테고, 우측에 위치한 프로젝터 j 는 중첩 영역에서 αj값이 0부터 1까지 증가하게 된다. 즉, 각 프로젝터의 픽셀별 α값은 중첩 영역의 경계에 가까울 수록 0에 가까운 값을 갖게 되며, 중첩 영역에서 영역에서 α + αj = 1을 만족한다면 영상 중첩에 따른 색상 왜곡을 보정할 수 있다.
한편, 본 발명은 위 실시예에 더하여, 투명도 변수에 색수차 변수를 더 반영할 수 있다. 색수차 변수란 위 투명도 변수에 따른 색수차 발생을 보정하기 위한 것이다.
앞선 실시예에 따라 중첩 영역에서 영상의 왜곡을 보정하는 실험을 한 결과 대부분의 영역에서는 정확하게 영상이 보정되었으나 투명도 변수(α)가 0에 가까울수록 색수차가 발생하는 현상이 발견되었다.
이러한 문제를 해결하고자 본 실시예에서는 투명도 변수(α)에 색수차 변수를 더 반영하여 영상을 보정한다. 색수차 변수로는 투명도 변수와 음의 상관관계를 갖도록 (1- α)를 설정할 수 있다. 다만 이는 일 예에 불과하며 투명도 변수가 작은 경우에 발생하는 색수차 왜곡을 보정하기 위한 다양한 변수가 색수차 변수로 설정될 수 있다.
도 3은 복수의 프로젝터에 의해 영상이 투사되는 일 예를 나타낸 그림이다.
도 3은 하나의 투사면에 두 개의 프로젝터에 의해 영상이 투사되는 예를 표현하였다. 프로젝터 1에 의해 좌측의 영상이, 프로젝터 2에 의해 우측의 영상이 투사면에 표시되며, 중간에 점선이 겹치는 영역이 중첩 영역, 그 외가 비중첩 영역에 해당한다. 도 3에 도시된 예는 전술한 본 발명의 영상 중첩 영역 보정 방법이 적용된 상태로 중첩 영역과 비중첩 영역에서 영상이 일체감 있게 재생된다.
도 5는 본 발명의 실시예 적용 전, 후에 투사면에 표시되는 영상을 비교한 그림이다.
도 5의 (a)는 보정 전에 투사면에 표현되는 영상이며 가운데 중첩 영역이 좌, 우의 비중첩 영역에 비하여 밝다는 점을 확인할 수 있다. 복수의 프로젝터를 이용하여 영상을 투사하는 경우 사용자는 도 5의 (a)와 같이 영상에서 이질감을 느끼게 되므로 앞서 언급한 본 발명의 실시예를 적용하면 도 5의 (b)와 같은 일체화된 영상을 재생할 수 있게 된다.
본 발명은 앞서 언급한 여러 실시예에 따른 영상 중첩 영역의 보정 방법을 실행하기 위한 프로그램 형태로 구현될 수 있으며, 이러한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체를 포함한다. 여기서 기록 매체란 단순히 HDD, CD, 자기 디스크 등의 좁은 의미의 기록 매체만을 의미하는 것이 아니라, 저장소를 구비한 서버, 컴퓨터 등을 포함하는 넓은 의미로 보아야 한다.
뿐만 아니라, 본 발명은 이러한 프로그램을 실행하기 위한 장치를 포함하며, 그 예로 프로젝터 제어 장치, 컴퓨터, 서버 등도 위 실행 장치(마스터 장치)에 포함된다고 보아야 한다. 이 경우 상술한 실시예를 통해 언급한 본 발명의 보정 방법은 이를 실행하는 구성, 예를 들어 판단/연산은 중앙처리장치(CPU) 등에서 이루어지고 정보의 저장은 장치 내 저장구성(예, 데이터베이스) 등에서 이루어지며, 사용자 인터페이스는 표시 장치 등을 통해 사용자에게 제공하고 입력 장치 등을 통해 사용자 명령을 입력받을 수 있다.
본 발명의 실시예들은 예시의 목적을 위해 개시된 것으로 본 발명이 속한 기술 분야의 통상의 지식을 가진 자가 본 발명의 기술 사상 범위 내에서 수정, 변경, 부가가 가능한 부분까지 본 특허청구범위에

Claims (13)

  1. 복수의 프로젝터에서 투사하는 영상 간 중첩 영역을 식별하는 단계;
    영상의 중첩 영역과 비중첩 영역의 밝기 또는 색상 중 적어도 어느 하나 이상의 차이를 판단하는 단계;
    투사되는 영상의 RGB 정보를 분석하는 단계; 및
    상기 RGB 정보에 대응하여 중첩 영역 또는 비중첩 영역에 투사되는 영상의 밝기 또는 색상을 조절하는 단계;
    를 포함하는 영상 중첩 영역의 보정 방법에 있어서,
    상기 분석 단계는 영상 투사 이전에 실행되고, 분석된 RGB 정보에 대응하여 영상의 밝기 또는 색상 조절을 스케쥴링하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  2. 청구항 1에 있어서, 상기 식별 단계는 상기 복수의 프로젝터를 제어하는 마스터 장치에 저장 또는 연산된 프로젝터 별 영상 투사 영역 정보를 이용하여 투사면 상에서 영상이 중첩되는 영역을 연산하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  3. 청구항 1에 있어서, 상기 식별 단계는 영상이 중첩되는 영역의 좌표 또는 중첩되는 정도 중 어느 하나 이상을 연산하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  4. 청구항 1에 있어서,
    상기 판단 단계는 중첩 영역과 비중첩 영역 사이의 밝기 차이를 판단하고,
    상기 조절 단계는 가장 밝은 중첩 영역을 기준으로 중첩 영역 또는 비중첩 영역의 밝기를 조절하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  5. 청구항 1에 있어서, 상기 판단 단계는 영상의 프레임 별로 판단하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  6. 청구항 1에 있어서, 상기 판단 단계는 영상의 픽셀 별로 판단하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  7. 삭제
  8. 청구항 1에 있어서, 상기 분석 단계는 영상 투사 중에 실행되고, 분석된 RGB 정보를 실시간으로 반영하여 상기 조절 단계가 실행되는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  9. 청구항 1에 있어서, 상기 조절 단계는 중첩 영역과 비중첩 영역의 경계에서 블러 필터링을 적용하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  10. 청구항 1에 있어서, 상기 조절 단계는 각 프로젝터에서 중첩 영역으로 투사하는 영상에 투명도 변수를 반영하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  11. 청구항 10에 있어서, 상기 투명도 변수에 색수차 변수를 더 반영하는 것을 특징으로 하는 영상 중첩 영역의 보정 방법
  12. 청구항 1 내지 청구항 6 또는 청구항 8 내지 청구항 11 중 어느 한 항에 기재된 영상 중첩 영역의 보정 방법을 실행하기 위한 프로그램이 수록된 컴퓨터로 판독 가능한 기록 매체
  13. 청구항 1 내지 청구항 6 또는 청구항 8 내지 청구항 11 중 어느 한 항에 기재된 영상 중첩 영역의 보정 방법을 실행하기 위한 프로그램을 실행하기 위한 장치
KR1020130152593A 2013-12-09 2013-12-09 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치 Active KR101583289B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130152593A KR101583289B1 (ko) 2013-12-09 2013-12-09 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
PCT/KR2014/011647 WO2015088171A1 (en) 2013-12-09 2014-12-01 Method of correcting image overlap area, recording medium, and execution apparatus
JP2016538009A JP2017500801A (ja) 2013-12-09 2014-12-01 映像の重なり合い領域の補正方法、そのための記録媒体および装置
US14/557,919 US9558541B2 (en) 2013-12-09 2014-12-02 Method of correcting image overlap area, recording medium, and execution apparatus
CN201410748685.8A CN104702928B (zh) 2013-12-09 2014-12-09 修正图像交叠区的方法、记录介质以及执行装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130152593A KR101583289B1 (ko) 2013-12-09 2013-12-09 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치

Publications (2)

Publication Number Publication Date
KR20150066936A KR20150066936A (ko) 2015-06-17
KR101583289B1 true KR101583289B1 (ko) 2016-01-07

Family

ID=53271689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130152593A Active KR101583289B1 (ko) 2013-12-09 2013-12-09 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치

Country Status (5)

Country Link
US (1) US9558541B2 (ko)
JP (1) JP2017500801A (ko)
KR (1) KR101583289B1 (ko)
CN (1) CN104702928B (ko)
WO (1) WO2015088171A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
JPWO2017154609A1 (ja) * 2016-03-10 2019-01-10 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN106791741B (zh) * 2016-12-07 2018-09-21 重庆杰夫与友文化创意有限公司 多屏衔接方法及装置
TWI748035B (zh) * 2017-01-20 2021-12-01 日商半導體能源硏究所股份有限公司 顯示系統及電子裝置
CN108989775A (zh) * 2017-06-05 2018-12-11 北京互动文博科技有限公司 一种投影屏幕无缝拼接方法及装置
US11620732B2 (en) * 2017-09-19 2023-04-04 Sharp Nec Display Solutions, Ltd. Multi-projection system, image projection method and projector
CN108389176A (zh) * 2018-03-09 2018-08-10 网易(杭州)网络有限公司 图像混合处理的方法、装置、存储介质、处理器和终端
CN109064431B (zh) * 2018-08-23 2021-10-26 腾讯数码(天津)有限公司 一种图片亮度调节方法、设备及其存储介质
JP7162124B2 (ja) 2019-03-27 2022-10-27 富士フイルム株式会社 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
CN113284121B (zh) * 2021-05-31 2022-11-22 歌尔光学科技有限公司 投影图像中暗带的检测方法及装置
CN113487580B (zh) * 2021-07-16 2022-02-15 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统
CN117836698A (zh) 2021-11-12 2024-04-05 三星电子株式会社 用于控制ar图像亮度的方法及装置
KR20230168859A (ko) * 2022-06-08 2023-12-15 현대모비스 주식회사 자동차 조명 장치 및 그 작동 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057361A1 (en) * 2000-06-13 2002-05-16 Mayer Iii Theodore Method and apparatus for seamless integration of multiple video projectors
JP2011217305A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 画像処理方法、画像処理装置及びマルチプロジェクションシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198439A (ja) * 1997-09-18 1999-04-09 Hitachi Denshi Ltd 大画面表示装置
US6545685B1 (en) * 1999-01-14 2003-04-08 Silicon Graphics, Inc. Method and system for efficient edge blending in high fidelity multichannel computer graphics displays
JP3965818B2 (ja) * 1999-02-19 2007-08-29 株式会社日立製作所 マルチプロジェクション映像表示装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2001215642A (ja) * 1999-11-22 2001-08-10 Olympus Optical Co Ltd マルチディスプレイ装置
US7002589B2 (en) * 2000-03-17 2006-02-21 Sun Microsystems, Inc. Blending the edges of multiple overlapping screen images
JP2001306024A (ja) * 2000-04-19 2001-11-02 Soritsudorei Kenkyusho:Kk 輝度修正画像作成装置及び作成方法
JP3914828B2 (ja) * 2002-06-13 2007-05-16 Necビューテクノロジー株式会社 多画面表示システム及びこれに用いられる輝度補正方法
JP3620537B2 (ja) 2003-05-02 2005-02-16 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
CN100574399C (zh) 2003-12-30 2009-12-23 汤姆森特许公司 用于平滑平铺式显示器中的接缝的系统和方法
JP2005204165A (ja) * 2004-01-16 2005-07-28 Olympus Corp 画像投影装置及びキャリブレーションデータの算出方法
JP4026649B2 (ja) * 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
US8777418B2 (en) * 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
JP5217496B2 (ja) * 2008-02-26 2013-06-19 ソニー株式会社 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体
JP2009260932A (ja) * 2008-03-26 2009-11-05 Seiko Epson Corp マルチプロジェクションシステムにおける画像処理装置及び画像処理方法並びにマルチプロジェクションシステム
JP2010237633A (ja) * 2009-03-12 2010-10-21 Sanyo Electric Co Ltd プロジェクタ
CN101888511A (zh) 2010-07-12 2010-11-17 清投视讯(北京)科技有限公司 一种大屏幕显示设备的投影融合方法
US8606004B2 (en) * 2010-07-15 2013-12-10 Mersive Technologies, Inc. System and method for automatic color matching in a multi-display system using sensor feedback control
KR101174075B1 (ko) 2010-08-31 2012-08-16 유한회사 마스터이미지쓰리디아시아 입체영상 상영 시스템과 이를 위한 입체영상 플레이어 및 입체영상용 프로젝터
WO2012108003A1 (ja) * 2011-02-08 2012-08-16 Necディスプレイソリューションズ株式会社 プロジェクタシステムおよび映像補正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057361A1 (en) * 2000-06-13 2002-05-16 Mayer Iii Theodore Method and apparatus for seamless integration of multiple video projectors
JP2011217305A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 画像処理方法、画像処理装置及びマルチプロジェクションシステム

Also Published As

Publication number Publication date
US20150161775A1 (en) 2015-06-11
US9558541B2 (en) 2017-01-31
WO2015088171A1 (en) 2015-06-18
CN104702928A (zh) 2015-06-10
JP2017500801A (ja) 2017-01-05
CN104702928B (zh) 2017-04-12
KR20150066936A (ko) 2015-06-17

Similar Documents

Publication Publication Date Title
KR101583289B1 (ko) 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
KR101511523B1 (ko) 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
CN104702929B (zh) 修正图像交叠区的失真的方法、记录介质和执行装置
JP3834334B2 (ja) コンポジット画像の形成装置および形成方法
US8570319B2 (en) Perceptually-based compensation of unintended light pollution of images for projection display systems
CN102484732B (zh) 用于三维放映的干扰修正方法
KR20140010853A (ko) 다면 상영을 위한 영상 보정 시스템 및 방법
US20120307023A1 (en) Disparity distribution estimation for 3d tv
WO2011160629A1 (en) Double stacked projection
US9111352B2 (en) Automated detection and correction of stereoscopic edge violations
KR101455662B1 (ko) 다면 상영을 위한 영상 보정 시스템 및 방법
US8514274B2 (en) Apparatus for compensating 3D image in projector and method thereof
JP5691290B2 (ja) 表示システムの設定方法、表示システムの設定装置、およびコンピューター読み取り可能な記憶媒体
WO2020179529A1 (ja) 映像表示システム及び映像表示方法
KR101564974B1 (ko) 영상 중첩 영역의 보정 방법, 기록 매체 및 실행 장치
KR20150059686A (ko) 영상 처리 방법 및 장치
KR101729883B1 (ko) 2차원 비디오를 3차원 비디오로 변환하기 위한 방법 및 시스템
WO2020069752A1 (en) Method for modifying stereoscopic pairs of images and apparatus

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131209

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140923

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20131209

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150826

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20151223

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151231

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180905

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190905

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201019

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20211228

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20221122

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee