[go: up one dir, main page]

KR101992837B1 - 혼합현실 콘텐츠 생성 방법 및 그 장치 - Google Patents

혼합현실 콘텐츠 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR101992837B1
KR101992837B1 KR1020170117207A KR20170117207A KR101992837B1 KR 101992837 B1 KR101992837 B1 KR 101992837B1 KR 1020170117207 A KR1020170117207 A KR 1020170117207A KR 20170117207 A KR20170117207 A KR 20170117207A KR 101992837 B1 KR101992837 B1 KR 101992837B1
Authority
KR
South Korea
Prior art keywords
image
background
color
advertisement
billboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170117207A
Other languages
English (en)
Other versions
KR20190030015A (ko
Inventor
이길재
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to KR1020170117207A priority Critical patent/KR101992837B1/ko
Priority to US16/128,625 priority patent/US20190080497A1/en
Publication of KR20190030015A publication Critical patent/KR20190030015A/ko
Application granted granted Critical
Publication of KR101992837B1 publication Critical patent/KR101992837B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하고, 여기에서 배경 부분을 추출하여 제거하고, 광고 부분인 선 형태를 추출하여, 제2색이 미리 결정된 색과 일치하는 경우, 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하고, 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하고, 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하여, 이들을 합성하여 혼합현실 콘텐츠를 생성하는 방법 및 그 장치가 개시되어 있다.

Description

혼합현실 콘텐츠 생성 방법 및 그 장치{Method and apparatus for generating mixed reality contents}
본 발명은 혼합현실 콘텐츠 생성 방법 및 그 장치에 관한 것으로서, 배경 부분 및 선 형태의 광고 부분으로 이루어진 광고판을 배경으로 이미지를 획득한 후, 이를 제거하여 객체를 획득하고 이를 기초로 혼합현실 콘텐츠를 생성하는 방법 및 그 장치에 관한 것이다.
최근의 혼합현실 기술을 통한 사진 생성이나 광고가 성행하고 있다. 혼합현실 기술은 실제 영상과 가상현실 영상을 결합하여 사용자가 다른 장소나 가상현실 공간에 있는 것과 같은 효과를 주는 기술이다.
혼합현실 콘텐츠를 생성하는 방법 중에서 많이 사용되는 방법은 녹색 스크린을 이용하는 크로마키 방법이다. 녹색 스크린을 배경으로 하여 영상을 획득한 후, 녹색에 대한 부분을 배경으로 분리하여 객체를 추출하고 이를 다른 영상과의 합성을 통하여 혼합현실 콘텐츠로 생성된다.
디지털 사이니지는 고객의 흥미를 끄는 것이 중요하다. 혼합현실 기술은 고객들을 모을 수 있는 흡입력이 있다. 일반적인 디지털 사이니지 방식은 디스플레이에 카메라를 설치하고, 디지털 사이니지 앞에서 고객이 위치했을 때 사진을 찍어 합성하는 방식이다.
그러나 크로마키를 이용하여 혼합현실 콘텐츠를 생성하기 위해서는 녹색 배경판이 필요하여, 디지털 사이니지 반대편에 녹색 배경판을 따로 설치해야 하는 문제점이 있다. 이 점은 보행자의 진로를 막을 수도 있고, 설치에 있어 제약 조건이 많이 많은 불편함을 야기한다.
본 발명은 배경 부분 및 선 형태의 광고 부분으로 이루어진 광고판을 배경으로 이미지를 획득한 후, 배경 부분 및 광고 부분을 제거하고, 배경 화면을 획득하여 이를 합성함으로써 혼합현실 콘텐츠를 생성하는 방법 및 그 장치를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 혼합현실 콘텐츠 생성 방법은 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하는 단계; 상기 제1이미지에서 배경 부분을 추출하여 제거하는 단계; 상기 광고 부분인 선 형태를 추출하는 단계; 상기 제2색이 미리 결정된 색과 일치하는 경우, 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하는 단계; 및 상기 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하는 단계를 포함한다.
혼합현실 콘텐츠 생성 방법은 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 단계; 및 상기 제2이미지와 상기 제3이미지를 합성하여 제4이미지를 생성하는 단계를 더 포함할 수 있다.
혼합현실 콘텐츠 생성 방법은 상기 광고판이 디스플레이 화면인 경우, 소정의 입력에 기초하여 상기 배경 부분을 상기 제1색으로 변환하는 단계를 더 포함할 수 있다.
상기 광고 부분인 선 형태는 소정의 굵기 이하일 수 있다.
상기 광고 부분인 선 형태를 추출하는 단계는 모폴리지의 닫힘 연산 및 차영상 기술을 이용하여 상기 광고 부분인 선 형태를 추출하는 단계를 포함할 수 있다.
상기 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 단계는 상기 광고판에 구비된 2차원 코드 또는 3차원 코드를 이용하여 상기 제3이미지를 획득하는 단계를 포함할 수 있다.
혼합현실 콘텐츠 생성 방법은 복수의 광고판이 서로 연결되어 있는 경우, 각각의 광고판의 가장자리를 추출하는 단계; 및 상기 추출된 가장자리의 색상이 미리 결정된 색상과 동일한 경우, 상기 추출된 가장자리를 상기 배경 부분으로 간주하여 제거하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 혼합현실 콘텐츠 생성 방법은 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하는 단계; 상기 제1이미지에서 배경 부분을 추출하여 제거하는 단계; 상기 광고 부분인 선 형태를 추출하는 단계; 상기 제2색이 미리 결정된 색과 일치하는 경우, 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하는 단계; 및 상기 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 혼합현실 콘텐츠 생성 장치는 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하는 영상 획득부; 및 상기 제1이미지에서 배경 부분을 추출하여 제거하고, 상기 광고 부분인 선 형태를 추출하여, 상기 제2색이 미리 결정된 색과 일치하는 경우, 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하고, 상기 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하는 배경 영역 추출부를 포함한다.
혼합현실 콘텐츠 생성 장치는 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 배경 화면 획득부; 및 상기 제2이미지와 상기 제3이미지를 합성하여 제4이미지를 생성하는 제어부를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 혼합현실 콘텐츠 생성 장치는 소정의 입력에 기초하여, 광고 디스플레이 화면을 제3색만으로 이루어진 배경 부분으로 전환하는 제어부; 상기 배경 부분을 배경으로 객체가 촬영되어 제5이미지를 생성하는 영상 획득부; 상기 제5이미지에서 배경 부분을 추출하여 제거하고, 상기 배경 부분이 제거된 제6이미지를 획득하는 배경 영역 추출부; 및 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제7이미지를 획득하는 배경 화면 획득부를 포함하고, 상기 제어부는 상기 제6이미지와 상기 제7이미지를 합성하여 제8이미지를 생성한다.
본 발명에 의하면, 스마트폰을 이용하여 혼합현실 광고판 앞에 서서 셀카를 찍음으로써 스마트폰 앱에서 배경을 분리하고 배경에 해당하는 가상현실 콘텐츠를 삽입하여 고객이 혼합현실 콘텐츠를 체험할 수 있다. 또한, 이 경우, 본인이 들어간 혼합현실 콘텐츠 촬영 시 본인의 휴대폰에 콘텐츠가 저장되므로 프라이버시 문제도 해결할 수 있다.
본 발명에 의하면, 기존의 디지털 사이니지 방법과는 반대로 광고판을 등지고 서서 촬영함으로써 일반 오픈된 환경에 설치가 가능하고, 고객에게 혼합현실 콘텐츠와 추출된 객체 콘텐츠, 쿠폰 등의 다양한 이익을 제공하고, 광고주에게는 증대된 광고 효과를 제공함으로써, 디지털 사이니지를 이용한 광고 효과도 구현 가능하고, 이용자에게 쿠폰 지급도 가능하여 광고효과를 배가할 수 있으며, 개인의 스마트폰을 이용하므로 개인 맞춤형 광고를 제공하는 것도 가능하게 한다.
본 발명에 의하면, 평상시 녹색 배경의 광고판에 일정 굵기 이하의 그림이나 텍스트로 광고를 가능하게 하여 광고 효과를 향상시키고, 효율적이고 저가격에 혼합현실 광고판을 제공할 수도 있다.
향후에는 AR, VR, MR 콘텐츠들이 콘텐츠 시장에서 중요한 역할을 수행할 것이 예상되어, 디지털 사이니지를 이용한 오프라인 광고의 중요성도 계속 커질 것인바, 본 발명은 이에 대비할 수 있는 장점을 가진 발명이다.
도 1은 본 발명의 일 실시예에 따른 혼합현실 콘텐츠 생성 방법에 관한 흐름도를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 광고판의 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 제1이미지의 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 제1이미지에서 배경 부분을 제거한 이미지의 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 도 4에서 일정 굵기 이하의 선 형태의 광고 부분이 메워진 이미지를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 차영상의 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 배경 부분과 광고 부분이 제거되고 객체만 남은 이미지의 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 배경 화면 이미지의 예를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 추출된 객체이미지와 배경화면 이미지가 합성된 혼합현실 콘텐츠의 예를 나타내는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 혼합현실 콘텐츠 생성 방법에 관한 흐름도를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 광고판의 예를 나타내는 도면이다.
도 12는 배경화면으로 전환된 디스플레이의 예를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 혼합현실 콘텐츠 생성 장치에 관한 블록 다이어그램을 나타내는 도면이다.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 혼합현실 콘텐츠 생성 방법에 관한 흐름도를 나타내는 도면이다.
도 1을 참조하면, 단계 110에서, 혼합현실 콘텐츠 생성 방법을 수행하는 장치(이하, '장치'라고 함)는 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성한다.
본 발명의 일 실시예에 있어서, 광고판은 제1색으로 이루어진 배경 부분과 제2색으로 이루어진 선 형태의 광고 부분을 포함한다. 제1색은 크로마키 방법을 사용하기 위하여 초록색이 가장 바람직하다. 제2색은 제1색과 상이한 색이면 큰 제한은 없다.
본 발명의 일 실시예에서, 광고판은 디스플레이 디바이스의 화면일 수 있다.
선 형태는 문자나 그림의 형태로 구현된다. 본 발명에 있어서, 선 형태는 소정의 굵기 이하가 바람직하다.
도 2는 본 발명의 일 실시예에 따른 광고판의 예를 나타내는 도면이다.
도 2를 참조하면, 광고판(200)은 배경 부분(210) 및 선 형태로 이루어진 광고 부분(220)을 포함한다.
장치는 카메라와 같은 촬상 장치를 포함한다. 광고판을 배경으로 이미지를 촬영해야 하기에, 카메라는 광고판을 바라보는 위치에 있다. 예를 들어, 사용자는 장치가 포함되어 있는 모바일 기기로 셀카찍는 방식으로 광고판을 배경으로 사진을 찍을 수 있다. 이 경우, 광고판에 부착된 카메라를 이용하여 촬영되는 것이 아니라, 사용자 본인의 스마트폰을 이용하여 촬영할 수 있으므로, 프라이버시 문제를 피할 수 있는 장점도 있다.
도 3은 본 발명의 일 실시예에 따른 제1이미지의 예를 나타내는 도면이다.
도 3을 참조하면, 제1이미지(300)는 배경 부분(310), 광고 부분(320) 및 피사체인 객체(330)을 포함한다.
본 발명의 다른 실시예로, 광고판이 디스플레이 화면인 경우, 장치는 소정의 입력에 기초하여 배경 부분을 제1색으로 변환할 수 있다. 물론, 장치는 광고 부분도 제2색으로 변환시킬 수도 있다.
이 경우에는, 평소에는 원래의 의도에 맞는 색상으로 광고판을 디스플레이하다가, 혼합현실 콘텐츠를 생성하기 위하여 소정의 입력에 기초하여, 배경 부분이나 광고 부분의 색상을 변경하여 활용할 수가 있다.
단계 120에서, 장치는 생성된 제1이미지에서 제1색에 해당하는 배경 부분을 추출하여 제거한다.
도 4는 본 발명의 일 실시예에 따른 제1이미지에서 배경 부분을 제거한 이미지의 예를 나타내는 도면이다.
도 4를 참조하면, 제1이미지에서 배경 부분을 제거한 이미지(400)는 광고 부분(420) 및 객체(430)만을 포함하고 있다.
단계 130에서, 장치는 광고 부분인 일정 굵기 이하의 선 형태를 추출한다.
장치는 모폴리지의 닫힘 연산을 적용하고, 그 후 차영상을 이용하여 일정 굵기 이하의 선 영역을 추출하게 된다.
모폴로지 처리는 영상의 밝은 영역이나 어두운 영역을 축소 또는 확대하는 기법이다. 영상에서 흰색(또는 밝은) 영역이나 검은색 영역이 원하는 의도보다 넓거나 좁게 얻어질 수 있다. 최적의 문턱 값을 사용하면서 잘못된 분리 영역은 후처리 과정을 통하여 결과를 수정하는 기법을 많이 사용하는 데 이를 모폴로지 처리라고 한다.
모폴로지 처리는 대상 영역이 좁아지는 침식 연산(eroding operation), 대상 영역이 넓어지는 팽창 연산(Dilation operation), 대상 영역에서 세부 영역이 제거되는 열림 연산(Opening operation), 빈틈이 채워지는 닫힘 연산(Closing operation)이 있다. 일반적으로 대상 영역은 영상에서 흰색으로 표시된 영역을, 회색조 영상에서는 밝은 영역을 가리킨다. 침식과 팽창 연산은 기본적인 연산에 해당하며 열림과 닫힘 연산은 침식과 팽창 연산의 조합으로 구성된다.
침식 연산은 입력한 영상의 각 픽셀에 마스크를 놓았을 때 마스크가 255 값을 가지는 모든 픽셀 위치에 대하여 입력 영상도 255 값을 가져야만 결과값이 255가 되는 연산이다. 만약 대상 위치에서 한 픽셀이라도 0 값을 가지면 결과값은 0이 되기 때문에 전체적으로 255 값을 가지는 영역이 줄어드는 결과가 나타난다.
팽창 연산은 침식 연산과 반대로 마스크의 유효 영역에 있는 픽셀들을 모두 밝게 만드는 역할을 한다.
열림과 닫힘 연산은 침식과 팽창 연산을 결합한 형태로 구현할 수 있다. 열림 연산은 밝은 영역에 나타난 미세한 조각을 제거할 수 있도록 하는 연산이다. 먼저 침식 연산을 수행하여 밝은 영역을 전체적으로 축소한 다음 팽창 연산을 뒤이어 수행하여 전체적인 넓이를 원래대로 복구한다. 이러한 원리로 미세한 조각을 제거한다.
닫힘 연산은 밝은 영역에 생긴 미세한 틈을 메우는 역할을 한다. 먼저 팽창 연산을 수행하여 밝은 영역을 넓히고 다시 침식 연산을 수행한다. 틈새에 해당하는 영역은 팽창 연산을 통해 메워진다. 열림과 닫힘 연산을 구현하는 방법은 단순히 위에서 구현한 침식과 팽창연산을 순차적으로 수행하면 된다.
장치는 도 4의 배경 부분이 제거된 이미지에서 닫힘 연산을 수행하는 경우, 배경 부분이 제거되었기 때문에 밝은 영역에 해당하고, 일정 굵기 이하의 선 형태는 미세한 틈으로 인식되기 때문에 이들은 닫힘 연산으로 인하여 메워진다.
도 5는 본 발명의 일 실시예에 따른 도 4에서 일정 굵기 이하의 선 형태의 광고 부분이 메워진 이미지를 나타낸다.
장치는 닫힘 연산이 수행된 후, 차영상 기법을 수행하게 된다.
차영상(Image differencing) 기술이란 이미지들 사이에 변화를 결정하기 위하여 사용되는 이미지 처리 기술이다. 차영상 기술은 두 이미지 사이의 차이는 각각의 이미지에서 각각의 픽셀 차이를 찾아 계산되고, 그 결과에 기초한 이미지를 생성한다.
　장치는 도 4의 이미지와 도 5의 이미지에서 차영상 기술을 수행하면, 선 형태의 광고 부분만 있는 차영상을 구할 수가 있다.
도 6은 본 발명의 일 실시예에 따른 차영상의 예를 나타내는 도면이다.
단계 140에서, 추출된 차영상에서의 선 형태의 광고 부분의 제2색이 미리 결정된 색과 일치하는 경우, 장치는 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거한다.
장치는 추출된 선 형태의 제2색의 픽셀이 미리 결정된 색의 픽셀과 동일하거나 유사한 경우 이를 배경 부분으로 본다.
이로 인하여, 광고 부분을 배경 부분으로 간주하여 객체만 남는다.
단계 150에서, 장치는 배경 부분과 광고 부분이 제거된 제2이미지를 획득한다.
이로 인하여, 평상시에는 광고 부분에 의하여 메시지를 전달할 수 있으며, 혼합현실 콘텐츠 생성 시에는 배경으로 인식할 수 있어 효과적인 광고가 가능하게 된다.
본 발명의 다른 실시예로, 굵은 메시지를 전달하기 위해서는 복수의 컬러의 선을 중첩하여 사용하는 것도 가능하다.
도 7은 본 발명의 일 실시예에 따른 배경 부분과 광고 부분이 제거되고 객체만 남은 이미지의 예를 나타낸다.
단계 160에서, 장치는 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득한다.
본 발명의 일 실시예로, 제3이미지는 장치에서 구동되는 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션에 있는 이미지를 선택될 수도 있고, 장치 자체에 저장되어 있는 이미지에서 선택될 수도 있다.
본 발명의 다른 실시예로, 광고판에 부착되어 있는 2차원 또는 3차원 코드(예를 들어, 바코드 또는 QR 코드)를 장치가 읽거나 또는 장치에 구비된 GPS 장치를 통하여 광고판의 위치를 파악하여, 광고판 ID를 획득하고, 이를 기초로 소정의 서버로부터 다운받아 제3이미지가 선택될 수도 있다. 또는 광고판에 부착되어 있는 2차원 또는 3차원 코드에 따라 서버에 접근한 후, 다운받아 제3이미지가 선택될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 배경 화면 이미지의 예를 나타낸다.
배경 화면 이미지는 장소에 따른 광고 콘텐츠일 수도 있다.
단계 170에서, 장치는 제2이미지와 제3이미지를 합성하여 제4이미지를 생성한다. 즉, 장치는 객체만 추출한 제2이미지와 배경화면인 제3이미지를 합성하여 혼합현실 콘텐츠인 제4이미지를 생성한다. 혼합현실 콘텐츠인 제4이미지는 장치에 저장될 수도 있고, SNS 서비스를 이용하여 타인과 공유할 수도 있다.
또한, 객체만 추출한 제2이미지만 저장할 수도 있다. 이 경우, 사용자는 다른 배경화면 이미지와 합성할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 추출된 객체이미지와 배경화면 이미지가 합성된 혼합현실 콘텐츠의 예를 나타내는 도면이다.
이 경우, 고객은 혼합현실 콘텐츠를 통하여 다른 곳에 가보는 것과 같은 효과나 가상현실에 있는 듯한 효과를 체험할 수 있다.
본 발명의 일 실시예로, 제1이미지를 획득할 시 장치에 포함된 카메라의 각도를 자이로 센서 등을 통하여 획득할 수 있다. 이때, 배경화면인 제3이미지를 카메라의 각도에 대응되도록 각도를 변환하여 제1이미지와 합성하여 제4이미지가 획득될 수도 있다.
도면에 도시하지는 않았지만, 본 발명의 일 실시예로, 광고판의 크기가 커야 할 경우, 복수의 광고판이 인접하여 구성될 수 있다. 광고판 가장자리끼리의 틈 또는 디스플레이 베젤로 인하여 갭이 존재할 수도 있다. 이 경우에도, 단계 130 및 140과 같이, 장치는 모폴리지의 닫힘 연산 및 차영상을 이용하여 갭을 추출하고, 추출된 갭이 미리 설정된 색상에 해당하는 경우, 이를 배경 부분으로 간주하여 제거할 수도 있다. 이와 유사하게, 본 발명의 다른 실시예로, 광고판이 디스플레이 화면인 경우, 디스플레이 가장자리를 위의 방법을 통하여 배경 부분으로 간주하여 제거할 수도 있다. 이 경우에는 장치의 카메라 촬영 시야가 광고판을 일부 벗어나더라도 큰 문제 없이 동작이 가능하며, 좀 더 작은 광고판으로 혼합현실 콘텐츠를 생성할 수도 있다.
본 발명의 일 실시예로, 장치가 포함된 모바일 기기를 움직이면 360° 배경 동영상 콘텐츠 중 해당 부분을 혼합하여 마치 사용자가 다른 곳에서 셀카를 찍는 듯한 효과를 낼 수도 있다. 이 경우 카메라의 회전 반경을 넓히기 위해서는 큰 광고판이 필요하게 되는데, 광고판을 휘어서 회전 반경을 넓힐 수도 있다. 이때, 곡률이 있는 광고판을 이용될 수도 있고, 구석 부분이 90° 형태로 꺾인 광고판이 이용될 수도 있다.
본 발명의 다른 실시예로, 혼합현실 콘텐츠를 생성한 사용자에게는 해당 광고판이 설치된 장소 또는 다른 장소에서 사용할 수 있는 쿠폰을 제공할 수도 있다. 이 경우, 사용자는 쿠폰을 받음으로써 경제적인 이익을 취할 수 있으며, 광고주로서는 고객들을 특정 장소 광고판에 모이게 할 수 있고, 쿠폰을 제공함으로써 판촉 효과를 얻을 수가 있다.
도 10은 본 발명의 다른 실시예에 따른 혼합현실 콘텐츠 생성 방법에 관한 흐름도를 나타내는 도면이다.
도 10을 참조하면, 단계 1010에서, 장치는 소정의 입력 신호에 기초하여, 광고 디스플레이 화면을 제3색만으로 이루어진 배경화면으로 전환한다.
제3색은 크로마키 방법을 사용하기 위하여 초록색이 가장 바람직하다.
도 11은 본 발명의 일 실시예에 따른 광고판의 예를 나타내는 도면이고, 도 12는 배경화면으로 전환된 디스플레이의 예를 나타내는 도면이다.
도 11 및 도 12를 참조하면, 광고판인 디스플레이 화면(1100)에 광고(1110)가 표시되어 있으며, 소정의 입력 신호에 따라, 디스플레이 화면(1200)이 배경부분(1210)만으로 전환되었다.
소정의 입력 신호는 디스플레이 화면 또는 그 인근에 구비된 버튼을 통하여 생성될 수도 있고, 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션을 통하여 생성될 수도 있다.
단계 1020에서, 장치는 상기 전환된 배경부분을 배경으로 객체가 촬영되어 제5이미지를 생성한다.
장치는 카메라와 같은 촬상 장치를 포함한다. 전환이 이루어진 배경부분을 배경으로 이미지를 촬영해야 하기에, 카메라는 광고판을 바라보는 위치에 있다. 예를 들어, 사용자는 장치가 포함되어 있는 모바일 기기로 셀카찍는 방식으로 광고판을 배경으로 사진을 찍을 수 있다. 이 경우, 광고판에 부착된 카메라를 이용하여 촬영되는 것이 아니라, 사용자 본인의 스마트폰을 이용하여 촬영할 수 있으므로, 프라이버시 문제를 피할 수 있는 장점도 있다.
단계 1030에서, 장치는 생성된 제5이미지에서 제3색에 해당하는 배경 부분을 추출하여 제거한다.
단계 1040에서, 장치는 배경 부분이 제거된 제6이미지를 획득한다. 제6이미지는 도 7의 제2이미지와 같은 이미지를 획득하게 된다.
이로 인하여, 평상시에는 광고 부분에 의하여 메시지를 전달할 수 있으며, 혼합현실 콘텐츠 생성 시에는 배경으로 인식할 수 있어 효과적인 광고가 가능하게 된다.
단계 1050에서, 장치는 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제7이미지를 획득한다. 제7이미지는 도 8의 제3이미지와 같은 이미지를 획득하게 된다.
본 발명의 일 실시예로, 제7이미지는 장치에서 구동되는 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션에 있는 이미지를 선택될 수도 있고, 장치 자체에 저장되어 있는 이미지에서 선택될 수도 있다.
본 발명의 다른 실시예로, 광고판 또는 그 인근에 부착되어 있는 2차원 또는 3차원 코드(예를 들어, 바코드 또는 QR 코드)를 장치가 읽거나 또는 장치에 구비된 GPS 장치를 통하여 광고판의 위치를 파악하여, 광고판 ID를 획득하고, 이를 기초로 소정의 서버로부터 다운받아 제7이미지가 선택될 수도 있다. 또는 광고판에 부착되어 있는 2차원 또는 3차원 코드에 따라 서버에 접근한 후, 다운받아 제7이미지가 선택될 수도 있다.
단계 1060에서, 장치는 제6이미지와 제7이미지를 합성하여 제8이미지를 생성한다. 즉, 장치는 객체만 추출한 제6이미지와 배경화면인 제7이미지를 합성하여 혼합현실 콘텐츠인 제8이미지를 생성한다. 혼합현실 콘텐츠인 제8이미지는 장치에 저장될 수도 있고, SNS 서비스를 이용하여 타인과 공유할 수도 있다. 제8이미지는 도 9의 제4이미지와 같은 이미지를 획득하게 된다.
또한, 객체만 추출한 제6이미지만 저장할 수도 있다. 이 경우, 사용자는 다른 배경화면 이미지와 합성할 수도 있다.
이 경우, 고객은 혼합현실 콘텐츠를 통하여 다른 곳에 가보는 것과 같은 효과나 가상현실에 있는 듯한 효과를 체험할 수 있다.
본 발명의 일 실시예로, 장치는 제5이미지를 획득할 시 장치에 포함된 카메라의 각도를 자이로 센서 등을 통하여 획득할 수 있다. 이때, 배경화면인 제7이미지를 카메라의 각도에 대응되도록 각도를 변환하여 제6이미지와 합성하여 제8이미지가 획득될 수도 있다.
본 발명의 일 실시예로, 장치가 포함된 모바일 기기를 움직이면 360° 배경 동영상 콘텐츠 중 해당 부분을 혼합하여 마치 사용자가 다른 곳에서 셀카를 찍는 듯한 효과를 낼 수도 있다. 이 경우 카메라의 회전 반경을 넓히기 위해서는 큰 광고판이 필요하게 되는데, 광고판을 휘어서 회전 반경을 넓힐 수도 있다. 이때, 곡률이 있는 광고판을 이용될 수도 있고, 구석 부분이 90° 형태로 꺾인 광고판이 이용될 수도 있다.
본 발명의 다른 실시예로, 혼합현실 콘텐츠를 생성한 사용자에게는 해당 광고판이 설치된 장소 또는 다른 장소에서 사용할 수 있는 쿠폰을 제공할 수도 있다. 이 경우, 사용자는 쿠폰을 받음으로써 경제적인 이익을 취할 수 있으며, 광고주로서는 고객들을 특정 장소 광고판에 모이게 할 수 있고, 쿠폰을 제공함으로써 판촉 효과를 얻을 수가 있다.
도 13은 본 발명의 일 실시예에 따른 혼합현실 콘텐츠 생성 장치에 관한 블록 다이어그램을 나타내는 도면이다.
도 13을 참조하면, 혼합현실 콘텐츠 생성 장치(1310)는 카메라(1311), 영상 획득부(1312), 배경 영역 추출부(1313), 배경 화면 획득부(1314), 제어부(1315) 및 저장부(1316)를 포함한다.
영상 획득부(1312)는 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판(1320)을 배경으로 객체가 카메라(1311)를 통하여 촬영되어 제1이미지를 생성한다.
광고판(1320)은 제1색으로 이루어진 배경 부분과 제2색으로 이루어진 선 형태의 광고 부분을 포함한다. 제1색은 크로마키 방법을 사용하기 위하여 초록색이 가장 바람직하다. 제2색은 제1색과 상이한 색이면 큰 제한은 없으며, 광고판(1320)은 디스플레이 디바이스의 화면일 수 있다.
선 형태는 문자나 그림의 형태로 구현된다. 본 발명에 있어서, 선 형태는 소정의 굵기 이하가 바람직하다.
광고판(1320)을 배경으로 이미지를 촬영해야 하기에, 카메라(1311)는 광고판(1320)을 바라보는 위치에 있다. 예를 들어, 사용자는 혼합현실 콘텐츠 생성 장치(1310)가 포함되어 있는 모바일 기기로 셀카찍는 방식으로 광고판(1320)을 배경으로 사진을 찍을 수 있다. 이 경우, 광고판(1320)에 부착된 카메라를 이용하여 촬영되는 것이 아니라, 사용자 본인의 스마트폰을 이용하여 촬영할 수 있으므로, 프라이버시 문제를 피할 수 있는 장점도 있다.
예를 들어, 광고판(1320)이 디스플레이 화면인 경우, 제어부(1315)는 소정의 입력에 기초하여 배경 부분을 제1색으로 변환할 수 있다. 물론, 장치는 광고 부분도 제2색으로 변환시킬 수도 있다.
이 경우에는, 평소에는 원래의 의도에 맞는 색상으로 광고판(1320)을 디스플레이하다가, 혼합현실 콘텐츠를 생성하기 위하여 소정의 입력에 기초하여, 배경 부분이나 광고 부분의 색상을 변경하여 활용할 수가 있다.
배경 영역 추출부(1313)는 생성된 제1이미지에서 제1색에 해당하는 배경 부분을 추출하여 제거한다.
배경 영역 추출부(1313)는 광고 부분인 일정 굵기 이하의 선 형태를 추출한다.
배경 영역 추출부(1313)는 모폴리지의 닫힘 연산을 적용하고, 그 후 차영상을 이용하여 일정 굵기 이하의 선 영역을 추출하게 된다.
배경 영역 추출부(1313)는 배경 부분이 추출되어 제거된 후, 닫힘 연산을 수행한 후, 차영상 기법을 수행하게 된다.
그 후, 배경 영역 추출부(1313)는 추출된 차영상에서의 선 형태의 광고 부분의 제2색이 미리 결정된 색과 일치하는 경우, 장치는 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거한다. 배경 영역 추출부(1313)는 추출된 선 형태의 제2색의 픽셀이 미리 결정된 색의 픽셀과 동일하거나 유사한 경우 이를 배경 부분으로 본다. 이로 인하여, 광고 부분을 배경 부분으로 간주하여 객체만 남는다.
영상 획득부(1311)는 배경 부분과 광고 부분이 제거된 제2이미지를 획득한다.
이로 인하여, 평상시에는 광고 부분에 의하여 메시지를 전달할 수 있으며, 혼합현실 콘텐츠 생성 시에는 배경으로 인식할 수 있어 효과적인 광고가 가능하게 된다.
본 발명의 다른 실시예로, 굵은 메시지를 전달하기 위해서는 복수의 컬러의 선을 중첩하여 사용하는 것도 가능하다.
배경 화면 획득부(1314)는 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득한다.
본 발명의 일 실시예로, 제3이미지는 장치에서 구동되는 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션에 있는 이미지를 선택될 수도 있고, 저장부(1316)에 저장되어 있는 이미지에서 선택될 수도 있다.
본 발명의 다른 실시예로, 광고판(1320)에 부착되어 있는 2차원 또는 3차원 코드(예를 들어, 바코드 또는 QR 코드)를 제어부(1315)가 읽거나 또는 혼합현실 콘텐츠 생성 장치(1310)에 구비된 GPS 장치(미도시)를 통하여 광고판(1320)의 위치를 파악하여, 광고판(1320) ID를 획득하고, 이를 기초로 소정의 서버로부터 다운받아 제3이미지가 선택될 수도 있다. 또는 광고판(1320)에 부착되어 있는 2차원 또는 3차원 코드에 따라 서버에 접근한 후, 다운받아 제3이미지가 선택될 수도 있다. 배경 화면 이미지는 장소에 따른 광고 콘텐츠일 수도 있다.
제어부(1315)는 제2이미지와 제3이미지를 합성하여 제4이미지를 생성한다. 즉, 제어부(1315)는 객체만 추출한 제2이미지와 배경화면인 제3이미지를 합성하여 혼합현실 콘텐츠인 제4이미지를 생성한다. 혼합현실 콘텐츠인 제4이미지는 저장부(1316)에 저장될 수도 있고, SNS 서비스를 이용하여 타인과 공유할 수도 있다.
또한, 저장부(1316)는 객체만 추출한 제2이미지만 저장할 수도 있다. 이 경우, 사용자는 다른 배경화면 이미지와 합성할 수도 있다.
이 경우, 고객은 혼합현실 콘텐츠를 통하여 다른 곳에 가보는 것과 같은 효과나 가상현실에 있는 듯한 효과를 체험할 수 있다.
본 발명의 일 실시예로, 제1이미지를 획득할 시 제어부(1315)는 카메라(1311)의 각도를 자이로 센서 등을 통하여 획득할 수 있다. 이때, 제어부(1315)는 배경화면인 제3이미지를 카메라의 각도에 대응되도록 각도를 변환하여 제1이미지와 합성하여 제4이미지가 획득될 수도 있다.
도면에 도시하지는 않았지만, 본 발명의 일 실시예로, 광고판(1320)의 크기가 커야 할 경우, 복수의 광고판(1320)이 인접하여 구성될 수 있다. 광고판(1320) 가장자리끼리의 틈 또는 디스플레이 베젤로 인하여 갭이 존재할 수도 있다. 이 경우에도, 배경 영역 추출부(1313)는 모폴리지의 닫힘 연산 및 차영상을 이용하여 갭을 추출하고, 추출된 갭이 미리 설정된 색상에 해당하는 경우, 이를 배경 부분으로 간주하여 제거할 수도 있다. 이와 유사하게, 본 발명의 다른 실시예로, 광고판(1320)이 디스플레이 화면인 경우, 디스플레이 가장자리를 위의 방법을 통하여 배경 부분으로 간주하여 제거할 수도 있다. 이 경우에는 혼합현실 콘텐츠 생성 장치(1310)의 카메라 촬영 시야가 광고판(1320)을 일부 벗어나더라도 큰 문제 없이 동작이 가능하며, 좀 더 작은 광고판(1320)으로 혼합현실 콘텐츠를 생성할 수도 있다.
본 발명의 일 실시예로, 혼합현실 콘텐츠 생성 장치(1310)가 포함된 모바일 기기를 움직이면 360° 배경 동영상 콘텐츠 중 해당 부분을 혼합하여 마치 사용자가 다른 곳에서 셀카를 찍는 듯한 효과를 낼 수도 있다. 이 경우 카메라(1311)의 회전 반경을 넓히기 위해서는 큰 광고판(1320)이 필요하게 되는데, 광고판(1320)을 휘어서 회전 반경을 넓힐 수도 있다. 이때, 곡률이 있는 광고판(1320)을 이용될 수도 있고, 구석 부분이 90° 형태로 꺾인 광고판(1320)이 이용될 수도 있다.
본 발명의 다른 실시예로, 혼합현실 콘텐츠 생성 장치(1310)는 혼합현실 콘텐츠를 생성한 사용자에게는 해당 광고판이 설치된 장소 또는 다른 장소에서 사용할 수 있는 쿠폰을 제공할 수도 있다. 이 경우, 사용자는 쿠폰을 받음으로써 경제적인 이익을 취할 수 있으며, 광고주로서는 고객들을 특정 장소 광고판에 모이게 할 수 있고, 쿠폰을 제공함으로써 판촉 효과를 얻을 수가 있다.
아래에서는, 혼합현실 콘텐츠 생성 장치(1310)에 관한 다른 실시예에 대하여 설명하기로 한다.
제어부(1315)는 소정의 입력 신호에 기초하여, 광고 디스플레이 화면을 제3색만으로 이루어진 배경화면으로 전환한다. 제3색은 크로마키 방법을 사용하기 위하여 초록색이 가장 바람직하다.
소정의 입력 신호는 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션을 통하여 생성될 수도 있다.
영상 획득부(1312)는 상기 전환된 배경부분을 배경으로 객체가 촬영되어 제5이미지를 생성한다.
혼합현실 콘텐츠 생성 장치(1310)는 카메라(1311)와 같은 촬상 장치를 포함한다. 전환이 이루어진 배경부분을 배경으로 이미지를 촬영해야 하기에, 카메라(1311)는 광고판을 바라보는 위치에 있다. 예를 들어, 사용자는 혼합현실 콘텐츠 생성 장치(1310)가 포함되어 있는 모바일 기기로 셀카찍는 방식으로 광고판을 배경으로 사진을 찍을 수 있다. 이 경우, 광고판에 부착된 카메라를 이용하여 촬영되는 것이 아니라, 사용자 본인의 스마트폰을 이용하여 촬영할 수 있으므로, 프라이버시 문제를 피할 수 있는 장점도 있다.
배경 영역 추출부(1313)는 생성된 제5이미지에서 제3색에 해당하는 배경 부분을 추출하여 제거한다. 그 후, 배경 영역 추출부(1313)는 배경 부분이 제거된 제6이미지를 획득한다. 이로 인하여, 평상시에는 광고 부분에 의하여 메시지를 전달할 수 있으며, 혼합현실 콘텐츠 생성 시에는 배경으로 인식할 수 있어 효과적인 광고가 가능하게 된다.
배경 화면 획득부(1314)는 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제7이미지를 획득한다. 본 발명의 일 실시예로, 제7이미지는 혼합현실 콘텐츠 생성 장치(1310)에서 구동되는 혼합현실 콘텐츠 생성 방법을 수행하는 애플리케이션에 있는 이미지를 선택될 수도 있고, 저장부(1316)에 저장되어 있는 이미지에서 선택될 수도 있다.
본 발명의 다른 실시예로, 광고판 또는 그 인근에 부착되어 있는 2차원 또는 3차원 코드(예를 들어, 바코드 또는 QR 코드)를 혼합현실 콘텐츠 생성 장치(1310)가 읽거나 또는 혼합현실 콘텐츠 생성 장치(1310)에 구비된 GPS 장치를 통하여 광고판의 위치를 파악하여, 광고판 ID를 획득하고, 이를 기초로 소정의 서버로부터 다운받아 제7이미지가 선택될 수도 있다. 또는 광고판에 부착되어 있는 2차원 또는 3차원 코드에 따라 서버에 접근한 후, 다운받아 제7이미지가 선택될 수도 있다.
제어부(1315)는 제6이미지와 제7이미지를 합성하여 제8이미지를 생성한다. 즉, 제어부(1315)는 객체만 추출한 제6이미지와 배경화면인 제7이미지를 합성하여 혼합현실 콘텐츠인 제8이미지를 생성한다. 혼합현실 콘텐츠인 제8이미지는 저장부(1316)에 저장될 수도 있고, SNS 서비스를 이용하여 타인과 공유할 수도 있다.
또한, 저장부(1316)는 객체만 추출한 제6이미지만 저장할 수도 있다. 이 경우, 사용자는 다른 배경화면 이미지와 합성할 수도 있다.
이 경우, 고객은 혼합현실 콘텐츠를 통하여 다른 곳에 가보는 것과 같은 효과나 가상현실에 있는 듯한 효과를 체험할 수 있다.
본 발명의 일 실시예로, 제어부(1315)는 제5이미지를 획득할 시 카메라(1316)의 각도를 자이로 센서 등을 통하여 획득할 수 있다. 이때, 배경화면인 제7이미지를 카메라의 각도에 대응되도록 각도를 변환하여 제6이미지와 합성하여 제8이미지가 획득될 수도 있다.
본 발명의 일 실시예로, 혼합현실 콘텐츠 생성 장치(1310)가 포함된 모바일 기기를 움직이면 360° 배경 동영상 콘텐츠 중 해당 부분을 혼합하여 마치 사용자가 다른 곳에서 셀카를 찍는 듯한 효과를 낼 수도 있다. 이 경우 카메라(1311)의 회전 반경을 넓히기 위해서는 큰 광고판이 필요하게 되는데, 광고판을 휘어서 회전 반경을 넓힐 수도 있다. 이때, 곡률이 있는 광고판을 이용될 수도 있고, 구석 부분이 90° 형태로 꺾인 광고판이 이용될 수도 있다.
본 발명의 다른 실시예로, 혼합현실 콘텐츠를 생성한 사용자에게는 해당 광고판이 설치된 장소 또는 다른 장소에서 사용할 수 있는 쿠폰을 제공할 수도 있다. 이 경우, 사용자는 쿠폰을 받음으로써 경제적인 이익을 취할 수 있으며, 광고주로서는 고객들을 특정 장소 광고판에 모이게 할 수 있고, 쿠폰을 제공함으로써 판촉 효과를 얻을 수가 있다.
이상 설명한 바와 같은 혼합현실 콘텐츠 생성 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
혼합현실 콘텐츠 생성 장치: 1310 광고판: 1320
카메라: 1311 영상 획득부: 1312
배경 영역 추출부:1313 배경 화면 획득부:1314
제어부: 1315 저장부: 1316

Claims (16)

  1. 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하는 단계;
    상기 제1이미지에서 배경 부분을 추출하여 제거하는 단계;
    상기 광고 부분인 선 형태를 추출하는 단계;
    상기 제2색이 미리 결정된 색과 일치하는 경우, 상기 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하는 단계; 및
    상기 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하는 단계를 포함하고,
    소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 단계; 및
    상기 제2이미지와 상기 제3이미지를 합성하여 제4이미지를 생성하는 단계를 더 포함하고,
    복수의 광고판이 서로 연결되어 있는 경우, 각각의 광고판의 가장자리를 추출하는 단계; 및
    상기 추출된 가장자리의 색상이 미리 결정된 색상과 동일한 경우, 상기 추출된 가장 자리를 상기 배경 부분으로 간주하여 제거하는 단계를 더 포함하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 광고판이 디스플레이 화면인 경우, 소정의 입력에 기초하여 상기 배경 부분을 상기 제1색으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 방법.
  4. 제1항에 있어서,
    상기 광고 부분인 선 형태는 소정의 굵기 이하인 것을 특징으로 하는 혼합현실 콘텐츠 생성 방법.
  5. 제4항에 있어서,
    상기 광고 부분인 선 형태를 추출하는 단계는 모폴리지의 닫힘 연산 및 차영상 기술을 이용하여 상기 광고 부분인 선 형태를 추출하는 단계를 포함하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 방법.
  6. 제1항에 있어서,
    상기 소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 단계는 상기 광고판에 구비된 2차원 코드 또는 3차원 코드를 이용하여 상기 제3이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 방법.
  7. 삭제
  8. 삭제
  9. 제1색으로 이루어진 배경 부분 및 제2색으로 이루어진 선 형태의 광고 부분으로 형성된 광고판을 배경으로 객체가 촬영되어 제1이미지를 생성하는 영상 획득부; 및
    상기 제1이미지에서 배경 부분을 추출하여 제거하고, 상기 광고 부분인 선 형태를 추출하여, 상기 제2색이 미리 결정된 색과 일치하는 경우, 상기 추출된 선 형태의 광고 부분을 배경 부분으로 간주하여 제거하고, 상기 배경 부분과 상기 광고 부분이 제거된 제2이미지를 획득하는 배경 영역 추출부를 포함하고,
    소정의 입력에 기초하여, 배경 화면이 될 수 있는 제3이미지를 획득하는 배경 화면 획득부; 및
    상기 제2이미지와 상기 제3이미지를 합성하여 제4이미지를 생성하는 제어부를 더 포함하고,
    상기 배경 영역 추출부는 복수의 광고판이 서로 연결되어 있는 경우, 장치는 각각의 광고판의 가장자리를 추출하고, 상기 추출된 가장자리의 색상이 미리 결정된 색상과 동일한 경우, 장치는 상기 추출된 가장 자리를 상기 배경 부분으로 간주하여 제거하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 제어부는 상기 광고판이 디스플레이 화면인 경우, 소정의 입력에 기초하여 상기 배경 부분을 상기 제1색으로 변환하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 장치.
  12. 제9항에 있어서,
    상기 광고 부분인 선 형태는 소정의 굵기 이하인 것을 특징으로 하는 혼합현실 콘텐츠 생성 장치.
  13. 제12항에 있어서,
    상기 배경 영역 추출부는 모폴리지의 닫힘 연산 및 차영상 기술을 이용하여 상기 광고 부분인 선 형태를 추출하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 장치.
  14. 제9항에 있어서,
    상기 배경 화면 획득부는 상기 광고판에 구비된 2차원 코드 또는 3차원 코드를 이용하여 상기 제3이미지를 획득하는 것을 특징으로 하는 혼합현실 콘텐츠 생성 장치.
  15. 삭제
  16. 삭제
KR1020170117207A 2017-09-13 2017-09-13 혼합현실 콘텐츠 생성 방법 및 그 장치 Active KR101992837B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170117207A KR101992837B1 (ko) 2017-09-13 2017-09-13 혼합현실 콘텐츠 생성 방법 및 그 장치
US16/128,625 US20190080497A1 (en) 2017-09-13 2018-09-12 Method and apparatus for generating mixed reality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170117207A KR101992837B1 (ko) 2017-09-13 2017-09-13 혼합현실 콘텐츠 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190030015A KR20190030015A (ko) 2019-03-21
KR101992837B1 true KR101992837B1 (ko) 2019-09-30

Family

ID=65631384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117207A Active KR101992837B1 (ko) 2017-09-13 2017-09-13 혼합현실 콘텐츠 생성 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20190080497A1 (ko)
KR (1) KR101992837B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250037954A (ko) 2023-09-11 2025-03-19 주식회사 앨리스도트 투명디스플레이를 채용한 증강현실 기반의 ar단말에 사용되는 광고 제작 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756081B2 (en) 2020-06-12 2023-09-12 International Business Machines Corporation Rendering privacy aware advertisements in mixed reality space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665988B1 (ko) * 2012-07-20 2016-10-13 펑시아 우 영상 생성 방법
KR101761234B1 (ko) * 2015-04-17 2017-07-26 가천대학교 산학협력단 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2238743A4 (en) * 2007-12-17 2011-03-30 Stein Gausereide REAL-TIME VIDEO INCLUSION SYSTEM
US8913847B2 (en) * 2010-06-01 2014-12-16 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
KR20130082860A (ko) * 2011-12-21 2013-07-22 이상헌 위치 확인이 용이한 스마트 맵, 그 스마트 맵을 이용한 안내 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665988B1 (ko) * 2012-07-20 2016-10-13 펑시아 우 영상 생성 방법
KR101761234B1 (ko) * 2015-04-17 2017-07-26 가천대학교 산학협력단 다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250037954A (ko) 2023-09-11 2025-03-19 주식회사 앨리스도트 투명디스플레이를 채용한 증강현실 기반의 ar단말에 사용되는 광고 제작 시스템

Also Published As

Publication number Publication date
KR20190030015A (ko) 2019-03-21
US20190080497A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
KR102319423B1 (ko) 컨텍스트 기반 증강 광고
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US9633479B2 (en) Time constrained augmented reality
US20160050465A1 (en) Dynamically targeted ad augmentation in video
Sanches et al. Mutual occlusion between real and virtual elements in augmented reality based on fiducial markers
CN103503455A (zh) 针对视频自适应和重定目标进行视频字幕重新覆盖的系统和方法
KR20110128322A (ko) 공공 디스플레이들로부터의 내로우캐스팅과, 관련 처리방식들
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
JP7589290B2 (ja) 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
US20120059727A1 (en) System for creating digital media in social venues and methods thereof
KR101992837B1 (ko) 혼합현실 콘텐츠 생성 방법 및 그 장치
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7084795B2 (ja) 画像処理装置、画像提供装置、それらの制御方法及びプログラム
US10706635B2 (en) System and method for presenting placards in augmented reality
EP2793169A1 (en) Method and apparatus for managing objects of interest
Shirali-Shahreza A new method for real-time steganography
AU2018271418A1 (en) Creating selective virtual long-exposure images
US20230127589A1 (en) Real-time video overlaying and sharing
Unno et al. A new displaying technology for information hiding using temporally brightness modulated pattern
US20230276082A1 (en) Producing video for content insertion
KR101525409B1 (ko) 이미지 인식모듈을 이용한 컨텐츠 증강방법
DK179317B1 (en) A method for capturing visually encoded data tags from lenticular 3D pictures
Ostkamp et al. QR codes on curved Media facades: two approaches for inverse distortion based on raytracing and image warping
WO2023182965A2 (en) An advertisement display system built using augmented, mixed and virtual reality
KR20250066694A (ko) 블록체인을 이용한 아나모픽 기반의 사이니지 플랫폼 서버

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170913

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180717

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180717

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20181017

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190513

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190329

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190226

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20181017

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190619

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190619

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220620

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230605

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240611

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250602

Start annual number: 7

End annual number: 7