KR101221540B1 - Interactive media mapping system and method thereof - Google Patents
Interactive media mapping system and method thereof Download PDFInfo
- Publication number
- KR101221540B1 KR101221540B1 KR1020110017212A KR20110017212A KR101221540B1 KR 101221540 B1 KR101221540 B1 KR 101221540B1 KR 1020110017212 A KR1020110017212 A KR 1020110017212A KR 20110017212 A KR20110017212 A KR 20110017212A KR 101221540 B1 KR101221540 B1 KR 101221540B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- media
- mapping
- user
- processing server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 117
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 45
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000981 bystander Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
- H04H60/375—Commercial
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 인터랙티브 미디어 매핑 시스템 및 그 방법에 관한 것으로서, 특히 소정의 스토리로 전개되는 미디어 영상에 대응하는 콘텐츠를 제공하는 미디어 서버와, 상기 미디어 서버와 네트워크를 통해 연결되고, 상기 미디어 영상에서 표시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 데이터 스트림을 추출하기 위해 상기 미디어 영상을 선처리(preprocess)하여, 상기 하나 이상의 인터랙티브 영역들에 사용자 이미지를 매핑하는 영상처리 서버와, 상기 미디어 서버 및 영상처리 서버와 네트워크를 통해 연결되고, 상기 사용자 이미지와 콘텐츠에 실시간으로 대응하는 미디어 영상을 결합하는 합성 서버로 구성되는 것을 특징으로 한다. 따라서, 본 발명은 실시간 페이스 매핑, 보이스 매핑, 카메라 매핑을 통해 사용자에 의해 재구성된 인터랙티브 영상 서비스를 실시간 제공하여 새로운 영상 제작 및 관람이 가능하고, 실시간 PPL 매핑을 통한 광고 수익과 앱스토어의 유료모델, 그리고 새로운 형태의 영상서비스를 통해 고부가가치 산업으로 발전해나갈 수 있다.The present invention relates to an interactive media mapping system and a method thereof, and more particularly, to a media server providing content corresponding to a media image that is developed into a predetermined story, and connected to the media server through a network, and displayed on the media image. An image processing server that preprocesses the media image to extract a data stream associated with one or more interactive regions and maps a user image to the one or more interactive regions, the media server and image processing It is characterized in that it is connected to the server via a network, and comprises a composite server for combining the media image corresponding to the user image and the content in real time. Therefore, the present invention enables real-time interactive video service reconstructed by the user through real-time face mapping, voice mapping, and camera mapping to enable new video production and viewing, and ad revenue and real-time paid model of the app store through real-time PPL mapping. And new types of video services can be developed into high value-added industries.
Description
본 발명은 인터랙티브 미디어 매핑 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자에 의해 재구성된 인터랙티브 영상 서비스를 실시간 제공하여 새로운 영상 제작 및 관람이 가능하도록 하는 인터랙티브 미디어 매핑 시스템 미 그 방법에 관한 것이다.
The present invention relates to an interactive media mapping system and a method thereof. More particularly, the present invention relates to an interactive media mapping system that provides a real-time interactive video service reconstructed by a user and to produce and view a new image.
현대 통신 시대는 유선 네트워크 및 무선 네트워크의 엄청난 확장을 가져왔다. 컴퓨터 네트워크, 텔레비전 네트워크 및 전화 네트워크는 소비자의 요구에 의해 연료를 공급받는 전례가 없는 기술적인 확장을 경험하고 있다.The modern telecommunications era has led to the enormous expansion of wired and wireless networks. Computer networks, television networks and telephone networks are experiencing an unprecedented technological expansion fueled by consumer demand.
무선 및 모바일 네트워킹 기술들은 더 유연하고 즉각적인 정보 전달을 제공하면서 관련된 소비자의 요구들을 중점을 두어 다루고 있다. 통신 네트워크의 이런 폭발적인 성장은 개별 소비자들에 의해 생성된 콘텐츠를 배포하도록 하는 채널들을 포함하는 몇몇의 새로운 미디어 배송 채널들이 발전하도록 하고 있다. Wireless and mobile networking technologies focus on the needs of related consumers while providing more flexible and immediate information delivery. This explosive growth in telecommunications networks has led to the development of several new media delivery channels, including channels that allow the distribution of content generated by individual consumers.
네트워킹 기술들에서의 현재의 그리고 미래의 발전들은 정보 전달의 편함과 사용자들에 대한 편이성을 계속해서 용이하게 한다. 그러나, 미디어 콘텐츠 배송 하는데 있어서의 용이함 개선하고 그리고 사용자들의 편이성을 더 개선하도록 하는 요구가 존재하는 한 가지 영역은 사용자가 최소의 노력을 하면서 여러 유형의 미디어 배송 채널들을 통해서 미디어 콘텐츠를 배송할 수 있는 능력을 개선시키는 것을 포함한다.Current and future developments in networking technologies continue to facilitate ease of communication and ease of use for users. However, one area in which there is a need to improve the ease of delivering media content and to further improve the convenience of users is that users can deliver media content through different types of media delivery channels with minimal effort. Improving ability.
널리 보급되어 있는 인터넷 서비스들은 이제는 심지어는 기술적으로 이해하고 있지 않은 사용자들이 그 사용자들 자신의 미디어 콘텐츠를 생성하고 그리고 배포하도록 하기까지 한다. 예를 들면, 유명한 웹사이트 유튜브(YouTube)는 사용자들이 그들 자신의 비디오 파일들을 공개적으로 볼 수 있도록 공개적으로 포스트 (post)하고 배포하도록 허용하며, 그 사용자들의 비디오 파일들은 디지털 카메라나 카메라가 장착된 모바일 전화기 또는 PDA와 같은 보통 사용가능한 휴대용 전자 기기들을 이용하여 촬영했던 것이며, 또는 애니메이션 소프트웨어를 통해서 생성했던 것이다. Widespread Internet services even allow users who are no longer technically aware to create and distribute their own media content. For example, the popular website YouTube allows users to publicly post and distribute their own video files for public viewing, and their video files are equipped with digital cameras or cameras. It was taken using commonly available portable electronic devices such as mobile phones or PDAs, or created through animation software.
라이브 저널 (Live Journal) 그리고 블로거 (Blogger)와 같은 온라인 사이트들과 워드프레스(Word Press)와 무버블 타입(Moveable Type)과 같은 사용자 친화적인 서버 측 소프트웨어는 사용자들이 의견(written opinions) 또는 경험담(accounts of experiences)을 쉽게 포스트할 수 있도록 하며, 이는 "웹 로그(web logs)" 또는 "블로그 (blogs)"로 알려져 있다. Online sites such as Live Journal and Blogger and user-friendly server-side software such as Word Press and Movable Type allow users to write written opinions or accounts. It allows you to easily post of experiences, known as "web logs" or "blogs."
사용자들은 심지어는 자신들이 생성한 오디오 콘텐츠를 포함하는 디지털 오디오 파일들을 쉽게 생성하고 배포할 수 있을 것이다. 그러면 이와 같은 사용자가 생성한 오디오 파일들은 휴대용 미디어 플레이어들에서 재생되는 용도의 "팟캐스트 (potcasts)"와 같은 포맷들로 배포될 수 있을 것이다.Users will even be able to easily create and distribute digital audio files that contain the audio content they create. Such user-generated audio files may then be distributed in formats such as "potcasts" for use in portable media players.
모바일 소비자 기기들에서의 용량에 있어서의 개선들과 계속되는 크기 축소는 물론이고 모바일 네트워킹 기술에서의 개선은 소비자들로 하여금 계속해서 미디어 콘텐츠를 액세스하고 그리고 포스트하는 것 두 가지 모두를 또한 허용한다. 예를 들면, 셀룰러 전화기들과 PDA들과 같이 웹 기능이 있는 모바일 단말들은 소비자들이 자신의 휴대용 기기상에서 실질적으로 임의의 위치로부터의 유튜브 비디오들과 온라인 블로그들과 같은 인터넷 콘텐츠를 보고 그리고 다양한 유명한 포맷들로 된 오디오 파일들을 들을 수 있도록 한다.Improvements in capacity and mobile size reductions in mobile consumer devices as well as improvements in mobile networking technology also allow consumers both to continue to access and post media content. For example, web-enabled mobile terminals, such as cellular telephones and PDAs, allow consumers to view Internet content, such as YouTube videos and online blogs, from virtually any location on their portable device, and in various popular formats. Allows you to listen to audio files.
그러므로, 콘텐츠-제공자와 콘텐츠-소비자 사이의 라인은 희미해지고 그리고 이제는 이전의 어떤 것보다 더 많은 콘텐츠-제공자들과 콘텐츠 배포 및 액세스를 위한 더 많은 채널이 존재하며 그리고 소비자들은 실질적으로 아무 때에나 임의의 장소로부터 디지털 콘텐츠에 액세스할 수 있을 것이다. 더욱이, 다양한 모드의 디지털 콘텐츠 액세스는 콘텐츠 소비자들이 자신의 현지 위치와 활동에 가장 적합한 모드의 콘텐츠 액세스를 선택할 수 있도록 한다.Therefore, the line between content-provider and content-consumer is blurry and now there are more content-providers and more channels for content distribution and access than anything before, and consumers are virtually arbitrary at any time. Will be able to access the digital content from the venue. Moreover, various modes of digital content access allow content consumers to select the mode of content access that best suits their local location and activity.
그러나, 자신들의 콘텐츠가 서로 다른 미디어 콘텐츠 배포 채널들을 통해서 다중의 포맷으로 이용 가능하게 하여서 상기에서 설명된 것과 같은 다양한 사용자 시나리오들에 최고로 적응되기를 원하는 콘텐츠-제공자들은 콘텐츠를 생성하고 그리고 배포함에 있어서 여전히 큰 어려움에 직면하고 있다. However, content-providers who wish to make their content available in multiple formats through different media content distribution channels to best adapt to the various user scenarios as described above are still in creating and distributing the content. I am facing great difficulties.
특히, 영화와 같은 미디어 영상을 수동적으로 시청하는 하나 이상의 개개인들의 경우, 영화 공간 속에서 영화와 인터랙트할 수 있는 방법이 없다. 이는, 영화를 시청하는 개개인들이 그들의 거실이나 영화관에서 코멘트를 제시하는 것 이외에는 영화 영상의 일부가 될 수 없다는 것이다. 단순하게 설명하자면, 그들은 스크린상의 액션의 일부가 되지 않는다는 것이다. 그러한 이유는 영화와 같은 미디어 영상 속에는 관객에게 보여주기 전에 시작, 중간 그리고 끝이 정해졌으므로, 미디어 영상이 정적(static)이기 때문이다.In particular, one or more individuals who passively watch media images, such as movies, have no way of interacting with movies in the movie space. This means that individuals watching a movie cannot be part of a movie image except to comment in their living room or movie theater. Simply put, they are not part of the action on the screen. This is because media images, such as movies, have their beginnings, middles, and ends set before they are shown to the audience, so the media images are static.
비디오 게임의 경우, 플레이어들은 게임의 전개(unfolding)되는 드라마에 있는 [0007] 참여자이며, 방관자가 될 수 없다. 이는 부분적으로 플레이어들이 게임과 인터랙트 하면서 실시간으로 비디오 게임 스토리가 생성되므로, 비디오 게임이 동적(dynamic)이기 때문이다.In the case of a video game, players are participants in the drama of the unfolding of the game, and cannot be bystanders. This is partly because video games are dynamic, as the video game story is generated in real time as players interact with the game.
따라서, 인터렉티브 매핑 시스템 (Interactive mapping system)은 완전히 새로운 스타일의 온라인 영상 서비스로서, 페이스 매핑, 보이스 매핑, 카메라 매핑, PPL(Product Placement) 매핑 등의 다양한 매핑 기술을 통해 기존 영상물을 3D 입체 영상화하는 방식처럼 소셜 인터렉티브 영상으로 재탄생시키게 된다. Therefore, the interactive mapping system is an entirely new style of online video service, and 3D stereoscopic imaging of existing video objects through various mapping technologies such as face mapping, voice mapping, camera mapping, and product placement (PPL) mapping. Like this, it is reborn as social interactive video.
여기서, 페이스 매핑은 관객을 영화 속 주인공으로 변모시켜 줄 뿐만 아니라 SF영화에서만 가능했던 기술이 가능해지고, 보이스 매핑은 등장 인물과의 상호 인터렉션을 발생시켜 보다 디테일한 정보를 얻을 수 있다. Here, face mapping not only transforms the audience into the main character in the movie, but also enables technology that was possible only in SF movies, and voice mapping can generate more detailed information by generating interactions with characters.
또한, 카메라 매핑은 영상에 대한 편집권한을 일부 부여하는 기술로, 스포츠 프로그램에서 특정 선수의 채널을 구입하는 것과 같은 방식이다. 이는 사용자에게 소격 효과(거리두기)와 깊은 몰입의 두 가지를 동시에 제공하는 폭넓은 자유도를 제공한다. In addition, camera mapping is a technique of granting some editing rights to an image, in the same manner as purchasing a channel of a specific athlete in a sports program. This gives the user a wide range of degrees of freedom that simultaneously provide both a narrowing effect (distance) and deep immersion.
마지막으로, PPL 매핑은 촬영장소에 대한 위치정보와 촬영 소품 등의 정보를 실시간으로 제공할 수 있다.Finally, PPL mapping may provide information such as location information and shooting props about the shooting location in real time.
그러나, 현재 인터랙티브 매핑 기술은 다양한 매핑 기술들을 통해 미디어와의 인터랙션을 위한 기본적 개요를 제공하지만, 현실적인 방법으로 인터랙션이 콘텐츠와 조화될 수 있게끔 이러한 인터랙션의 효과들을 처리하는 시도는 현재 행해진 적이 없다.
However, current interactive mapping techniques provide a basic overview of the interaction with the media through various mapping techniques, but no attempt has been made to handle the effects of such interactions so that the interactions can be harmonized with the content in a realistic way.
따라서, 본 발명의 목적은 실시간 페이스 매핑, 보이스 매핑, 카메라 매핑을 통해 사용자에 의해 재구성된 인터랙티브 영상 서비스를 실시간 제공하여 새로운 영상 제작 및 관람이 가능하도록 하고, 실시간 PPL 매핑을 통한 광고 수익과 앱스토어의 유료모델, 그리고 새로운 형태의 영상서비스를 통해 고부가가치 산업으로 발전해 나갈 수 있는 영상 인터랙티브 미디어 매핑 시스템 및 그 방법을 제공하는 것이다.
Accordingly, an object of the present invention is to provide a real-time interactive video service reconstructed by the user through real-time face mapping, voice mapping, camera mapping to enable new video production and viewing, and advertising revenue and app store through real-time PPL mapping It is to provide a video interactive media mapping system and method that can be developed into a high value-added industry through a paid model and a new type of video service.
상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 인터랙티브 미디어 매핑 시스템은, 소정의 스토리로 전개되는 미디어 영상에 대응하는 콘텐츠를 제공하는 미디어 서버와, 상기 미디어 서버와 네트워크를 통해 연결되고, 상기 미디어 영상에서 표시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 데이터 스트림을 추출하기 위해 상기 미디어 영상을 선처리(preprocess)하여, 상기 하나 이상의 인터랙티브 영역들에 사용자 이미지를 매핑하는 영상처리 서버와, 상기 미디어 서버 및 영상처리 서버와 네트워크를 통해 연결되고, 상기 사용자 이미지와 콘텐츠에 실시간으로 대응하는 미디어 영상을 결합하는 합성 서버로 구성되는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an interactive media mapping system including a media server providing content corresponding to a media image that is developed into a predetermined story, a media server and a network. An image processing server for preprocessing the media image to extract a data stream associated with one or more interactive regions displayed in the media image and mapping a user image to the one or more interactive regions; And a synthesis server connected to the media server and the image processing server through a network and combining the media image corresponding to the user image and the content in real time.
이때, 상기 영상처리 서버는, 사용자 이미지를 촬영하는 하나 이상의 카메라와, 상기 미디어 영상을 선 처리하고, 상기 카메라에서 촬영된 영상에서 사용자 이미지를 추출하며, 사용자 선택 데이터를 미디어 영상에 합성하기 위한 일련의 제어 기능을 수행하는 프로세서와, 상기 미디어 영상에 상기 사용자 선택 데이터를 매핑하여 실시간 표시하기 위한 표시부를 포함하는 것을 특징으로 한다.In this case, the image processing server may include one or more cameras for capturing a user image, a series for preprocessing the media image, extracting the user image from the image captured by the camera, and synthesizing user selection data into the media image. And a display unit for performing a control function of the controller and a real-time display by mapping the user selection data to the media image.
그리고, 상기 영상처리 서버는, 사용자 선택 데이터에 따라 페이스 매핑, 보이스 매핑, 카메라 매핑, PPL 매핑 기능을 실행하는 것을 특징으로 한다.The image processing server may perform a face mapping, a voice mapping, a camera mapping, and a PPL mapping function according to user selection data.
여기서, 상기 영상처리 서버가 상기 페이스 매핑 기능 실행시, 3D 입체 스캔한 모델링에 사용자 이미지를 적용한 후에 모션 트래킹된 좌표에 맞춰 렌더링하는 것을 특징으로 한다.The image processing server may be configured to render according to the motion tracked coordinates after applying the user image to 3D stereoscopic modeling when the face mapping function is executed.
또한, 상기 영상처리 서버가 상기 보이스 매핑 기능 실행시, 마이크를 통해 사용자 음성이 입력되면 사용자 음성을 상기 미디어 영상 내의 하나 이상의 인터랙티브 영역들(interactive regions) 중에서 특정 인물의 음성에 맞춰 렌더링하는 것을 특징으로 한다.In addition, when the voice processing function is executed by the image processing server, if a user voice is input through a microphone, the user voice is rendered according to the voice of a specific person among one or more interactive regions in the media image. do.
그리고, 상기 영상처리 서버가 상기 카메라 매핑 기능 실행시, 상기 미디어 영상 중에서 특정 장면에 미리 촬영된 2개 이상의 시점을 사용자가 선택하여 전환할 수 있도록 하는 것을 특징으로 한다.When the camera mapping function is executed, the image processing server may allow a user to select and switch two or more viewpoints previously photographed in a specific scene from the media image.
또한, 상기 영상처리 서버가 상기 PPL 매핑 기능 실행시, 상기 미디어 영상을 촬영한 장소 또는 촬영 소품에 대한 정보를 표시하도록 하는 것을 특징으로 한다.The image processing server may be configured to display information on a location or a photographing prop of the media image when the PPL mapping function is executed.
이때, 상기 영상처리 서버는 촬영 장소에 대한 위치 정보를 제공하도록 내비게이션 기능 실행부를 더 포함하는 것을 특징으로 한다.In this case, the image processing server may further include a navigation function execution unit to provide location information on a shooting location.
한편, 상기 영상처리 서버는 소셜 미디어와 실시간 연동되도록 영상 링크 또는 이미지 게시 기능, 댓글을 연결하는 링크(link)기능을 제공하는 것을 특징으로 한다.On the other hand, the image processing server is characterized in that it provides a link (link) function for connecting the image link or image posting function, comments so as to interact with the social media in real time.
상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 인터랙티브 미디어 매핑 방법은, 소정의 스토리로 전개되는 미디어 영상에 대응하는 콘텐츠가 제공되는 단계와, 상기 미디어 영상에서 표시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 데이터 스트림을 추출하기 위해 상기 미디어 영상을 선처리(preprocess)하여, 상기 하나 이상의 인터랙티브 영역들에 사용자 선택 데이터를 매핑하는 단계와, 상기 사용자 선택 데이터와 콘텐츠에 실시간으로 대응하는 미디어 영상을 합성하여 실시간 표시하는 단계로 이루어진 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an interactive media mapping method including providing content corresponding to a media image that is developed into a predetermined story, and displaying one or more interactive regions displayed in the media image. preprocessing the media image to extract a data stream associated with an interactive region, mapping user selection data to the one or more interactive regions, and a media image corresponding to the user selection data and content in real time. And synthesizing the real-time display.
여기서, 상기 사용자 선택 데이터를 매핑하는 단계는, 페이스 매핑 기능 실행시 3D 입체 스캔한 모델링에 사용자 이미지를 적용한 후에 모션 트래킹된 좌표에 맞춰 렌더링하는 것을 특징으로 한다.The mapping of the user selection data may include rendering a user image according to motion tracked coordinates after applying a user image to 3D stereoscopic modeling when executing a face mapping function.
그리고, 상기 사용자 선택 데이터를 매핑하는 단계는, 보이스 매핑 기능 실행시 마이크를 통해 사용자 음성이 입력되면 사용자 음성을 상기 미디어 영상 내의 하나 이상의 인터랙티브 영역들(interactive regions) 중에서 특정 인물의 음성에 맞춰 렌더링하는 것을 특징으로 한다.The mapping of the user selection data may include: rendering a user voice according to a voice of a specific person among one or more interactive regions in the media image when a user voice is input through a microphone when executing the voice mapping function. It is characterized by.
또한, 상기 사용자 선택 데이터를 매핑하는 단계는, 카메라 매핑 기능 실행시 상기 미디어 영상 중에서 특정 장면에 미리 촬영된 2개 이상의 시점을 사용자가 선택하여 전환할 수 있도록 하는 것을 특징으로 한다.In the mapping of the user selection data, the user may select and switch two or more viewpoints previously photographed in a specific scene from the media image when the camera mapping function is executed.
그리고, 상기 사용자 선택 데이터를 매핑하는 단계는, PPL 매핑 기능 실행시 상기 미디어 영상을 촬영한 장소의 지도 정보 또는 촬영 소품에 대한 상품 정보를 표시하도록 하는 것을 특징으로 한다.The mapping of the user selection data may include displaying map information of a place where the media image is captured or product information on a shooting prop when the PPL mapping function is executed.
한편, 상기 미디어 영상을 표시하는 단계에서는 소셜 미디어와 실시간 연동되도록 영상 링크 또는 이미지 게시 기능, 댓글을 연결하는 링크(link)기능을 제공하는 것을 특징으로 한다.
On the other hand, the step of displaying the media image is characterized in that it provides a link (link) function for linking the image link or image posting function, comments so as to interact with the social media in real time.
상기와 같은 인터랙티브 미디어 매핑 시스템 및 그 방법에 따르면, 기존의 미디어 영상을 인터랙티브 매핑 시스템과 연동하여 사용자에 의해 재구성되는 새로운 미디어 영상으로 출력함으로써 오프라인 영상물(영화, 애니메이션)을 온라인 콘텐츠화할 수 있고, 사용자들도 새로운 방식으로 영상을 감상하거나 직접 영상을 편집할 수 있어 사용자들의 관심과 재미를 극대화할 수 있는 효과가 있다. According to the interactive media mapping system and the method as described above, offline content (movie, animation) can be converted into online content by outputting an existing media image as a new media image reconstructed by the user in conjunction with the interactive mapping system. They can also enjoy watching video in a new way or edit the video directly, which can maximize the interest and fun of users.
또한, 본 발명은 인터랙티브 상영관, 스마트폰, 스마트 TV, 타블릿 PC 등에 적용되어 제작 단가와 제작 기간이 최소화될 수 있는 새로운 영화제작이 가능해질 뿐만 아니라 IPTV 등의 온라인 시장으로의 확장이 용이하다는 효과가 있다.In addition, the present invention can be applied to interactive theaters, smart phones, smart TVs, tablet PCs, etc., and it is possible to produce new films that can minimize production costs and production periods, as well as to easily expand into online markets such as IPTV. have.
또한, 본 발명은 실시간 PPL 매핑 방식을 통해 영상에 노출되는 장소와 소품들에 대한 정보를 사용자에게 보여줌으로써 광고 수익을 극대화할 수 있는 효과도 있다.
In addition, the present invention has the effect of maximizing the advertising revenue by showing the user information about the place and the props exposed to the image through a real-time PPL mapping method.
도 1은 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 시스템의 전체 구성이 도시된 블록도,
도 2는 본 발명의 실시예에 따른 표시부의 기본 화면 구성이 도시된 예시도,
도 3은 본 발명의 실시예에 따른 실시간 페이스 매핑에 대한 화면 구성이 도시된 예시도,
도 4는 본 발명의 실시예에 따른 실시간 보이스 매핑에 대한 화면 구성이 도시된 예시도,
도 5는 본 발명의 실시예에 따른 실시간 카메라 매핑에 대한 화면 구성이 도시된 예시도,
도 6은 본 발명의 실시예에 따른 카메라 매핑 기능 실행시 시점 전환의 예시도,
도 7은 본 발명의 실시예에 따른 실시간 PPL 매핑에 대한 화면 구성이 도시된 예시도,
도 8은 본 발명의 실시예에 따른 실시간 소셜 미디어 연동에 대한 화면 구성이 도시된 예시도,
도 9는 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 방법의 순서도이다.1 is a block diagram showing the overall configuration of an interactive media mapping system according to an embodiment of the present invention;
2 is an exemplary view showing a basic screen configuration of a display unit according to an embodiment of the present invention;
3 is an exemplary diagram showing a screen configuration for real-time face mapping according to an embodiment of the present invention,
4 is an exemplary diagram showing a screen configuration for real-time voice mapping according to an embodiment of the present invention;
5 is an exemplary diagram showing a screen configuration for real-time camera mapping according to an embodiment of the present invention,
6 is an exemplary diagram of a viewpoint change when executing a camera mapping function according to an embodiment of the present invention;
7 is an exemplary diagram illustrating a screen configuration for real-time PPL mapping according to an embodiment of the present invention;
8 is an exemplary diagram showing a screen configuration for real-time social media linkage according to an embodiment of the present invention;
9 is a flowchart of an interactive media mapping method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 시스템의 전체 구성이 도시된 블록도이고, 도 2는 본 발명의 실시예에 따른 표시부의 기본 화면 구성이 도시된 예시도이며, 도 3은 본 발명의 실시예에 따른 실시간 페이스 매핑에 대한 화면 구성이 도시된 예시도이고, 도 4는 본 발명의 실시예에 따른 실시간 보이스 매핑에 대한 화면 구성이 도시된 예시도이며, 도 5는 본 발명의 실시예에 따른 실시간 카메라 매핑에 대한 화면 구성이 도시된 예시도이고, 도 6은 본 발명의 실시예에 따른 카메라 매핑 기능 실행시 시점 전환의 예시도이며, 도 7은 본 발명의 실시예에 따른 실시간 PPL 매핑에 대한 화면 구성이 도시된 예시도이고, 도 8은 본 발명의 실시예에 따른 실시간 소셜 미디어 연동에 대한 화면 구성이 도시된 예시도이다. 1 is a block diagram showing the overall configuration of the interactive media mapping system according to an embodiment of the present invention, Figure 2 is an exemplary view showing a basic screen configuration of the display unit according to an embodiment of the present invention, Figure 3 4 is an exemplary diagram showing a screen configuration for real-time face mapping according to an embodiment of the present invention, FIG. 4 is an exemplary diagram showing a screen configuration for real-time voice mapping according to an embodiment of the present invention, and FIG. FIG. 6 is a diagram illustrating a screen configuration for real-time camera mapping according to an embodiment. FIG. 6 is a diagram illustrating a viewpoint change when executing a camera mapping function according to an embodiment of the present invention. FIG. 8 is a diagram illustrating a screen configuration for real-time PPL mapping. FIG. 8 is a diagram illustrating a screen configuration for real-time social media interworking according to an embodiment of the present invention.
도 1 내지 도 8을 참조하면, 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 시스템은, 소정의 스토리로 전개되는 미디어 영상에 대응하는 콘텐츠(15)를 제공하는 미디어 서버(10)와, 상기 미디어 영상에서 표시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 데이터 스트림을 추출하기 위해 상기 미디어 영상을 선처리(preprocess)하여, 상기 하나 이상의 인터랙티브 영역들에 사용자 선택 데이터를 매핑하는 영상처리 서버(20)와, 상기 사용자 선택 데이터와 콘텐츠에 실시간으로 대응하는 미디어 영상을 결합하는 합성 서버(30)로 구성되는데, 상기 미디어 서버(10), 영상처리 서버(20), 및 합성 서버(30)는 네트워크를 통해 상호 연결될 수 있다.1 to 8, an interactive media mapping system according to an embodiment of the present invention includes a
상기 미디어 서버(10)는 미디어 영상에 대응하는 콘텐츠(15)를 합성 서버(30)에 제공할 수 있다. 그렇지 않으면, 상기 콘텐츠(15)는 다른 수단을 통해 제공될 수 있는데, 예를 들어 디지털 비디오 디스크(DVD), CD-ROM, 유니버설 시리얼 버스(USB) 플래쉬 드라이 등과 같은 컴퓨터 판독가능한 매체에 내장되고, DVD 플레이어, CD-ROM 드라이브나 USB 포트와 같은 적합한 인터페이스를 통해 프로세서(21)에 의해 접속될 수 있다. The
한편, 상기 영상처리 서버(20)는, 마이크(24), 사용자 이미지를 촬영하는 하나 이상의 카메라(22)와, 상기 미디어 영상을 선처리하고, 상기 카메라(22)에서 촬영된 영상에서 사용자 이미지를 추출하며, 인터랙티브 미디어 매핑과 관련된 제어 기능을 수행하는 프로세서(21)와, 상기 미디어 영상에 상기 사용자 선택 데이터를 매핑하여 실시간 표시하기 위한 표시부(23), 내비게이션 기능 실행부(25)를 포함하지만, 이에 한정되지 않고 멀티미디어 처리 장치에 적용되는 스피커, GPS 수신부, 메모리, 데이터 입력부/출력부, 키보드 또는 터치패널 등의 키입력부 등을 더 포함할 수 있다. On the other hand, the
특히, 상기 표시부(23)는 도 2에 도시된 바와 같이 화면의 중심부에 미디어 영상이 표시되고, 화면의 우측단에 영상 텍스트 창, 화면의 하단에 인터페이스 창이 표시된다. 이때, 사용자가 ③정보표시 창을 터치하면 우측 상단에 촬영 장소 및 소품에 대한 정보가 출력되고, 시점 변경모드에서는 ①②등장인물 버튼이 ‘카메라 시점선택’아이콘으로 변경되며, 인터페이스는 메뉴에서 자동 보이기/감추기를 설정할 수 있다. In particular, as shown in FIG. 2, the display unit 23 displays a media image at the center of the screen, an image text window at the right end of the screen, and an interface window at the bottom of the screen. At this time, when the user touches ③information display window, information about the shooting location and props is displayed on the upper right side. You can set / hide.
상기 영상처리 서버(20)는 사용자 선택에 따라 페이스 매핑, 보이스 매핑, 카메라 매핑, PPL 매핑 기능을 실행하게 되는데, 먼저, 도 3에 도시된 바와 같이 상기 영상처리 서버가 상기 페이스 매핑 기능 실행시, 카메라(22)로 촬영된 사용자 이미지를 3D입체 스캔한 모델링에 적용한 후에 모션 트래킹된 좌표에 맞춰 렌더링한다.The
즉, 화면 트랙킹(tracking)을 위해 마킹 촬영을 하고, 3D 입체 스캔 기술로 등장 인물의 얼굴을 3D 모델링화 시킨 후에 모델링된 데이터에 등장 인물의 얼굴을 매핑하여 영상을 1차 완성하며, 페이스북(Facebook) 등의 사진 이미지들을 활용하여 완성된 모델링 데이터에 페이스 매핑 기법을 적용한다.That is, marking is taken for screen tracking, 3D modeling of the face of the person with 3D stereoscopic scanning technology, and then the face of the person is mapped to the modeled data to complete the image first, and Facebook ( The face mapping technique is applied to the completed modeling data using photo images such as Facebook.
이러한 페이스 매핑 기법은 온라인상의 이미지를 이용해 직접 영화에 출연하는 것이 가능하고, 사용자 본인 또는 친구들의 사진 이미지를 미디어 영상에 매핑하면 실제 움직이는 등장 인물의 얼굴에 사용자 자신이나 친구들의 이미지가 적용되어 실제 영화에 출연한 것처럼 영화를 관람할 수 있다. This face mapping technique can be used to directly appear in a movie using an online image.If a user's or friends 'photo image is mapped to a media image, the user's or friends' image is applied to the face of a moving character. You can watch a movie as if you were in.
한편, 상기 영상처리 서버(20)가 상기 보이스 매핑 실행시, 마이크(24)를 통해 사용자 음성이 입력되면 사용자 음성을 상기 미디어 영상 내의 하나 이상의 인터랙티브 영역들(interactive regions) 중에서 특정 인물의 음성에 맞춰 렌더링한다.Meanwhile, when the
도 4를 참고하면, ①번과 ②번은 특정 장면에 등장인물의 아이콘이 활성화 되고, 사용자가 이를 터치하면 상황에 따른 등장 인물의 음성이 출력된다. 또한, 등장인물의 마음속 생각은 영화텍스트에 대한 추가 정보를 제공하고, 시퀀스에 따라 등장인물 창에 표시되는 인물이 자동 변경된다. Referring to FIG. 4,
사용자는 ④보이스 레코딩 기능을 통해 특정 장면에서 출력되는 등장 인물의 음성에 자신의 음성을 매핑함으로써 영화 관람시 자신의 목소리로 더빙하여 감상할 수 있다.Users can dub their voices while watching a movie by mapping their voices to the voices of characters output from a particular scene through the ④ voice recording function.
또한, 상기 영상처리 서버(20)가 상기 카메라 매핑 기능 실행시, 도 5 및 도 6에 도시된 바와 같이 상기 미디어 영상 중에서 특정 장면에 미리 촬영된 2개 이상의 시점을 사용자가 선택하여 전환할 수 있도록 한다.In addition, when the
즉, 고정 카메라 시점에서는 일반적인 방법으로 영상을 보지만, 카메라를 선택해서 볼 수 있는 장면에서는 1번 카메라 시점, 2번 카메라 시점, 및 3번 카메라 시점을 자유롭게 오갈 수 있다. That is, in the fixed camera view, the image is viewed in a general manner, but in the scene where the camera can be selected and viewed, the
예를 들어, 리모컨을 재핑하듯이 1번 카메라 시점의 두려움에 떨고 있는 아파트 안의 여성, 2번 카메라 시점의 아파트 문 밖에서 흉기를 들고 서있는 남성을 실시간으로 관찰할 수 있다. 또한, 3번 카메라 시점을 통해 해당 아파트와 상관없는 전혀 다른 장소의 제3의 인물을 볼 수도 있다.For example, you can watch in real time the woman in the apartment who is afraid of
이와 같이, 실시간 카메라 시점 전환 방식은 사용자들에게 2개 이상의 카메라 시점을 오갈 수 있는 편집권을 부여하고, 고정 카메라 시점에 의한 고정된 스토리 전개 방식이 아닌 실시간으로 진행되는 2개 이상의 카메라 시점을 마음대로 전환하여 다양한 스토리 전개 방식으로 영화를 관람할 수 있다.As such, the real-time camera viewpoint switching method grants users the editing right to switch between two or more camera viewpoints, and switches two or more camera viewpoints that proceed in real time instead of the fixed story development method by the fixed camera viewpoint. You can watch movies in a variety of story development.
도 7에 도시된 바와 같이, 상기 영상처리 서버(20)가 상기 PPL 매핑 기능 실행시, 상기 미디어 영상을 촬영한 장소 또는 촬영 소품에 대한 정보를 표시하도록 한다. 이때, 상기 영상처리 서버(20)는 내비게이션 기능 실행부(25)를 통해 촬영 장소에 대한 지도 정보를 제공한다. As shown in FIG. 7, when the
예를 들어, 사용자가 ③정보 표시 창을 선택하면 해당 정보가 출력되는데, 자동으로 텍스트창이 줄면서, 이미지가 우측 상단에 표시된다. 사용자는 정보를 탐색할 때 영상을 계속해서 표시할 것인지, 정지할 것인지를 선택할 수 있다. 또한, 사용자는 실제 촬영 장소에 대한 정보를 페이스북(Facebook) 등의 소셜 미디어를 통해 에 공유하거나 링크할 수 있어 PPL 효과가 극대화될 수 있다.For example, when the user selects the ③ information display window, the corresponding information is output. The text window is automatically reduced, and the image is displayed on the upper right. The user can select whether to continue displaying or stop the image when searching for information. In addition, the user can share or link information about the actual shooting location to or through social media such as Facebook (Facebook) to maximize the PPL effect.
한편, 상기 영상처리 서버(20)는 페이스북 또는 트위터(twitter) 등의 소셜 미디어와 실시간 연동되도록 영상 링크 또는 이미지 게시 기능, 댓글을 연결하는 링크(link)기능을 제공할 수 있다.Meanwhile, the
즉, 도 8에 도시된 바와 같이, 재생되고 있는 미디어 영상을 더블 터치하면 썸네일 화면으로 변환될 수 있어 사용자는 터치를 활용하여 시퀀스를 자유롭게 탐색하고 선택할 수 있고, 즐겨찾기를 통해 더욱 빠르게 원하는 장면만을 볼 수 있다. That is, as shown in FIG. 8, when the media image being played is double touched, it can be converted into a thumbnail screen so that the user can freely search and select a sequence by using a touch, and can quickly select only a desired scene through a bookmark. can see.
또한, 썸네일 화면에서는 시퀀스별 담벼락 보기를 선택하면 소셜 미디어와의 실시간 연동이 가능하고, 유튜브에 클립별로 미리 등록(업로드) 된 영상들은 사용자가 링크를 개시할 때 자동으로 URL을 제공한다.In addition, in the thumbnail screen, if you select the wall view per sequence, real-time linking with social media is possible, and the images pre-registered (uploaded) for each clip on YouTube automatically provide a URL when the user initiates a link.
상기 합성 서버(30)는 사용자 선택 데이터와 콘텐츠(15)에 실시간으로 대응하는 미디어 영상을 결합한다. 타임 코드들(timecodes)과 다른 공지된 동기화 기법들은 사용자 인터랙션들의 미디어 영상과 정확하게 등록되도록 하는데 사용되고, 또한 매 프레임마다 또는 장면에 따라 미디어 영상을 매핑하여, 미디어 영상에 엘리먼트들을 추가하고, 미디어 영상 속 등장인물에 따라 사용자 선택 데이터를 매핑하는데 사용될 수 있다. The
어떠한 구현예들에서는 미디어 서버(10), 영상처리 서버(20), 및 합성 서버(30)의 기능들이 단일의 서버 장치로 결합될 수 있다. 또한, 각 서버 기능들은 프로세서(21)에서 구현될 수도 있다
In some implementations, the functions of
이와 같이, 본 발명의 실시예는 미디어 영상이 재생되는 동안 인터랙티브 엘리먼트, 즉 사용자 얼굴 이미지, 사용자 음성을 미디어 영상에 매핑되는데, 미디어 영상은 영화, 텔레비전 쇼, 뮤직 비디오, 스포츠 이벤트, 비디오 게임 등과 같은 콘텐츠가 될 수 있다. 예를 들어 이에 한정되지 않지만, 미디어 영상은 표준 케이블이나 위성 방송, 공중 디지털 또는 아날로그 지상파 방송, 스트리밍 되는 미디어, DVD 또는 블루 레이 영상을 콘텐츠 소스(source)로 포함할 수 있다.
As such, embodiments of the present invention map interactive elements, i.e., user face images, user voices, to media images while the media images are played, such as movies, television shows, music videos, sporting events, video games, and the like. Can be content. For example, but not limited to, the media image may include a standard cable or satellite broadcast, public digital or analog terrestrial broadcast, streamed media, a DVD, or a Blu-ray image as a content source.
이하, 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 시스템에 대해 도면을 참조하여 보다 구체적으로 설명한다.Hereinafter, an interactive media mapping system according to an embodiment of the present invention will be described in more detail with reference to the accompanying drawings.
도 9는 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 방법의 순서도이다.9 is a flowchart of an interactive media mapping method according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 실시예에 따른 인터랙티브 미디어 매핑 방법은, 소정의 스토리로 전개되는 미디어 영상에 대응하는 콘텐츠가 제공되면, 상기 미디어 영상에서 표시되는 하나 이상의 인터랙티브 영역들(interactive regions)과 연관된 데이터 스트림을 추출하기 위해 상기 미디어 영상을 선 처리(preprocess)한다.Referring to FIG. 9, in the interactive media mapping method according to an embodiment of the present invention, when content corresponding to a media image developed into a predetermined story is provided, one or more interactive regions displayed in the media image are provided. Preprocess the media image to extract a data stream associated with.
그리고, 상기 하나 이상의 인터랙티브 영역들, 즉 특정 장면에서의 사용자의 음성이나 얼굴 이미지를 등록하여 등장 인물의 얼굴이나 음성에 보이스 매핑 또는 페이스 매핑을 실행하고, 카메라 시점 전환을 위해 카메라 매핑, 촬영 장소 및 소품에 대한 정보를 위해 PPL 매핑을 실행한다. In addition, the user may register a voice or a face image of the user in one or more interactive areas, that is, a voice mapping or a face mapping on the face or voice of the person, and may perform a camera mapping, a shooting location, and Run PPL mapping for information about props.
그 후, 상기 보이스 매핑, 페이스 매핑, 카메라 매핑, PPL 매핑된 데이터에 대응하는 미디어 영상을 합성하여 실시간 표시한다.Thereafter, media images corresponding to the voice mapping, face mapping, camera mapping, and PPL mapped data are synthesized and displayed in real time.
예를 들어, 인터렉티브 상영관의 경우에, 좀비 영화 관람시 극장 입구에 설치된 카메라 앞에서 사용자 얼굴 이미지를 촬영한 후에 입장한다. 극장에 설치되어 있는 영상처리 서버로 사용자 얼굴 이미지가 전송되어 상영될 영화의 등장 인물 이미지에 페이스 매핑이 진행되고, 완성된 영화필름 위에 촬영된 관객의 얼굴 이미지가 합성된다. 따라서, 관객은 영화를 관람하면서 실시간으로 합성된 본인의 얼굴을 볼 수 있다.For example, in the case of the interactive theater, the user enters after photographing the user's face in front of a camera installed at the entrance of the theater when watching a zombie movie. The user's face image is transmitted to the image processing server installed in the theater, and face mapping is performed on the character image of the movie to be screened, and the face image of the audience photographed on the completed movie film is synthesized. Therefore, the audience can see his / her face synthesized in real time while watching a movie.
한편, 스마트TV나 타블릿 PC의 경우에, 사용자가 거실이나 커피숍 등에서 영화 관람시 디바이스에 부착된 카메라를 이용하여 자신의 얼굴을 촬영하는데, 이때 디바이스의 성능에 따라 자체 합성을 할지 외부의 서버에서 합성을 진행할지 선택한다.On the other hand, in the case of a smart TV or a tablet PC, a user photographs his / her face using a camera attached to the device when watching a movie in a living room or coffee shop, etc. Choose whether to proceed with the synthesis.
만약, 외부의 서버에서 합성할 경우에 네트워크를 통해 서버에 전송된 사진이미지를 가공하여 사용자에게 전송하고, 자체 디바이스에서 합성을 진행할 경우 일정 시간 합성시간을 소모한 뒤 사진 이미지를 출력하게 된다. When compositing from an external server, a photographic image transmitted to a server through a network is processed and transmitted to a user, and when compositing on its own device, after synthesizing a certain time, the photo image is output.
또한, 실시간 카메라 매핑은 사용자가 특정 장면에서 미리 촬영된 2개 이상의 시점을 자유롭게 선택할 수 있고, 보이스 매핑은 등장인물들의 내면 속 생각을 엿듣는 기능을 제공하며, PPL 매핑은 사용자들에게 영화에 대한 추가적인 정보를 제공해준다. In addition, real-time camera mapping allows the user to freely select two or more pre-recorded viewpoints in a particular scene, voice mapping provides the ability to eavesdrop on the inner thoughts of characters, and PPL mapping gives users Provide additional information.
특히, 상기 PPL 매핑은 영화에 보여지는 촬영 장소의 지도정보, 의상이나 소품에 대한 정보, 음식에 대한 정보 및 가격을 언제든지 확인할 수 있다. 또한, 페이스북이나 트위터에 링크하여 타 사용자들과 정보를 공유할 수도 있다. 따라서, 광고주들은 원하는 상품을 영상(영화, 광고 애니메이션)에 노출함과 동시에 즉각적인 피드백을 얻을 수 있고, 추가로 통계서비스를 제공받아 해당 상품의 관심대상과 노출빈도를 정확히 알 수 있다.
In particular, the PPL mapping can check the map information of the shooting location shown in the movie, the information on the clothes or props, the information on the food and the price at any time. You can also link to Facebook or Twitter to share information with other users. Therefore, advertisers can obtain immediate feedback while exposing their desired products to images (movies, advertisement animations), and can additionally know the interests and exposure frequency of the products by receiving statistical services.
본 발명의 인터랙티브 미디어 매핑 시스템은 인터랙티브 상영관, 타블릿 PC, 스마트 TV, 스마트폰 등의 멀티미디어 처리 장치에 적용될 수 있다. 이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
The interactive media mapping system of the present invention can be applied to multimedia processing devices such as interactive theaters, tablet PCs, smart TVs, and smart phones. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
본 발명은 인터랙티브 미디어 매핑 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자에 의해 재구성된 인터랙티브 영상 서비스를 실시간 제공하여 새로운 영상 제작 및 관람이 가능하도록 하는 동시에 인터랙티브 상영관, 스마트폰, 스마트 TV, 타블릿 PC 등에 적용되어 제작 단가와 제작 기간이 최소화될 수 있는 새로운 영화제작이 가능해지고, 실시간 PPL 매핑 방식을 통해 광고 수익을 극대화할 수 있는 인터랙티브 미디어 매핑 시스템 미 그 방법에 관한 것이다.
The present invention relates to an interactive media mapping system and a method thereof. More particularly, the present invention provides an interactive video service reconstructed by a user in real time to enable new video production and viewing, and at the same time, an interactive theater, a smartphone, a smart TV, and a tablet. The present invention relates to a new method of interactive media mapping system that can be applied to a PC to minimize production costs and production time, and to maximize advertising revenue through real-time PPL mapping.
10: 미디어 서버 15: 콘텐츠
20: 영상처리 서버 21: 프로세서
22: 카메라 23: 표시부
24: 마이크 25: 네비게이션 기능 실행부
30: 합성 서버10: media server 15: content
20: image processing server 21: processor
22: camera 23: display unit
24: microphone 25: navigation function execution unit
30: Synthetic Server
Claims (15)
상기 영상처리 서버는 사용자 이미지를 촬영하는 하나 이상의 카메라와; 상기 미디어 영상을 선처리하고, 상기 카메라에서 촬영된 영상에서 사용자 이미지를 추출하며, 사용자 선택 데이터를 미디어 영상에 합성하기 위한 일련의 제어 기능을 수행하는 프로세서; 및 상기 미디어 영상에 상기 사용자 선택 데이터를 매핑하여 실시간 표시하기 위한 표시부를 포함하고,
상기 영상처리 서버는 사용자 선택 데이터에 따라 페이스 매핑, 보이스 매핑, 카메라 매핑, PPL 매핑 기능을 실행하고,
상기 영상처리 서버가 상기 페이스 매핑 기능 실행시 3D 입체 스캔한 모델링에 사용자 이미지를 적용한 후에 모션 트래킹된 좌표에 맞춰 렌더링하고,
상기 영상처리 서버가 상기 보이스 매핑 기능 실행시 마이크를 통해 사용자 음성이 입력되면 사용자 음성을 상기 미디어 영상 내의 하나 이상의 인터랙티브 영역들(interactive regions) 중에서 특정 인물의 음성에 맞춰 렌더링하고,
상기 영상처리 서버가 상기 카메라 매핑 기능 실행시 상기 미디어 영상 중에서 특정 장면에 미리 촬영된 2개 이상의 시점을 사용자가 선택하여 전환할 수 있도록 하고,
상기 영상처리 서버가 상기 PPL 매핑 기능 실행시, 상기 미디어 영상을 촬영한 장소 또는 촬영 소품에 대한 정보를 표시하도록 하며, 상기 영상처리 서버는 촬영 장소에 대한 위치 정보를 제공하도록 내비게이션 기능 실행부를 포함하는 것을 특징으로 하는 인터랙티브 미디어 매핑 시스템.
A media server for providing contents corresponding to media images developed into a predetermined story; Connected to the media server via a network and preprocessing the media image to extract a data stream associated with one or more interactive regions represented in the media image, thereby preprocessing the media image to the one or more interactive regions. An image processing server for mapping user images; And a synthesis server connected to the media server and the image processing server through a network and combining the media image corresponding to the user image and the content in real time.
The image processing server includes one or more cameras for capturing user images; A processor for preprocessing the media image, extracting a user image from the image captured by the camera, and performing a series of control functions for synthesizing user selection data into the media image; And a display unit for mapping the user selection data to the media image to display in real time.
The image processing server executes a face mapping, voice mapping, camera mapping, and PPL mapping function according to user selection data.
When the image processing server executes the face mapping function, the image processing server applies a user image to 3D stereoscopic modeling and renders the image according to the motion tracked coordinates.
When the image processing server inputs a user's voice through a microphone when the voice mapping function is executed, the user's voice is rendered according to the voice of a specific person among one or more interactive regions in the media image.
When the image processing server executes the camera mapping function, the user can select and switch two or more viewpoints previously photographed in a specific scene among the media images,
When the image processing server executes the PPL mapping function, the image processing server may display information about a place or a shooting accessory for capturing the media image, and the image processing server includes a navigation function execution unit to provide location information about a shooting place. Interactive media mapping system.
상기 영상처리 서버는 소셜 미디어와 실시간 연동되도록 영상 링크 또는 이미지 게시 기능, 댓글을 연결하는 링크(link)기능을 제공하는 것을 특징으로 하는 인터랙티브 미디어 매핑 시스템.
The method of claim 1,
The image processing server is an interactive media mapping system, characterized in that to provide a link (link) function for connecting the image link or image posting function, comments so as to interact with social media in real time.
상기 사용자 선택 데이터를 매핑하는 단계는 페이스 매핑 기능 실행시 3D 입체 스캔한 모델링에 사용자 이미지를 적용한 후에 모션 트래킹된 좌표에 맞춰 렌더링하고,
상기 사용자 선택 데이터를 매핑하는 단계는 보이스 매핑 기능 실행시 마이크를 통해 사용자 음성이 입력되면 사용자 음성을 상기 미디어 영상 내의 하나 이상의 인터랙티브 영역들(interactive regions) 중에서 특정 인물의 음성에 맞춰 렌더링하고,
상기 사용자 선택 데이터를 매핑하는 단계는 카메라 매핑 기능 실행시 상기 미디어 영상 중에서 특정 장면에 미리 촬영된 2개 이상의 시점을 사용자가 선택하여 전환할 수 있도록 하며,
상기 사용자 선택 데이터를 매핑하는 단계는 PPL 매핑 기능 실행시 상기 미디어 영상을 촬영한 장소의 지도 정보 또는 촬영 소품에 대한 상품 정보를 표시하도록 하는 것을 특징으로 하는 인터랙티브 미디어 매핑 방법.
Providing content corresponding to a media image developed into a predetermined story; Preprocessing the media image to extract a data stream associated with one or more interactive regions displayed in the media image, and mapping user selection data to the one or more interactive regions; And synthesizing a media image corresponding to the user selection data and content in real time and displaying the same in real time.
The mapping of the user selection data may be performed by applying a user image to 3D stereoscopic scanned modeling after executing a face mapping function and rendering the motion tracked coordinates.
The mapping of the user selection data may include rendering a user voice according to a voice of a specific person among one or more interactive regions in the media image when a user voice is input through a microphone when executing a voice mapping function.
The mapping of the user selection data may allow a user to select and convert two or more viewpoints previously photographed in a specific scene from the media image when the camera mapping function is executed.
The mapping of the user selection data may include displaying map information of a place where the media image is captured or product information on a shooting prop when the PPL mapping function is executed.
상기 미디어 영상을 표시하는 단계에서는 소셜 미디어와 실시간 연동되도록 영상 링크 또는 이미지 게시 기능, 댓글을 연결하는 링크(link)기능을 제공하는 것을 특징으로 하는 인터랙티브 미디어 매핑 방법.
The method of claim 10,
The displaying of the media image is an interactive media mapping method, characterized in that it provides a link function for linking an image link or an image and a comment function so as to interact with social media in real time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110017212A KR101221540B1 (en) | 2011-02-25 | 2011-02-25 | Interactive media mapping system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110017212A KR101221540B1 (en) | 2011-02-25 | 2011-02-25 | Interactive media mapping system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120097785A KR20120097785A (en) | 2012-09-05 |
| KR101221540B1 true KR101221540B1 (en) | 2013-01-11 |
Family
ID=47108942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110017212A Active KR101221540B1 (en) | 2011-02-25 | 2011-02-25 | Interactive media mapping system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101221540B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10880610B2 (en) | 2015-06-23 | 2020-12-29 | Samsung Electronics Co., Ltd. | Method for providing additional contents at terminal, and terminal using same |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102027477B1 (en) | 2019-04-26 | 2019-10-01 | 고은채 | Media image contents compilation and display apparatus for various object |
| KR102500923B1 (en) * | 2021-06-03 | 2023-02-17 | 주식회사 지미션 | Stream video playback device and stream video playback system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007141228A (en) | 2005-11-15 | 2007-06-07 | Sharp Corp | Virtual view specification and synthesis in free viewpoint |
| KR20080075625A (en) * | 2007-02-13 | 2008-08-19 | 주식회사 인스프리트 | Real-time alternative video service method and system using mobile communication network |
| KR20090022786A (en) * | 2007-08-31 | 2009-03-04 | (주)에프엑스기어 | Specialized user-produced contents provision system reflecting user-specified data |
| KR20110002102A (en) * | 2008-04-24 | 2011-01-06 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | Method and apparatus for viewers to interact with media images in real time |
-
2011
- 2011-02-25 KR KR1020110017212A patent/KR101221540B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007141228A (en) | 2005-11-15 | 2007-06-07 | Sharp Corp | Virtual view specification and synthesis in free viewpoint |
| KR20080075625A (en) * | 2007-02-13 | 2008-08-19 | 주식회사 인스프리트 | Real-time alternative video service method and system using mobile communication network |
| KR20090022786A (en) * | 2007-08-31 | 2009-03-04 | (주)에프엑스기어 | Specialized user-produced contents provision system reflecting user-specified data |
| KR20110002102A (en) * | 2008-04-24 | 2011-01-06 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | Method and apparatus for viewers to interact with media images in real time |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10880610B2 (en) | 2015-06-23 | 2020-12-29 | Samsung Electronics Co., Ltd. | Method for providing additional contents at terminal, and terminal using same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120097785A (en) | 2012-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240361888A1 (en) | Media generating system and method | |
| US10691202B2 (en) | Virtual reality system including social graph | |
| US8745657B2 (en) | Inserting interactive objects into video content | |
| US20170201808A1 (en) | System and method of broadcast ar layer | |
| US8436891B2 (en) | Hyperlinked 3D video inserts for interactive television | |
| US10701426B1 (en) | Virtual reality system including social graph | |
| CN106792228B (en) | Live broadcast interaction method and system | |
| US9224156B2 (en) | Personalizing video content for Internet video streaming | |
| US10726443B2 (en) | Deep product placement | |
| CN113596553B (en) | Video playback method, device, computer equipment and storage medium | |
| JP2016054490A (en) | Device, system, method and medium for detection of video signal from video display in background scene, index creation and comparison, using device adapted to camera | |
| JP6473262B1 (en) | Distribution server, distribution program, and terminal | |
| CN106780186A (en) | A kind of method and device for showing information of real estate | |
| Langlotz et al. | AR record&replay: situated compositing of video content in mobile augmented reality | |
| KR102200239B1 (en) | Real-time computer graphics video broadcasting service system | |
| KR101221540B1 (en) | Interactive media mapping system and method thereof | |
| JP2025067931A (en) | Program and imaging device | |
| CN116939230A (en) | Live interaction method, device, computer equipment and storage medium | |
| KR101773891B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| Jamil et al. | Overview of jpeg snack: A novel international standard for the snack culture | |
| WO2023130715A1 (en) | Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
| KR101399633B1 (en) | Method and apparatus of composing videos | |
| KR101843024B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| JP2017046162A (en) | Synthetic moving image creation system, synthetic moving image creation support system and synthetic moving image creation program | |
| Demiris et al. | intGuide: A platform for context-aware services featuring augmented-reality, based on the outcome of European Research Projects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20110225 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20120523 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20121121 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20130107 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20130107 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20160323 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160323 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170124 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170124 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171129 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181026 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20191230 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20191230 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20201230 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211230 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20221207 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231226 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250107 Start annual number: 13 End annual number: 13 |