[go: up one dir, main page]

KR20200126367A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20200126367A
KR20200126367A KR1020207023717A KR20207023717A KR20200126367A KR 20200126367 A KR20200126367 A KR 20200126367A KR 1020207023717 A KR1020207023717 A KR 1020207023717A KR 20207023717 A KR20207023717 A KR 20207023717A KR 20200126367 A KR20200126367 A KR 20200126367A
Authority
KR
South Korea
Prior art keywords
image
video
information processing
processing device
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020207023717A
Other languages
English (en)
Inventor
사토시 스즈키
히로시 야마구치
도모히로 오오이
고지 후루사와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200126367A publication Critical patent/KR20200126367A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 기술은, 유저의 편리성을 향상시킬 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다. 제1 시점으로부터 시청 가능한 제1 영상으로부터, 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 제1 영상의 배경 화상 및 제2 영상 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는 정보 처리 장치가 제공된다. 본 기술은, 예를 들어 헤드 마운트 디스플레이에 영상을 표시하는 기기에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램
본 기술은 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이며, 특히 유저의 편리성을 향상시킬 수 있도록 한 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.
근년, 헤드 마운트 디스플레이(HMD: Head Mounted Display) 등의 기기를 이용하여 버추얼 리얼리티(VR: Virtual Reality) 기능을 제공하기 위한 기술 연구·개발이 활발히 행해지고 있다(예를 들어 특허문헌 1 참조).
특허문헌 1에는, 게임기에 접속된 헤드 마운트 디스플레이에 있어서, 마커에 의하여 나타나는 위치가 시점 위치로서 선택되었을 때, 마커에 의하여 나타나는 위치를 시점 위치로 변경한 게임 필드의 화상을 생성하여 표시하는 기술이 개시되어 있다.
일본 특허 공개 제2017-102297호 공보
그런데, 헤드 마운트 디스플레이 등의 기기에 있어서는, 영상의 시점을 전환할 때, 예를 들어 유저는, 자신이 보고 있는 방향이나 위치를 놓칠 가능성이 있으며, 또한 영상의 급격한 변화나, 영상의 변화가 현실의 신체의 움직임과 다르면 멀미를 느끼기 쉬워질 우려 등도 있다.
그 때문에, 헤드 마운트 디스플레이 등의 기기에 있어서, 이와 같은 영상의 시점의 전환에 수반하는 곤란한 사상을 회피하여 유저의 편리성을 향상시키기 위한 기술이 요구되고 있다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것이며, 유저의 편리성을 향상시킬 수 있도록 하는 것이다.
본 기술의 일 측면의 정보 처리 장치는, 제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는 정보 처리 장치이다.
본 기술의 일 측면의 정보 처리 장치는 독립된 장치여도 되고, 하나의 장치를 구성하는 내부 블록이어도 된다.
본 기술의 일 측면의 정보 처리 방법 및 프로그램은, 상술한 본 기술의 일 측면의 정보 처리 장치에 대응하는 정보 처리 방법 및 프로그램이다.
본 기술의 일 측면의 정보 처리 장치, 정보 처리 방법, 및 프로그램에 있어서는, 제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치가 제어된다.
본 기술의 일 측면에 따르면 유저의 편리성을 향상시킬 수 있다.
또한 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술을 적용한 영상 재생 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 축구 스타디움에 설치된 촬상 장치에 의하여 촬상된 전천구 실사 영상의 표시예를 도시하는 도면이다.
도 3은 축구 스타디움에 있어서의 시점 이동 전의 전천구 실사 영상의 예를 도시하는 도면이다.
도 4는 축구 스타디움에 있어서의 시점 이동 시의 CG 영상의 제1 예를 도시하는 도면이다.
도 5는 축구 스타디움에 있어서의 시점 이동 시의 CG 영상의 제2 예를 도시하는 도면이다.
도 6은 축구 스타디움에 있어서의 시점 이동 시의 CG 영상의 제3 예를 도시하는 도면이다.
도 7은 축구 스타디움에 있어서의 시점 이동 후의 전천구 실사 영상의 예를 도시하는 도면이다.
도 8은 재생·표시 제어 처리의 흐름을 설명하는 흐름도이다.
도 9는 축구의 하이라이트 영상 배신의 예를 나타내는 타이밍 차트이다.
도 10은 필드의 미니어처 CG 영상의 표시예를 도시하는 도면이다.
도 11은 전천구 실사 영상의 표시 시의 유저의 시선의 필드까지의 거리의 예를 도시하는 도면이다.
도 12는 미니어처 CG 영상의 표시 시의 유저의 시선의 필드까지의 거리의 예를 도시하는 도면이다.
도 13은 축구의 골 씬의 미니어처 CG 영상의 제1 예를 도시하는 도면이다.
도 14는 축구의 골 씬의 미니어처 CG 영상의 제2 예를 도시하는 도면이다.
도 15는 축구의 골 씬의 미니어처 CG 영상의 제3 예를 도시하는 도면이다.
도 16은 오케스트라의 악기 배치의 미니어처 CG 영상의 제1 예를 도시하는 도면이다.
도 17은 오케스트라의 악기 배치의 미니어처 CG 영상의 제2 예를 도시하는 도면이다.
도 18은 오케스트라의 악기 배치의 미니어처 CG 영상의 제3 예를 도시하는 도면이다.
도 19는 음악 라이브의 영상 배신의 예를 나타내는 타이밍 차트이다.
도 20은 음악 라이브의 영상 배신에 있어서의 제1 시점에서의 전천구 실사 영상의 예를 도시하는 도면이다.
도 21은 음악 라이브의 영상 배신에 있어서의 CG 영상의 예를 도시하는 도면이다.
도 22는 음악 라이브의 영상 배신에 있어서의 제2 시점에서의 전천구 실사 영상의 예를 도시하는 도면이다.
도 23은 컴퓨터의 구성예를 도시하는 도면이다.
이하, 도면을 참조하면서 본 기술의 실시 형태에 대하여 설명한다. 또한 설명은 이하의 순서로 행하기로 한다.
1. 제1 실시 형태: 축구 시합의 영상 재생
2. 제2 실시 형태: 축구 시합의 영상 재생(표시 스케일 변경)
3. 제3 실시 형태: 오케스트라 콘서트의 영상 재생(표시 스케일 변경)
4. 제4 실시 형태: 음악 라이브의 영상 재생
5. 변형예
6. 컴퓨터의 구성
<1. 제1 실시 형태>
(영상 재생 시스템의 구성예)
도 1은, 본 기술을 적용한 영상 재생 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
영상 재생 시스템(1)은, 전천구 카메라 등의 촬상 장치에 의하여 촬상된 화상 데이터나, CG(Computer Graphics) 모델 데이터 등의 데이터를 처리하고, 그 처리의 결과 얻어지는 전천구 실사 영상이나 CG 영상 등의 영상을 헤드 마운트 디스플레이 등의 표시 장치에 표시하는 시스템이다.
도 1에 있어서, 영상 재생 시스템(1)은, 중심적인 처리를 행하는 정보 처리 장치(10)와, 정보 처리 장치(10)에 입력되는 데이터를 기억하는 영상·CG 제어 데이터 기억부(21) 및 CG 모델 데이터 기억부(22)와, 정보 처리 장치(10)로부터 출력되는 데이터를 제시하는 표시 장치(31) 및 스피커(32)로 구성된다.
정보 처리 장치(10)는, 예를 들어 게임기나 퍼스널 컴퓨터, 전용 프로세서가 탑재된 유닛 등의 전자 기기로서 구성된다. 정보 처리 장치(10)는 UI·콘텐츠 제어부(101), 재생부(102) 및 렌더링부(103)로 구성된다.
UI·콘텐츠 제어부(101)는, 예를 들어 CPU(Central Processing Unit)나 마이크로프로세서 등으로 구성된다. UI·콘텐츠 제어부(101)는 각종 연산 처리나 동작 제어 등, 정보 처리 장치(10)에 있어서의 중심적인 제어 장치로서 동작한다.
UI·콘텐츠 제어부(101)는 재생부(102) 및 렌더링부(103)를 제어함으로써, 유저 인터페이스(UI: User Interface)나, 콘텐츠의 표시나 재생을 제어한다.
UI·콘텐츠 제어부(101)에는, 예를 들어 헤드 마운트 디스플레이를 장착한 유저에 의한 조작 장치(예를 들어 컨트롤러 등)에 대한 조작에 따른 조작 신호가 입력된다. UI·콘텐츠 제어부(101)는, 입력된 조작 신호에 기초하여 정보 처리 장치(10)의 각 부의 동작을 제어한다.
또한 UI·콘텐츠 제어부(101)에는, 헤드 마운트 디스플레이를 장착한 유저의 두부의 움직임에 따른 트래킹 신호로부터 얻어지는 정보(이하, 헤드 트래킹 정보라 함)나, 전천구 실사 영상의 촬상 위치와 촬상 방향에 관한 정보(이하, 전천구 실사 촬상 지점 정보라 함)가 입력된다.
또한 전천구 실사 영상은, 소정의 시설이나 옥외 등에 설치되는 전천구 카메라(전방위 카메라) 등의 촬상 장치에 의하여 촬상되는 화상 데이터를 처리함으로써 얻어지는 영상이며, 상하좌우 전방위의 360도의 파노라마 영상이다.
UI·콘텐츠 제어부(101)는, 입력된 헤드 트래킹 정보, 및 전천구 실사 촬상 지점 정보 중 적어도 한쪽 정보를 이용하여 소정의 연산 처리(예를 들어 유저의 시점을 산출하거나 표시 화각을 산출하거나 하기 위한 연산 처리)를 행한다. UI·콘텐츠 제어부(101)는, 소정의 연산 처리로 얻어지는 연산 결과에 기초하여 재생부(102) 및 렌더링부(103)를 제어한다.
UI·콘텐츠 제어부(101)는 재생 제어부(111) 및 표시 제어부(112)를 포함한다.
재생 제어부(111)는, 재생부(102)에 의하여 실행되는 재생 처리를 제어한다. 표시 제어부(112)는, 렌더링부(103)에 의하여 실행되는 렌더링 처리를 제어한다.
재생부(102)는 재생 제어부(111)로부터의 제어에 따라, 그곳에 입력되는 콘텐츠의 비디오 데이터나 오디오 데이터를 처리하여 콘텐츠를 재생하기 위한 재생 처리를 실행한다.
재생부(102)는 데이터 취득부(121), 디먹스(122), 제1 비디오 디코더(123), 제2 비디오 디코더(124), 오디오 디코더(125), CG 제어 데이터 디코더(126) 및 동기 제어부(127)를 포함한다.
데이터 취득부(121)는 영상·CG 제어 데이터 기억부(21)로부터 재생 대상인 콘텐츠에 관한 입력 데이터를 취득하여 디먹스(122)에 공급한다.
여기서, 영상·CG 제어 데이터 기억부(21)에는, 예를 들어 전천구 카메라 등의 촬상 장치에 의하여 촬상되는 화상 데이터로부터 얻어지는 전천구 실사 영상의 데이터나, CG 영상을 제어하기 위한 CG 제어 데이터 등의 각종 데이터가 기록되어 있다.
단, 영상·CG 제어 데이터 기억부(21)에 기록되어 있는 데이터는 소정의 방식에 따라 인코드의 처리가 실시되어 부호화되어 있다. 또한 CG 제어 데이터는, 시간에 의존하여 변화되는 CG 모델의 제어 데이터이며, 예를 들어 모션 데이터나 위치 정보, 정점이나 메쉬의 변화 정보를 포함한다.
디먹스(122)는, 데이터 취득부(121)로부터 공급되는 입력 데이터를 부호화 비디오 데이터와 부호화 오디오 데이터와 부호화 CG 제어 데이터로 분리한다. 단, 여기서는, 입력 데이터로서, 다른 촬상 장치(예를 들어 전천구 카메라)로부터의 2개의 계열의 부호화 비디오 데이터(제1 부호화 비디오 데이터와 제2 부호화 비디오 데이터)가 포함되어 있다.
디먹스(122)는, 입력 데이터를 분리하여 얻어지는 각 데이터 중, 제1 부호화 비디오 데이터를 제1 비디오 디코더(123)에, 제2 부호화 비디오 데이터를 제2 비디오 디코더(124)에, 부호화 오디오 데이터를 오디오 디코더(125)에, 부호화 CG 제어 데이터를 CG 제어 데이터 디코더(126)에 각각 공급한다.
제1 비디오 디코더(123)는, 디먹스(122)로부터 공급되는 제1 부호화 비디오 데이터를 소정의 복호 방식에 따라 디코드하고, 그 결과 얻어지는 제1 비디오 데이터를 동기 제어부(127)에 공급한다.
제2 비디오 디코더(124)는, 디먹스(122)로부터 공급되는 제2 부호화 비디오 데이터를 소정의 복호 방식에 따라 디코드하고, 그 결과 얻어지는 제2 비디오 데이터를 동기 제어부(127)에 공급한다.
오디오 디코더(125)는, 디먹스(122)로부터 공급되는 부호화 오디오 데이터를 소정의 복호 방식에 따라 디코드하고, 그 결과 얻어지는 오디오 데이터를 동기 제어부(127)에 공급한다.
CG 제어 데이터 디코더(126)는, 디먹스(122)로부터 공급되는 부호화 CG 제어 데이터를 소정의 복호 방식에 따라 디코드하고, 그 결과 얻어지는 CG 제어 데이터를 동기 제어부(127)에 공급한다.
동기 제어부(127)에는, 제1 비디오 디코더(123)로부터의 제1 비디오 데이터와, 제2 비디오 디코더(124)로부터의 제2 비디오 데이터와, 오디오 디코더(125)로부터의 오디오 데이터와, CG 제어 데이터 디코더(126)로부터의 CG 제어 데이터가 입력된다.
동기 제어부(127)는, 그곳에 입력되는 제1 비디오 데이터와 제2 비디오 데이터와 오디오 데이터와 CG 제어 데이터를 동기시키는 동기 제어를 행하고, 그것에 의하여 동기된 제1 비디오 데이터와 제2 비디오 데이터와 오디오 데이터와 CG 제어 데이터를 각각 렌더링부(103)에 공급한다.
렌더링부(103)에는, 재생부(102)의 동기 제어부(127)로부터 제1 비디오 데이터와 제2 비디오 데이터와 오디오 데이터와 CG 제어 데이터가 동기되어 입력된다. 또한 렌더링부(103)에는 CG 모델 데이터 기억부(22)로부터 CG 모델 데이터가 입력된다.
여기서, CG 모델 데이터 기억부(22)에는, 예를 들어 CG 모델의 데이터 등의 각종 데이터가 기록되어 있다. 단, CG 모델의 데이터는, 시간에 의존하여 변화하지 않는 CG 모델의 데이터이며, 예를 들어 메쉬 데이터나 텍스처 데이터, 머티리얼 데이터 등을 포함한다.
렌더링부(103)는, 표시 제어부(112)로부터의 제어에 따라, 그곳에 입력되는콘텐츠의 비디오 데이터나 오디오 데이터, CG의 데이터를 처리하여 콘텐츠나 CG의 영상이나 음성을 출력하기 위한 렌더링 처리를 실행한다.
구체적으로는, 렌더링부(103)는 제1 비디오 데이터 또는 제2 비디오 데이터에 대하여 렌더링 처리를 실시하고, 그 결과 얻어지는 영상 출력 데이터를 소정의 인터페이스를 통하여 표시 장치(31)에 출력한다. 이것에 의하여 표시 장치(31)는, 정보 처리 장치(10)(의 렌더링부(103))로부터 출력되는 영상 출력 데이터에 기초하여 전천구 실사 영상 등의 콘텐츠의 영상을 표시한다.
또한 렌더링부(103)는 오디오 데이터에 대하여 렌더링 처리를 실시하고, 그 결과 얻어지는 음성 출력 데이터를 소정의 인터페이스를 통하여 스피커(32)에 출력한다. 이것에 의하여 스피커(32)는, 정보 처리 장치(10)(의 렌더링부(103))로부터 출력되는 음성 출력 데이터 기초하여 전천구 실사 영상 등의 콘텐츠의 영상에 동기된 음성을 출력한다.
또한, 렌더링부(103)는 CG 제어 데이터에 기초하여 CG 모델 데이터에 대하여 렌더링 처리를 실시하고, 그 결과 얻어지는 CG 영상 출력 데이터를 표시 장치(31)에 출력한다. 이것에 의하여 표시 장치(31)는, 정보 처리 장치(10)(의 렌더링부(103))로부터 출력되는 CG 영상 출력 데이터에 기초하여 CG 영상을 표시한다.
여기서, UI·콘텐츠 제어부(101)에 의하여 전천구 실사 영상과 CG 영상을 전환하는 표시 전환 처리가 행해지는 경우에는, 예를 들어 전환의 대상에 따라 다음의 처리가 행해진다.
즉, 전천구 실사 영상으로부터 CG 영상으로의 전환 시에 있어서, UI·콘텐츠 제어부(101)는, 전천구 실사 영상의 시점 방향과 CG 영상이 일치하도록 CG의 렌더링 카메라 위치를 조정하여 렌더링부(103)에 지시한다.
한편, CG 영상으로부터 전천구 실사 영상으로의 전환 시에 있어서, UI·콘텐츠 제어부(101)는 동일한 시점에서 전천구 실사 영상으로 천이하기 위하여, 예를 들어 다음의 3개의 처리를 차례로 행한다.
먼저, 복수의 전천구 실사 영상 중에서 전환 시의 CG 영상에 가장 가까운 전천구 실사 영상을 선택한다. 다음에, 선택된 전천구 실사 영상이 촬상된 촬상 장치(예를 들어 전천구 카메라)의 시점까지 CG의 렌더링의 카메라 위치를 이동시키도록 렌더링부(103)에 지시한다. 그리고 천이 후의 전천구 실사 영상의 정면의 시점 방향을, 유저가 CG로 보고 있던 방향에 따라 변경하도록 렌더링부(103)에 지시한다.
또한 여기서는, 영상이나 음성과 동기된 타임 스탬프의 데이터로 갖는 CG 모델의 제어 데이터(CG 제어 데이터)가 동기되어 렌더링부(103)로 넘겨지는 점에서, 예를 들어 다음의 3개의 처리를 행할 수 있다.
즉, 첫 번째, 복수의 전천구 실사 영상과 CG 영상을 동기시켜, 그 영상들의 전환 시라도 동일한 타이밍의 씬을 표현하는 것이 가능해진다. 두 번째, 전천구 실사 영상과 CG 영상이 동기되어, 예를 들어 빨리감기나 되감기 등의 트릭 플레이를 행하는 것이 가능해진다. 세 번째, 복수의 전천구 실사 영상과 CG 영상의 전환을 행하더라도, 그 영상들에 동기된 음성을 연속적으로 재생하는 것이 가능해진다.
표시 장치(31)는, 예를 들어 헤드 마운트 디스플레이나 스마트폰 등의 디스플레이를 갖는 전자 기기로서 구성된다. 또한 이하의 설명에서는, 표시 장치(31)의 일례로서, 헤드 마운트 디스플레이(후술하는 도 2의 헤드 마운트 디스플레이(31A))를 설명한다.
또한 도 1에 도시한 구성에서는 음성 출력 장치로서 스피커(32)를 나타내었지만, 스피커(32)에 한하지 않으며, 예를 들어 헤드 마운트 디스플레이를 두부에 장착한 유저가, 또한 이어폰을 귀에 꽂아넣고(또는 헤드폰을 장착하고), 그곳으로부터 음성이 출력되도록 해도 된다.
또한 정보 처리 장치(10)와 표시 장치(31) 및 스피커(32)는, 예를 들어 소정의 규격에 준거한 케이블을 통하여 유선으로 접속되거나, 혹은 소정의 규격에 준거한 무선 통신에 의하여 접속할 수 있다.
영상 재생 시스템(1)은 이상과 같이 구성된다.
또한 도 1에 있어서는, UI·콘텐츠 제어부(101)에서의 연산 처리에서 이용되는 트래킹 정보로서 헤드 트래킹 정보를 이용하는 것으로서 설명하였지만, 예를 들어 헤드 마운트 디스플레이의 공간적인 위치를 나타내는 포지션 트래킹 정보나, 유저의 시선의 움직임에 따른 아이 트래킹 정보 등을 또한 이용하도록 해도 된다.
또한 도 1에 있어서, 전천구 실사 영상의 데이터나 CG 제어 데이터, CG 모델의 데이터 등의 각종 데이터는, 예를 들어 하드 디스크 드라이브(HDD: Hard Disk Drive)나 반도체 메모리, 광 디스크 등의 대용량 기록 매체로 이루어지는 영상·CG 제어 데이터 기억부(21)나 CG 모델 데이터 기억부(22)에 기록되고, 정보 처리 장치(10)는 그곳으로부터 입력 데이터를 취득하는 것으로서 설명하였지만, 그 데이터들은 다른 경로로 취득하도록 해도 된다.
예를 들어 정보 처리 장치(10)에 통신 I/F를 마련하여 인터넷에 접속 가능하게 함으로써, 인터넷 상의 서버로부터 배신되는 전천구 실사 영상의 데이터 등의 각종 데이터를 수신하여 재생부(102)에 입력되도록 해도 된다. 또한 정보 처리 장치(10)에 튜너를 마련하여, 안테나를 통하여 방송파를 수신 가능하게 함으로써, 방송파로부터 얻어지는 전천구 실사 영상의 데이터 등의 각종 데이터가 재생부(102)에 입력되도록 해도 된다.
(시점 이동 시의 애니메이션 표시)
도 2는, 축구 스타디움(2)에 설치된 촬상 장치에 의하여 촬상된 전천구 실사 영상의 표시예를 도시하고 있다.
도 2에 있어서는, 축구 스타디움(2)에 있어서의 필드(3)를 도시하고 있지만, 실제로는 필드(3)를 둘러싸도록 스탠드가 마련된다. 이 예에서는, 필드(3)에 대하여 앞쪽측의 스탠드의 상부에 카메라(41-1)가 설치되고, 필드(3)에 고정된 한쪽 골문 뒤에 카메라(41-2)가 설치되어 있다.
카메라(41-1, 41-2)는, 예를 들어 전천구 카메라이며, 상하좌우 전방위의 360도의 파노라마 영상인 전천구 실사 영상을 촬상 가능한 촬상 장치이다. 또한 이하의 설명에서는, 전천구 카메라에 의하여 촬상된 전천구 실사 영상을 일례로 들어 설명하지만, 전천구 카메라에 한하지 않고 다른 촬상 장치에 의하여 촬상된 실사 영상을 이용하도록 해도 된다. 예를 들어 통상의 카메라에 어안 렌즈나 광각 렌즈를 설치하여 촬상을 행함으로써, 촬상된 실사 영상(예를 들어 시야각이 180도인 영상)을 이용하도록 해도 된다.
카메라(41-1)는, 앞쪽측의 스탠드의 상부의 설치 위치에 따른 전천구 실사 영상을 촬상할 수 있다. 또한 카메라(41-2)는, 골문 뒤의 설치 위치에 따른 전천구 실사 영상을 촬상할 수 있다. 또한 카메라(41-1)와 카메라(41-2)에 의하여 촬상된 전천구 실사 영상의 데이터는 영상·CG 제어 데이터 기억부(21)(도 1)에 기록할 수 있다.
그리고 이와 같이 하여 얻어지는 전천구 실사 영상은, 예를 들어 정보 처리 장치(10)(도 1)에 의하여 재생하여 표시 장치(31)로서의 헤드 마운트 디스플레이(31A)에 표시함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 축구 스타디움(2)에 있는 듯한 임장감을 맛볼 수 있다.
예를 들어 카메라(41-1)에 의하여, 헤드 마운트 디스플레이(31A)에서는, 스탠드의 상부의 방향으로부터의 전천구 실사 영상의 표시가 가능해진다. 또한, 예를 들어 카메라(41-2)에 의하여, 헤드 마운트 디스플레이(31A)에서는, 골문 뒤의 방향으로부터의 전천구 실사 영상의 표시가 가능해진다.
또한 헤드 마운트 디스플레이(31A)는, 유저의 양안을 덮듯이 두부에 장착하여, 유저의 눈앞에 마련된 표시 화면에 표시되는 정지 화상이나 동화상 등을 감상하기 위한 표시 장치이다. 헤드 마운트 디스플레이(31A)에 표시되는 대상은, 예를 들어 축구 등의 스포츠 프로그램 외에, 콘서트나 음악 라이브의 영상, 텔레비전 프로그램이나 영화, 게임 화상 등의 콘텐츠로 한다.
또한 도 2에 있어서는, 앞쪽측의 스탠드의 상부에 카메라(41-1)를 설치하고 한쪽 골문 뒤에 카메라(41-2)를 설치한 경우를 도시하였지만, 카메라(41)의 설치 위치는 이에 한하지 않으며, 예를 들어 안쪽측의 스탠드(메인 스탠드 또는 백 스탠드)의 상부나, 다른 쪽 골문 뒤 등, 축구 스타디움(2) 내의 임의의 위치에 임의의 수만큼 설치할 수 있다. 또한 이하의 설명에서는, 카메라(41-1)와 카메라(41-2)를 특별히 구별할 필요가 없는 경우에는 간단히 카메라(41)로 기술하기로 한다.
여기서, 헤드 마운트 디스플레이(31A)에 표시되는 전천구 실사 영상을, 카메라(41-1)에 의하여 촬상되는 스탠드의 상부에서의 전천구 실사 영상으로부터, 카메라(41-2)에 의하여 촬상되는 골문 뒤에서의 전천구 실사 영상으로 전환하는 장면을 상정한다.
이때, 정보 처리 장치(10)(도 1)는, 헤드 마운트 디스플레이(31A)의 표시로서, 스탠드의 상부에서의 전천구 실사 영상을 시청 가능한 제1 시점으로부터, 골문 뒤에서의 전천구 실사 영상을 시청 가능한 제2 시점까지의 시점 이동의 사이를, 연속적인 CG 영상의 표시로 전환하여 시점 이동의 애니메이션이 표시되도록 한다.
도 3은, 헤드 마운트 디스플레이(31A)에 표시되는, 시점 이동 전의 전천구 실사 영상의 예를 도시하고 있다. 도 3에 있어서, 헤드 마운트 디스플레이(31A)에는, 스탠드의 상부의 카메라(41-1)에 의하여 촬상된 전천구 실사 영상을 보고 있는 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(301)이 표시된다.
도 4 내지 도 6은, 헤드 마운트 디스플레이(31A)에 표시되는, 시점 이동의 사이에 표시되는 CG 영상의 예를 도시하고 있다. 또한 도 4 내지 도 6에 도시하는 CG 영상은, 그 차례로 시계열로 표시되는 것으로 한다.
먼저, 도 4에 도시한 바와 같이 헤드 마운트 디스플레이(31A)에는, 스탠드의 상부의 방향으로부터의 시점으로 되는 CG 영상(302)이 표시된다. 즉, CG 영상(302)의 시점은, 상술한 시점 이동 전의 전천구 실사 영상(301)(도 3)의 시점과 대략 일치하고 있다.
또한 CG 영상(302)은 전천구 실사 영상(301)(도 3)에 비해 스탠드나 관객, 선수 등이 포함되어 있지 않으며, 필드(3)를 마킹하는 라인(예를 들어 중앙선이나 터치 라인, 골 라인 등)과, 각각의 골 라인의 중앙에 설치된 골대가, 와이어 프레임에 의하여 표현(윤곽만으로 표현)되어 있다.
즉, CG 영상(302)은 배경 화상으로서, 예를 들어 흑색이나 청색 등의 소정의 단색으로 나타난 화상을 포함하고 있으며, 전천구 실사 영상(301)의 배경 화상보다도 정보량이 적게 되어 있다. 또한 와이어 프레임이란, 3차원 모델링이나 렌더링의 방법 중 하나이며, 입체의 변만으로 이루어지는 선의 집합으로 표현하는 것이다.
다음에, 도 5에 도시한 바와 같이 헤드 마운트 디스플레이(31A)에는, CG 영상(302)(도 4)과 시점이 다른 CG 영상(303)이 표시된다. 예를 들어 CG 영상(303)의 시점은, 스탠드의 상부의 카메라(41-1)의 설치 위치와, 골문 뒤의 카메라(41-2)의 설치 위치를 이은 궤적 상의 임의의 위치로 한다.
또한 CG 영상(303)은 CG 영상(302)(도 4)과 마찬가지로, 필드(3)를 마킹하는 라인이나 골을 와이어 프레임에 의하여 표현한 것으로 된다. 또한, CG 영상(303)은 CG 영상(302)(도 4)과 마찬가지로, 배경 화상으로서, 예를 들어 흑색 등의 소정의 단색으로 나타난 화상을 포함하고 있다.
다음에, 도 6에 도시한 바와 같이 헤드 마운트 디스플레이(31A)에는, 골문 뒤의 방향으로부터의 시점으로 되는 CG 영상(304)이 표시된다. 즉, CG 영상(304)의 시점은, 후술하는 시점 이동 후의 전천구 실사 영상(305)(도 7)의 시점과 대략 일치하고 있다.
또한 CG 영상(304)은 CG 영상(302)(도 4) 및 CG 영상(303)(도 5)과 마찬가지로, 필드(3)를 마킹하는 라인이나 골을 와이어 프레임에 의하여 표현한 것으로 된다. 또한 CG 영상(304)은 배경 화상으로서, 예를 들어 흑색 등의 소정의 단색으로 나타난 화상을 포함하고 있다.
이와 같이 헤드 마운트 디스플레이(31A)에 있어서는, 스탠드의 상부에서의 전천구 실사 영상으로부터 골문 뒤에서의 전천구 실사 영상으로 시점을 전환할 때, 정보 처리 장치(10)(도 1)에 의하여, 와이어 프레임에 의하여 표현된 CG 영상(302)(도 4)과 CG 영상(303)(도 5)과 CG 영상(304)(도 6)과 같이 연속적으로 변화되는 CG 영상(말하자면 천이 화상)이 표시됨으로써, 시점 이동의 애니메이션의 표시가 행해진다.
또한 이때, 천이 화상으로서의 CG 영상(302), CG 영상(303) 및 CG 영상(304)에서는, 시점이 이동함과 함께, 와이어 프레임에 의하여 표현된 라인이나 골문의 스케일을 변경할 수 있기 때문에, 천이 화상은, 유저의 양안의 폭주각의 변화에 따른 화상을 포함하고 있다고 할 수 있다.
도 7은, 헤드 마운트 디스플레이(31A)에 표시되는, 시점 이동 후의 전천구 실사 영상의 예를 도시하고 있다. 도 7에 있어서, 헤드 마운트 디스플레이(31A)에는, 골문 뒤의 카메라(41-2)에 의하여 촬상된 전천구 실사 영상을 보고 있는 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(305)이 표시된다.
이상과 같이, 스탠드의 상부에서의 전천구 실사 영상(301)(도 3)으로부터, 골문 뒤에서의 전천구 실사 영상(305)(도 7)으로 시점을 전환할 때, 시점 이동의 애니메이션(CG 영상(302) 내지 CG 영상(304)을 포함하는 CG 영상이 연속적으로 변화되는 천이 화상)을 표시함으로써, 영상이 단조로워지는 것을 해소하고, 또한 유저에 대하여 시점이 어떻게 바뀌었는지를 파악시킬 수 있다.
또한 시점 이동의 애니메이션의 표시로서, 와이어 프레임에 의하여 표현된 CG 영상이 연속적으로 변화되는 천이 화상이 표시되도록 함으로써 축구 스타디움(2)의 상세한 정보를 데포르메(변형)하고 있기 때문에, 헤드 마운트 디스플레이(31A)를 사용하고 있는 유저의 멀미(이른바 VR 멀미)를 경감할 수 있다.
또한 시점 이동의 애니메이션으로서, 와이어 프레임에 의하여 표현된 CG 영상이 이용되는 경우를 나타내었지만, 와이어 프레임에 의한 표현은, 전천구 실사 영상을 데포르메하기 위한 표현 방법의 일례이며, 다른 표현 방법을 이용하도록 해도 된다. 또한 본 명세서에 있어서 데포르메란, 영상을 간략화함과 함께 그 영상의 특징을 강조한다는 의미를 포함하고 있다.
(재생·표시 제어 처리의 흐름)
다음에, 도 8의 흐름도를 참조하여, 정보 처리 장치(10)(도 1)의 UI·콘텐츠 제어부(101)에 의하여 실행되는 재생·표시 제어 처리의 흐름을 설명한다.
또한 도 8의 흐름도에 도시하는 처리가 실행되는 전제로서, 게임기나 퍼스널 컴퓨터 등으로 구성되는 정보 처리 장치(10)는 헤드 마운트 디스플레이(31A)와 접속되어 있다. 그리고 헤드 마운트 디스플레이(31A)를 두부에 장착한 유저는, 그 디스플레이에 표시되는 화면을 보면서 컨트롤러 등을 조작하여, 예를 들어 화면에 표시되는 영상(전천구 실사 영상이나 CG 영상)의 시점을 전환하거나 할 수 있다.
스텝 S11에 있어서, UI·콘텐츠 제어부(101)는 재생부(102)를 제어하여 전천구 실사 영상을 재생한다. 이것에 의하여, 예를 들어 헤드 마운트 디스플레이(31A)에는, 스탠드의 상부에서의 전천구 실사 영상으로서 전천구 실사 영상(301)(도 3)이 표시된다.
스텝 S12에 있어서, UI·콘텐츠 제어부(101)는 그곳에 입력되는 조작 신호 등에 기초하여, 유저 또는 배신자로부터, 영상의 시점을 변경하는 지시인 시점 변경 지시가 있었는지 여부를 판정한다.
스텝 S12에 있어서, 시점 변경 지시가 없다고 판정된 경우, 처리는 스텝 S11로 되돌아가서 상술한 처리가 반복된다. 이 경우, 예를 들어 스탠드의 상부에서의 전천구 실사 영상을 보고 있는 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(301)(도 3)의 표시가 계속된다.
한편, 스텝 S12에 있어서, 예를 들어 유저에 의하여 컨트롤러가 조작되어, 시점 변경 지시가 있었다고 판정된 경우, 처리는 스텝 S13으로 진행된다.
또한 배신자에 의하여 시점 변경 지시가 이루어지는 경우로서는, 예를 들어 콘텐츠의 제작자에 의하여, 어떤 타이밍(예를 들어 스탠드의 상부에서의 전천구 실사 영상의 재생 시간축 상의 전환 시각)에 시점이 변경되는 콘텐츠가 제작되었을 때, 당해 콘텐츠의 재생 시에 그 타이밍(전환 시각)으로 된 시점에서 시점 변경 지시가 이루어졌다고 판정된다.
스텝 S13에 있어서, UI·콘텐츠 제어부(101)는 전천구 실사 촬상 지점 정보와, 헤드 마운트 디스플레이(31A)의 헤드 트래킹 정보를 취득한다.
스텝 S14에 있어서, UI·콘텐츠 제어부(101)는, 스텝 S13의 처리에서 취득된 전천구 실사 촬상 지점 정보 및 헤드 트래킹 정보에 기초하여, CG 모델 데이터 기억부(22)로부터 판독되는 CG 모델의 표시 화각을 산출한다.
스텝 S15에 있어서, UI·콘텐츠 제어부(101)는, 스텝 S14의 처리에서 산출된 산출 결과에 기초하여 렌더링부(103)를 제어하여 CG 모델을 초기 위치(전천구 실사 영상과 동일 위치)에서 렌더링한다. 이것에 의하여, 예를 들어 헤드 마운트 디스플레이(31A)에는, 전천구 실사 영상(301)(도 3)의 시점에 대응한 CG 영상(302)(도 4)이 표시된다.
스텝 S16에 있어서, UI·콘텐츠 제어부(101)는 헤드 마운트 디스플레이(31A)의 헤드 트래킹 정보를 취득한다.
스텝 S17에 있어서, UI·콘텐츠 제어부(101)는, 스텝 S16의 처리에서 취득된 헤드 트래킹 정보에 기초하여, 헤드 마운트 디스플레이(31A)를 장착한 유저의 시선 방향을 산출한다.
스텝 S18에 있어서, UI·콘텐츠 제어부(101)는, 스텝 S17의 처리에서 산출된 산출 결과에 기초하여 렌더링부(103)를 제어하여 CG 모델을 최신의 시점 방향으로 렌더링한다. 이것에 의하여, 예를 들어 헤드 마운트 디스플레이(31A)에는 CG 영상(303)(도 5)이 표시된다.
스텝 S19에 있어서, UI·콘텐츠 제어부(101)는, 그곳에 입력되는 조작 신호 등에 기초하여, 유저 또는 배신자로부터, 영상의 시점을 결정하는 지시인 시점 결정 지시가 있었는지 여부를 판정한다.
스텝 S19에 있어서, 시점 결정 지시가 없다고 판정된 경우, 처리는 스텝 S16로 되돌아가서 상술한 처리가 반복된다. 즉, 스텝 S16 내지 S18의 처리가 반복됨으로써, 예를 들어 헤드 마운트 디스플레이(31A)에는, CG 영상(303)(도 5)의 다음에, 유저의 시선에 따른 CG 영상(예를 들어 와이어 프레임에 의하여 표현된 CG 영상)이 표시된다.
한편, 스텝 S19에 있어서, 시점 결정 지시가 있었다고 판정된 경우, 처리는 스텝 S20으로 진행된다. 스텝 S20에 있어서, UI·콘텐츠 제어부(101)는, 복수의 전천구 실사 영상 중에서 최신의 시점 방향에 가장 가까운 전천구 실사 영상을 선택한다.
여기서, 예를 들어 CG 영상(304)(도 6)이 표시된 직후에 시점 결정 지시가 이루어진 경우, 최신의 시점 방향에 가장 가까운 전천구 실사 영상으로서, CG 영상(304)(도 6)의 시점에 대응한 골문 뒤에서의 전천구 실사 영상이 선택된다.
스텝 S21에 있어서, UI·콘텐츠 제어부(101)는 재생부(102)를 제어하여, 스텝 S20의 처리에서 선택된 전천구 실사 영상을 재생한다. 예를 들어 헤드 마운트 디스플레이(31A)에는 골문 뒤에서의 전천구 실사 영상으로서, 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(305)(도 7)이 표시된다. 단, 골문 뒤에서의 전천구 실사 영상(305)(도 7)을 표시할 때는, 그 정면 방향을, 최신의 유저의 시점 방향에 맞도록 결정하고 나서 표시하게 된다.
이상, 재생·표시 제어 처리의 흐름에 대하여 설명하였다.
이 재생·표시 제어 처리에 있어서는, UI·콘텐츠 제어부(101)의 표시 제어부(112)에 의하여, 제1 시점(예를 들어 스탠드의 상부에 대응한 시점)으로부터 시청 가능한 제1 영상(예를 들어 전천구 실사 영상(301))으로부터, 제2 시점(예를 들어 골문 뒤에 대응한 시점)으로부터 시청 가능한 제2 영상(예를 들어 전천구 실사 영상(305))으로 전환할 때, 실질적으로 연속적으로 변화되는 천이 화상으로서, 예를 들어 CG 영상(302), CG 영상(303) 및 CG 영상(304) 등의 CG 영상이 차례로 표시된다.
이 천이 화상으로서의 CG 영상(예를 들어 CG 영상(302), CG 영상(303) 및 CG 영상(304) 등)은, 제1 시점(예를 들어 스탠드의 상부에 대응한 시점)으로부터 제2 시점(예를 들어 골문 뒤에 대응한 시점)으로의 시점의 천이에 대응한 영상을 데포르메한 화상이며, 제1 영상(예를 들어 전천구 실사 영상(301))의 배경 화상 및 제2 영상(예를 들어 전천구 실사 영상(305))의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고 있다.
여기서 정보량은, 예를 들어 화상의 색의 계조 및 해상도 중 적어도 한쪽을 포함하는 화상 정보에 의하여 정해지는 것이다. 그리고 천이 화상으로서의 CG 영상(예를 들어 CG 영상(302), CG 영상(303) 및 CG 영상(304) 등)의 배경 화상은, 제1 영상의 배경 화상 및 제2 영상 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상으로서, 예를 들어 흑색이나 청색 등의 소정의 단색으로 나타난 화상을 포함하고 있다.
또한 여기서는, CG 영상(302) 등의 천이 화상이 배경 화상으로서, 소정의 단색으로 나타난 화상을 포함하고 있는 경우를 나타내었지만, 예를 들어 제1 영상(예를 들어 전천구 실사 영상(301))이나 제2 영상(예를 들어 전천구 실사 영상(305))을 저해상도화함으로써 얻어지는 화상 등, 제1 영상의 배경 화상 및 제2 영상 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고 있으면, 천이 화상으로서 다양한 화상을 이용할 수 있다.
(하이라이트 영상 배신의 예)
다음에, 상술한 CG 영상을 도입한 영상 배신의 예로서, 어느 축구 시합에 있어서 골 씬 등의 중요한 장면만을 픽업한 하이라이트 영상의 배신의 예를 설명한다. 도 9는, 축구의 하이라이트 영상 배신의 예를 나타내는 타이밍 차트를 나타내고 있다.
도 9에 있어서는, 하이라이트 영상의 내용으로서, 스탠드의 상부에서의 전천구 실사 영상과, 시점 이동의 애니메이션 등의 CG 영상과, 골문 뒤에서의 전천구 실사 영상 중, 어느 영상이 표시되는지를 시계열로 나타내고 있다.
또한 스탠드의 상부에서의 전천구 실사 영상은 도 2의 카메라(41-1)에 의하여 촬상되고, 골문 뒤에서의 전천구 실사 영상은 도 2의 카메라(41-2)에 의하여 촬상된다.
도 9에 있어서는, 3분 간의 하이라이트 영상은, 초반의 고조 씬과, 1점째의 골 씬과, 들어갈 뻔한 씬과, 2점째의 골 씬과, 후반의 고조 씬으로 구성된다. 헤드 마운트 디스플레이(31A)를 장착한 유저는, 자신이 원하는 타이밍에 컨트롤러를 조작하거나 하여, 예를 들어 전천구 실사 영상의 시점이나, 전천구 실사 영상과 CG 영상을 전환할 수 있다.
예를 들어 헤드 마운트 디스플레이(31A)에 있어서는, 하이라이트 영상의 배신 개시 시각으로부터, 초반의 고조 씬으로서 스탠드의 상부에서의 전천구 실사 영상이 표시되는데, 전천구 실사 영상이, 스탠드의 상부로부터 골문 뒤로 전환되는 경우를 상정한다.
이 경우에 있어서, 시각 t11에 스탠드의 상부에서의 전천구 실사 영상(301)(도 3)이 표시되어 있었을 때는, 시각 t11 내지 시각 t12에 CG 영상(302) 내지 CG 영상(304)(도 4 내지 도 6)이 시점 이동의 애니메이션으로서 표시된다. 그리고 시각 12에 골문 뒤에서의 전천구 실사 영상(305)(도 7)으로 전환된다.
이것에 의하여, 1점째의 골 씬의 도중부터, 시점이, 골문 뒤에서의 전천구 실사 영상으로 전환되어, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 골문 뒤측으로부터의 시점에서 1점째의 골 씬을 볼 수 있다.
1점째의 골 씬의 종료 후, 시점이, 골문 뒤에서의 전천구 실사 영상으로부터 스탠드의 상부에서의 전천구 실사 영상으로 복귀된다. 이때, 시각 t13 내지 t14에 시점 이동의 애니메이션으로서 CG 영상이 표시되고, 시각 t14에 스탠드의 상부에서의 전천구 실사 영상으로 전환된다.
이것에 의하여, 들어갈 뻔한 씬의 도중부터, 시점이, 스탠드의 상부에서의 전천구 실사 영상으로 전환되어, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 스탠드의 상부 측으로부터의 시점에서, 들어갈 뻔한 씬을 볼 수 있다.
들어갈 뻔한 씬의 다음은, 2점째의 골 씬으로 되는데, 그 도중에 시점이, 다시 스탠드의 상부에서의 전천구 실사 영상으로부터 골문 뒤에서의 전천구 실사 영상으로 전환된다. 이때, 시각 t15 내지 t16에 시점 이동의 애니메이션으로서 CG 영상이 표시되고, 시각 t16에 골문 뒤에서의 전천구 실사 영상으로 전환된다.
이것에 의하여, 2점째의 골 씬의 도중부터, 시점이, 골문 뒤에서의 전천구 실사 영상으로 전환되어, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 1점째와 마찬가지로 골문 뒤측으로부터의 시점에서 2점째의 골 씬을 볼 수 있다.
2점째의 골 씬의 다음은, 후반의 고조 씬으로 되는데, 그 도중에 시점이, 골문 뒤에서의 전천구 실사 영상으로부터 스탠드의 상부에서의 전천구 실사 영상으로 복귀된다. 이때, 시각 t17 내지 t18에 시점 이동의 애니메이션으로서 CG 영상이 표시되고, 시각 t18에 스탠드의 상부에서의 전천구 실사 영상으로 전환된다.
이것에 의하여, 후반의 고조 씬의 도중부터, 시점이, 스탠드의 상부에서의 전천구 실사 영상으로 전환되어, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 스탠드의 상부 측으로부터의 시점에서 후반의 고조 씬을 볼 수 있다. 그리고 후반의 고조 씬이 종료되면, 하이라이트 영상의 배신은 종료된다.
또한 전천구 실사 영상과 CG 영상의 전환의 타이밍으로서는, 예를 들어 헤드 마운트 디스플레이(31A)를 장착한 유저가 컨트롤러 등을 조작하여, 하이라이트 영상 콘텐츠의 시청 시에 원하는 타이밍에 전환하는 것 외에, 예를 들어 콘텐츠의 제작자측(또는 배신자측)에서, 하이라이트 영상 콘텐츠의 제작 시에 의도한 타이밍(예를 들어 전천구 실사 영상의 재생 시간축 상의 전환 시각)으로 전환할 수 있다.
또한 CG 영상을 표시할 때는, 영상에 관련된 부가 정보를 표시하도록 해도 된다. 예를 들어 축구 시합에 있어서는, 주목하고 있는 선수(예를 들어 골 씬에 있어서의 득점이나 어시스트를 한 선수)의 이름이나 위치 정보, 볼의 궤적, 팀별 볼 지배율 등, 선수나 시합에 관한 다양한 정보(정적 또는 동적인 정보)를 부가 정보로서 표시할 수 있다.
이상과 같이 본 기술에서는, 제1 카메라(예를 들어 제1 전천구 카메라)에 의하여 촬상된 제1 전천구 실사 영상으로부터, 제2 카메라(예를 들어 제2 전천구 카메라)에 의하여 촬상된 제2 전천구 실사 영상으로 시점을 전환할 때, 연속적으로 변화되는 CG 영상에 의한 시점 이동의 애니메이션을 표시함으로써, 영상의 시점의 전환에 수반하는 곤란한 사상을 회피하여 유저의 편리성을 향상시킬 수 있다.
예를 들어 제1 전천구 실사 영상으로부터 제2 전천구 실사 영상으로 전환될 때 아무런 시사도 없이 전환되어 버리면, 유저가 자유로이 시점을 바꿀 수 없기 때문에 영상이 단조로워지고, 나아가 유저는, 자신이 보고 있는 방향이나 위치를 놓칠 가능성이 있다. 그에 비해, 본 기술에서는, 그 영상들의 전환 시에 시점 이동의 애니메이션을 표시함으로써, 시점을 자유로이 변경하여 영상이 단조로워지는 것을 해소할 수 있음과 함께, 유저에 대하여 시점이 어떻게 바뀌었는지를 파악시킬 수 있다.
또한, 예를 들어 제1 전천구 실사 영상으로부터 제2 전천구 실사 영상으로 전환될 때, 영상의 급격한 변화나, 영상의 변화가 신체의 움직임과 다르면 멀미를 느끼기 쉬워질 우려가 있다. 특히 헤드 마운트 디스플레이(31A)를 장착한 유저가 컨트롤러 등으로 시점을 전환하는 조작을 행하는 경우에는, 현실의 신체의 움직임과 다르기 때문에 멀미를 느껴 버릴 가능성이 높아진다. 그에 비해, 본 기술에서는, 그 영상들의 전환 시에 시점 이동의 애니메이션으로서, 예를 들어 와이어 프레임에 의하여 표현된 CG 영상에 의하여 정보를 데포르메한 것을 표시함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저의 멀미(이른바 VR 멀미)를 경감할 수 있다.
또한 근년, 스포츠 중계 등에서 대규모의 카메라 시스템과 영상 처리 프로세스를 이용하여 실사의 3D 모델화를 행함으로써, 2D 영상뿐 아니라 360도의 리플레이 영상을 시청 가능하게 하고 있는 것도 있지만, 본 기술에서는, 기존의 기재(예를 들어 전천구 카메라)로 촬상된 전천구 실사 영상을 사용하여, 기존의 기기(예를 들어 게임기나 퍼스널 컴퓨터, 헤드 마운트 디스플레이)를 활용하면서 저비용으로 유효한 시점의 자유도를 향상시킬 수 있다.
또한 본 기술에서는, CG 영상을 표시함으로써, 예를 들어 유저 조작으로의 시점의 변화나, 실사 영상에 관련된 부가 정보의 표시 등, 인터랙션 가능한 표현을 용이하게 실현하는 것이 가능해진다. 또한 전천구 실사 영상의 영상 전환 시를 알기 힘든 것이나 멀미가 경감됨으로써 전천구 실사 영상의 전환이 용이해져서, 시점이 고정으로 되는 전천구 실사 영상의 단조로움을 개선할 수 있다.
<2. 제2 실시 형태>
(표시 스케일 변경)
그런데, 헤드 마운트 디스플레이(31A)에 있어서, CG 영상을 표시시킬 때, 정보 처리 장치(10)(의 UI·콘텐츠 제어부(101)의 표시 제어부(112))는, 표시 스케일이 작아지도록 표시를 제어함으로써 필드 전체를 미니어처처럼 보이게 할 수 있다. 이와 같은 미니어처 CG 영상(말하자면 축소 화상)을 표시함으로써, 헤드 마운트 디스플레이(31A)의 특장을 살린, 유저의 두부의 움직임에 맞춘 직감적인 시점 변경이 가능해진다.
도 10은, 헤드 마운트 디스플레이(31A)에 있어서의 필드의 미니어처 CG 영상의 표시예를 도시하고 있다.
도 10의 미니어처 CG 영상(311)에 있어서는, 카메라(41)에 의하여 촬상된 전천구 실사 영상에 비해 스탠드나 관객이 소거되고 전체가 축소된 CG(Computer Graphics)의 필드가 표시되어 있다. 또한 미니어처 CG 영상(311)은 배경 화상으로서, 예를 들어 청색이나 흑색 등의 소정의 단색으로 나타난 화상을 포함하고 있다.
또한 미니어처 CG 영상(311)에 있어서, 필드 상의 선수는, 실제의 선수 자체가 아니라 판 형상의 패널에 선수의 상반신을 그린 것에 의하여 표현되어 있다. 이 선수 패널은 실제의 선수와 마찬가지의 움직임을 하기 때문에, 헤드 마운트 디스플레이(31A)를 장착한 유저는, 필드 상을 돌아다니는 선수 패널을 좇음으로써 실제의 선수의 움직임을 확인할 수 있다.
또한, 이 필드의 미니어처 CG 영상은, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 맞추어, 예를 들어 스탠드측이나 골문 뒤측 등으로 시점이 변경되기 때문에, 다양한 각도(방향)에서 조망하거나 CG의 필드와의 거리를 바꾸거나 함으로써(예를 들어 CG의 필드에 접근하거나 멀어지거나 함으로써), 보다 확실히 필드 상의 선수 등을 확인할 수 있다.
여기서, 도 11 및 도 12를 참조하여, 전천구 실사 영상으로부터 미니어처 CG 영상으로의 천이 시에 있어서의 표시 스케일의 변경 방법에 대하여 설명한다.
도 11은, 전천구 실사 영상의 표시 시의 유저의 시선의 필드까지의 거리를, xyz의 좌표축에 의한 3차원으로 나타내고 있다. 도 11에 있어서, 헤드 마운트 디스플레이(31A)를 장착한 유저(401)의 시선은, 도면 중의 화살표로 나타낸 바와 같이 전천구 실사 영상에 있어서의 필드(402)의 중앙 부근을 향하고 있다.
여기서, 예를 들어 전천구 실사 영상에 있어서의 필드(402)의 사이즈로서 터치 라인×골 라인이 100m×70m로 되는 경우를 상정하면, 유저(401)의 시선의 필드(402)의 중앙 부근까지의 거리 L1은 50m로 된다.
한편, 도 12는, 미니어처 CG 영상의 표시 시의 유저의 시선의 필드까지의 거리를, xyz의 좌표축에 의한 3차원으로 나타내고 있다. 도 12에 있어서, 헤드 마운트 디스플레이(31A)를 장착한 유저(401)의 시선은, 도면 중의 화살표로 나타낸 바와 같이 미니어처 CG 영상에 있어서의 필드(403)의 중앙 부근을 향하고 있다.
여기서, 도 12에 있어서는, 도 11에 도시한 전천구 실사 영상의 필드(402)를 도면 중의 점선으로 나타냄으로써, 그 사이즈를 미니어처 CG 영상의 필드(403)의 사이즈와 비교 가능하게 하고 있다.
예를 들어 미니어처 CG 영상에 있어서의 필드(403)의 사이즈로서 터치 라인×골 라인이 100㎝×70㎝로 되는 경우를 상정하면, 100m×70m로 되는 필드(402)에 비해 그 사이즈가 1/100의 사이즈로 되어 있다. 즉, 전천구 실사 영상으로부터 미니어처 CG 영상으로 천이하였을 때, 필드의 사이즈가 1/100의 사이즈로 축소된다(실 사이즈로부터 미니어처 사이즈로 변경됨).
그리고 미니어처 CG 영상에 있어서의 필드(403)가 1/100의 사이즈인 100㎝×70㎝로 될 때, 헤드 마운트 디스플레이(31A)를 장착한 유저(401)의 시선의 필드(403)의 중앙 부근까지의 거리 L2는 50㎝로 되어서, 도 11에 도시한 전천구 실사 영상의 경우의 시선의 거리 L1(50m)의 1/100의 길이로 되어 있다. 즉, 전천구 실사 영상으로부터 미니어처 CG 영상으로 천이하였을 때, 그 필드의 사이즈(표시 스케일)의 변경에 맞추어 필드의 위치를 시점 방향에 접근시키고 있다.
이와 같이 본 기술에서는, 전천구 실사 영상으로부터 미니어처 CG 영상으로 천이하여 필드의 사이즈를 실 사이즈로부터 미니어처 사이즈로 변화시킬 때, 필드의 위치도 유저의 시점 방향으로 사이즈의 변경에 맞추어 접근시킴으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저가 보고 있는 화각을 변화시키지 않고 연속적으로 사이즈 변경을 행할 수 있다.
이와 같이 하여 표시되는 미니어처 CG 영상으로서는, 예를 들어 도 13 내지 도 15에 나타낸 바와 같은 CG 영상을 표시할 수 있다. 즉, 도 13 내지 도 15에 있어서는, 축구 스타디움(2)에서 행해지고 있는 축구 시합에서의 골 씬에서 득점이 들어가기까지의 일련의 흐름을 미니어처 CG 영상으로 표현하고 있다.
구체적으로는, 도 13의 미니어처 CG 영상(312)에 있어서는, 중앙선 부근에서 볼을 보유하고 있는 공격측의 팀의 선수가 공격을 펼치고자 하는 모습이 표현되어 있다. 그 후, 도 14의 미니어처 CG 영상(313)에 있어서는, 공격측의 팀의 선수가 페널티 에어리어 부근까지 다가와 있고, 수비측의 팀의 선수가 그에 대처하고 있는 모습이 표현되어 있다.
그리고 도 15의 미니어처 CG 영상(314)에 있어서는, 페널티 에어리어 내에 들어간 공격측의 팀의 선수가 슛한 볼을 수비측의 팀의 선수는 막을 수 없으며, 골 내에 볼이 들어가서 골이 결정된 모습이 표현되어 있다.
여기서, 도 13 내지 도 15에 도시한 골 씬에서 득점이 들어가기까지의 일련의 흐름에 있어서는, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 따라, 디스플레이에 표시되는 GC 영상의 시점이 변화되고 있다.
예를 들어 도 13의 미니어처 CG 영상(312)은, 스탠드측으로부터 보고 있는 CG 영상으로 되는 한편, 도 14의 미니어처 CG 영상(313)은, 골문 뒤측으로부터 보고 있는 CG 영상으로 된다. 또한, 예를 들어 도 13의 미니어처 CG 영상(312)은, 필드 전체를 조망할 수 있는, 줌 아웃한 CG 영상으로 되는 한편, 도 15의 미니어처 CG 영상(314)은, 볼의 부근에 있는 선수를 줌 인한 CG 영상으로 된다.
이상과 같이 본 기술을 적용함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 맞추어 미니어처 CG 영상의 시점을 변경하여, 다양한 각도에서 필드를 조망하는 것이 가능해진다.
예를 들어 축구 시합의 콘텐츠를 시청하는 유저에 따라서는, 필드 전체를 부감하려는 자나 보다 가까이에서 선수를 보려는 자, 혹은 스탠드측으로부터 보려는 자나 골문 뒤측으로부터 보려는 자 등 그 요구는 다양한데, 본 기술을 적용함으로써 다양한 각도에서 필드를 조망하는 것이 가능해지기 때문에 그 요구에 응할 수 있다.
또한 이 미니어처 CG 영상을 표시하는 타이밍에 관해서는, 예를 들어 도 9의 타이밍 차트에 나타낸 바와 같이 하이라이트 영상 콘텐츠의 시청 시에, 스탠드의 상부 또는 골문 뒤에서의 전천구 실사 영상의 표시를 전환함으로써, 시점 이동 가능한 CG 영상으로서 미니어처 CG 영상을 표시하는 것이 가능해진다. 이 미니어처 CG 영상을 표시시킴으로써, 예를 들어 주목하고 있는 선수나 볼의 위치를 확인하거나, 혹은 골 씬 등의 중요한 장면을 확인하거나 할 수 있다.
또한 전천구 실사 영상과 미니어처 CG 영상의 전환의 타이밍으로서는, 예를 들어 헤드 마운트 디스플레이(31A)를 장착한 유저가 컨트롤러 등을 조작하여, 하이라이트 영상 콘텐츠의 시청 시에 원하는 타이밍에 전환하는 것 외에, 예를 들어 콘텐츠의 제작자측에서, 하이라이트 영상 콘텐츠의 제작 시에 의도한 타이밍으로 전환할 수 있다.
또한, 미니어처 CG 영상을 표시할 때는, 예를 들어 주목하고 있는 선수의 이름이나 위치 정보, 볼의 궤적, 팀별 볼 지배율 등, 선수나 시합에 관한 다양한 정보를 부가 정보로서 표시할 수 있다.
<3. 제3 실시 형태>
(표시 스케일 변경)
상술한 설명에서는, 헤드 마운트 디스플레이(31A)에 있어서, 미니어처 CG 영상을 이용함으로써 축구 스타디움의 필드 전체를 미니어처와 같이 보여주는 예를 설명하였지만, 이 미니어처 CG 영상은, 축구 스타디움의 필드에 한하지 않고 다양한 장면에서 이용할 수 있다.
예를 들어 헤드 마운트 디스플레이(31A)에 있어서, 콘서트홀에 있어서의 오케스트라의 연주의 전천구 실사 영상을 표시할 때, 오케스트라의 악기 배치의 미니어처 CG 영상을 표시할 수 있다.
도 16은, 헤드 마운트 디스플레이(31A)에 있어서의 오케스트라의 악기 배치의 미니어처 CG의 표시예를 도시하고 있다.
또한 상세한 설명은 반복되기 때문에 생략하지만, 오케스트라의 연주가 행해지는 콘서트홀에는 하나 또는 복수의 카메라(예를 들어 전천구 카메라)가 설치되며, 예를 들어 스테이지 상의 지휘자의 부근이나 객석 등의 설치 위치에 따른 전천구 실사 영상이 촬상된다.
예를 들어 헤드 마운트 디스플레이(31A)에 있어서는, 콘서트홀에 설치된 카메라에 의하여 촬상된 전천구 실사 영상으로부터 미니어처 CG 영상으로 표시가 전환되면 도 16의 미니어처 CG 영상(321)이 표시된다.
도 16의 미니어처 CG 영상(321)에 있어서는, 전체가 축소된 CG의 스테이지 상에, 실제의 악기 배치에 대응하여 배치된 CG의 악기가 표시되어 있다. 또한 미니어처 CG 영상(321)에서는 악기만이 CG로 표현되고, 그 연주자에 대해서는 CG화되어 있지 않다.
이 CG의 악기는 오케스트라의 실제의 악기 배치에 대응하여 배치되기 때문에, 헤드 마운트 디스플레이(31A)를 장착한 유저는 콘서트홀에 있어서의 오케스트라의 악기 배치를 확인할 수 있다.
예를 들어 미니어처 CG 영상(321)에 있어서, 스테이지의 전방에는 바이올린이나 비올라 등의 현악기가 배치되고, 그 현악기들의 후방에 플루트나 오보에 등의 목관악기가 배치되어 있다. 또한 미니어처 CG 영상(321)에서는, 그 목관악기들의 후방에는 트럼펫이나 트럼본 등의 금관악기가 배치되고, 그 금관악기들의 후방 또는 스테이지 안쪽에 타악기가 배치되어 있다.
또한 도 16에 있어서, 헤드 마운트 디스플레이(31A)에는 미니어처 CG 영상만이 표시되어 있지만, 미니어처 CG 영상과 함께 그 배경 화상으로서, 콘서트홀에 설치된 카메라에 의하여 촬상된 전천구 실사 영상이 동시에 표시되도록 해도 된다. 예를 들어 전천구 실사 영상에 대하여 미니어처 CG 영상(321)이 중첩되어 표시되도록 함으로써, 유저는 실제의 오케스트라 연주를 시청하면서 그 오케스트라의 악기의 배치를 확인할 수 있다.
또한 미니어처 CG 영상의 배경 화상으로서는, 예를 들어 전천구 실사 영상을 저해상도화함으로써 얻어지는 화상이나, 청색이나 흑색 등의 소정의 단색으로 나타난 화상 등을 포함시킬 수 있다.
또한 이 오케스트라의 악기 배치의 미니어처 CG 영상은, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 맞추어 그 시점이 변경되기 때문에, 다양한 각도(방향)에서 조망하거나 CG의 스테이지와의 거리를 바꾸거나 함으로써(예를 들어 CG의 스테이지에 접근하거나 멀어지거나 함으로써) 보다 확실히 악기 배치를 확인할 수 있다.
예를 들어 도 16의 미니어처 CG 영상(321)은, 거의 정면으로부터 스테이지 전체를 보았을 때의 CG 영상으로 되지만, 도 17에 있어서, 미니어처 CG 영상(322)은, 좌상방으로부터 스테이지 전체를 보았을 때의 CG 영상으로 된다.
또한, 예를 들어 도 16의 미니어처 CG 영상(321)이나 도 17의 미니어처 CG 영상(322)은, 스테이지에 대하여 어느 정도의 거리를 유지한 CG 영상으로 되지만, 도 18에 있어서, 미니어처 CG 영상(323)은, 스테이지의 후방에 배치되는 금관악기나 타악기에 대하여 보다 접근한 CG 영상으로 된다.
이상과 같이 본 기술을 적용함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 맞추어 미니어처 CG 영상의 시점을 변경하여, 다양한 각도에서 악기가 배치된 스테이지를 조망하는 것이 가능해진다.
예를 들어 오케스트라 콘서트의 콘텐츠를 시청하고 있는 유저에 따라서는, 콘서트홀에 있어서의 오케스트라의 악기 배치를 확인하고자 하는 요구가 있음과 함께, 그 악기 배치의 전체를 부감하려는 자나 보다 가까이에서 보려는 자, 혹은 악기의 배치를 스테이지의 정면으로부터 보려는 자나 스테이지의 측면으로부터 보려는 자 등 그 요구는 다양한데, 본 기술을 적용함으로써 다양한 각도에서 악기가 배치된 스테이지를 조망하는 것이 가능해지기 때문에 그 요구에 응할 수 있다.
또한 전천구 실사 영상과 미니어처 CG 영상의 전환의 타이밍으로서는, 예를 들어 헤드 마운트 디스플레이(31A)를 장착한 유저가 컨트롤러 등을 조작하여, 오케스트라 콘서트의 콘텐츠 시청 시에 원하는 타이밍에 전환하는 것 외에, 예를 들어 콘텐츠의 제작자측에서, 오케스트라 콘서트 콘텐츠 제작 시에 의도한 타이밍에 전환할 수 있다.
또한 미니어처 CG 영상을 표시할 때는, 예를 들어 주목하고 있는 연주자의 이름이나 악기의 명칭 등, 연주자나 악기에 관한 다양한 정보를 부가 정보로서 표시할 수 있다.
또한, 여기서는 그 설명은 생략하지만, 상술한 축구 스타디움의 예와 마찬가지로, 오케스트라의 연주가 행해지는 콘서트홀에 설치되는 카메라에 의하여 촬상된 전천구 실사 영상을 전환할 때, 연속적으로 변화되는 CG 영상에 의한 시점 이동의 애니메이션을 표시하도록 해도 된다. 이것에 의하여, 영상의 시점의 전환에 수반하는 곤란한 사상을 회피하여 유저의 편리성을 향상시킬 수 있다.
<4. 제4 실시 형태>
상술한 설명에서는, CG 영상을 도입한 영상 배신의 예로서 축구의 하이라이트 영상 배신의 예를 설명하였지만, 이 CG 영상을 도입한 영상 배신은, 축구의 하이라이트 영상에 한하지 않고 다양한 영상의 배신에서 이용할 수 있다.
예를 들어 헤드 마운트 디스플레이(31A)에 있어서, 음악 라이브의 전천구 실사 영상을 표시할 때, 다양한 CG 영상을 표시할 수 있다. 도 19는, 음악 라이브의 영상 배신의 예를 나타내는 타이밍 차트를 나타내고 있다.
도 19에 있어서는, 음악 라이브의 영상으로서, 스테이지의 전방에서의 전천구 실사 영상과, 시점 이동 가능한 CG 영상과, 스탠드의 상부에서의 전천구 실사 영상 중, 어느 영상이 표시되는지를 시계열로 나타내고 있다.
또한 상세한 설명은 반복되기 때문에 생략하지만, 음악 라이브의 이벤트가 행해지는 회장에는 하나 또는 복수의 카메라(예를 들어 전천구 카메라)가 설치되어 있다. 예를 들어 이벤트 회장에 있어서, 스테이지의 전방에 설치된 전천구 카메라에 의하여 스테이지의 전방에서의 전천구 실사 영상이 촬상되고, 스탠드의 상부에 설치된 전천구 카메라에 의하여 스탠드의 상부에서의 전천구 실사 영상이 촬상된다.
헤드 마운트 디스플레이(31A)에 있어서는, 30분 간의 음악 라이브의 영상 배신 개시 시각으로부터, 스테이지의 전방에서의 전천구 실사 영상이 표시된다.
도 20은, 헤드 마운트 디스플레이(31A)에 표시되는, 스테이지의 전방에서의 전천구 실사 영상의 예를 도시하고 있다. 도 20에 있어서, 헤드 마운트 디스플레이(31A)에는, 스테이지의 전방에서의 전천구 실사 영상을 보고 있는 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(331)이 표시된다.
헤드 마운트 디스플레이(31A)를 장착한 유저는, 자신이 원하는 타이밍에 컨트롤러를 조작하거나 하여, 예를 들어 전천구 실사 영상의 시점이나, 전천구 실사 영상과 CG 영상을 전환할 수 있다.
이 예에서는, 시각 21에 스테이지의 전방에서의 전천구 실사 영상으로부터 CG 영상으로 전환되고 있다. 또한 시각 t22에 CG 영상으로부터 스탠드의 상부에서의 전천구 실사 영상으로 전환되고 있다. 여기서, 시각 21 내지 시각 t22 사이에 표시되는 CG 영상으로서 다양한 CG 영상을 표시시킬 수 있는데, 예를 들어 다음과 같은 표시가 이루어진다.
즉, 시각 21 내지 시각 t22 사이에, 복수의 시점으로부터의 임장감이 있는 전천구 실사 영상에 더해, CG 영상에 의하여, 현실에는 없는 스테이지의 연출이 이루어지도록 할 수 있다.
도 21은, 헤드 마운트 디스플레이(31A)에 표시되는, 현실에는 없는 스테이지의 연출이 이루어진 영상의 예를 도시하고 있다. 도 21의 CG 합성 영상(332)에 있어서, 헤드 마운트 디스플레이(31A)에는, 스테이지의 전방에서의 전천구 실사 영상으로 되는 중앙의 여성 가수에 대하여 좌우로 2명씩의 여성 백 댄서가 CG 영상에서 표시(합성 표시)되어 있다. 도 21의 CG 합성 영상(332)에서는 4명의 백 댄서(CG의 아티스트)가, 모션 캡처된 여성 가수(실사의 아티스트)와 동기된 움직임을 하게 된다.
또한 여기서는, CG 영상에 의한, 현실에는 없는 연출로서 다른 아티스트(백 댄서)가 표시되는 예를 나타내었지만, 예를 들어 스테이지 상에 없는 물체를 표시하거나 조명의 연출을 하거나 하는 등 다양한 연출을 행할 수 있다.
또한 상술한 바와 같이, 전천구 실사 영상이 스테이지의 전방으로부터 스탠드의 상부로 전환되는 경우를 상정하면, 시각 21 내지 시각 t22 사이에 시점 이동의 애니메이션으로서의 CG 영상(예를 들어 와이어 프레임에 의하여 표현된 이벤트 회장 내의 CG 영상)을 표시하도록 해도 된다. 이것에 의하여, 영상이 단조로워지는 것을 해소하고, 또한 유저에 대하여 시점이 어떻게 바뀌었는지를 파악시킬 수 있다.
또한 시각 21 내지 시각 t22 사이에 상술한 미니어처 CG 영상이 표시되도록 해도 된다. 여기서의 미니어처 CG 영상으로서는 다양한 CG 영상을 표시할 수 있는데, 예를 들어 제2 실시 형태와 마찬가지로 음악 라이브에서 연주를 행하는 악기(예를 들어 기타나 드럼 등)의 배치를 나타낼 수 있다. 이것에 의하여, 헤드 마운트 디스플레이(31A)를 장착한 유저의 두부의 움직임에 맞추어 미니어처 CG 영상의 시점을 변경하여, 다양한 각도에서 스테이지를 조망하는 것이 가능해진다.
그리고 시각 t22에 스탠드의 상부에서의 전천구 실사 영상으로 전환된다. 도 22는, 헤드 마운트 디스플레이(31A)에 표시되는, 스탠드의 상부에서의 전천구 실사 영상의 예를 도시하고 있다. 도 22에 있어서, 헤드 마운트 디스플레이(31A)에는, 스탠드의 상부에서의 전천구 실사 영상을 보고 있는 유저의 시선 방향에 따른 시점으로 되는 전천구 실사 영상(333)이 표시된다.
그 후, 시각 t23에 CG 영상으로 전환되고, 또한 시각 t24에 스테이지의 전방에서의 전천구 실사 영상으로 전환된다. 또한 시각 t25에 CG 영상으로 전환되고, 또한 시각 t26에 스탠드의 상부에서의 전천구 실사 영상으로 전환된다. 또한 시각 t27에 CG 영상으로 전환되고, 또한 시각 t28에 스테이지의 전방에서의 전천구 실사 영상으로 전환된다. 또한 이들 전천구 실사 영상이나 CG 영상의 표시 내용은 상술한 설명과 마찬가지이기 때문에, 여기서는 그 설명을 생략한다.
이상과 같이 본 기술을 적용함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저에 대하여, 전천구 실사 영상에 더해 CG 영상에 의하여, 예를 들어 현실에는 없는 스테이지의 연출이나 시점 이동의 애니메이션 등을 행하는 것이 가능해진다.
또한 전천구 실사 영상과 CG 영상의 전환의 타이밍으로서는, 예를 들어 헤드 마운트 디스플레이(31A)를 장착한 유저가 컨트롤러 등을 조작하여, 음악 라이브의 콘텐츠 시청 시에 원하는 타이밍에 전환하거나, 혹은 콘텐츠의 제작자측에서, 음악 라이브의 콘텐츠 제작 시에 의도한 타이밍에 전환하거나 할 수 있다.
또한 CG 영상을 표시할 때는, 예를 들어 주목하고 있는 아티스트의 이름이나 악기의 명칭 등, 아티스트나 악기 등에 관한 다양한 정보를 부가 정보로서 표시할 수 있다.
<5. 변형예>
(다른 이용예)
상술한 설명에서는, 본 기술을 적용한 CG 영상을 축구 시합이나 오케스트라 콘서트, 음악 라이브의 전천구 실사 영상에 대하여 표시하는 경우를 나타내었지만, 기타 다양한 사례에 적용할 수 있다.
예를 들어 관광 체험이나 관광 가이드를 제공하는 경우에 있어서, 어떤 관광지에 설치된 카메라(예를 들어 전천구 카메라)로 촬상된 고화질 전천구 실사 영상(동화상이나 라이브 영상)을 헤드 마운트 디스플레이(31A)로 시청하는 경우를 상정한다.
이 경우에, 예를 들어 전천구 실사 영상을 전환할 때, CG 영상에 의한 시점 이동의 애니메이션을 끼워넣거나 혹은 미니어처 CG 영상을 표시하거나 함으로써, 헤드 마운트 디스플레이(31A)를 장착한 유저는 그 관광지의 지형이나 시가지 전체의 파악이나 거리 등을 실감할 수 있다.
또한 이 관광 체험이나 관광 가이드의 예의 사용 데이터로서는, 예를 들어 전천구 실사 영상으로서, 관광지의 일반 순로의 영상(옥내와 옥외의 영상을 포함함)이나, 관광지의 특정 스폿의 고화질 동화상이나 라이브 영상, 화상 등을 포함시킬 수 있다. 또한, 예를 들어 CG 영상으로서 이용하기 위하여 관광지 전역의 간이적인 CG 모델을 포함시킬 수 있다.
또한, 예를 들어 경비 시스템을 제공하는 경우에 있어서, 어떤 경비 대상의 시설 내에 설치된 카메라(예를 들어 전천구 카메라)로 촬상된 전천구 실사 영상(라이브 영상)을 표시 장치(31)(예를 들어 헤드 마운트 디스플레이(31A))로 감시하는 경우를 상정한다.
이 경우에, 예를 들어 전천구 실사 영상을 전환할 때, CG 영상에 의한 시점 이동의 애니메이션을 끼워넣거나 혹은 미니어처 CG 영상을 표시하거나 함으로써 다음과 같은 효과가 얻어진다. 즉, 시점 이동의 애니메이션이 표시됨으로써, 예를 들어 어떤 방으로부터 다른 방으로 카메라를 전환할 때, 경비자는 직감적으로 방 사이의 이동을 인식하는 것이 가능해진다.
또한 시설 내에 설치된 카메라(예를 들어 전천구 카메라)에 의하여 촬상된 전천구 실사 영상을 이용함으로써, 경보가 울리거나 하여 무언가의 이변이 일어났을 때라도 경비자는 현장에 가지 않고 그 장소에 있는 듯이 경비 대상의 확인 작업을 행할 수 있다. 또한 전천구 실사 영상을 고화질 및 고음질로 함으로써 경비자는, 경비 대상의 대수롭지 않은 이변도 알아채기 쉬워진다.
또한 경비 시스템의 예의 사용 데이터로서는, 예를 들어 전천구 실사 영상으로서 경비 대상의 고화질 및 고음질의 라이브 영상을 포함시킬 수 있다. 또한, 예를 들어 CG 영상으로서 이용하기 위하여 방 이외의 부분의 CG 모델을 포함시킬 수 있다. 또한, 여기서는, 각종 센서에 의하여 얻어지는 센서 데이터의 라이브 영상이나 그 CG 모델 등을 이용하도록 해도 된다.
(기기의 다른 구성예)
상술한 설명에서는, 영상 재생 시스템(1)에 있어서, 정보 처리 장치(10)가, 헤드 마운트 디스플레이(31A) 등의 표시 장치(31)에 표시되는 영상을 제어하는 것으로서 설명하였지만, 표시 장치(31)가 영상을 재생하여 렌더링하는 기능을 갖도록 해도 된다.
예를 들어 헤드 마운트 디스플레이(31A)가, 도 1에 도시한 UI·콘텐츠 제어부(101), 재생부(102) 및 렌더링부(103)의 기능을 갖도록 해도 된다. 달리 말하면 영상 재생 시스템(1)에 있어서, 정보 처리 장치(10)와 표시 장치(31)가 일체로 되어 하나의 장치로서 구성되도록 할 수 있다고 할 수 있다.
또한 정보 처리 장치(10)로서는, 상술한 게임기나 퍼스널 컴퓨터 등 외에, 예를 들어 스마트폰이나 태블릿형 컴퓨터, 텔레비전 수상기, 재생기, 녹화기, 셋톱 박스(STB: Set Top Box), 스토리지 장치 등의, 콘텐츠를 재생 가능한 전자 기기에 적용할 수 있다. 또한 표시 장치(31)로서는, 상술한 헤드 마운트 디스플레이나 스마트폰 외에, 예를 들어 안경형 정보 단말기 등의 웨어러블 컴퓨터나, 태블릿형 컴퓨터, 퍼스널 컴퓨터, 게임기 등의, 디스플레이를 갖는 전자 기기에 적용할 수 있다.
(CG 영상의 다른 예)
상술한 설명에서는, 헤드 마운트 디스플레이(31A)를 장착한 유저에 대하여 전천구 실사 영상을 표시하여, 마치 그곳에 있는 듯한 감각을 체험할 수 있도록 하는 버추얼 리얼리티(가상 현실)를 실현하고 있지만, 본 기술은 가상 현실(VR)에 한하지 않고, 현실 공간에 부가 정보를 표시시켜서 현실 세계를 확장하는 확장 현실(AR: Augmented Reality) 등에 적용하도록 해도 된다.
예를 들어 콘서트홀의 객석에 앉아 있는 유저가, 전용 애플리케이션을 기동한 스마트폰의 디스플레이를 통하여 스테이지 상의 오케스트라를 봄으로써, 당해 디스플레이에는, 현실 공간의 오케스트라 영상에 대하여 오케스트라의 악기 배치의 미니어처 CG 영상이 중첩된 영상을 표시할 수 있다.
또한 전천구 실사 영상은, 어떤 시설 내의 설치 위치에 고정된 전천구 카메라에 의하여 촬상되는 것에 한하지 않으며, 예를 들어 전천구 카메라를 무인 항공기(UAV: Unmanned Aerial Vehicle)에 탑재하여 공중 촬영으로 얻어진 전천구 실사 영상 등, 다양한 방법으로 촬상된 전천구 실사 영상을 이용할 수 있다. 또한 상술한 설명에서는, 카메라(41)에 의하여 촬상된 전천구 실사 영상에 대하여 설명하였지만, 본 기술은, 예를 들어 반천구 카메라 등의 카메라로 촬상된 영상 등 다양한 영상에 대하여 적용하는 것이 가능하다.
<6. 컴퓨터의 구성>
상술한 일련의 처리(예를 들어 도 8에 도시한 재생·표시 제어 처리)는 하드웨어에 의하여 실행할 수도 있고 소프트웨어에 의하여 실행할 수도 있다. 일련의 처리를 소프트웨어에 의하여 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 각 장치의 컴퓨터에 인스톨된다. 도 23은, 상술한 일련의 처리를 프로그램에 의하여 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터(1000)에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은 버스(1004)에 의하여 서로 접속되어 있다. 버스(1004)에는 또한, 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는 입력부(1006), 출력부(1007), 기록부(1008), 통신부(1009) 및 드라이브(1010)가 접속되어 있다.
입력부(1006)는 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(1007)는 디스플레이, 스피커 등으로 이루어진다. 기록부(1008)는 하드 디스크나 불휘발성 메모리 등으로 이루어진다. 통신부(1009)는 네트워크 인터페이스 등으로 이루어진다. 드라이브(1010)는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(1011)를 구동한다.
이상과 같이 구성되는 컴퓨터(1000)에서는, CPU(1001)가, ROM(1002)이나 기록부(1008)에 기록되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통하여 RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(1000)(CPU(1001))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(1011)에 기록하여 제공할 수 있다. 또한 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은 유선 또는 무선 전송 매체를 통하여 제공할 수 있다.
컴퓨터(1000)에서는, 프로그램은, 리무버블 기록 매체(1011)를 드라이브(1010)에 장착함으로써 입출력 인터페이스(1005)를 통하여 기록부(1008)에 인스톨할 수 있다. 또한 프로그램은 유선 또는 무선 전송 매체를 통하여 통신부(1009)에서 수신하여 기록부(1008)에 인스톨할 수 있다. 기타 프로그램은 ROM(1002)이나 기록부(1008)에 미리 인스톨해 둘 수 있다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다. 또한 프로그램은, 하나의 컴퓨터(프로세서)에 의하여 처리되는 것이어도 되고, 복수의 컴퓨터에 의하여 분산 처리되는 것이어도 된다.
또한 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다. 예를 들어 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한 도 8에 도시한 재생·표시 제어 처리의 각 스텝은, 하나의 장치에서 실행하는 것 외에 복수의 장치에서 분담하여 실행할 수 있다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에 복수의 장치에서 분담하여 실행할 수 있다.
또한 본 기술은 이하와 같은 구성을 취할 수 있다.
(1)
제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는,
정보 처리 장치.
(2)
상기 천이 화상은, 상기 제1 시점으로부터 상기 제2 시점으로의 시점의 천이에 대응한 영상을 간략화함과 함께 상기 영상의 특징을 강조함으로써 얻어지는 화상을 포함하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 천이 화상 중, 전환 개시 시에 표시하는 제1 천이 화상은, 상기 제1 영상을 간략화함과 함께 상기 제1 영상의 특징을 강조함으로써 얻어지는 화상을 포함하고, 전환 종료 시에 표시하는 제2 천이 화상은, 상기 제2 영상을 간략화함과 함께 상기 제2 영상의 특징을 강조함으로써 얻어지는 화상을 포함하는,
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 천이 화상은 CG(Computer Graphics)의 영상인,
상기 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.
(5)
상기 CG의 영상은, 와이어 프레임에 의하여 표현된 영상인,
상기 (4)에 기재된 정보 처리 장치.
(6)
상기 제1 천이 화상은, 상기 제1 영상에 포함되는 대상물을 윤곽만으로 표현한 화상을 포함하고,
상기 제2 천이 화상은, 상기 제2 영상에 포함되는 대상물을 윤곽만으로 표현한 화상을 포함하는,
상기 (5)에 기재된 정보 처리 장치.
(7)
상기 정보량은, 화상의 색의 계조 및 해상도 중 적어도 한쪽을 포함하는 화상 정보에 의하여 정해지는,
상기 (1) 내지 (6) 중 어느 것에 기재된 정보 처리 장치.
(8)
상기 천이 화상은 상기 배경 화상으로서, 소정의 단색으로 나타난 화상, 또는 상기 제1 영상 혹은 상기 제2 영상을 저해상도화함으로써 얻어지는 화상을 포함하는,
상기 (7)에 기재된 정보 처리 장치.
(9)
상기 천이 화상은, 유저의 양안의 폭주각의 변화에 따른 화상을 포함하는,
상기 (1) 내지 (8) 중 어느 것에 기재된 정보 처리 장치.
(10)
유저의 조작, 또는 상기 제1 영상의 재생 시간축 상의 전환 시각에 기초하여, 상기 제1 영상으로부터 상기 제2 영상으로 전환하는,
상기 (1) 내지 (9) 중 어느 것에 기재된 정보 처리 장치.
(11)
상기 표시 제어부는, 상기 제1 영상 또는 상기 제2 영상에 포함되는 대상물을 축소한 축소 화상의 표시를 제어하는,
상기 (1) 내지 (10) 중 어느 것에 기재된 정보 처리 장치.
(12)
상기 축소 화상은 CG의 영상인,
상기 (11)에 기재된 정보 처리 장치.
(13)
상기 표시 제어부는, 상기 제1 영상 또는 상기 제2 영상으로부터 상기 축소 화상으로 전환할 때, 상기 제1 영상 또는 상기 제2 영상에 포함되는 대상물의 표시 스케일의 변경에 맞추어 그 대상물의 위치를 유저의 시점 방향에 접근시키는,
상기 (11) 또는 (12)에 기재된 정보 처리 장치.
(14)
상기 표시 제어부는 상기 축소 화상으로서, 상기 제1 영상 또는 상기 제2 영상에 포함되는 인물의 움직임에 따른 CG의 영상을 포함시키는,
상기 (12) 또는 (13)에 기재된 정보 처리 장치.
(15)
상기 표시 제어부는 상기 축소 화상으로서, 상기 제1 영상 또는 상기 제2 영상에 포함되는 물체의 배치에 따른 CG의 영상을 포함시키는,
상기 (12) 또는 (13)에 기재된 정보 처리 장치.
(16)
상기 제1 영상 및 상기 제2 영상은 전천구 실사 영상인,
상기 (1) 내지 (15) 중 어느 것에 기재된 정보 처리 장치.
(17)
상기 전천구 실사 영상을 촬상하는 카메라는, 스포츠를 포함하는 경기가 행해지는 경기장, 음악의 연주회를 포함하는 이벤트가 행해지는 건축물, 구조물의 내부 또는 옥외에 설치되고,
상기 전천구 실사 영상은, 스포츠를 포함하는 경기의 영상, 음악의 연주회를 포함하는 이벤트의 영상, 구조물의 내부의 영상 또는 옥외의 영상을 포함하는,
상기 (16)에 기재된 정보 처리 장치.
(18)
상기 표시 장치는 헤드 마운트 디스플레이인,
상기 (1) 내지 (17) 중 어느 것에 기재된 정보 처리 장치.
(19)
정보 처리 장치의 정보 처리 방법에 있어서,
상기 정보 처리 장치가,
제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는,
정보 처리 방법.
(20)
컴퓨터를,
제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부
로서 기능시키기 위한, 프로그램.
1: 영상 재생 시스템
10: 정보 처리 장치
21: 영상·CG 제어 데이터 기억부
22: CG 모델 데이터 기억부
31: 표시 장치
31A: 헤드 마운트 디스플레이
32: 스피커
41, 41-1, 41-2: 카메라
101: UI·콘텐츠 제어부
102: 재생부
103: 렌더링부
111: 재생 제어부
112: 표시 제어부
121: 데이터 취득부
122: 디먹스
123: 제1 비디오 디코더
124: 제2 비디오 디코더
125: 오디오 디코더
126: CG 제어 데이터 디코더
127: 동기 제어부
1000: 컴퓨터
1001: CPU

Claims (20)

  1. 제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부를 구비하는,
    정보 처리 장치.
  2. 제1항에 있어서,
    상기 천이 화상은, 상기 제1 시점으로부터 상기 제2 시점으로의 시점의 천이에 대응한 영상을 간략화함과 함께 상기 영상의 특징을 강조함으로써 얻어지는 화상을 포함하는,
    정보 처리 장치.
  3. 제2항에 있어서,
    상기 천이 화상 중, 전환 개시 시에 표시하는 제1 천이 화상은, 상기 제1 영상을 간략화함과 함께 상기 제1 영상의 특징을 강조함으로써 얻어지는 화상을 포함하고, 전환 종료 시에 표시하는 제2 천이 화상은, 상기 제2 영상을 간략화함과 함께 상기 제2 영상의 특징을 강조함으로써 얻어지는 화상을 포함하는,
    정보 처리 장치.
  4. 제3항에 있어서,
    상기 천이 화상은 CG(Computer Graphics)의 영상인,
    정보 처리 장치.
  5. 제4항에 있어서,
    상기 CG의 영상은, 와이어 프레임에 의하여 표현된 영상인,
    정보 처리 장치.
  6. 제5항에 있어서,
    상기 제1 천이 화상은, 상기 제1 영상에 포함되는 대상물을 윤곽만으로 표현한 화상을 포함하고,
    상기 제2 천이 화상은, 상기 제2 영상에 포함되는 대상물을 윤곽만으로 표현한 화상을 포함하는,
    정보 처리 장치.
  7. 제1항에 있어서,
    상기 정보량은, 화상의 색의 계조 및 해상도 중 적어도 한쪽을 포함하는 화상 정보에 의하여 정해지는,
    정보 처리 장치.
  8. 제7항에 있어서,
    상기 천이 화상은 상기 배경 화상으로서, 소정의 단색으로 나타난 화상, 또는 상기 제1 영상 혹은 상기 제2 영상을 저해상도화함으로써 얻어지는 화상을 포함하는,
    정보 처리 장치.
  9. 제2항에 있어서,
    상기 천이 화상은, 유저의 양안의 폭주각의 변화에 따른 화상을 포함하는,
    정보 처리 장치.
  10. 제1항에 있어서,
    유저의 조작, 또는 상기 제1 영상의 재생 시간축 상의 전환 시각에 기초하여, 상기 제1 영상으로부터 상기 제2 영상으로 전환하는,
    정보 처리 장치.
  11. 제1항에 있어서,
    상기 표시 제어부는, 상기 제1 영상 또는 상기 제2 영상에 포함되는 대상물을 축소한 축소 화상의 표시를 제어하는,
    정보 처리 장치.
  12. 제11항에 있어서,
    상기 축소 화상은 CG의 영상인,
    정보 처리 장치.
  13. 제12항에 있어서,
    상기 표시 제어부는, 상기 제1 영상 또는 상기 제2 영상으로부터 상기 축소 화상으로 전환할 때, 상기 제1 영상 또는 상기 제2 영상에 포함되는 대상물의 표시 스케일의 변경에 맞추어 그 대상물의 위치를 유저의 시점 방향에 접근시키는,
    정보 처리 장치.
  14. 제13항에 있어서,
    상기 표시 제어부는 상기 축소 화상으로서, 상기 제1 영상 또는 상기 제2 영상에 포함되는 인물의 움직임에 따른 CG의 영상을 포함시키는,
    정보 처리 장치.
  15. 제13항에 있어서,
    상기 표시 제어부는 상기 축소 화상으로서, 상기 제1 영상 또는 상기 제2 영상에 포함되는 물체의 배치에 따른 CG의 영상을 포함시키는,
    정보 처리 장치.
  16. 제1항에 있어서,
    상기 제1 영상 및 상기 제2 영상은 전천구 실사 영상인,
    정보 처리 장치.
  17. 제16항에 있어서,
    상기 전천구 실사 영상을 촬상하는 카메라는, 스포츠를 포함하는 경기가 행해지는 경기장, 음악의 연주회를 포함하는 이벤트가 행해지는 건축물, 구조물의 내부 또는 옥외에 설치되고,
    상기 전천구 실사 영상은, 스포츠를 포함하는 경기의 영상, 음악의 연주회를 포함하는 이벤트의 영상, 구조물의 내부의 영상 또는 옥외의 영상을 포함하는,
    정보 처리 장치.
  18. 제1항에 있어서,
    상기 표시 장치는 헤드 마운트 디스플레이인,
    정보 처리 장치.
  19. 정보 처리 장치의 정보 처리 방법에 있어서,
    상기 정보 처리 장치가,
    제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는,
    정보 처리 방법.
  20. 컴퓨터를,
    제1 시점으로부터 시청 가능한 제1 영상으로부터, 상기 제1 시점과는 다른 제2 시점으로부터 시청 가능한 제2 영상으로 전환할 때, 상기 제1 영상의 배경 화상 및 상기 제2 영상의 배경 화상 중 적어도 한쪽보다도 정보량이 적은 배경 화상을 포함하고, 실질적으로 연속적으로 변화되는 천이 화상을 표시하도록 표시 장치를 제어하는 표시 제어부
    로서 기능시키기 위한, 프로그램.
KR1020207023717A 2018-02-28 2019-02-14 정보 처리 장치, 정보 처리 방법, 및 프로그램 Ceased KR20200126367A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-035080 2018-02-28
JP2018035080A JP2019149122A (ja) 2018-02-28 2018-02-28 情報処理装置、情報処理方法、及び、プログラム
PCT/JP2019/005187 WO2019167632A1 (ja) 2018-02-28 2019-02-14 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
KR20200126367A true KR20200126367A (ko) 2020-11-06

Family

ID=67806145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207023717A Ceased KR20200126367A (ko) 2018-02-28 2019-02-14 정보 처리 장치, 정보 처리 방법, 및 프로그램

Country Status (6)

Country Link
US (1) US20210092466A1 (ko)
JP (1) JP2019149122A (ko)
KR (1) KR20200126367A (ko)
CN (1) CN111742353B (ko)
DE (1) DE112019001052T5 (ko)
WO (1) WO2019167632A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2020010475A (es) * 2018-04-05 2020-12-09 Vid Scale Inc Metadatos de puntos de vista para video omnidireccional.
WO2020137584A1 (ja) * 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
DE112021002093T5 (de) * 2020-03-30 2023-02-09 Sony Group Corporation Verfahren zum ändern des blickpunkts im virtuellen raum
WO2021261099A1 (ja) * 2020-06-23 2021-12-30 ソニーグループ株式会社 情報処理装置、表示範囲決定方法、プログラム
US20230262271A1 (en) * 2020-07-17 2023-08-17 Harman International Industries, Incorporated System and method for remotely creating an audio/video mix and master of live audio and video
EP4184444A4 (en) * 2020-07-17 2023-12-20 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
EP4318454A4 (en) 2021-03-31 2024-09-18 Sony Group Corporation Information processing device, information processing method, and recording medium
CN112732095B (zh) * 2021-03-31 2021-07-13 深圳盈天下视觉科技有限公司 一种显示方法、装置、头戴式显示设备和存储介质
CN114245210B (zh) * 2021-09-22 2024-01-09 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
CN118451722A (zh) * 2021-12-28 2024-08-06 索尼集团公司 信息处理设备、图像处理方法和程序
JP2023141461A (ja) * 2022-03-24 2023-10-05 ヤマハ株式会社 映像処理方法および映像処理装置
US12194380B1 (en) * 2023-08-25 2025-01-14 Fraydoon Nafissi Adaptable competitive sports video gaming system and processes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102297A (ja) 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256044B1 (en) * 1998-06-16 2001-07-03 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
JP5296218B2 (ja) * 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
WO2013153787A1 (ja) * 2012-04-12 2013-10-17 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
JP2014016967A (ja) * 2012-07-11 2014-01-30 Sony Corp 情報表示プログラム及び情報表示装置
CN106576184B (zh) * 2014-07-18 2020-08-18 索尼公司 信息处理装置、显示装置、信息处理方法、程序和信息处理系统
US9804669B2 (en) * 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102297A (ja) 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法

Also Published As

Publication number Publication date
CN111742353B (zh) 2024-09-13
US20210092466A1 (en) 2021-03-25
JP2019149122A (ja) 2019-09-05
CN111742353A (zh) 2020-10-02
DE112019001052T5 (de) 2020-12-10
WO2019167632A1 (ja) 2019-09-06

Similar Documents

Publication Publication Date Title
CN111742353B (zh) 信息处理装置、信息处理方法和程序
WO2021249414A1 (zh) 数据处理方法、系统、相关设备和存储介质
CN106331732B (zh) 生成、展现全景内容的方法及装置
KR101304111B1 (ko) 댄싱 가라오케 시스템
CN108616731A (zh) 一种360度vr全景图形图像及视频实时生成方法
WO2017022641A1 (ja) 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置
JP2017518663A (ja) 立体ビューイング
JP2014127987A (ja) 情報処理装置および記録媒体
JP2015114716A (ja) 画像データ再生装置および画像データ生成装置
EP4163876A1 (en) Information processing device, information processing method, and program
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
WO2021124680A1 (ja) 情報処理装置及び情報処理方法
JPWO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
US20090153550A1 (en) Virtual object rendering system and method
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11187895B2 (en) Content generation apparatus and method
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
JP2011151773A (ja) 映像処理装置及び制御方法
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
WO2023276252A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200818

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211227

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231204

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20240723

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D