[go: up one dir, main page]

KR20140005130A - 미디어 인식 및 움직임 신호와의 동기화 - Google Patents

미디어 인식 및 움직임 신호와의 동기화 Download PDF

Info

Publication number
KR20140005130A
KR20140005130A KR1020137004117A KR20137004117A KR20140005130A KR 20140005130 A KR20140005130 A KR 20140005130A KR 1020137004117 A KR1020137004117 A KR 1020137004117A KR 20137004117 A KR20137004117 A KR 20137004117A KR 20140005130 A KR20140005130 A KR 20140005130A
Authority
KR
South Korea
Prior art keywords
signal
media
media content
fingerprint
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020137004117A
Other languages
English (en)
Other versions
KR101884483B1 (ko
Inventor
진-프랑수아 메나드
피에-안토니 스티벨 레미우
Original Assignee
디-박스 테크놀러지스 인코포레이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디-박스 테크놀러지스 인코포레이트 filed Critical 디-박스 테크놀러지스 인코포레이트
Publication of KR20140005130A publication Critical patent/KR20140005130A/ko
Application granted granted Critical
Publication of KR101884483B1 publication Critical patent/KR101884483B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 문헌은 미디어 콘텐츠에 대응하는 움직임 신호와 미디어 콘텐츠를 위한 미디어 신호를 동기화하는 장치 및 방법을 기술하며 상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이다. 본 방법은 미디어 신호의 일부를 수신하는 단계; 미디어 신호의 수신된 일부에 대응하는 지문을 취득하는 단계; 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계; 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호를 획득하는 단계; 및 움직임 피드백 시스템을 제어하기 위해 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 미디어 신호와 동기화된 움직임 신호를 출력하는 단계를 포함한다.

Description

미디어 인식 및 움직임 신호와의 동기화{MEDIA RECOGNITION AND SYNCHRONISATION TO A MOTION SIGNAL}
관련된 출원에 대한 상호 참조
본 출원은 2010년 7월 21일에 출원된, 발명의 명칭이 ""MEDIA RECOGNITION AND SYNCHRONISATION TO A MOTION SIGNAL"인 미국 가출원 61/366,301의 우선권을 주장한다.
본 설명은 미디어 인식 및 동기화 분야에 관한 것이다. 보다 상세하게는, 본 설명은 움직임 신호와 동기화하여 비디오 및 오디오 스트림 미디어를 재생하기 위한 방법 및 장치에 관한 것이다.
대중적이거나 상업적이거나 가정적인 환경에서 사용하기 위해 움직임 피드백 시스템을 제어할 때 문제는 재현된 오디오-비디오 신호를 일치시키기 위하여 플랫폼 이동을 위한 시간에 움직임 신호가 움직임 피드백 시스템으로 전달되도록 재생 동안 오디오 또는 비디오 신호와, 게임(gaming), 장편 영화(feature length movies), 놀이 공원 기구(amusement park rides), 가상 현실(virtual reality) 등을 위한 움직임 신호를 동기화하는 것이다. 통상 요구되는 공차는 밀리초 정도이다.
일부 응용에서 움직임 신호는 오디오 또는 비디오 신호와 동기적으로 전송되지 않는다; 재생 장치는 별도로 움직임 신호를 검색해야 하고 오디오 또는 비디오 신호로 재생을 위해 이와 동기화해야 한다. 오디오 또는 비디오 신호의 신원(identity)과 오디오 또는 비디오 신호 내 시간 위치가 오디오 또는 비디오 신호에 있는 메타데이터를 통해 용이하고 정확하게 식별될 수 있다면, 재생 장치는 적절한 움직임 신호를 검색하고 동기화하기 위해 이 정보를 사용할 수 있다. 이러한 메타 데이터가 이용가능하지 않은 경우, 다른 솔루션이 요구된다.
따라서, 전술된 문제를 해결하는 개선된 동기화 방법 및 장치에 대한 요구가 존재한다.
그러므로 본 개시 내용은 종래 기술과 연관된 것으로 알려진 하나 이상의 단점을 극복 또는 완화하거나, 또는 적어도 유용한 대안을 제공하는 움직임 신호 동기화 방법 및 장치를 제공한다.
제안된 접근 방식은 일반적으로 미디어 지문(media fingerprinting)이라고 언급된 기술에 기초한다. 이 기술은 특정 미디어 콘텐츠로부터, 일반적으로 미디어 지문이라고 언급되는, 고유한 식별자를 유도하는 것에 의해 미디어 인식을 가능하게 한다. 특정 미디어 지문과 특정 미디어 콘텐츠 간의 대응 관계가 식별을 하는데 사용된다. 예를 들어, 오디오 및 비디오 콘텐츠의 인식은 각각 특정 대응하는 음향 및 비디오 미디어를 식별하는데 음향 및 비디오 특징을 이용한다. 알려진 미디어 지문 기술은 다음 특허 문헌, 즉 WO2002065782 (필립스), US20060041753 (필립스), 및 US20060075237 (필립스)에 설명되어 있다.
상기 미디어 지문 기술에 비추어 본 명세서에서 제안된 움직임 신호 동기화는 재생 동안 사용하기 위해 주어진 움직임 신호와 연관된, 오디오 또는 비디오 신호의 주어진 부분을 인식하는데 미디어 지문을 사용한다.
미디어 콘텐츠의 참조 시간 위치(예를 들어, 현재 판독되거나 재생되는 영화에서의 시간 위치)를 식별하고 이 참조 시간 위치에 대응하는 움직임 신호를 획득하기 위해 미디어 지문 기술을 적용하는 것은 미디어 콘텐츠와 움직임 신호가 동기적으로 출력될 수 있기 때문에 만족스러운 결과를 제공한다는 것이 밝혀졌다. 이 조합은 미디어 신호와 움직임 신호를 동기화하기 위해 종래 기술에서 설명된 것에 비해 더 간단하고, 더 정확하며, 더 강력하고, 더 안정적이며, 더 저렴하고, 더 장애에 내성이 있는 솔루션을 제공한다. 종래의 방법에 대조적으로, 본 방법은 오디오 신호를 인코딩, 압축 또는 패키징하는데 사용되는 방법과 완전히 독립적이다. 본 방법은 오디오 신호의 음향 특성에 의존하기 때문에, 본 방법은 그 피치, 속도 또는 진폭의 변화에 탄력적으로 이루어질 수 있다.
움직임 피드백 시스템은 움직임 플랫폼, 움직임 액추에이터, 움직임 시물레이터, 진동촉각(vibrotactile) 트랜스듀서, 및 관성 쉐이커(inertial shaker)를 포함하는 것을 의미한다.
움직임 플랫폼은 사람이 그 위에 안착하고 액추에이터에 의해 움직임이 유도되는 임의의 플랫폼이나 좌석 배치를 포함하는 것을 의미한다. 움직임 플랫폼 응용은 게임, 장편 영화, 놀이 공원 기구, 가상 현실 등을 포함하나 이로 제한되는 것은 아니다. 움직임 플랫폼의 일례는 지면과 인터페이스하는 하나 이상의 액추에이터가 그 위에 장착된, 하나 이상의 사람을 위한 좌석이나 의자를 포함한다. 또 다른 예는 사용자를 수용하는 좌석, 의자 또는 다른 장치를 수용하는 플랫폼일 수 있고 그 위에 지면과 인터페이스하는 하나 이상의 액추에이터가 장착된다.
움직임 코드, 움직임 코드 신호 또는 움직임 코드 스트림은 뷰어에게 재현되도록 의도된 콘텐츠에 기초하여 움직임 효과를 포함한다. 대부분의 경우, 움직임 신호는 움직임 디자이너에 의해 준비된다. 다른 경우에는, 움직임 신호 또는 그 일부는 자동으로 생성된다.
미디어 신호는 오디오 신호 및/또는 비디오 신호를 포함하는 것으로 이해된다.
오디오 신호 또는 오디오 스트림은 게임, 장편 영화, 놀이 공원 기구, 가상 현실 환경 등의 사운드 트랙과 같은, 프리젠테이션 동안 재현되도록 의도된 포괄적인 사운드 정보인 것으로 이해된다. 오디오 신호나 오디오 신호의 일례는 인코딩된 펄스 코드 변조(PCM: Pulse Code Modulation) 샘플이다.
비디오 신호 또는 비디오 스트림은 게임, 장편 영화, 놀이 공원 기구, 가상 현실 환경 등의 주 화상과 같은, 사용자에게 재현되도록 의도된 포괄적인 비디오 정보인 것으로 이해된다. 비디오 신호 또는 비디오 신호의 일례는 MPEG-4 파트 10 비디오 엘리멘터리 스트림(elementary stream)이다.
미디어 콘텐츠는 게임, 장편 영화, 놀이 공원 기구, 가상 현실 환경, 광고 등을 포함하는 것을 의미한다.
장편 영화는 영화관이나 홈 씨어터에서 표시되도록 의도된 것이다. 이 영화는 일반적으로 30분을 초과하여 지속되고 움직임 신호, 움직임 코드의 스트림이나 움직임 코드 트랙이 연관될 수 있는 별도의 비디오 및 오디오 트랙을 구비한다.
일 실시예에 따르면, 미디어 콘텐츠에 대응하는 미디어 신호를 미디어 컨텐츠를 위한 움직임 신호와 동기화하는 방법이 제공되고, 상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 본 방법은, 미디어 신호의 일부를 수신하는 단계; 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계; 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계; 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호를 획득하는 단계; 및 움직임 피드백 시스템을 제어하기 위해 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 미디어 신호와 동기화된 움직임 신호를 출력하는 단계를 포함한다.
다른 실시예에 따르면, 미디어 컨텐츠에 대응하는 움직임 신호가 미디어 콘텐츠를 위한 미디어 신호와 동기화되어 있는지를 결정하기 위한 방법이 제공되고, 상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 본 방법은, 미디어 신호의 일부를 수신하는 단계; 미디어 신호의 수신된 일부의 지문을 획득, 즉 지문을 획득하는 단계; 미디어 콘텐츠의 참조 시간 위치에서 미디어 신호의 일부의 지문, 즉 참조 지문을 검색하는 단계; 획득된 지문과 참조 지문을 비교하는 단계; 비교에 기초하여, 움직임 신호가 미디어 신호와 동기화되어 있는지를 결정하는 단계; 및 결정에 기초하여, 움직임 피드백 시스템을 제어하기 위해 미디어 신호와 동기화된 움직임 신호를 출력하는 단계를 포함한다.
다른 실시예에 따르면, 미디어 콘텐츠를 위한 미디어 신호와 미디어 콘텐츠에 대응하는 움직임 신호를 동기화하는 장치가 제공되며, 상기 장치는, 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문을 포함하는 저장 매체에 액세스를 구비하며, 상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 상기 장치는, 상기 미디어 신호의 일부를 수신하는 입력 유닛; 상기 입력 유닛과 저장 매체와 통신하는 처리 장치; 및 상기 처리 장치에 의해 액세스가능한 메모리를 포함하며, 상기 메모리는, 상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하고; 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 상기 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치를 식별하고; 상기 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호를 획득하고; 상기 움직임 피드백 시스템을 제어하기 위해 상기 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 미디어 신호와 동기화된 움직임 신호를 출력하도록 상기 처리 장치를 구현하는 명령을 저장한다.
다른 실시예에 따르면, 컴퓨터에 의해 실행하기 위한 지시(statement)와 명령(instruction)을 기록한 비일시적인 컴퓨터 판독가능한 메모리가 제공되며, 상기 명령은 미디어 콘텐츠를 위한 미디어 신호와 미디어 콘텐츠에 대응하는 움직임 신호를 동기화하는 방법을 수행하며, 상기 움직임 신호는 움직임 피드백 시스템을 제어하는 것이고, 상기 방법은, 미디어 신호의 일부를 수신하는 단계; 상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계; 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계; 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호를 획득하는 단계; 및 상기 움직임 피드백 시스템을 제어하기 위해 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 미디어 신호와 동기화된 움직임 신호를 출력하는 단계를 포함한다.
본 개시 내용의 추가적인 특징과 잇점은 첨부된 도면을 참조하여 이하 상세한 설명으로부터 명백하게 될 것이다.
도 1은 일 실시예에 따라 오디오 신호에 움직임 신호를 동기화하기 위한 방법의 흐름도;
도 2는 미디어 콘텐츠에 대응하는 움직임 신호가 미디어 콘텐츠를 위한 미디어 신호에 동기화되어 있는지를 결정하기 위한 방법의 일 실시예를 도시하는 흐름도; 및
도 3은 일 실시예에 따라 오디오 신호에 움직임 신호를 동기화하기 위한 장치의 개략도.
첨부된 도면 전체에 걸쳐 동일한 특징은 동일한 참조 부호로 식별된다는 것이 주목된다.
이제 도면, 특히 도 1을 참조하면, 미디어 콘텐츠를 위한 미디어 신호와, 예를 들어 장편 영화 또는 놀이 공원 기구로부터의 미디어 컨텐츠에 대응하는 움직임 신호를 동기화하는 방법(20)의 일 실시예가 설명되어 있다. 이 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이다. 일 실시예에 따르면, 미디어 신호는 오디오 신호 및/또는 비디오 신호이다.
단계(22)에서, 미디어 신호의 일부가 수신된다. 단계(24)에서, 미디어 신호의 수신된 일부에 대응하는 지문이 획득된다.
일 실시예에 따르면, 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계(단계 24)는 미디어 신호의 수신된 일부의 지문을 계산하는 단계를 포함한다. 지문을 계산하는 단계에서, 미디어 신호의 일부의 지문이 미디어 신호의 파형에 고유하게 대응하는 코드로 생성될 수 있다. 이러한 고유한 코드(즉, 코딩된 식별자)를 생성할 때, 지문이 생성된 미디어 신호의 대응하는 파형은 본 명세서에 설명된 바와 같은 지문을 참조하는 것에 의해 이후 식별될 수 있다.
단계(26)에서, 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치가 식별된다.
보다 구체적으로, 단계(26)의 일 실시예에서, 다수의 재생 시간 위치에서 미디어 신호를 위한 지문을 위한 코딩된 식별자의 데이터베이스(저장 매체라고 알려진 것)가 조회된다. 미디어 신호의 일부의 지문은 미디어 콘텐츠 내 참조 시간 위치와 연관된 참조 지문과 일치된다.
일 실시예에 따르면, 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계(단계 26)는 원격 네트워크 연결된 서버(미도시)에서 일어난다.
일 실시예에 따르면, 방법(20)은 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계(단계 26)에 앞서 미디어 신호가 대응하는 적어도 하나의 참조 미디어 컨텐츠 중 하나의 참조 미디어 컨텐츠의 신원을 수신하는 단계를 더 포함한다. 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계는 식별된 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문을 사용하여 수행된다.
방법(20)은 출력된 움직임 신호와 연관된 적어도 하나의 참조 지문을 수신하는 단계와, 획득된 지문이 적어도 하나의 참조 지문 중 어느 것과도 일치하지 않을 때 움직임 신호의 출력을 중지하는 단계를 더 포함할 수 있다.
단계(24)의 다른 실시예에서, 지문을 취득하는 단계는 움직임 신호로부터 직접 참조 시간 위치에서 미디어 신호의 일부의 지문에 대해 코딩된 식별자를 검색하는 단계를 포함한다.
단계(28)에서, 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호가 획득된다. 일 실시예에 따르면, 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호는 원격 네트워크 연결된 서버(미도시)로부터 획득된다.
단계(28)의 일 실시예에 따르면, 현재 재생 시간 위치를 식별하는 단계는 미디어 신호와 동기화된 움직임 신호를 계속 출력하여 움직임 신호의 지속적인 동기화를 보장하기 위해 지문을 획득하는 단계, 참조 시간 위치를 식별하는 단계, 및 움직임 신호를 획득하는 단계를 계속적으로 수행한다.
단계(28)의 다른 실시예에 따르면, 현재 재생 시간 위치를 식별하는 단계는 미디어 신호와 움직임 신호를 출력하는 것을 재동기화하기 위해 주어진 주파수에서 지문을 획득하는 단계, 참조 시간 위치를 식별하는 단계, 및 움직임 신호를 획득하는 단계를 수행하는 단계를 포함한다.
참조 시간 위치는 (오디오에 대해) 스피커, (비디오에 대해) 화면이나 디스플레이, 및 (움직임에 대해) 움직임 피드백 시스템 중 어느 하나에서 (획득된 지문에 대응하여) 현재 재생되고 있는 미디어 콘텐츠에 대응하는 것으로 식별된 적어도 하나의 미디어 콘텐츠 내 미디어 신호의 위치를 말한다.
단계(30)는 미디어 신호와 동기화된 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 움직임 신호를 출력하는 단계를 수반한다. 움직임 신호는 종국적으로 움직임 신호에 따라 움직임 피드백 시스템을 이동시키기 위한 액추에이터를 구비하는 움직임 피드백 시스템으로 송신된다.
일 실시예에 따르면, 방법(20)은 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계(단계 26)에 앞서 미디어 콘텐츠에 대응하는 움직임 신호를 수신하는 단계를 더 포함하며, 여기서 참조 지문은 수신된 움직임 신호로부터 직접 검색된다.
일 실시예에 따르면, 동기화된 움직임 신호는 종국적으로 움직임 피드백 시스템으로 송신되기 위해 저장 장치에 저장된다.
본 방법(20)은 미디어 신호가 재생되고 있을 때 일례에서 실시간으로 수행된다.
또 다른 실시예에 따라, 방법(20)은 출력된 움직임 신호와 연관된 적어도 하나의 참조 지문을 수신하는 단계와, 획득된 지문이 적어도 하나의 참조 지문 중 어느 것과도 일치하지 않을 때 움직임 신호의 출력을 중지하는 단계를 더 포함한다.
도 2는 미디어 콘텐츠에 대응하는 움직임 신호가 미디어 콘텐츠를 위한 미디어 신호와 동기화되어 있는지를 결정하기 위한 방법(100)의 일 실시예를 도시한다.
단계(102)에서, 미디어 신호의 일부가 수신된다. 단계(104)에서, 현재 재생 시간 위치에 대한 미디어 신호의 지문이 획득된다(즉, 지문 획득).
단계(106)에서, 미디어 콘텐츠의 참조 시간 위치에서 미디어 신호의 일부의 지문, 즉 참조 지문이 움직임 신호 내 현재 위치에 기초하여 검색된다.
단계(108)에서, 단계(106)의 참조 지문은 단계(104)의 획득된 지문과 비교된다. 단계(110)에서, 이 비교에 기초하여, 움직임 신호가 미디어 신호와 동기화되어 있는지가 결정되고, 2개의 지문이 다를 경우에는 움직임 신호와 미디어 신호가 동기화되어 있지 않다. 이것은, 예를 들어, 빨리 감기(fast-forward) 또는 챕터 스킵(chapter-skip) 동작 동안과 같이 움직임 신호 내 위치가 갑자기 변하는 경우에 발생할 수 있다. 그 결과 시스템은 동기화를 복구하기 위해 방법(20)을 적용하도록 자동으로 선택할 수 있다.
단계(104)의 또 다른 실시예에서, 지문을 획득하는 단계는 움직임 신호로부터 직접 참조 시간 위치에서 미디어 신호의 일부의 지문에 대해 코딩된 식별자를 검색하는 단계를 포함한다.
단계(112)에서, 움직임 피드백 시스템을 제어하기 위해 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 미디어 신호와 동기화된 움직임 신호는 움직임 신호가 미디어 신호와 동기화되어 있는지를 결정한 결과에 따라 출력된다(단계 110).
이제 도 3을 참조하면, 미디어 신호와 장편 영화의 움직임 신호를 동기화하기 위한 장치(50)의 일 실시예가 도시된다.
장치(50)는 입력 유닛(52); 처리 유닛(54); 메모리(56); 하나 이상의 데이터베이스{여기서는 데이터베이스(58, 60)}; 및 액추에이터(1 내지 N, 66 내지 68)를 구비하는 움직임 피드백 시스템(64)과 통신하는 출력 유닛(62)을 구비한다.
입력 유닛(52)은 미디어 신호의 일부를 수신하기 위한 것이다.
데이터베이스(58, 60)는 특정 알려진 미디어 콘텐츠(예를 들어, 알려진 장편 영화)와 연관된 움직임 신호와 참조 미디어 신호 지문을 저장하는데 각각 사용된다. 이러한 참조 지문은 알려진 미디어 콘텐츠에 대해 이미 유도된 식별자이며, 이는 알려진 미디어 콘텐츠와 고유하게 관련된 것으로 알려진 것이다.
처리 유닛(54)은 입력 유닛(52)과 데이터베이스(58, 60) 및 메모리(56)와 통신한다. 이에 따라 메모리(56)는 처리 유닛(54)에 의해 액세스될 수 있다.
일 실시예에서, 메모리(56)는 미디어 신호에 대해 데이터베이스(58, 60)로부터의 데이터의 액세스 및 검색을 수반하는 일련의 단계 뿐만 아니라, 미디어 신호와 움직임 신호를 동기화를 수행할 수 있는 처리 단계를 수행하도록 처리 유닛(54)을 구현하는 명령을 저장하는데 사용된다. 처리 유닛(54)은, 일단 검색되어 동기화된 움직임 신호가 데이터베이스(미도시)에 저장하기 위해 송신되거나 또는 미디어 신호의 재생 동안 움직임 피드백 시스템(64)으로 직접 송신되도록 출력 유닛(62)과 또한 통신한다.
일단 미디어 신호의 일부가 입력 유닛(52)으로부터 전송을 통해, 처리 유닛(54)에 수신되면, 처리 유닛(54)은 미디어 신호의 수신된 일부에 대응하는 지문을 획득한다.
처리 유닛(54)은 이후 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 미디어 콘텐츠의 참조 시간 위치를 식별하는 것으로 진행한다. 예를 들어, 이 비교를 수행하기 위해, 처리 유닛(54)은 참조 지문의 데이터베이스(60)에 액세스하고, 참조 미디어 신호 지문과 미디어 신호의 지문 사이에 일치가 검출될 때까지 선택적인 내부 메모리(미도시)에 데이터를 선택적으로 검색하는 것을 통해 이 참조 지문을 분석(parse)한다. 일치가 검출되지 않으면, 에러 신호가 사용자 인터페이스(미도시)로 송신된다.
이후 처리 장치는 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호를 획득한다.
이후 미디어 콘텐츠의 식별된 참조 시간 위치에 기초하여, 처리 장치는 미디어 신호와 움직임 신호를 동기화하고 출력할 수 있다. 예를 들어, 이를 하기 위해, 처리 유닛(54)은 입력 유닛(52)에 수신된 미디어 신호의 참조 시간에 대응하는 참조 시간 위치에서 시작하여 데이터베이스(58)로부터 움직임 신호를 검색하고 송신한다. 그리하여 출력 유닛(62)에서 송신된 움직임 신호는 미디어 신호의 재생 시간 위치와 동기화된다.
다른 실시예에 따라, 미디어 콘텐츠에 대응하는 움직임 신호를 미디어 콘텐츠를 위한 미디어 신호와 동기화하는 방법을 수행하기 위해 컴퓨터에 의해 실행하기 위한 지시와 명령을 기록한 비일시적인 컴퓨터 판독가능한 메모리(미도시)가 제공된다. 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이다. 본 방법은 도 1에 도시된 방법(20)을 포함한다.
마지막으로, 다른 실시예에 따라, 미디어 콘텐츠에 대응하는 움직임 신호가 미디어 콘텐츠를 위한 미디어 신호와 동기화되어 있는지를 결정하기 위한 방법을 수행하기 위해 컴퓨터에 의해 실행하기 위한 지시와 명령을 기록한 비일시적인 컴퓨터 판독가능한 메모리(미도시)가 제공된다. 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이다. 본 방법은 도 2에 도시된 방법(100)을 포함한다.
여러 실시예가 첨부 도면에 도시되고 전술되어 있으나, 이 기술 분야에 통상의 지식을 가진 자에게는 본 발명의 범위를 벗어남이 없이 여러 변형이 이루어질 수 있다는 것이 자명할 것이다. 따라서 이러한 변형은 본 발명의 범위 내에 포함된 가능한 변형으로 간주된다.

Claims (19)

  1. 미디어 콘텐츠를 위한 미디어 신호와 미디어 컨텐츠에 대응하는 움직임 신호를 동기화하기 위한 방법으로서,
    상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 상기 방법은,
    상기 미디어 신호의 일부를 수신하는 단계;
    상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계;
    적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계;
    상기 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 상기 움직임 신호를 획득하는 단계; 및
    상기 움직임 피드백 시스템을 제어하기 위해 상기 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 상기 미디어 신호와 동기화된 상기 움직임 신호를 출력하는 단계
    를 포함하는 것을 특징으로 하는 동기화 방법.
  2. 제 1 항에 있어서, 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계에 앞서 상기 미디어 신호가 대응하는 상기 적어도 하나의 참조 미디어 컨텐츠 중 하나의 참조 미디어 컨텐츠의 신원(identity)을 수신하는 단계를 더 포함하고, 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계는 상기 식별된 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문을 사용하여 수행되는 것을 특징으로 하는 동기화 방법.
  3. 제 2 항에 있어서, 상기 출력된 움직임 신호와 연관된 적어도 하나의 참조 지문을 수신하는 단계와, 상기 획득된 지문이 상기 적어도 하나의 참조 지문 중 어느 것과도 일치하지 않을 때 상기 움직임 신호를 출력하는 것을 중지하는 단계를 더 포함하는 것을 특징으로 하는 동기화 방법.
  4. 제 1 항에 있어서, 상기 출력된 움직임 신호와 연관된 적어도 하나의 참조 지문을 수신하는 단계와, 상기 획득된 지문이 상기 적어도 하나의 참조 지문 중 어느 것과도 일치하지 않을 때 상기 움직임 신호를 출력하는 것을 중지하는 단계를 더 포함하는 것을 특징으로 하는 동기화 방법.
  5. 제 1 항에 있어서, 상기 미디어 신호는 오디오 신호와 비디오 신호 중 적어도 하나를 포함하는 것을 특징으로 하는 동기화 방법.
  6. 제 5 항에 있어서, 상기 미디어 콘텐츠는 장편 영화를 포함하고, 상기 오디오 신호와 비디오 신호는 장편 영화를 위한 상기 오디오 신호와 비디오 신호를 포함하는 것을 특징으로 하는 동기화 방법.
  7. 제 1 항에 있어서, 상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계는 상기 미디어 신호의 수신된 일부의 지문을 계산하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
  8. 제 7 항에 있어서, 상기 지문을 계산하는 단계는 상기 참조 시간 위치에서 상기 미디어 콘텐츠를 고유하게 나타내는 코딩된 식별자로 상기 지문을 생성하기 위해 미디어 지문 기술을 적용하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
  9. 제 8 항에 있어서, 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계는 참조 시간 위치와 연관된 상기 참조 지문을 위한 코딩된 식별자를 포함하는 데이터베이스를 조회하는 단계와, 상기 참조 시간 위치에서 상기 미디어 콘텐츠를 고유하게 나타내는 상기 코딩된 식별자에 대응하는 상기 참조 시간 위치를 획득하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
  10. 제 1 항에 있어서, 상기 참조 시간 위치를 식별하는 단계는 상기 미디어 신호와 동기화된 움직임 신호의 스트림을 계속 출력하여 상기 움직임 신호의 지속적인 동기화를 보장하기 위해 지문을 획득하는 단계, 참조 시간 위치를 식별하는 단계, 및 상기 움직임 신호를 획득하는 단계를 계속 수행하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
  11. 제 1 항에 있어서, 상기 참조 시간 위치를 식별하는 단계는 상기 미디어 신호와 상기 움직임 신호를 출력하는 것을 재동기화하기 위해 주어진 주파수에서 상기 지문을 획득하는 단계, 상기 참조 시간 위치를 식별하는 단계, 및 상기 움직임 신호를 획득하는 단계를 수행하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
  12. 제 1 항에 있어서, 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계에 앞서 상기 미디어 콘텐츠에 대응하는 움직임 신호를 수신하는 단계를 더 포함하며, 상기 참조 지문은 수신된 움직임 신호로부터 직접 검색되는 것을 특징으로 하는 동기화 방법.
  13. 제 1 항에 있어서, 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계는 원격 네트워크 연결된 서버에서 일어나는 것을 특징으로 하는 동기화 방법.
  14. 제 1 항에 있어서, 상기 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 움직임 신호는 원격 네트워크 연결된 서버로부터 획득되는 것을 특징으로 하는 동기화 방법.
  15. 미디어 컨텐츠에 대응하는 움직임 신호가 상기 미디어 콘텐츠를 위한 미디어 신호와 동기화되어 있는지 여부를 결정하는 방법으로서,
    상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 상기 방법은,
    상기 미디어 신호의 일부를 수신하는 단계;
    상기 미디어 신호의 수신된 일부의 지문을 획득(즉, 지문 획득)하는 단계;
    상기 미디어 콘텐츠의 참조 시간 위치에서 상기 미디어 신호의 일부의 지문, 즉 참조 지문을 검색하는 단계;
    획득된 지문과 상기 참조 지문을 비교하는 단계;
    상기 비교에 기초하여, 상기 움직임 신호가 상기 미디어 신호와 동기화되어 있는지를 결정하는 단계; 및
    상기 결정에 따라, 상기 움직임 피드백 시스템을 제어하기 위해 상기 미디어 신호와 동기화된 상기 움직임 신호를 출력하는 단계
    를 포함하는 것을 특징으로 하는 동기화 결정 방법.
  16. 제 15 항에 있어서, 상기 참조 지문은 상기 미디어 콘텐츠를 위한 시간 위치와 연관된 참조 지문을 포함하는 데이터베이스로부터 검색되는 것을 특징으로 하는 동기화 결정 방법.
  17. 제 16 항에 있어서, 상기 참조 지문은 상기 움직임 신호로부터 직접 검색되는 것을 특징으로 하는 동기화 결정 방법.
  18. 미디어 콘텐츠에 대응하는 움직임 신호를 상기 미디어 콘텐츠를 위한 미디어 신호와 동기화하기 위한 장치로서,
    상기 장치는 적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문을 포함하는 저장 매체에 액세스하며, 상기 움직임 신호는 움직임 피드백 시스템을 제어하는 것이고, 상기 장치는,
    상기 미디어 신호의 일부를 수신하기 위한 입력 유닛;
    상기 입력 유닛과 상기 저장 매체와 통신하는 처리 장치; 및
    상기 처리 장치에 의해 액세스 가능한 메모리
    를 포함하며,
    상기 메모리는,
    상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하고;
    적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 상기 미디어 콘텐츠의 참조 시간 위치를 식별하고;
    상기 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 상기 움직임 신호를 획득하고; 및
    상기 움직임 피드백 시스템을 제어하기 위해 상기 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 상기 미디어 신호와 동기화된 상기 움직임 신호를 출력하도록
    상기 처리 장치를 구현하는 명령을 저장하는 것을 특징으로 하는 동기화 장치.
  19. 미디어 컨텐츠에 대응하는 움직임 신호를 상기 미디어 콘텐츠를 위한 미디어 신호와 동기화하는 방법을 수행하기 위해 컴퓨터에 의해 실행하기 위한 지시와 명령을 기록한 비일시적인 컴퓨터 판독가능한 메모리로서,
    상기 움직임 신호는 움직임 피드백 시스템을 제어하기 위한 것이고, 상기 방법은,
    상기 미디어 신호의 일부를 수신하는 단계;
    상기 미디어 신호의 수신된 일부에 대응하는 지문을 획득하는 단계;
    적어도 하나의 참조 미디어 콘텐츠의 시간 위치와 연관된 참조 지문으로부터, 획득된 지문에 대응하는 상기 미디어 콘텐츠의 참조 시간 위치를 식별하는 단계;
    상기 미디어 콘텐츠의 식별된 참조 시간 위치와 연관된 상기 움직임 신호를 획득하는 단계; 및
    상기 움직임 피드백 시스템을 제어하기 위해 상기 미디어 콘텐츠의 식별된 참조 시간 위치를 사용하여 상기 미디어 신호와 동기화된 상기 움직임 신호를 출력하는 단계
    를 포함하는 것을 특징으로 하는 메모리.
KR1020137004117A 2010-07-21 2011-06-02 미디어 인식 및 움직임 신호와의 동기화 Active KR101884483B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36630110P 2010-07-21 2010-07-21
US61/366,301 2010-07-21
PCT/CA2011/000660 WO2012009785A1 (en) 2010-07-21 2011-06-02 Media recognition and synchronisation to a motion signal

Publications (2)

Publication Number Publication Date
KR20140005130A true KR20140005130A (ko) 2014-01-14
KR101884483B1 KR101884483B1 (ko) 2018-08-01

Family

ID=45493143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004117A Active KR101884483B1 (ko) 2010-07-21 2011-06-02 미디어 인식 및 움직임 신호와의 동기화

Country Status (5)

Country Link
US (3) US8773238B2 (ko)
JP (1) JP5813767B2 (ko)
KR (1) KR101884483B1 (ko)
CA (2) CA3011865C (ko)
WO (1) WO2012009785A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977693B2 (en) * 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
KR101154122B1 (ko) * 2012-02-20 2012-06-11 씨제이포디플렉스 주식회사 영상과 모션 간의 시간 동기화를 이용한 모션 제어 시스템 및 그 방법
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
EP3047652B1 (en) * 2013-09-20 2020-05-06 Koninklijke KPN N.V. Correlating timeline information between media streams
US9860581B2 (en) 2013-09-20 2018-01-02 Koninklijke Kpn N.V. Correlating timeline information between media streams
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
CN103869986A (zh) * 2014-04-02 2014-06-18 中国电影器材有限责任公司 一种基于kinect的动感数据生成方法
EP3377279A4 (en) * 2015-11-16 2018-09-26 D-Box Technologies Inc. Method and system for synchronizing vibro-kinetic effects to a virtual reality session
CN106886178A (zh) * 2017-02-15 2017-06-23 穆特科技（武汉）股份有限公司 一种基于音频匹配的动感座椅同步控制方法及系统
CN107037782B (zh) * 2017-05-10 2019-09-17 北京数码大方科技股份有限公司 监控机床的方法和装置
CN114830675B (zh) * 2019-10-17 2024-12-24 迪宝克技术公司 用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统
US12145054B2 (en) * 2021-03-24 2024-11-19 D-Box Technologies Inc. Motion track generation for motion platform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치
KR20070034462A (ko) * 2004-04-07 2007-03-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오-오디오 동기화
WO2007072326A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Script synchronization using fingerprints determined from a content stream
KR20090119934A (ko) * 2007-03-23 2009-11-20 퀄컴 인코포레이티드 오디오-비디오 동기화의 단방향 디스에이블을 위한 기술

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768122A (en) * 1995-11-14 1998-06-16 Coard Technology Virtual motion programming and control
US6733293B2 (en) * 2001-01-26 2004-05-11 Provision Entertainment, Inc. Personal simulator
CN1235408C (zh) 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
AU2002363907A1 (en) 2001-12-24 2003-07-30 Scientific Generics Limited Captioning system
US20040015983A1 (en) * 2002-04-22 2004-01-22 Thomas Lemmons Method and apparatus for a data receiver and controller for the facilitation of an enhanced television viewing environment
CN1685703A (zh) 2002-09-30 2005-10-19 皇家飞利浦电子股份有限公司 “指纹”的提取
JP2006505821A (ja) 2002-11-12 2006-02-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 指紋情報付マルチメディアコンテンツ
BRPI0712894A2 (pt) 2006-06-13 2012-10-09 Koninkl Philips Electronics Nv impressão digital para um fluxo de vìdeo, aparelho operável para gera uma impressão digital, métodos para gerar uma impressão digital e para sincronizar uma mìdia secundária com um fluxo de vìdeo em um aparelho, software, estrutura de dados para um script ambilight, uso de uma impressão digital de um fluxo de vìdeo, sinal para comunicar a identidade de um fluxo de vìdeo
JP2010511315A (ja) * 2006-11-28 2010-04-08 エーエムビーエックス ユーケー リミテッド 同期を監視するためのシステム及び方法
EP2188997A2 (en) * 2007-07-06 2010-05-26 AMBX UK Limited A method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치
KR20070034462A (ko) * 2004-04-07 2007-03-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오-오디오 동기화
WO2007072326A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Script synchronization using fingerprints determined from a content stream
KR20090119934A (ko) * 2007-03-23 2009-11-20 퀄컴 인코포레이티드 오디오-비디오 동기화의 단방향 디스에이블을 위한 기술

Also Published As

Publication number Publication date
US20120019352A1 (en) 2012-01-26
US10089841B2 (en) 2018-10-02
US9640046B2 (en) 2017-05-02
CA3011865A1 (en) 2012-01-26
KR101884483B1 (ko) 2018-08-01
CA2841802A1 (en) 2012-01-26
JP2013535887A (ja) 2013-09-12
US20150016797A1 (en) 2015-01-15
JP5813767B2 (ja) 2015-11-17
CA3011865C (en) 2022-04-26
WO2012009785A1 (en) 2012-01-26
US20170200354A1 (en) 2017-07-13
CA2841802C (en) 2018-08-28
US8773238B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
KR101884483B1 (ko) 미디어 인식 및 움직임 신호와의 동기화
US11477156B2 (en) Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
US10650645B2 (en) Method and apparatus of converting control tracks for providing haptic feedback
CN107785037B (zh) 使用音频时间码同步媒体内容的方法、系统和介质
US9558784B1 (en) Intelligent video navigation techniques
US9564177B1 (en) Intelligent video navigation techniques
US10943446B2 (en) Media recognition and synchronisation to a motion signal
CN114830675B (zh) 用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统
US10440446B2 (en) Method for generating haptic coefficients using an autoregressive model, signal and device for reproducing such coefficients
US20210014292A1 (en) Systems and methods for virtual reality engagement
WO2019182075A1 (ja) 情報処理方法および情報処理装置
JP2012195025A (ja) コンテンツ再生装置、コンテンツ再生プログラム、コンテンツ再生方法、およびストリーミング配信システム

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20130219

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
AMND Amendment
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160602

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170908

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180423

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170908

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180423

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180208

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20140311

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180703

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180622

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180423

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180208

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20140311

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180726

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180726

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210721

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220718

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230615

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240703

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250616

Start annual number: 8

End annual number: 8