[go: up one dir, main page]

KR20180005277A - 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 - Google Patents

컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR20180005277A
KR20180005277A KR1020187000021A KR20187000021A KR20180005277A KR 20180005277 A KR20180005277 A KR 20180005277A KR 1020187000021 A KR1020187000021 A KR 1020187000021A KR 20187000021 A KR20187000021 A KR 20187000021A KR 20180005277 A KR20180005277 A KR 20180005277A
Authority
KR
South Korea
Prior art keywords
event
feature
content item
social
social media
Prior art date
Application number
KR1020187000021A
Other languages
English (en)
Other versions
KR101944469B1 (ko
Inventor
마이클 벤 플레이쉬만
뎁 쿠마르 로이
Original Assignee
블루핀 랩스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 블루핀 랩스, 인코포레이티드 filed Critical 블루핀 랩스, 인코포레이티드
Publication of KR20180005277A publication Critical patent/KR20180005277A/ko
Application granted granted Critical
Publication of KR101944469B1 publication Critical patent/KR101944469B1/ko

Links

Images

Classifications

    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H04L51/32—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Operations Research (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

소셜 미디어 콘텐트 아이템이 관련 시간 기반 미디어 이벤트에 맵핑된다. 이들 맵핑은 시간 기반 미디어를 위한 검색 결과의 랭킹, 시간 기반 미디어를 위한 자동 추천, 미디어 구매/계획을 위한 청중 관심의 예측 및 시간 기반 미디어의 소셜 관심의 추정과 같은 다수의 용례에 대한 기초로서 사용될 수 있다. 시간 기반 미디어(예를 들어, 비디오 및 오디오 스트림 및 레코딩) 세그먼트의 소셜 관심은 데이터 수집 및 통합의 프로세스를 통해 추정된다. 추정 프로세스는 스포츠 이벤트의 특정 플레이, 텔레비전 쇼의 장면 또는 광고 블록 내의 광고와 같은 시간 기반 미디어 내의 세그먼트로서 표현된 특정 이벤트의 소셜 관심을 결정한다. 소셜 관심의 결과적인 추정은 또한 그래픽적으로 표시될 수 있다.

Description

컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체{ESTIMATING AND DISPLAYING SOCIAL INTEREST IN TIME-BASED MEDIA}
우선권 정보
본 출원은 본 명세서에 참조로서 포함되어 있는 2009년 7월 16일 출원된 발명의 명칭이 "미국 풋볼의 소셜 관심을 추정하는 방법(Method of Estimating Social Interest in American Football)"인 미국 가출원 제 61/226,002호를 35 U.S.C. §119(e) 하에서 우선권 주장한다.
기술 분야
본 발명은 일반적으로 미디어 이벤트의 관심을 추정하기 위해 소셜 미디어를 사용하는 것에 관한 것으로서, 특히 시간 기반 미디어의 소셜 관심을 추정하기 위해 소셜 미디어 콘텐트 아이템 및 미디어 이벤트의 참조를 수집하는 것에 관한 것이다.
소셜 네트워킹 사이트, 검색 엔진, 뉴스 수집기, 블로그 등과 같은 온라인 소셜 미디어 서비스는 관심의 이벤트에 대해 코멘트하고 다른 사용자와 통신하기 위한 사용자를 위한 풍부한 환경을 제공한다. 이들 소셜 미디어 서비스의 사용자에 의해 기고되는 콘텐트 아이템은 종종 텔레비전 쇼, 뉴스 리포트, 스포츠 이벤트, 영화, 콘서트 공연 등과 같은 시간 기반 미디어에서 나타나는 이벤트의 참조를 포함한다. 그러나, 콘텐트 아이템은 시간 기반 미디어를 참조하지만, 소셜 미디어 콘텐트 아이템 자체는 통상적으로 이벤트 및 이들 이벤트가 발생하는 시간 기반 미디어로부터 격리된다.
소셜 미디어 콘텐트 아이템 및 그 내부에서 발생하는 이벤트로의 참조는 이들이 설명하는 시간 기반 미디어 이벤트와 정렬된다. 이들 맵핑은 시간 기반 미디어를 위한 검색 결과의 랭킹, 시간 기반 미디어를 위한 자동 추천, 미디어 구매/계획을 위한 청중 관심의 예측 및 시간 기반 미디어의 소셜 관심의 추정과 같은 다수의 용례를 위한 기초로서 사용될 수 있다. 시간 기반 미디어(예를 들어, 비디오 및 오디오 스트림 및 레코딩) 세그먼트의 소셜 관심은 데이터 수집 및 통합의 프로세스를 통해 추정된다. 추정 프로세스는 스포츠 이벤트의 특정 플레이, 텔레비전 쇼의 장면 또는 교육 비디오의 단계와 같은 시간 기반 미디어의 특정 세그먼트의 소셜 관심을 결정한다. 소정의 이벤트의 소셜 관심은 콘텐트 아이템이 소정의 이벤트를 참조하는 가능성을 지시하는 신뢰도 점수를 갖는 소셜 미디어 콘텐트 아이템을 수집함으로써 결정된다.
시간 기반 미디어에서 나타나는 이벤트에 대해, 이 이벤트는 시간 기반 미디어의 분할에 의해 식별되어 있을 수 있고, 소셜 미디어 콘텐트 아이템은 이벤트에 잠재적으로 관련하는 것으로서 식별된다. 콘텐트 아이템이 시간 기반 미디어 이벤트와 관련하는 확률은 각각의 소셜 미디어 콘텐트 아이템에 대해 결정되고, 확률을 반영하는 신뢰도 점수는 콘텐트 아이템에 할당된다. 더 높은 확률을 갖는 콘텐트 아이템이 이벤트와 정렬되고, 수집되고, 저장된다. 수집된 콘텐트 아이템은 시간 기반 미디어 이벤트를 위한 수집 점수와 관련되고, 여기서 수집 점수는 시간 기반 미디어 이벤트의 소셜 관심의 레벨의 추정이다. 소셜 관심의 추정된 레벨은 또한 그래픽적으로 표시될 수 있다. 이 요약 및 이하의 상세한 설명에 설명된 특징 및 장점은 모두 포함적인 것은 아니다. 다수의 부가적인 특징 및 장점은 도면, 상세한 설명 및 청구범위의 견지에서 당 기술 분야의 숙련자에게 명백할 것이다.
도 1은 소셜 미디어 콘텐트 아이템을 시간 기반 미디어 이벤트와 관련시키고 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하기 위한 시스템의 일 실시예의 컴퓨팅 환경을 도시하는 도면.
도 2는 소셜 관심 정보 공급자의 일 실시예의 블록 다이어그램.
도 3은 일 실시예에 따른 고레벨에서의 비디오/메타데이터 정렬/주석 및 소셜 미디어/이벤트 정렬 프로세스를 도시하는 개념 다이어그램.
도 3a는 소셜 미디어 콘텐트 아이템을 시간 기반 미디어 이벤트와 관련시키기 위한 방법 및 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하기 위한 관련 방법의 일 실시예를 도시하는 흐름도.
도 4는 비디오 이벤트 분할 프로세스의 일 실시예를 도시하는 흐름도.
도 5는 메타데이터 정렬/주석 프로세스의 일 실시예를 도시하는 흐름도.
도 6은 소셜 미디어/이벤트 정렬 프로세스의 일 실시예를 도시하는 흐름도.
도 7은 소셜 관심 추정 프로세스의 일 실시예를 도시하는 흐름도.
도 8a 및 도 8b는 시간 기반 미디어에서 일련의 연대적인 시간 세그먼트에 대응하는 복수의 이벤트에 대한 소셜 관심의 레벨을 나타내는 소셜 관심 히트 맵(heat map)의 2개의 실시예를 도시하는 도면.
도 9a 내지 도 9c는 소셜 관심 추정 시스템의 사용자 인터페이스의 3개의 실시예를 도시하는 도면.
도 10a 및 도 10b는 감성 뷰(sentiment view)를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스의 2개의 실시예를 도시하는 도면.
도 11a 내지 도 11c는 필터링된 뷰를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스의 3개의 실시예를 도시하는 도면.
도 12a는 포커싱된 비확장된 뷰를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스의 일 실시예를 도시하는 도면.
도 12b는 포커싱된 확장된 뷰를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스의 일 실시예를 도시하는 도면.
도 13a 내지 도 13d는 시간 기반 매체의 일련의 연대적인 시간 세그먼트에 대응하는 복수의 이벤트에 대한 소셜 관심의 레벨을 나타내는 소셜 관심 히트 맵을 표시하는 사용자 인터페이스의 또 다른 실시예를 도시하는 도면.
도면은 단지 예시의 목적으로 본 발명의 다양한 실시예를 도시한다. 당 기술 분야의 숙련자는 본 명세서에 예시된 구조 및 방법의 대안적인 실시예가 본 명세서에 설명된 본 발명의 원리로부터 벗어나지 않고 이용될 수 있다는 것을 이하의 설명으로부터 즉시 인식할 수 있을 것이다.
도 1은 소셜 미디어 콘텐트 아이템 및 이벤트의 참조를 시간 기반 미디어 이벤트와 관련시키고 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하기 위한 시스템(130)의 일 실시예를 위한 컴퓨팅 환경(100)을 도시한다.
환경(100)은 소셜 미디어 소스(110), 시간 기반 미디어 소스(120), 소셜 관심 정보 공급자(130), 네트워크(140) 및 클라이언트 디바이스(150)를 포함한다.
소셜 미디어 소스(110)는 소셜 네트워크, 블로그, 뉴스 미디어, 포럼, 사용자 그룹 등을 포함한다. 이들 소스는 일반적으로 소스의 다른 사용자와 통신하고 상호 작용하는 능력을 복수의 사용자에게 제공한다. 사용자는 통상적으로 미디어 이벤트를 참조할 수 있는 다양한 콘텐트 아이템(예를 들어, 포스트, 비디오, 사진, 링크, 상태 업데이트, 블로그 엔트리, 트위트 등)을 기고할 수 있고, 토론, 게임, 온라인 이벤트 및 다른 참여 서비스에 참여할 수 있다.
시간 기반 미디어 소스(120)는 브로드캐스터, 직접 콘텐트 공급자, 광고자 및 시간 기반 미디어 콘텐트의 임의의 다른 제 3 자 공급자를 포함한다. 이들 소스(120)는 통상적으로 텔레비전 프로그램, 비디오, 영화, 연재물, 오디오 레코딩 등과 같은 콘텐트를 출판한다.
소셜 관심 정보 공급자(130)는 소셜 미디어 콘텐트 아이템 및 그 이벤트의 참조를 시간 기반 미디어 이벤트를 관련시키고 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하기 위한 시스템을 제공하고, 도 2와 관련하여 더 설명된다.
네트워크(140)는 유선 및 무선 통신 시스템의 모두를 사용하는 근거리 및/또는 원거리 통신망, 인터넷 또는 하나 이상의 인트라넷의 임의의 조합을 포함할 수 있다.
클라이언트 디바이스(150)는 사용자로부터 입력을 수신할 수 있고 네트워크(140)를 경유하여 데이터를 전송 및 수신할 수 있는 컴퓨팅 디바이스를 포함한다. 예를 들어, 클라이언트 디바이스(150)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 개인 휴대 정보 단말(PDA) 또는 컴퓨팅 기능성 및 데이터 통신 능력을 포함하는 임의의 다른 디바이스일 수 있다. 클라이언트 디바이스(150)는 네트워크(140)를 경유하여 소셜 미디어 소스(110) 및 소셜 관심 정보 공급자 시스템(130)과 통신하도록 구성된다.
도 2는 소셜 관심 정보 공급자(130)의 일 실시예의 블록 다이어그램이다. 도 2에 도시된 소셜 관심 정보 공급자(130)의 실시예는 웹 서버(200) 및 관련 API(202), 도메인 온톨로지(ontology) 엔진(205), 저자 식별자(210), 클로즈드 캡셔닝 추출기(closed captioning extractor)(215), 이벤트 분할 엔진(220), 특징 추출 엔진(225), 메타데이터 정렬 엔진(230), 주석 엔진(235), 비교 특징 추출 엔진(240), 미디어 이벤트/정렬 엔진(245), 소셜 관심 추정기(250), 사용자 인터페이스 엔진(255), 도메인 온톨로지(257), 소셜 미디어 콘텐트 저장부(260), 소셜 미디어 저자 저장부(263), 사용 스탯 저장부(265), 클로즈드 캡셔닝 저장부(267), 멀티미디어 저장부(270), 이벤트 메타데이터 저장부(273), 맵핑 저장부(275), 비디오 이벤트 저장부(280), 소셜 관심 저장부(285) 및 주석 달린 이벤트 저장부(290)를 포함하는 컴퓨터 시스템이다. 이 시스템은 클라우드 기반 컴퓨터 구현예를 포함하여, 단일 컴퓨터 또는 컴퓨터의 네트워크를 사용하여 구현될 수 있다. 컴퓨터는 바람직하게는 하나 이상의 고성능 CPU, 1G 이상의 메인 메모리, 뿐만 아니라 500 GB 내지 2 Tb의 컴퓨터 판독 가능 영구 저장 장치를 포함하고 리눅스(LINUX) 또는 그 변형과 같은 운영 체제를 실행하는 서버급 컴퓨터이다. 설명된 바와 같은 시스템(130)의 동작은 하드웨어를 통해 또는 컴퓨터 저장 장치에 설치된 컴퓨터 프로그램을 통해 제어되고 본 명세서에 설명된 기능을 수행하기 위해 이러한 서버의 프로세서에 의해 실행될 수 있다. 시스템(130)은 네트워크 인터페이스 및 프로토콜, 보안 시스템, 데이터 입력을 위한 입력 디바이스 및 데이터의 표시, 인쇄 또는 다른 제시를 위한 출력 디바이스를 포함하는 여기에 설명된 동작을 위해 필요한 다른 하드웨어 요소를 포함하고, 이들 및 다른 통상의 구성 요소는 관련 상세를 불명료하게 하지 않기 위해 도시되어 있지 않다.
전술된 바와 같이, 시스템(130)은 지정된 기능성을 제공하기 위한 연산 논리를 참조하는 다수의 "엔진"을 포함한다. 엔진은 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 엔진은 종종 "모듈" 또는 "서버"라 동등하게 칭할 수 있다. 명명된 구성 요소는 본 발명의 일 실시예를 표현하고, 다른 실시예는 다른 구성 요소를 포함할 수도 있다는 것이 이해될 수 있을 것이다. 게다가, 다른 실시예는 본 명세서에 설명된 구성 요소가 결여될 수 있고 그리고/또는 상이한 방식으로 구성 요소 사이에 설명된 기능성을 분배할 수 있다. 부가적으로, 하나 초과의 구성 요소에 기인하는 기능성이 단일 구성 요소에 통합될 수 있다. 본 명세서에 설명된 엔진이 소프트웨어로서 구현되는 경우, 엔진은 독립형 프로그램으로서 구현될 수 있지만, 또한 예를 들어 더 큰 프로그램의 부분으로서, 복수의 개별 프로그램으로서 또는 하나 이상의 정적 또는 동적으로 연결된 라이브러리로서 다른 수단을 통해 또한 구현될 수 있다. 임의의 이들 소프트웨어 구현예에서, 엔진은 시스템(130)의 컴퓨터 판독 가능 영구 저장 디바이스 상에 저장되고, 메모리에 로딩되고, 시스템의 컴퓨터의 하나 이상의 프로세서에 의해 실행된다. 시스템(130) 및 그 다양한 구성 요소의 동작은 도 2 및 나머지 도면을 참조하여 이하에 더 상세히 설명될 것이다. 명백해질 수 있는 바와 같이, 본 명세서에 설명된 다양한 데이터 프로세싱 동작은 시스템(130)과 같은 컴퓨터 시스템의 동작을 필요로 하는 것에 대해 충분히 복잡하고 시간 소비적이다.
웹 서버(200)는 소셜 관심 정보 공급자(130)를 네트워크(140)를 경유하여 클라이언트 디바이스(150), 시간 기반 미디어 소스(120) 및 소셜 미디어 소스(110)에 연결하고, 이와 같이 하기 위한 하나의 수단이다. 웹 서버(200)는 웹 페이지, 뿐만 아니라 자바(Java), 플래시(Flash), XML 등과 같은 다른 웹 관련 콘텐트를 서브한다. 웹 서버(200)는 소셜 관심 정보 공급자(130)와 클라이언트 디바이스(150) 사이에 메시지를 수신하고 라우팅하기 위한 메일 서버 또는 다른 메시징 기능성을 포함할 수 있다.
API(202)는 웹 서버(200)와 관련하여 하나 이상의 외부 엔티티가 소셜 관심 정보 공급자(130)로부터의 정보에 액세스할 수 있게 한다. 웹 서버(200)는 또한 외부 엔티티가 API(202)를 호출하는 소셜 관심 정보 공급자(130)에 정보를 송신할 수 있게 한다. 예를 들어, 외부 엔티티가 네트워크(140)를 경유하여 소셜 관심 정보 공급자(130)에 API 요구를 송신하고 웹 서버(200)는 API 요구를 수신한다. 웹 서버(200)는 API 요구와 관련된 API를 호출함으로써 요구를 프로세싱하여 적절한 응답을 생성하고, 이 웹 서버(200)는 네트워크(140)를 경유하여 외부 엔티티에 통신한다. API(202)는 제 3 자(시간 기반 미디어를 제공하는 엔티티와 같은)로부터 소셜 미디어/이벤트 정렬(330) 및 소셜 관심 추정(340) 프로세스로의 다른 입력 및 추출된 특징을 수신하기 위해 소셜 관심 정보 공급자(130)를 위해 사용될 수 있고, 이는 이어서 이들 프로세스에서 소셜 관심 정보 공급자(130)에 의해 사용될 것이다.
도메인 온톨로지 엔진(205)은 도메인 온톨로지(257) 내의 저장을 위해 상이한 미디어 도메인에 특정한 어휘를 지시하는 도메인 온톨로지를 제공하고, 이와 같이 하기 위한 하나의 수단이다. 도메인 온톨로지(257)는 특정 도메인과 관련하는 정보를 인코딩하고, 별명, 속어, 두문자어 및 다른 축약된 용어가 통상적으로 특정 도메인에서 사용되기 때문에 유리하다. 도메인 온톨로지(257)는 그래프로서 계층적으로 편성될 수 있고, 여기서 그래프의 각각의 노드는 개념(예를 들어, "풋볼 플레이", "득점 플레이")을 표현하고 각각의 에지는 개념 사이의 관계(예를 들어, "~의 유형")를 표현한다. 개념 인스턴스(예를 들어, 특정 풋볼 게임으로부터의 특정 터치다운 플레이)는 또한 도메인 온톨로지 뿐만 아니라 개념 노드에 대한 대안 술어를 제공하는 어휘(예를 들어, 개념 "터치다운"에 대해 "TD")로 인코딩될 수 있다. 도메인 온톨로지(257)는 인간 숙련자 또는 기계 생성된 지식에 기초하여 엔지니어링될 수 있다. 도메인 온톨로지는 소셜 미디어 포스트의 초기 필터링을 위해 그리고 소셜 미디어/이벤트 정렬 프로세스에서 사용된다. 시간 기반 미디어가 본 발명에 따라 사용되는 소셜 관심 도메인의 예시적인 리스트는 스포츠, 뉴스, 에피소드 텔레비전, 현실/라이브 이벤트 쇼, 영화 및 임의의 이들 도메인과 관련하는 광고와 같은 텔레비전 프로그램과 같은 브로드캐스트 비디오를 포함한다. 예를 들어, 풋볼 게임, 엔터테인먼트 뉴스, 특정 현실 TV 쇼 등과 같은 더 특정 도메인이 또한 가능하고, 이들 각각은 그 자신의 도메인 특정 온톨로지를 가질 수 있다. 도메인 온톨로지 엔진(205)은 검색 용어에 따라 시간 세그먼트를 필터링하도록 구성되고, 그래픽 디스플레이는 단지 검색 용어에 대응하는 일련의 연대적인 시간 세그먼트의 서브세트만을 표시한다.
저자 식별자(210)는 예를 들어 콘텐트 아이템을 갖는 소셜 미디어 소스(110)에 의해 소셜 관심 정보 공급자(130)에 제공되는 바와 같은 각각의 소셜 미디어 콘텐트 아이템의 저자 또는 공급자를 식별하고, 이와 같이 하기 위한 하나의 수단이다. 저자에 대한 부가적인 정보는 예를 들어 소셜 미디어 콘텐트 저장부(260) 내에 저장되고 또는 다른 외부 소스로부터 추출되는 바와 같이 콘텐트 아이템 자체로부터 추출될 수 있다. 저자 정보는 소셜 미디어 저자 저장부(263)에 저장된다.
클로즈드 캡셔닝 추출기(215)는 시간 기반 미디어로부터 클로즈드 캡셔닝 데이터를 추출하고, 이와 같이 하기 위한 하나의 수단이다. 클로즈드 캡셔닝 데이터는 통상적으로 SourceForge.net을 경유하여 입수 가능한 CCExtractor와 같은 개방 소스 소프트웨어를 사용하여 클로즈드 캡션으로 인코딩된 브로드캐스트 비디오 또는 다른 소스로부터 추출될 수 있다. 클로즈드 캡셔닝 데이터로 인코딩되지 않은 시간 기반 미디어에 대해, 자동 음성 인식과 같은 불완전한 방법이 오디오 데이터를 캡처하여 클로즈드 캡셔닝 텍스트에 상당하는 텍스트 스트림으로 변환하는데 사용될 수 있다. 이는 예를 들어 SourceForge.net을 경유하여 입수 가능한 Sphinx 3과 같은 개방 소스 소프트웨어를 사용하여 행해질 수 있다. 일단 클로즈드 캡셔닝이 수집되면, 이는 바람직하게는 비디오 내의 음성에 정렬된다. 다양한 정렬 방법이 당 기술 분야에 공지되어 있다. 하나의 이러한 방법은 하웁트만 에이(Hauptmann, A.) 및 위트브록 엠(Witbrock, M.), 브로드캐스트 뉴스 비디오의 스토리 분할 및 광고의 검출(Story Segmentation and Detection of Commercials in Broadcast News Video), ADL-98 Advances in Digital Libraries Conference, 미국 캘리포니아주 산타 바바라(1998년 4월)에 설명되어 있고, 이 문헌은 비디오의 오디오 트랙 상에서 실행되는 음성 인식기의 출력에 클로즈드 캡셔닝 스트림 내의 단어를 정렬하기 위해 동적 프로그래밍을 사용한다. 클로즈드 캡셔닝 정보는 클로즈드 캡셔닝 저장부(267)에 저장된다.
멀티미디어 저장부(270)는 다양한 형태의 시간 기반 미디어를 저장한다. 시간 기반 미디어는 시간에 대해 의미 있게 변경되는 임의의 데이터를 포함한다. 예는 비디오(예를 들어, 텔레비전 프로그램 또는 그 부분, 영화 또는 그 부분) 오디오 레코딩, MIDI 시퀀스, 애니메이션 및 이들의 조합을 포함하지만, 이들에 한정되는 것은 아니다. 시간 기반 미디어는 로컬 또는 네트워크 저장부와 같은 다양한 소스로부터, 뿐만 아니라 카메라, 마이크로폰 및 라이브 브로드캐스트와 같은 캡처 디바이스로부터 직접 얻어질 수 있다. 본 발명의 범주 내의 다른 유형의 시간 기반 미디어가 미래에 개발될 것으로 예측된다(예를 들어, 3D 미디어, 홀로그래픽 제시, 실감 미디어 등).
이벤트 분할 엔진(220)은 시간 기반 미디어를 개별 부분 또는 "이벤트"에 대응하는 어의적으로 의미 있는 세그먼트로 분할하고, 이와 같이 하기 위한 하나의 수단이다. 상이한 유형의 미디어가 비디오 이벤트 분할 프로세스의 부분으로서 인식되는 상이한 유형의 이벤트를 가질 수 있다. 예를 들어, 텔레비전 프로그램 또는 영화는 장면 또는 샷을 가질 수 있는데, 스포츠 이벤트는 고도의 세분화 이벤트(granular event)(예를 들어, 플레이, 패스, 캐치, 히트, 샷, 바스켓, 골 등)를 가질 수 있고 마찬가지로 더 적은 세분화 이벤트(예를 들어, 사이드, 다운, 이닝 등)를 갖는다. 새로운 프로그램은 스토리, 인터뷰, 샷, 해설 등과 같은 이벤트를 가질 수 있다. 비디오 이벤트 분할 프로세스는 일 실시예에 따르면 3개의 주요 구성요소, 샷 경계 검출, 이벤트 검출 및 경계 결정을 포함한다. 이들 이벤트 분할용 구성 요소는 도메인마다 다양할 수 있다. 비디오 이벤트 분할의 출력은 비디오 이벤트 저장부(280) 내에 저장되는 분할된 비디오 이벤트의 세트이다.
특징 추출 엔진(225)은 비디오 이벤트 저장부(280)로부터 검색된 분할된 시간 기반 미디어 이벤트를 메타데이터와 이벤트를 정렬하기 위한 특징 벡터 표현으로 변환한다. 특징은 이미지 및 오디오 특성을 포함할 수 있고, 도메인마다 다양할 수 있다. 특정 유형은 스케일 변형 특징 변환(SIFT), 고속 강인 특징(SURF), 로컬 에너지 기반 형상 알고리즘(LESH), 컬러 막대그래프 및 구배 위치 배향 막대그래프(GLOH)를 포함할 수 있지만, 이들에 한정되는 것은 아니다.
메타데이터 정렬 엔진(230)은 비디오 이벤트 세그먼트를 이벤트가 관련되는 이벤트 또는 토픽에 관한 어의적으로 의미 있는 정보와 정렬하고, 이와 같이 하기 위한 하나의 수단이다. 메타데이터 정렬 엔진(230)은 이벤트 메타데이터 저장부(273)로부터 메타데이터 인스턴스를 사용한다. 메타데이터 인스턴스는 단일 이벤트를 위한 메타데이터, 즉 단일편의 메타데이터이다. 주석 엔진(235)은 세그먼트에 메타데이터로 주석 달리고, 이와 같이 하기 위한 하나의 수단이다. 메타데이터 인스턴스는 예를 들어 이미지 특징 또는 콘텐트 특징과 같은 저레벨 콘텐트 특징의 자동 주석, 텍스트 설명을 갖는 수기 주석 또는 양자 모두를 포함할 수 있다. 메타데이터는 이벤트의 예로부터 추출된 시간 기반 미디어 이벤트 및/또는 특징 벡터 표현의 텍스트 설명으로서 표현될 수 있다. 주석은 주석 달린 이벤트 저장부(290)에 저장된다.
비교 특징 추출 엔진(240)은 주석 달린 이벤트 및 대응 소셜 미디어 콘텐트 아이템을 특징 벡터 표현으로 변환하고, 이와 같이 하기 위한 하나의 수단이다. 비교 특징 추출 엔진(240)에 의해 추출된 3개의 주요 유형의 특징은 콘텐트 특징, 지오-시간적(geo-temporal) 특징 및 저자 특징이다. 미디어/이벤트 정렬 엔진(245)은 추출된 특징(620)을 사용하여 소셜 미디어 콘텐트 아이템(610) 및 주석 달린 이벤트(530)를 정렬하고, 이와 같이 하기 위한 하나의 수단이다. 미디어/이벤트 정렬 엔진(245)은 주석 달린 이벤트/소셜 미디어 맵핑 및 관련 신뢰도 점수를 맵핑 저장부(275)에 출력한다.
이하는 시간 기반 미디어와 관련될 수 있는 미디어 유형의 비포괄적인 리스트이다: 이벤트 또는 토픽의 해설자 또는 참가자의 오디오(예를 들어, TV 또는 라디오의 아나운서) 및 그 텍스트 사본(수동으로 또는 자동으로 생성된), 이벤트 관련 메타데이터(예를 들어, 레시피, 명령, 대본 등), 통계 데이터(예를 들어, 스포츠 통계 또는 재정 데이터 스트림), 뉴스 기사, 소셜 미디어 콘텐트 아이템 및 미디어 사용 통계(예를 들어, 시청, 되감기, 일시 정지 등과 같은 사용자 거동). 소셜 미디어 콘텐트 아이템은 소셜 미디어 콘텐트 저장부(260) 내에 저장된 다양한 소셜 미디어 및 메인스트림 뉴스 소스로부터 포스트, 비디오, 사진, 링크, 상태 업데이트, 블로그 엔트리, 트위트 등과 같은 소셜 미디어 콘텐트 아이템으로부터 긴 형태 및 짧은 형태를 포함한다. 일반적으로, 소셜 네트워크는 이들의 사용자가 이들의 네트워크의 다른 멤버에 텍스트 기반 콘텐트 아이템을 출판할 수 있게 하고, 이 콘텐트 아이템은 개방 애플리케이션 프로그램 인터페이스를 통해 대중에 의해 개방되어 시청 가능할 수 있다.
통상적으로 소셜 미디어 콘텐트 아이템은 2개의 종류, 정적 텍스트 기반 미디어 및 동적 텍스트 기반 미디어를 갖는다. 정적 텍스트 기반 미디어는 인터넷 상에 큰 분류의 정보를 설명한다(예를 들어, 블로그, 뉴스 기사, 웹페이지 등). 이 정보는 일단 포스팅되면 단지 최소로 변경되고(즉, 비교적 정적이고) 전적으로 단어로 구성된다(즉, 텍스트 기반임). 동적 텍스트 기반 미디어는 종종 이들의 저자의 상태 및 의견을 설명하는 소셜 네트워크 웹사이트로의 짧은 빈번하게 업데이트된 사용자 포스트로 구성된 "데이터 피드"의 임의의 세트를 참조한다.
몇몇 도메인에서, 사용 통계는 단독으로 또는 멀티미디어 저장부(270) 내의 시간 기반 미디어로부터 생성되어 수집될 수 있고, 사용 스탯 저장부(265)에 저장될 수 있다. 사용 통계는 예를 들어 뷰의 수, 뷰의 길이, 일시 정지의 수, 일시 정지가 발생하는 시간 코드 등과 같은 멀티미디어 데이터가 어떻게 소비되었는지에 관한 정보를 포함할 수 있다. 통계는 사용자 유형, 위치, 사용 유형, 미디어 유형 등에 의해서와 같이 상이한 모집단에 대해 수집될 수 있다. 통계는 평균, 모드, 중점, 분산, 비율, 속도, 모집단 측정 등을 표현할 수 있다.
소셜 관심 추정기(250)는 소셜 관심 점수를 사용하여 주어진 미디어 이벤트의 소셜 관심을 추정하기 위해 주석 달린 이벤트 저장부(290) 및 맵핑 저장부(275)로부터 정보를 수집하고, 이와 같이 하기 위한 하나의 수단이다. 소셜 관심 저장부는 모든(또는 선택된) 주석 달린 이벤트를 통해 사이클링함으로써, 그리고 각각의 이벤트에 대해 소정의 임계값을 초과하는 각각의 소셜 미디어 콘텐트 아이템을 위한 신뢰도 점수의 가중된 합을 취함으로써 소셜 관심 추정기(250)에 의해 추정된다. 결과적인 소셜 관심 점수는 소셜 관심 저장부(285)에 저장된다.
사용자 인터페이스 엔진(255)은 예를 들어 도 8a 내지 도 13d에 도시된 바와 같이 소셜 관심 히트 맵을 묘사하기 위해 사용자 인터페이스 상의 표시를 위한 포맷으로 소셜 관심을 변환하고, 이와 같이 하기 위한 하나의 수단이다. 사용자 인터페이스 엔진(255)은 클라이언트 디바이스(150)가 사용자 인터페이스와 상호 작용하여 소셜 관심 저장부를 제공할 수 있게 한다.
사용자 인터페이스 엔진(255)은 3개의 주요 영역, (1) 일련의 연대적인 시간 세그먼트에 대응하는 복수의 이벤트에 대한 소셜 관심의 레벨을 나타내는 소셜 관심 히트 맵을 표시하기 위한 소셜 관심 히트 맵 영역, (2) 소셜 관심 히트 맵으로부터 선택된 이벤트를 표시하기 위해 소셜 관심 히트 맵 영역으로부터 시각적으로 구별되고 그와 동시에 표시되는 미디어 디스플레이 영역, 및 (3) 선택된 이벤트를 위한 소셜 미디어 콘텐트 아이템을 표시하기 위해 소셜 관심 히트 맵 및 미디어 표시 영역으로부터 시각적으로 구별되고 그와 동시에 표시되는 소셜 미디어 표시 영역을 사용자 인터페이스 디스플레이에 제공한다.
상이한 이벤트 유형 각각이 예를 들어 브로드캐스트 텔레비전 상의 풋볼 게임을 위해 소셜 관심 히트 맵 영역 내에서 시각적으로 구분되도록 상이한 이벤트 유형이 표시될 수 있어, 일 방식으로(예를 들어, 제 1 컬러) 게임의 플레이에 대응하는 이벤트 및 다른 방식으로(예를 들어, 제 2 컬러) 게임의 플레이들 사이의 광고에 대응하는 이벤트를 나타낸다.
게다가, 사용자 인터페이스 엔진(255)은 사용자 인터페이스를 위한 부가적인 기능성을 제공할 수 있다. 예를 들어, 키워드 또는 검색 용어에 따라 시간 세그먼트를 필터링하기 위한 사용자 인터페이스 필드가 있고, 소셜 관심 히트 맵 영역은 이어서 단지 검색 용어에 일치하는 시간 세그먼트의 서브세트만을 표시한다. 도 11a, 도면 부호 1105를 참조하라. 다른 예에서, 사용자 인터페이스는 각각의 이벤트 세그먼트를 위한 수집된 콘텐트 아이템 중에 포지티브 및 네거티브 감성의 개별적인 표시를 허용할 수 있다. 세그먼트의 제 1 부분은 포지티브 감성에 대응할 수 있고, 세그먼트의 제 2 부분은 네거티브 감성에 대응할 수 있고, 양 세그먼트는 이들이 서로로부터 시각적으로 구별되도록 표시될 수 있다. 도 10a, 도면 부호 1010, 1012를 참조하라. 몇몇 실시예에서, 세그먼트의 부가적인 부분은 중립 또는 불확실한 감성에 대응할 수 있다. 도메인 온톨로지 엔진(205)은 사용자 인터페이스를 위한 필터링 양태를 제공할 수 있고, 소셜 관심 추정기(250)는 감성 분석을 제공할 수 있다.
시간 기반 미디어로의 소셜 미디어 콘텐트 아이템의 맵핑
도 3은 일 실시예에 따른 고레벨에서 비디오/메타데이터 정렬/주석(320) 및 소셜 미디어/이벤트 정렬(330) 프로세스를 도시하는 개념 다이어그램이다. 입력으로서 메타데이터 인스턴스(307) 및 시간 기반 미디어(301) 내의 이벤트에서 시작하여, 주석 달린 이벤트(309)가 형성된다. 도시된 바와 같이, 시간 기반 미디어(TBM)(301)는 본 명세서에 설명된 바와 같이 시간 기반 미디어 내의 이벤트를 포함하는 다수의 세그먼트(seg. 1-M)(303)를 포함한다. 비디오/메타데이터 정렬/주석(320) 프로세스는 하나 이상의 메타데이터 인스턴스(1-N)(307)를 이벤트와 정렬하여 도 5와 관련하여 더 설명되는 바와 같이 주석 달린 이벤트(309)를 형성한다. 소셜 미디어/이벤트 정렬(330) 프로세스는 도 6과 관련하여 더 설명되는 바와 같이, 비디오/메타데이터 정렬/주석(320)으로부터의 주석 달린 이벤트(309)를 하나 이상의 소셜 미디어 콘텐트 아이템(A-O)(311)에 정렬하거나 "맵핑"한다. 양 프로세스(320, 330)에서, 다양한 정렬은 1 대 1, 다수 대 1 및/또는 다수 대 다수이다. 따라서, 소정의 소셜 미디어 콘텐트 아이템(311)은 다수의 상이한 주석 달린 이벤트(309)에 맵핑될 수 있고, 주석 달린 이벤트(309)는 다수의 상이한 소셜 미디어 콘텐트 아이템(311)에 맵핑될 수 있다. 일단 이와 같이 맵핑되면, 콘텐트 아이템과 이벤트 사이의 관계가 이하에 더 설명되는 바와 같이 소셜 관심을 추정하도록 정량화될 수 있다.
도 3a는 소셜 미디어 콘텐트 아이템(및 그 내부의 이벤트의 참조)을 시간 기반 미디어 이벤트와 정렬하기 위한 방법 및 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하는 관련 방법의 일 실시예를 도시하는 흐름도이다.
일반적으로, 소셜 미디어 콘텐트 아이템은 시간 기반 미디어 이벤트와 정렬하기 위한 후보자이고, 신뢰도 점수는 콘텐트 아이템이 이벤트에 관련되는 가능성을 각각 지시하기 위해 결정된다. 신뢰도 점수에 기초하여, 콘텐트 아이템은 이벤트와 정렬될 수 있고, 정렬은 데이터 저장부에 수집된다. 신뢰도 점수는 수집 점수를 생성하기 위해 수집되고, 이벤트의 소셜 관심의 레벨이 수집 점수에 기초하여 설정된다.
방법의 예비 단계로서, 데이터의 다수의 스트림은 프로세싱을 위해 소셜 관심 정보 공급자(130)에서 수집된다(130). 데이터는 콘텐트 공급자로부터 직접 또는 소셜 미디어 소스(110) 또는 시간 기반 미디어 소스(120)를 경유하여, 예를 들어 브로드캐스트 텔레비전 피드로부터, 콘텐트 생성자로부터 직접 및/또는 다른 제 3 자로부터 소셜 관심 정보 공급자(130)에서 수신될 수 있다. 일 실시예에서, 웹 서버(200)는 데이터를 수집하기 위한(300) 하나의 수단이다. 데이터의 유형은 전술된 것과 같은 시간 기반 미디어, 클로즈드 캡셔닝 데이터, 통계, 소셜 미디어 포스트, 메인스트림 뉴스 미디어 및 사용 통계를 포함할 수 있지만, 이들에 한정되는 것은 아니다.
수집 데이터는 도 3a의 방법의 주 프로세스(각각 굵은 글씨체로 도시되어 있음)를 위한 입력 데이터 소스로서 기능하는 하나 이상의 데이터 유형에 특정한 데이터 저장부에 저장된다. 예를 들어, 시간 기반 미디어 데이터는 멀티미디어 저장부(270)에 저장된다. 멀티미디어 저장부(270) 내의 시간 기반 미디어는 도 3 내지 도 7에 도시된 방법 내에 사용되기 전에 부가적인 프로세싱을 경험할 수 있다. 예를 들어, 클로즈드 캡셔닝 데이터는 예를 들어 클로즈드 캡셔닝 추출기(215)에 의해 시간 기반 미디어로부터 추출되거나 생성될 수 있다(305). 게다가, 몇몇 도메인에서, 사용 통계는 단독으로 수집되거나 또는 멀티미디어 저장부(270) 내의 시간 기반 미디어로부터 생성될 수 있고, 사용 스탯 저장부(265)에 저장될 수 있다. 게다가, 멀티미디어와 관련된 이벤트 메타데이터는 이벤트 메타데이터 저장부(273)에 저장되고, 본 명세서에 설명된 바와 같은 소셜 미디어 콘텐트 아이템은 소셜 미디어 콘텐트 저장부(260)에 저장되고, 소셜 미디어 콘텐트 아이템의 저자에 대한 정보는 소셜 미디어 저자 저장부(263)에 저장되고, 예를 들어 상이한 미디어 유형에 특정한 어휘를 지시하는 도메인 온톨로지는 도메인 온톨로지(257)에 저장된다.
전술된 수집의 결과로서, 멀티미디어 저장부(270)는 다양한 형태의 시간 기반 미디어를 포함한다. 시간 기반 미디어는 도 2와 관련하여 설명된 바와 같이 다양한 유형을 가질 수 있다.
도 3a에 도시된 바와 같이, 도시된 실시예에 따른 방법에 수반된 3개의 주요 프로세스, 즉 비디오 이벤트 분할(310), 비디오 메타데이터 정렬(320) 및 소셜 미디어/이벤트 정렬/맵핑(330)이 존재한다. 게다가, 선택적 프로세스인 소셜 관심 추정(340)이 방법에 포함될 수 있다. 이들 프로세스(310 내지 340)의 각각이 이하에 설명된다.
비디오 이벤트 분할
제 1 프로세스는 시간 기반 미디어가 비디오 내에 묘사된 개별 이벤트에 대응하는 어의적으로 의미 있는 세그먼트로 분할되는 비디오 이벤트 분할(310)이다. 비디오 이벤트 분할(310) 프로세스로의 입력은 일 실시예에 따른 멀티미디어 저장부(270)로부터 검색되는 원시 비디오(및/또는 오디오) 스트림이고, 예를 들어 이 기능을 수행하기 위한 하나의 수단인 이벤트 분할 엔진(220)에 의해 수행될 수 있다.
비디오 이벤트 분할(310) 프로세스는 예를 들어 스포츠 이벤트의 비디오에서 소정 정도로 도메인 의존성이 있고, 이벤트 세그먼트는 개별 플레이와 동일시될 수 있고, 브로드캐스트 텔레비전에서 이벤트 세그먼트는 개별 장면 및 광고와 동일시될 수 있다. 따라서, 이벤트 유형 및 세그먼트 크기는 도메인 유형 및 몇몇 미디어에 대해 예를 들어 매우 짧은 비디오 클립과 같은 짧은 포맷 미디어에 기초하여 다양할 수 있고, 전체 클립은 하나의 세그먼트로서 처리된다. 이들 시스템은 어느 도메인에 비디오가 속하는지에 대한 정보를 갖고 사전 구성될 수 있다. 이 구성은 사례별 기초(case by case basis)로 또는 비디오의 소스 및 일시에 기초하여 프리로딩된 스케쥴에 기초하여 구현될 수 있다(예를 들어, 브로드캐스트 텔레비전 쇼의 프로그래밍 가이드를 사용하여).
분할은 인간 주석, 공지의 자동화 방법 또는 자동화 세그먼트 경계가 다양한 실시예에 따라 인간 주석자에 의해 보정되는 하이브리드 인간/자동 접근법을 경유하여 성취될 수 있다. 일 자동화 방법은 플레이쉬만 엠(Fleischman, M.) 및 로이 디(Roy, D.)의 스포츠 비디오 검색의 비지도된 콘텐트 기반 인덱싱(Unsupervised Content-Based Indexing of Sports Video Retrieval), 9th ACM Workshop on Multimedia Information Retrieval(MIR), 독일 아우스부르크(2007년 9월).
비디오 이벤트 분할(310) 프로세스는 일 실시예에 따르면 3개의 주요 구성 요소, 즉 샷 경계 검출, 이벤트 검출 및 경계 결정을 포함한다. 이들 구성 요소는 도메인마다 다양할 수 있다. 예를 들어, 스포츠 이벤트에 대해 부가적인 구성 요소가 장면 분류(예를 들어, 필드 또는 플레잉 필드 식별)에 대응할 수 있다.
비디오 이벤트 분할(310)의 출력은 비디오 이벤트 저장부(280)에 저장된 분할된 비디오 이벤트의 세트이다. 비디오 이벤트 분할(310)은 도 4와 관련하여 더 상세히 설명된다.
메타데이터 정렬/주석
다음 프로세스는 비디오 이벤트 분할(310)로부터의 세그먼트가, 세그먼트가 관련되거나 묘사되는 이벤트에 관한 어의적으로 의미 있는 정보를 갖고 주석 달려지는 메타데이터 정렬/주석(320)이다. 메타데이터 정렬/주석(320)으로의 입력은 비디오 이벤트 저장부(280)로부터 검색된 비디오 이벤트 및 이벤트 메타데이터 저장부(273)로부터의 메타데이터이다. 이러한 메타데이터는 발생하는 이벤트의 유형, 이벤트에 수반된 에이전트, 이벤트의 위치, 이벤트의 시간, 이벤트의 결과/원인 등을 포함할 수 있지만, 이들에 한정되는 것은 아니다.
이벤트 분할(310)에서와 같이, 메타데이터 정렬/주석(320) 프로세스는 도메인 의존성이 있다. 예를 들어, 미국 풋볼에서, 이벤트에 대한 메타데이터는 "패서: 톰 브래디, 결과: 터치다운, 리시버: 랜디 모스"와 같은 정보를 포함할 수 있고, 텔레비전 시리즈의 이벤트에 대한 메타데이터는 "에이전트: 잭 바우어, 위치: 백악관, 시간: 3:15 pm"과 같은 정보를 포함할 수 있고, 광고에 대해 메타데이터는 "브랜드: 월마트, 장면: 광대처럼 옷을 입은 아빠, 분위기: 희극적"과 같은 정보를 포함할 수 있다. 이들 예에 예시된 바와 같이, 메타데이터는 <명칭, 값> 쌍의 튜플로서 구조화될 수 있다.
메타데이터는 텍스트 및 특정 도메인에 대해 저레벨 이미지 및 오디오 특성을 포함한다. 메타데이터는 인간 주석(예를 들어, 이벤트 또는 그 샘플을 시청하는 인간 주석자를 경유하여)을 사용하여 생성될 수 있고, 특정 도메인에서 정렬 프로세스에 사용을 위한 자동 주석으로 보충될 수 있다(예를 들어, 더 낮은 레벨 이미지 및 각각의 샷의 수 및 길이, 각각의 샷의 평균 컬러 막대그래프, 관련 오디오의 파워 레벨 등과 같은 이벤트의 오디오 특성을 서술함). 주석은 주석 달린 이벤트 저장부(290)에 저장된다.
메타데이터 정렬/주석(320)은 일 실시예에 따르면 2개의 단계, 이벤트 특징 추출 및 비디오 메타데이터 정렬을 포함한다. 메타데이터 정렬/주석(320)은 도 5와 관련하여 더 상세히 설명된다.
다른 실시예에 따르면, 데이터 수집(300), 비디오 이벤트 분할(310) 및 비디오 메타데이터 정렬(320)은 예를 들어 콘텐트를 다른 사람에게 고개하기를 원하지 않는 콘텐트 공급자 또는 소유자와 같은 개별 엔티티에 의해 수행될 수 있다. 이 실시예에서, 소셜 관심 정보 공급자(130)는 본 명세서에 설명된 소프트웨어 모듈 및 엔진을 포함하는 소프트웨어를 개별 엔티티에 제공하여 이들이 원시 시간 기반 미디어 상에서 이들 프로세스를 수행할 수 있게 할 것이다. 개별 엔티티는 이어서 소셜 미디어/이벤트 정렬(330) 및 소셜 관심 추정(340) 프로세스로의 추출된 특징 및 다른 입력을 소셜 관심 정보 공급자(130)에 제공할 수 있고, 이는 이어서 이들 프로세스에서 소셜 관심 정보 공급자(130)에 의해 사용될 수 있다. 이들 데이터 교환은 소셜 관심 정보 공급자(130)에 의해 제공되고 예를 들어 웹 서버(200)를 경유하여 개별 엔티티에 노출된 애플리케이션 프로그래밍 인터페이스(API)를 경유하여 발생할 수 있다. 소셜 관심 정보 공급자(130)는 이어서 소셜 관심 정보를 컴퓨팅하고 예를 들어 도 8a 내지 도 13d에 도시된 인터페이스를 사용하여 데이터 또는 표시된 정보로서 엔티티에 이를 재차 제공할 수 있다.
소셜 미디어/이벤트 정렬
다음 단계는 이벤트를 참조하는 소셜 미디어 콘텐트 아이템과 주석 달린 시간 기반 미디어 이벤트 세그먼트를 통합하는 것이다. 일 실시예에 따른 소셜 미디어/이벤트 정렬(330)로의 입력은 주석 달린 이벤트 저장부(290)로부터 검색된 주석 달린 이벤트, 소셜 미디어 콘텐트 저장부(260)로부터 검색된 소셜 미디어 콘텐트 아이템, 도메인 온톨로지(27)로부터 검색된 도메인 온톨로지 및 선택적으로 소셜 미디어 저자 저장부(263)로부터 검색된 소셜 미디어 콘텐트 아이템 저자에 대한 저자 정보이다.
불행하게도, 소셜 미디어 콘텐트 아이템은 종종 이들이 이벤트를 참조하는지 여부에 대해 전혀 모호하고, 만일 그러하면 어느 이벤트를 참조하는지에 대해 모호하다. 예를 들어, 단일 단어 포스트 "터치다운!"과 같은 간단한 소셜 미디어 콘텐트 아이템은 풋볼 게임의 이벤트를 칭할 수 있고, 또는 풋볼과 관련되지 않은 영역에서 성공을 위한 은유로서 사용될 수 있다. 이러한 모호성을 다루기 위해, 소셜 미디어/이벤트 정렬(330)은 소정의 소셜 미디어 콘텐트 아이템이 특정 이벤트를 참조하는 신뢰도 점수를 결정한다. 방법은 단일 소셜 미디어 콘텐트 아이템 및 단일 주석 달린 이벤트를 입력으로서 취하고, 소셜 미디어 콘텐트 아이템이 이벤트에 관련되는 신뢰도(즉, 가능성, 확률)를 표현하는 점수를 출력한다. 소셜 미디어 콘텐트 아이템은 이벤트를 참조함으로써 이벤트에 관련될 수 있다. 소셜 미디어/이벤트 정렬(330) 기능은 개별 소셜 미디어 콘텐트 아이템 및 주석 달린 이벤트의 특징에서 동작하고, 지도된 학습 방법을 사용하여 훈련되거나 수동으로 최적화될 수 있다. 미디어/이벤트 정렬 엔진(245)은 이 기능을 수행하기 위한 하나의 수단이다.
소셜 미디어/이벤트 정렬(330)의 출력은 주석 달린 이벤트와 소셜 미디어 콘텐트 아이템(및/또는 그 내부의 이벤트의 참조)과 관련된 신뢰도 점수 사이의 맵핑이다. 맵핑 및 신뢰도 점수는 맵핑 저장부(275)에 저장된다. 소셜 미디어/이벤트 정렬(330) 프로세스는 도 6과 관련하여 더 상세히 설명된다.
소셜 미디어/이벤트 정렬(330)에 의해 출력된 맵핑은, 이들이 시간 기반 미디어에 대한 검색 결과의 랭킹, 시간 기반 미디어에 대한 자동 추천, 미디어 구매/계획 및 이하에 더 설명되는 바와 같이 소셜 관심의 추정과 같은 다수의 용례를 위한 기초로서 사용될 수 있기 때문에 그 자체로 유용하다.
소셜 관심 추정
소셜 미디어/이벤트 맵핑의 사용 중 하나는 다양한 이벤트의 소셜 관심의 추정이다. 이벤트의 소셜 관심은 도 3a와 관련하여 설명된 프로세스로부터 수비된 정보를 수집함으로써 추정될 수 있다. 소셜 관심 추정(340)으로의 입력은 주석 달린 이벤트 저장부(290)로부터 검색된 주석 달린 이벤트 및 맵핑 저장부(275)로부터 검색된 주석 달린 이벤트 소셜 미디어 맵핑이다. 게다가, 소셜 미디어 콘텐트 저장부(260) 및 소셜 미디어 저자 저장부(263)로부터의 입력은 가중 프로세스의 부분으로서 사용될 수 있다. 소셜 관심 추정기(250)는 이 기능을 수행하기 위한 하나의 수단이다.
소셜 관심 추정기(340)는 이벤트와 관련된 모든 소셜 미디어 콘텐트 아이템을 통해 사이클링함으로써[맵핑 저장부(275)에서 주석 달린 이벤트/소셜 미디어 맵핑(630)(도 6)의 존재에 의해 지시된 바와 같이] 그리고 각각의 소셜 미디어 콘텐트 아이템에 대한 신뢰도 점수의 가중된 합을 취함으로써 주석 달린 이벤트에 대해 성취된다. 일 실시예에서, 신뢰도 점수의 가중된 합은 임계값을 초과하는 소셜 미디어 콘텐트 아이템에 대해 취해진다. 다른 실시예에서, 가중치가 점수에 적용되고 이어서 합에 가산되는 (점수, 가중치)의 "슬라이딩 스케일"을 갖는 기능 또는 어떠한 임계값도 사용되지 않는다. 이 가중의 효과는 더 많은 소셜 미디어 콘텐트 아이템(및 그 내부의 이벤트로의 참조)과 관련된 이벤트가 더 높은 추정된 소셜 관심과 상관하는 것이다. 게다가, 이벤트 내의 소셜 관심은, 도 7의 가중 기능(710)과 관련하여 더 설명되는 바와 같이, 이를 참조하는 소셜 미디어 콘텐트 아이템의 소스, 저자 및/또는 감성에 종종 의존한다.
소셜 관심 추정(340)의 출력은 소셜 관심 저장부(285)에 저자오딘 소셜 관심 저장부이다. 소셜 관심 추정(340)은 도 7과 관련하여 더 상세히 설명된다. 게다가, 소셜 관심 추정(340) 결과는 도 8a 내지 도 13d와 관련하여 설명된 바와 같이, 예를 들어 사용자 인터페이스 엔진(255)을 사용하여 소셜 관심 정보 디바이스(150)의 사용자에 표시될 수 있다.
소셜 관심 점수는 예를 들자면 데이터 분석, 미디어 계획, 시간 기반 미디어를 위한 검색 결과의 랭킹, 시간 기반 미디어를 위한 자동 추천, 사용자 인터페이스를 경유하는 직접 최종 사용자 데이터 네비게이션 및 미디어 구매/계획을 위한 청중 관심의 예측과 같은 다수의 용례에 대한 기초로서 사용될 수 있다.
이벤트 분할
도 4는 비디오 이벤트 분할 프로세스(310)의 일 실시예를 도시하는 흐름도이다. 도 3a에 설명된 바와 같이, 비디오 이벤트 분할(310)은 예를 들어 이 기능을 수행하기 위한 하나의 수단인 이벤트 분할 엔진(220)을 경유하여 개별 비디오 부분 또는 "이벤트"에 대응하는 어의적으로 의미 있는 세그먼트로 시간 기반 미디어를 분할한다.
비디오 이벤트 분할 프로세스(310)로의 입력은 멀티미디어 저장부(270)로부터 비디오 스트림(405)이다. 비디오 이벤트 분할(310)은 3개의 단계, 샷 경계 검출(410), 이벤트 검출(420) 및 이벤트 경계 결정(430)을 포함하고, 그 각각은 이하에 더 상세히 설명된다. 비디오 이벤트 분할(310)의 출력은 비디오 이벤트 저장부(280)에 저장되는 분할된 비디오 이벤트(435)이다.
샷 경계 검출
분할의 제 1 단계는 비디오 내의 개별 세그먼트(또는 "샷")를 위한 샷 경계 검출(410)이다. 샷 경계는 예를 들어 카메라 각도 또는 장면의 변화와 관련된 비디오 내의 비연속성의 점이다. 샷 경계는 인접한 비디오 프레임의 컬러 막대그래프를 비교하고 임계값을 이 차이에 적용함으로써 결정될 수 있다. 샷 경계는 인접한 프레임의 컬러 막대그래프 내의 차이가 이 임계값을 초과하는 경우마다 존재하도록 결정될 수 있다. 다수의 기술이 샷 경계 검출에 대해 당 기술 분야에 공지되어 있다. 일 예시적인 알고리즘은 타르디니(Tardini) 등의 스포츠 비디오의 자동 MPEG-7 주석을 위한 샷 검출 및 움직임 분석(Shot Detection and Motion Analysis for Automatic MPEG-7 Annotation of Sports Videos), 13th International Conference on Image Analysis and Processing(2005년 11월)에 설명되어 있다. 움직임 특징을 사용하는 것과 같은 샷 경계 검출(410)을 위한 다른 기술이 마찬가지로 사용될 수 있다. 다른 공지의 기술이 에이 제이콥스(A. Jacobs) 등의 인접한 프레임의 컬러, 에지 및 움직임 특징을 조합하는 자동 샷 경계 검출(Automatic shot boundary detection combining color, edge, and motion features of adjacent frames), Center for Computing Technologies, 독일 브레멘(2004년)에 설명되어 있다.
이벤트 검출
이벤트 검출(420)은 예를 들어 소정의 세그먼트에 대한 이미지, 오디오 및/또는 카메라 움직임에 대응하는 다양한 특징을 사용하여 (하나 이상의) 세그먼트의 스트림 내의 이벤트의 존재를 식별한다. 이러한 특징을 사용하는 분류기는 휘튼 아이(Witten, I.) 및 프랭크 이(Frank, E.)의 데이터 마이닝: 실용 기계 학습 도구 및 기술(Data Mining: Practical machine learning tools and techniques)(제 2 판), Morgan Kaufmann, 미국 캘리포니아주 샌프란시스코(2005년 6월)에 설명된 WEKA 기계 학습 패키지에 구현된 것들과 같은 기계 학습 기술을 사용하여 훈련되거나 수동으로 최적화될 수 있다. 이벤트 검출 프로세스(420) 상세는 도메인마다 다양할 수 있다.
이미지 특징은 비디오 내의 개별 프레임으로부터 생성된 특징이다. 이들은 이들 화소값에 기초하여 낮은 레벨 및 더 높은 레벨 특징을 포함한다. 이미지 특징은 컬러 분포, 텍스처 측정, 엔트로피, 움직임, 라인의 검출, 면의 검출, 전체 흑색 프레임의 존재, 그래픽 검출, 형상비 및 샷 경계를 포함하지만, 이들에 한정되는 것은 아니다.
음성 및 오디오 특징은 오디오 및 클로즈드 캡셔닝 스트림으로부터 추출된 정보를 설명한다. 오디오 특징은 음악의 존재, 갈채, 흥분한 음성, 정적, 음량 변화의 검출, 클로즈드 캡셔닝의 존재/부재 등에 기초한다. 일 실시예에 따르면, 이들 특징은 부스트된 결정 트리를 사용하여 검출된다. 분류는 오디오 스트림으로부터 추출된 중첩 프레임(예를 들어, 30 ms 중첩)의 시퀀스에서 동작한다. 각각의 프레임에 대해, 특징 벡터는 멜주파수 켑스트럼 계수(Mel-frequency cepstral coefficient: MFCC), 뿐만 아니라 에너지, 제로 크로싱의 수, 스펙트럼 엔트로피 및 상이한 주파수 대역 사이의 상대 파워를 사용하여 컴퓨팅된다. 분류기는 각각의 프레임에 적용되어 클래스 라벨의 시퀀스를 생성한다. 이들 라벨은 이어서 은닉 마르코프 모델(hidden Markov model)에 사용된 것들과 유사한 동적 프로그래밍 비용 최소화 알고리즘을 사용하여 평활화된다.
오디오 특징에 추가하여, 특징은 내레이터 및/또는 아나운서에 의해 발음된 단어 또는 구문으로부터 추출될 수 있다. 도메인 특정 온톨로지(257)로부터, 단어 및 구문의 사전 결정된 리스트가 선택되고, 음성 스트림이 이러한 용어의 발언을 위해 모니터링된다. 각각의 요소의 값이 리스트로부터의 특정 단어가 발언되는 회수를 표현하는 특징 벡터 표현이 생성된다. 특징 벡터 내의 이러한 용어의 존재는 단어의 사전 결정된 리스트와 관련된 이벤트의 발생과 상관한다. 예를 들어, 구문 "터치다운"의 발언은 스포츠 비디오의 터치다운의 발생과 상관된다.
이미지 및 오디오 특징과는 달리, 카메라 움직임 특징이 비디오에서 발생하는 동작에 대한 더 정확한 정보를 표현한다. 카메라는 관찰자의 초점에 대한 스탠드로서 작용한다. 동작이 비디오 내에서 발생함에 따라, 카메라는 이를 추종하도록 이동하는데, 이 카메라 움직임은 따라서 동작 자체를 반영하여 이벤트 식별을 위한 정보 특징을 제공한다. 샷 경계 검출과 같이, 비디오 내의 카메라의 움직임을 검출하기 위한 다양한 방법이 존재한다(즉, 좌측으로부터 우측으로 팬하고, 상하로 기울어지고, 줌인 줌아웃하는 양). 일 예시적인 시스템은 보우테미 피(Bouthemy, P.) 등의 샷 변화 검출 및 카메라 움직임 특징화를 위한 통합된 접근(A unified approach to shot change detection and camera motion characterization), IEEE Trans. on Circuits and Systems for Video Technology, 9(7)(1999년 10월)에 설명되어 있고, 이 시스템은 비디오 내의 모든 쌍의 순차적인 프레임에 적합하도록 2차원 선형 모형의 파라미터를 사용하여 카메라 움직임을 컴퓨팅한다. 일 실시예에 따르면, 15-상태 1차 은닉 마르코프 모델이 사용되고, 그래픽 모델링 툴키트로 구현되고, 이어서 보우테미의 출력은 클러스터링된 특성 카메라 움직임의 스트림(예를 들어, 약간 좌측으로 팬하는 동안 고속 주밍의 움직임과 함께 상태 12 클러스터) 내로 출력된다. 몇몇 도메인은 상이한 또는 부가적인 이벤트 식별 방법을 사용할 수 있다. 예를 들어, 미국 풋볼에서, 부가적인 팩터는 장면 분류일 수 있다. 장면 분류에서, 일단 샷 경계가 검출되면, 장면 분류기가 이 샷이 주로 특정 장면, 예를 들어 플레잉 필드에 포커싱되는지 여부를 판정하는데 사용된다. 개별 프레임(키 프레임이라 칭함)이 샷 경계 내로부터 선택되고 키 프레임의 컬러 분포, 엔트로피, 움직임 등을 설명하는 저레벨 특징의 벡터로서 표현된다. 샷은 대부분의 샘플링된 프레임이 이 장면으로서 분류되면 특정 장면인 것으로 결정된다.
이벤트 경계 결정
일단 비디오의 세그먼트가 이벤트의 발생을 포함하는 것으로 결정되면, 이 이벤트의 시작 및 종료가 결정되어야 한다(430). 몇몇 경우에, 410에서 결정된 샷 경계는 이벤트의 시작 및 종료의 추정이다. 추정은 비디오 세그먼트의 경계를 더 세밀화하기 위해 비디오 및 오디오 스트림의 부가적인 특징을 이용함으로써 마찬가지로 향상될 수 있다. 이벤트 경계 결정(430)은 수동으로 최적화될 수 있는 분류기를 사용하여 또는 지도된 학습 기술을 사용하여 수행될 수 있다. 분류기는 데이터의 특징 벡터 표현에 적용된 규칙의 세트에 기초하여 판정을 행할 수 있다. 비디오를 표현하는데 사용된 특징은 이전의 프로세스에서 사용된 것들과 중첩된다. 이벤트는 시작점 및 종료점(또는 오프셋)을 갖고, 이들 경계는 흑색 프레임의 존재/부재, 샷 경계, 형상비 변화 등에 기초하여 결정될 수 있고, 분할과 관련된 신뢰도 척도를 가질 수 있다. 이벤트 경계 결정(430)의 결과[비디오 이벤트 분할(410)의 종결]는 비디오 이벤트 저장부(280)에 저장된 분할된 비디오 이벤트(435)(의 세트)이다.
메타데이터 정렬/주석
도 5는 메타데이터 정렬/주석(320) 프로세스의 일 실시예를 도시하는 흐름도이다. 도 3a에 설명된 바와 같이, 메타데이터 정렬/주석(320) 프로세스는 비디오 이벤트 분할(310)로부터 세그먼트의 주석을 생성하고, 이 주석은 세그먼트가 관련하는 이벤트 또는 토픽에 관한 어의적으로 의미 있는 정보를 포함한다. 메타데이터 정렬/주석(320)은 2개의 단계, 이벤트 특징 추출(315) 및 비디오 메타데이터 정렬(520)을 포함한다.
비디오 특징 추출
메타데이터와 정렬될 임의의 소정의 비디오 이벤트에 대해, 제 1 단계는 특징 추출(315)을 경유하여 비디오 이벤트를 특징 벡터 표현으로 변환하는 것이다. 특징 추출 엔진(225)은 이 기능을 수행하기 위한 하나의 수단이다. 프로세스로의 입력은 비디오 이벤트 저장부(280)로부터 검색된 분할된 비디오 이벤트(435)이다. 비디오 특징 추출(315)로부터의 출력은 비디오 이벤트 특징 표현(510)이다. 특징은 비디오 이벤트에 대해 전술되고 이벤트 메타데이터 저장부(273)에 저장된 이미지/오디오 특성에 동일할 수 있고, 도메인마다 다양할 수 있다.
비디오 메타데이터 정렬
비디오 메타데이터 정렬(520)은 단일 이벤트에 대응하는 메타데이터로서 상기에 규정된 이벤트 및 메타데이터 인스턴스(505)의 특징 벡터 표현(510)을 입력으로서 취한다. 메타데이터 정렬 엔진(230)은 이 기능을 수행하기 위한 하나의 수단이다. 이는 이벤트 메타데이터 저장부(273) 내의 각각의 메타데이터 인스턴스(505)를 통해 사이클링하고, 특정 이벤트가 이벤트에 대한 특정 메타데이터 인스턴스에 의해 서술될 수 있는 가능성을 추정하기 위해 정렬 기능을 사용한다. 전술된 바와 같이, 메타데이터 인스턴스는 저레벨 콘텐트 특징의 자동 주석(예를 들어, 이미지 또는 오디오 특징), 텍스트 설명의 수기 주석 또는 양자 모두를 포함할 수 있다. 메타데이터가 저레벨 특징을 포함하는 도메인에 대해, 정렬 기능은 메타데이터 인스턴스(505)에 설명된 저레벨 특성에 이벤트의 특징 표현(510)을 비교하는 간단한 코사인 유사 함수일 수 있다. 메타데이터 인스턴스가 저레벨 특징의 자동 주석을 포함하지 않는 도메인에 대해, 비디오 메타데이터 정렬(520) 방법은 저레벨 특징과 서술 텍스트 사이의 관계를 인코딩하는 모델을 이용할 수 있다. 일 예시적인 모델은 플레이쉬만 엠(Fleischman, M.) 및 로이 디(Roy, D.)의 스포츠 비디오의 자동 음성 인식을 위한 기초 언어 모델링 (Grounded Language Modeling for Automatic Speech Recognition of Sports Video), Proceedings of the Association of Comutational Linguistics(ACL), 미국 오하이오주 콜럼버스, pp. 121-129(2008년 6월)에 설명되어 있다. 이 방법은 비디오로부터 추출된 시각적 및 텍스트 특징을 이벤트를 설명하는데 사용된 메타데이터 용어에 연결하는 기초 언어 모델을 사용한다. 이 예의 목적을 위해, 기초 언어 모델은 이벤트 분할에 대해 사용된 시각적 및 텍스트 특징에 기초하여 수동으로 추정될 수 있고, 그로부터 이하의 식은 임의의 특정 메타데이터 주석이 특정 비디오 이벤트를 설명하는 가능성을 설명한다.
Figure pat00001
기초 언어 모델은 발견된 각각의 비디오 이벤트가 각각의 인간 생성 메타데이터 주석과 관련되는 확률을 계산하는데 사용된다.
이벤트에 대응하는 이벤트 메타데이터 저장부(273) 내의 모든 메타데이터 인스턴스(505)가 검사되어 있을 때, 가능성 높음 정렬(most likely alignment)(525)(즉, 최고 확률 또는 점수를 갖는 정렬)이 임계값을 통과하면, 특징 표현(510)과 관련된 비디오 이벤트가 메타데이터 인스턴스(505)로 주석 달리고, 결과적인 주석 달린 이벤트(530)는 주석의 신뢰도를 서술하는 점수와 함께 주석 달린 이벤트 저장부(290)에 저장된다. 어떠한 이벤트도 임계값을 통과하지 않으면, 이벤트는 주석 달리지 않은 것으로서 마킹된다. 이 임계값을 설정하기 위해, 프로세스로부터의 결과의 세트는 2개의 카테고리, 정확한 결과 및 부정확한 결과로 수기 주석 달린다. 교차 유효화가 이어서 수동으로 주석 달린 결과 세트에 걸쳐 시스템의 정밀도/리콜을 최대화하는 임계값을 발견하는데 사용될 수 있다.
소셜 미디어/이벤트 정렬
도 6은 소셜 미디어/이벤트 정렬(330) 프로세스의 일 실시예를 도시하는 흐름도이다. 소셜 미디어/이벤트 정렬(330)은 주석 달린 시간 기반 미디어 이벤트 세그먼트를 소셜 미디어 콘텐트 아이템 및 그 내부의 이벤트로의 참조와 관련(맵핑)시킨다.
필터링
초기 및 선택적 단계로서, 소셜 미디어 필터링 단계(605)가 발생하고, 도메인 온톨로지(257)가 이 기능을 수행하기 위한 하나의 수단이다. 소셜 미디어 콘텐트 아이템은 이들이 특정 이벤트와 관련되는 높은 가능성을 갖는 후보자 콘텐트 아이템의 세트를 생성하기 위해 필터링된다. 콘텐트 아이템은 이벤트로의 참조를 포함함으로써 이벤트에 관련될 수 있다.
이 선택적 단계에서, 소셜 미디어 콘텐트 아이템이 비디오 이벤트와 통합되기 전에, 콘텐트 아이템의 후보자 세트가 예를 들어 특정 이벤트로의 적어도 하나의 참조를 포함함으로써 이들 포스트가 이벤트에 관련되는 가능성에 기초하여 컴파일링된다. 비교 특징 추출 엔진(240)이 이 기능을 수행하기 위한 하나의 수단이다. 가장 간단하게는, 콘텐트 아이템의 이 후보자 세트는 당해의 이벤트의 소정의 시간 프레임과 관련된 필터링(605)의 결과일 수 있다. 시간적 필터가 종종 너무 일반적인데, 이는 다수의 콘텐트 아이템이 단지 소정의 이벤트와 시간적으로 동시에 동시 발생하기 때문일 것이다. 게다가, 브로드캐스트 텔레비전에 대해, 예를 들어 디지털 비디오 레코더의 증가하는 사용은 이벤트에 대한 관련 시간 프레임을 상당히 확장한다.
부가적인 필터(605)가 온톨로지(257) 내의 이벤트 및/또는 도메인 특정 용어에 대해 메타데이터에 또한 나타나는 콘텐트 아이템의 텍스트 콘텐트(예를 들어, 실제 텍스트 또는 클로즈드 캡션 또는 오디오로부터 추출된 콘텐트)에 사용된 용어에 기초하여 적용된다. 예를 들어, "터치다운 브래디! 고 패트리어트 "의 소셜 네트워크 포스팅의 콘텐트 아이템은 이것이 플레이어 성명, 팀 명칭 및 플레이명의 사용에 기인하여 패트리어트 풋볼 게임의 이벤트를 참조하는 높은 확률을 갖고, 이 콘텐트 아이템은 이벤트와 관련될 것이다. 다른 예에서, "나는 월마트 광고를 좋아해"라는 포스트의 콘텐트 아이템은 상점명 및 용어 "광고"의 사용에 기인하여 월마트에 대한 광고 이벤트를 참조하는 높은 확률을 갖고, 따라서 마찬가지로 이 이벤트에 관련될 것이다. 이 유형의 필터링을 수행하기 위해, 용어는 이벤트의 메타데이터 뿐만 아니라 온톨로지(257)에 저장된 이들 도메인 특정 용어로부터 사용된다.
소셜 미디어 콘텐트 아이템은 이벤트로의 직접 텍스트 참조를 반드시 포함할 필요는 없이 이벤트에 관련될 수 있다. 다양한 정보 검색 및 평점 방법이 세트-이론(예를 들어, 불리언 검색), 대수(예를 들어, 벡터 공간 모델, 중립 네트워크, 잠재 의미 분석) 또는 확률 모델(예를 들어, 2진 의존성 또는 언어 모델) 등에 기초하여 관련성을 결정하기 위해 콘텐트 아이템에 적용될 수 있다.
특정의 이들 초기 필터, 예를 들어 시간적 또는 콘텐트 필터를 통과하지 않는 소셜 미디어 콘텐트 아이템은 추가의 프로세싱으로부터 제거되어, 이후의 단계에서 발생하는 맵핑의 수를 감소시킨다. 소셜 미디어 필터링(605)의 출력은 이 콘텐트 아이템이 시간적 또는 콘텐트 필터에 의해 필터링되는지 여부를 각각의 콘텐트 아이템에 대해 지시하는 업데이트된 소셜 미디어 콘텐트 저장부(260)이다. 부가적인 필터는 부가적인 도메인에 적용될 수 있다.
정렬/ 맵핑
소셜 미디어/주석 달린 이벤트 정렬(330)은 특징 추출 프로세스(620) 및 정렬 기능(625)을 포함한다. 특징 추출 프로세스(620)는 주석 달린 이벤트(530) 및 소셜 미디어 콘텐트 아이템(610)의 입력을 특징 벡터 표현으로 변환하고, 이는 이어서 정렬 기능(625)에 입력된다. 특징 추출 프로세스(620)는 또한 소셜 미디어 저자 저장부(263) 및 도메인 온톨로지(257)로부터 입력을 수신할 수 있다. 이 프로세스(620)에서 추출된 3개의 주요 유형의 특징은 콘텐트 특징(620c), 지오-시간적 특징(620b) 및 권한 특징(620a)이다. 비교 특징 추출 엔진(240)이 이 기능을 수행하기 위한 하나의 수단이고, 이는 이벤트 특징과 소셜 미디어 특징 사이의 관계를 식별한다. 관계는 동시 발생성, 상관성 또는 본 명세서에 설명된 바와 같은 다른 관계일 수 있다.
콘텐트 특징(620c)은 비디오 이벤트에 대한 메타데이터 및 소셜 미디어 콘텐트 아이템의 콘텐트 내의 동시 발생 정보, 예를 들어 비디오 이벤트에 대한 메타데이터 및 콘텐트 아이템의 모두에 존재하는 용어를 참조한다. 도메인 온톨로지(257)는 콘텐트 특징을 생성할 때 사용된 용어의 세트를 확장하는데 사용될 수 있다.
지오-시간적 특징(620b)은 입력 미디어가 이벤트에 대한 소셜 미디어 콘텐트 아이템과 관련된 위치로부터 생성되는 위치 및 시간의 차이를 참조한다. 이러한 정보는 이벤트로의 소셜 미디어의 관련이 종종 미디어가 생성되어 있는 이벤트(시간 및 공간)로부터 거리와 역으로 상관되기 때문에 유용하다. 달리 말하면, 이벤트와 관련하는 소셜 미디어는 종종 이벤트 중에 또는 이벤트 직후에 생성되고, 때때로 이벤트(예를 들어, 스포츠 이벤트)에 또는 이벤트 부근에서 사람에 의해 또는 그에 노출된다(예를 들어, 텔레비전 기반 이벤트에 대한 브로드캐스트 영역 내에).
비디오 이벤트에 대해, 지오-시간적 정보는 이벤트의 위치 및/또는 시간 구역 또는 이벤트의 브로드캐스트, 이것이 시작되는 시간, 이벤트의 시작이 결정되는 비디오 내의 오프셋, 이것이 브로드캐스트되는 채널에 기초하여 결정될 수 있다. 소셜 미디어에 대해, 지오-시간적 정보는 미디어 자체의 콘텐트의 부분(예를 들어, 블로그 엔트리 또는 상태 업데이트 상의 시간 스탬프) 또는 미디어 또는 그 저자의 메타데이터일 수 있다.
시간적 특징은 소셜 미디어 콘텐트 아이템이 이벤트 자체가 발생하는 시간으로부터 생성될 때의 사이의 시간의 차이를 설명한다. 일반적으로, 생성 시간의 더 작은 차이는 더 신뢰적인 정렬을 지시한다. 이러한 차이는 시간의 차이가 증가함에 따라 정렬의 확률이 감소하지만 특정 점에서 평탄해지도록 S자형 함수를 통해 통과될 수 있다. 이 함수의 파라미터는 주석 달린 검증 데이터 세트에 기초하여 조정될 수 있다. 공간 특징은 이벤트 또는 브로드캐스트의 지리학적 영역에 대한 콘텐트 아이템 위치의 저자로부터 거리를 설명한다. 공간 차이는 종종 이벤트 상의 사람의 코멘트가 이들의 위치로부터 멀리서 발생하기 때문에 덜 지시적이다. S자형 함수가 마찬가지로 이 관계를 모델링하는데 사용될 수 있지만, 파라미터는 상이한 유지 데이터에 기초하여 조정된다.
권한 특징(620a)은 소셜 미디어의 저자에 관련된 정보를 설명하고 소셜 미디어 콘텐트 아이템이 비디오 이벤트를 참조하는 신뢰도를 증가시키는 것을 돕는다. 임의의 모호한 포스트가 특정 이벤트를 참조할 확률은 저자가 유사한 유형의 이벤트(예를 들어, 사전 농구 게임에 대한 콘텐트를 포스팅하는 저자에 대한 농구 게임)에 대해 포스팅할 수 있는 사전 확률에 의존한다. 사전 확률은 저자의 자체 생성된 사용자 프로파일(예를 들어, 브랜드, 팀 등의 언급), 저자의 이전의 콘텐트 아이템(예를 들어, 유사한 또는 관련된 이벤트에 대한) 및 저자의 친구(예를 들어, 이들의 콘텐트 기고, 프로파일 등)를 포함하는 다수의 특징에 기초하여 근사화될 수 있다. 이들 사전 확률 특징은 맵핑 기능을 위한 특징으로서 사용될 수 있다.
정렬 기능(625)은 추출된 특징(620a 내지 620c)의 세트를 취하고 소셜 미디어 콘텐트 아이템이 비디오 콘텐트를 참조하는 신뢰도를 표현하는 맵핑(630) 및 신뢰도 점수(640)를 출력한다. 미디어/이벤트 정렬 엔진(245)은 이 기능을 수행하기 위한 하나의 수단이다. 각각의 특징 유형(620a 내지 620c)에 대해, 특징 특정 서브 기능은 소셜 미디어 콘텐트 아이템이 주석 달린 이벤트를 참조하는지 여부를 지시하는 점수를 생성한다. 각각의 서브 기능의 점수는 이 특정 특징 세트 내에서 추출된 정보에만 기초한다. 각각의 서브 기능에 대한 점수는 이어서 이벤트 x 및 소셜 미디어 콘텐트 아이템 y에 대해 이하에 나타낸 바와 같이, 맵핑(630) 및 관련된 신뢰도 점수(640)를 출력하기 위해 가중된 합을 사용하여 조합될 수 있다.
Figure pat00002
여기서, α, β 및 γ는 3개의 특징 유형에 적용된 각각의 가중치이고, align(feat(x,y))는 신뢰도 점수이다. 가중된 합, 뿐만 아니라 서브 기능 자체의 가중치의 모두는 지도된 학습 방법을 사용하여 훈련될 수 있고 또는 수동으로 최적화될 수 있다. 소셜 미디어/이벤트 정렬 기능(330)의 출력은 주석 달린 이벤트와 소셜 미디어 콘텐트 아이템 사이의 맵핑이다. 이 맵핑은 실제값 신뢰도 점수와 함께 맵핑 저장부(275)에 저장된다.
소셜 관심 추정
도 7은 소셜 관심 추정 프로세스(340)의 일 실시예를 도시하는 흐름도이다. 이벤트의 소셜 관심은 비디오 이벤트 분할(310), 비디오 메타데이터 정렬(320) 및 소셜 미디어/이벤트 정렬(330) 프로세스로부터 수집된 정보를 수집함으로서 추정될 수 있다. 소셜 관심 추정기(250)가 이 기능을 수행하기 위한 하나의 수단이다.
소셜 관심 추정 프로세스(340)로의 입력은 주석 달린 이벤트 저장부(290) 및 맵핑 저장부(275)로부터 검색된 주석 달린 이벤트/소셜 미디어 맵핑(620)으로부터 검색된 주석 달린 이벤트(530)를 포함한다. 게다가, 소셜 미디어 콘텐트 저장부(260) 및 소셜 미디어 저자 저장부(263)로부터의 데이터는 가중 기능(710)을 위해 사용될 수 있다.
각각의 미디어 유형에 대해, 소셜 관심이 각각의 소셜 미디어 콘텐트 아이템 내의 특정 이벤트의 참조의 가중된 카운트에 기초하여 추정된다. 이벤트에 관련하는 소셜 미디어 콘텐트 아이템은 관심을 지시하고, 이러한 콘텐트 아이템 및 그 내부의 이벤트로의 참조를 발견하고 수집함으로써, 수집된 콘텐트 아이템에 기초하여 이벤트의 소셜 관심의 레벨을 표현하는 소셜 관심 점수가 생성된다.
특정 이벤트에 대해, 소셜 관심 추정 프로세스(340)는 이벤트로의 적어도 하나의 참조를 포함하는 모든 소셜 미디어 콘텐트 아이템 상의 가중된 합의 연산을 포함한다. 이 이벤트를 참조하는 모든 소셜 미디어 콘텐트 아이템을 통해 사이클링함으로써 연산이 진행된다[소셜 미디어/주석 달린 이벤트 정렬(330) 프로세스에 결정된 바와 같이]. 이 이벤트에 정렬된 각각의 아이템에 대해, 이 이벤트를 위한 소셜 관심 점수는 콘텐트 아이템의 메타데이터에 기초하여 가중된 값만큼 증분된다. 따라서, 출력 소셜 관심 저장부(720)는 각각의 이벤트에 대해 신뢰도 점수(640)를 가로질러 수집된 수집 점수로 고려될 수 있다.
이들 가중치는 통상적으로 시스템의 구성에 따라 0 내지 1로 설정될 수 있다. 가중치는 증배적이고, 이하에 설명되는 다양한 팩터, 소셜 미디어 콘텐트 가중치(710a), 소스 기반 가중치(710b), 저자 기반 가중치(710c) 및/또는 이벤트 기반 가중치(710d)에 기초한다.
소셜 미디어 콘텐트 가중치(710a)는 예를 들어 이를 언급하는 미디어의 감성에 기초하여 소셜 관심 추정 프로세스(340)에 사용될 수 있다. 예를 들어, 점수는 관심이 이벤트를 향한 포지티브 감성을 설명하는 포스트에만 기초하여 연산되도록 가중될 수 있다(즉, 단지 이벤트를 향한 포지티브 감성을 표현하는 저자로부터의 포스트만이 가중된 합에 합체됨). 소셜 미디어 콘텐트 아이템에 표현된 감성은 다수의 기술을 사용하여 자동으로 식별될 수 있다. 예시적인 기술이 비. 팽(B. Pang) 및 엘. 리(L. Lee)의 의견 마이닝 및 감성 분석(Opinion Mining and Sentiment Analysis), Foundations and Trends in Information Retrieval 2(1-2), pp. 1-135(2008년)에 설명되어 있다.
소스 기반 가중치(710b)가 어떻게(예를 들어, 어떠한 형태로) 이벤트가 언급되는지에 기초하여 소셜 관심 추정 프로세스(340)에 사용될 수 있다. 몇몇 소스는 이들이 예를 들어 이들의 청중의 크기[예를 들어 미국 캘리포니아주 샌프란시스코 소재의 퀀트캐스트 코포레이션(QuantCast Corporation)에 의해 추정된 바와 같이] 또는 소스 사이트로의 인바운드 링크의 수에 의해 측정된 바와 같이 더 영향적인 것으로 결정되면 더 높은 가중치가 제공될 수 있다. 또한, 특정 소스가 사용자의 특정 커뮤니티에 대한 소셜 관심 점수를 생성하기 위해 더 높은 가중치가 제공될 수 있다. 예를 들어, 소셜 관심 점수는 이 특정 정치적 경향인 것으로 사전 결정되지 않은 소스를 갖는 모든 콘텐트 아이템의 0으로 가중치를 설정함으로써(예를 들어, 소스의 정치적 경향이 인간 숙련자 또는 훈련된 기계 분류기에 의해 결정되는 경우) 특정 정치적 경향(예를 들어, 공화당원 또는 자유당원)의 소스에 의해 생성된 소셜 미디어 콘텐트 아이템에만 기초하여 컴퓨팅될 수 있다.
저자 기반 가중치(710c)는 사용자의 특정 커뮤니티를 향해 소셜 관심 추정을 바이어스하기 위해 소셜 관심 추정 프로세스(340)에 사용될 수 있다. 예를 들어, 소셜 관심의 추정은 예를 들어 25세보다 나이가 많은 사람에 의해 생성된 포스트만이 0보다 큰 가중치가 제공되도록 포스트의 저자에 대해 인구학 정보에 기초하여 바이어스될 수 있다. 이러한 인구학 정보의 결정은 저자 자신에 의해, 숙련자 의견에 기초하는 특정 저자의 인간 주석에 의해 또는 인간 라벨링된 예 상에서 훈련된 기계 분리기에 의해 포스팅된 공개적으로 입수 가능한 데이터의 검사로부터 도래할 수 있다. 스포츠 환경에서, 소셜 관심의 추정은 이들의 기원의 위치에 기초하는 포스트(즉, 단지 홈팀의 도시 내의 저자로부터의 포스트만이 가중된 합에 합체됨) 또는 포스트의 이전의 이력(즉, 저자가 홈팀에 대한 포지티브 비평을 포스팅하는 이력을 가짐)을 필터링함으로써 홈팀의 팬만을 향해 가중될 수 있음.
이벤트 기반 가중치(710d)는 시간 기반 미디어 스트림 자체 내의 소셜 관심의 증거에 기초하여 소셜 관심 추정 프로세스(340)에 사용될 수 있다. 이러한 미디어의 예는 시리즈 텔레비전 쇼 및 브로드캐스트 스포츠 게임을 포함하지만, 이들에 한정되는 것은 아니다. 이러한 시간 기반 미디어에서, 소셜 관심을 추정하기 위해 유용한 정보를 제공하는 다수의 특징이 존재한다. 이것의 예는 시각 분석(예를 들어, 폭발과 같은 특정 이벤트의 관찰), 오디오 분석(예를 들어, 흥분된 음성과 같은 고에너지 소리 이벤트의 식별), 자연 언어 분석(예를 들어, "홈런"과 같은 주요 용어 및 구문의 식별) 및 비디오 이벤트 분석(예를 들어, 시리즈 텔레비전 쇼의 시작에서 또는 스포츠 이벤트에서 인스턴트 리플레이와 같은 스포츠 브로드캐스트에서 표시된 것과 같은 리플레이된 이벤트의 평가)을 포함하지만, 이들에 한정되는 것은 아니다. 이러한 이벤트 자체에 기초하는 가중치는 인간 라벨링된 예의 분석을 사용하여 사전 결정된다.
또한, 소셜 관심 점수는 사용 통계(265)에 저장된 바와 같이 시간 기반 미디어의 관찰자의 거동에 기초하여 가중될 수 있다. 이러한 사용자 거동은 이벤트의 제시 회수(예를 들어, 얼마나 자주 특정 이벤트가 리플레이되었는지) 및 미디어에 대한 사용자 콘텐트 아이템의 타이밍에 기초하여 통합된다. 다수의 사용자를 가로지르는 이들 거동의 분석은 예를 들어 미디어의 동일한 섹션이 일시 정지되고 다수회 리뷰될 때(다수의 사람들에 의해) 소셜 관심을 지시할 수 있다. 소셜 관심 추정 프로세스(340)를 위해 사용될 수 있는 사용 통계(265)로부터의 다른 기록 가능한 사용자 거동은 뷰 회수, 체류 시간, 광고에 대한 클릭 비율, 검색 쿼리, 공유 거동 등을 포함하지만, 이들에 한정되는 것은 아니다.
소셜 관심 추정 프로세스(340)의 출력은 소셜 관심 저장부(285)에 저장된 소셜 관심 점수(720)이다. 소셜 관심 점수(720)는 예를 들어 이 기능을 수행하기 위한 하나의 수단인 사용자 인터페이스 엔진(255)을 경유하여 본 명세서에 설명된 디스플레이에 설명된 바와 같이 사용자 인터페이스를 위한 정보를 제공하는데 사용될 수 있다.
소셜 미디어 콘텐트 아이템을 시간 기반 미디어 이벤트와 관련시키기 위한 그리고 결과적인 관련에 기초하여 이벤트의 소셜 관심을 결정하기 위한 방법을 더 예시하기 위해, 2개의 예가 미국 풋볼 및 광고의 도메인에서 이어진다.
예: 미국 풋볼
도 3a와 관련하여 설명된 바와 같이, 데이터의 다수의 스트림이 방법에서 예비 단계로서 수집된다. 풋볼 도메인에서, 도 3에 설명된 데이터에 추가하여, 데이터의 부가적인 소스는 풋볼 게임 내의 이벤트에 대한 상세한 메타데이터(이들 이벤트의 텍스트 설명을 갖는)를 포함하는 통계 피드로부터 도래한다. 통계 피드는 NFL의 게임 통계 및 정보 시스템 및 스탯츠, 인크(Stats, Inc)와 같은 사설 회사와 같은 다수의 소스로부터 입수 가능하다.
비디오 이벤트 분할
미국 풋볼을 위한 비디오 이벤트 분할(310) 프로세스에서, 시간 기반 미디어, 예를 들어 풋볼 게임에 대한 브로드캐스트 텔레비전 피드는 게임 내의 플레이(및 그 사이의 광고)를 포함하는 개별 "이벤트"에 대응하는 어의적으로 의미 있는 세그먼트로 분할된다.
풋볼 비디오의 분할 이벤트의 제 1 단계는 비디오의 샷 경계를 검출하는 것이다. 샷 경계는 종종 카메라 각도 또는 장면의 변화와 관련된 비연속성의 비디오의 점이다. 미국 풋볼의 도메인에서, 카메라 각도의 변화는 통상적으로 플레이의 변화를 지시한다.
풋볼 도메인에서, 이벤트 검출(420)은 먼저 풋볼 필드를 묘사하는 샷을 식별함으로써 동작할 수 있다. 일단 샷 경계가 검출되면, 이 샷이 주로 장면 분류기가 플레잉 필드에 포커싱되는지 여부를 판정하는데 사용된다. 필드 샷은 이어서 게임 이벤트(즉, 플레이)를 묘사하는 것으로서 더 분류될 수 있다. 풋볼 도메인에서, 이벤트 경계 결정(430) 중에 이벤트의 시작점 및 종료점(즉, 인/아웃 점)은 플레이의 더 적절한 시작점 및 정지점을 반영하도록 세밀화될 수 있다. 이러한 인/아웃 점은 클럭 특징화 및/또는 발언 분할에 기초하여 조정될 수 있다. 프로페셔널 풋볼 게임에서, 플레이의 시작 및 종료는 종종(항상은 아님) 플레이 클럭의 시작 또는 정지와 관련된다. 이 플레이 클럭은 종종 브로드캐스트 풋볼 게임 내의 그래픽 오버레이로서 표시된다. 이 플레이 클럭의 시작/정지는 시간 경과에 따라 비디오 내의 프레임 서브 영역(즉, 플레이 클럭 그래픽을 포함하는 영역)의 변화(화소의)의 양을 모니터링함으로써 결정될 수 있다. 이러한 서브 영역 내의 수집 변화가 1초 초과 동안 임계값 미만으로 저하될 때, 플레이 클럭의 상태는 "비활성"인 것으로 가정된다. 수집 변화가 임계값을 초과하여 진행하면, 플레이 클럭의 상태는 "활성"인 것으로 가정된다. 플레이 클럭의 상태의 변화는 이벤트가 비디오 내에서 시작되거나 종료되는 것의 강한 지시기이다.
미관적 판단이 플레이의 정밀한 시작점 및 종료점에 대해 경계를 결정할 때 종종 요구된다. 이러한 판단을 근사하는 것은 게임 아나운서의 음성의 발언 경계를 사용하여 성취될 수 있다. 이들 발언 경계는 비디오 내의 음성의 스트림의 일시 정지를 식별함으로써 검출될 수 있다. 일시 정지는 Sphinx 3에서 발견되는 것과 같은 오디오 프로세싱 소프트웨어를 사용하여 식별될 수 있다.
따라서, 브로드캐스트 텔레비전 상의 미국 풋볼 게임에 대한 비디오 이벤트 분할(310)의 출력은 게임 내의 플레이에 대응하는 분할된 비디오 이벤트의 세트이다.
비디오 메타데이터 정렬/주석
미국 풋볼 내의 메타데이터 정렬/주석(320)의 프로세스는 게임 내의 플레이에 기초하여 이벤트로 분할된 비디오 스트림 상에서 동작한다. 이들 이벤트는 표시된 이벤트의 유형(예를 들어, "터치다운"), 이들 이벤트의 주요 플레이어(예를 들어, "톰 브래디"), 이들 플레이어의 역할(예를 들어, "패서") 및 이벤트의 상세(예를 들어, "획득한 야드의 수")에 관련하는 메타데이터로 주석 달린다. 이 메타데이터는 인간 숙련자에 의해 수동으로, 기계 알고리즘에 의해 완전히 자동으로, 또는 인간 기계 하이브리드 접근법을 사용하여 반자동으로 추가될 수 있다. 메타데이터는 이벤트 메타데이터 저장부(273)에 저장된다.
메타데이터와 정렬될 각각의 이벤트(즉, 플레이)에 대해, 플레이는 특징 추출(315)을 경유하여 특징 벡터 표현으로 변환된다. 비디오 메타데이터 정렬(520)은 이어서 단일 플레이 및 메타데이터 인스턴스(505)의 특징 벡터 표현(510)을 입력으로서 취한다. 이는 이벤트 메타데이터 저장부(273) 내의 각각의 메타데이터 인스턴스(505)를 통해 사이클링되고, 특정 플레이가 예를 들어 확률 모델을 사용하여 특정 메타데이터 인스턴스에 의해 설명될 수 있는 가능성을 추정한다. 일 예시적인 모델은 전술된 기초 언어 모델이다.
소셜 미디어/주석 달린 이벤트 정렬
소셜 미디어/주석 달린 이벤트 정렬(330)에서, 특징 추출(620)은 지오-시간적 특징, 콘텐트 특징 및 권한 특징을 생성한다. 콘텐트 특징 표현은 소셜 미디어 콘텐트 아이템 내의 용어와 이벤트 메타데이터 사이의 상관된 콘텐트의 양을 표현한다. 예를 들어, 콘텐트 아이템 "터치다운 브래디! 고 패트리어트" 및 주석 "패서: 브래디, 이벤트: 터치다운, 리시버: 모스"는 중첩하는 콘텐트 아이템(즉, "터치다운" 및 "브래디")을 갖는다.
정확한 일치에 추가하여, 풋볼 용어의 도메인 온톨로지(257)는 동의어 및 상위어(예를 들어, "터치다운"에 대해 "TD" 또는 "득점"), 뿐만 아니라 플레이어에 대한 별명(예를 들어, "브래디"에 대해 "대단한 톰" )을 포함하기 위해 용어 세트를 확장하는데 사용된다.
권한 특징 표현은 소셜 미디어 콘텐트의 임의의 저자가 풋볼 이벤트를 참조할 수 있는 사전 확률을 표현한다. 이 확률의 추정의 일 팩터는 친구, 팔로워 또는 이들의 소셜 네트워크에서 사용자의 다른 연고자에 기초할 수 있다. 이러한 연고는 소셜 미디어/이벤트 정렬(330) 기능을 위한 부가적인 특징을 제공할 수 있는 풋볼 이벤트에 대해 포스팅하는 저자의 가능성을 지시한다. 풋볼 이벤트에 대해 포스팅하는 누군가가 관계 유지하는 친구가 많을수록, 이들이 풋볼 이벤트에 대해 포스팅하는 가능성이 많다. 이 정보를 캡처하기 위해, 메타 점수가 이들의 접촉이 풋볼 이벤트에 대해 포스팅되는 빈도에 기초하여 사용자에 대해 생성된다. 메타 점수는 이들의 친구의 풋볼 포스트의 모든 빈도의 평균, 모드 및 중점이다.
소셜 미디어/이벤트 정렬(330)의 출력은 관련된 신뢰도 점수를 갖는 주석 달린 플레이와 각각의 소셜 미디어 콘텐트 아이템 사이의 맵핑이다.
플레이의 소셜 관심에 대한 정보가 요구되면, 이는 상기 프로세스로부터 수집된 정보를 수집함으로써 추정될 수 있다. 소셜 관심 추정(340)은 게임 내의 모든 플레이에 대해 계산될 수 있다. 가능성 결과는 터치다운과 같은 플레이에 대해 더 높은 소셜 관심 점수이고, 더 적은 플레이에 대해 더 낮은 소셜 관심 점수이다.
예: 광고
도 3a와 관련하여 설명된 바와 같이, 데이터의 다수의 스트림은 방법의 예비 단계로서 수집된다.
비디오 이벤트 분할
광고 도메인에 대해, 비디오 이벤트 분할(310) 프로세스 중에, 시간 기반 미디어는 광고(즉, 선전)로 식별된 개별 "이벤트"에 대응하는 어의적으로 의미 있는 세그먼트로 분할된다.
광고 도메인의 이벤트 검출(420)은 광고 블록의 부분(즉, 쇼 내의 또는 쇼 사이의 광고의 시퀀스)일 수 있는 하나 이상의 샷을 식별함으로써 동작할 수 있다. 광고 블록은 전체 흑색 프레임의 존재, 그래픽 검출(예를 들어, 프레임 내의 채널 로고의 존재), 형상비, 샷 경계와 같은 이미지 특징을 사용하여 검출된다. 음량 변화 및 클로즈드 캡셔닝의 존재/부재의 검출을 포함하는 음성/오디오 특징이 사용될 수 있다.
이벤트 경계 검출(430)은 광고 블록 상에서 동작하고 블록 내의 개별 광고의 시작 및 종료 경계를 식별한다. 이벤트 경계 결정은 흑색 프레임의 존재/부재, 샷 경계, 형상비 변화와 같은 특징에 기초하여 분류기를 사용하여 수행될 수 있다. 분류기는 수동으로 또는 기계 학습 기술을 사용하여 최적화될 수 있다.
비디오 메타데이터 정렬/주석
이벤트 분할(310)과 같이, 비디오 메타데이터 정렬/주석(320) 프로세스는 도메인 의존성이 있다. 광고 도메인에서, 광고를 위한 메타데이터는 "브랜드: 월마트, 장면: 광대처럼 옷을 입은 아빠, 분위기: 희극적"과 같은 정보를 포함할 수 있다. 이 메타데이터는 샘플 광고 이벤트를 시청하고 광고 내에 수반된 주요 제품/브랜드, 광고의 분위기, 광고의 스토리/창조적 양태, 광고의 배우/유명인 등을 포함하는 광고에 대한 메타데이터를 로그하는 인간 주석자에 의해 생성된다.
광고를 위한 메타데이터는 또한 광고의 저레벨 이미지 및 오디오 특성(예를 들어, 샷의 수 및 길이, 각각의 샷의 평균 컬러 막대그래프, 오디오의 파워 레벨 등)을 포함할 수 있다.
메타데이터와 정렬될 각각의 이벤트(즉, 광고)에 대해, 광고는 특징 추출(315)을 경유하여 특징 벡터 표현으로 변환된다. 비디오 메타데이터 정렬(520)은 이어서 단일 광고 및 메타데이터 인스턴스(505)의 특징 벡터 표현(510)을 입력으로서 취한다. 이는 이벤트 메타데이터 저장부(273) 내의 각각의 메타데이터 인스턴스(505)를 통해 사이클링되고, 예를 들어 메타데이터 내의 저레벨 특성에 광고 이벤트의 저레벨 특징 표현을 비교하는 간단한 코사인 유사 함수를 사용하여 특정 메타데이터 인스턴스에 의해 설명될 수 있는 가능성을 추정한다.
소셜 미디어/주석 달린 이벤트 정렬
소셜 미디어/주석 달린 이벤트 정렬(330)에서, 특징 추출, 예를 들어 c는 지오-시간적 특징, 콘텐트 특징 및 권한 특징을 생성한다. 콘텐트 특징 표현은 이벤트 메타데이터와 소셜 미디어 콘텐트 아이템 내의 용어 사이의 동시 발생 콘텐트의 양을 표현한다. 예를 들어, 콘텐트 아이템 "나는 즐거운 월마트 광대 광고를 좋아해" 및 주석 "브랜드: 월마트, 장면: 광대처럼 옷을 입은 아빠, 분위기: 희극적"은 동시 발생 콘텐트 아이템(즉, "월마트" 및 "광대")를 갖는다.
정확한 일치에 추가하여, 광고 도메인에 관련하는 정보를 인코딩하는 도메인 온톨로지(257)는 동의어 및 상위어(예를 들어, "희극"에 대해 "즐거운"), 회사의 명칭, 제품, 상점 등, 뿐만 아니라 광고 관련 단어(예를 들어, "광고")를 포함하도록 용어 세트를 확장하는데 사용될 수 있다.
소셜 미디어/이벤트 정렬(330)의 출력은 관련된 신뢰도 점수를 갖는 주석 달린 광고와 각각의 소셜 미디어 콘텐트 아이템 사이의 맵핑이다.
광고 내의 소셜 관심에 대한 정보가 요구되면, 이는 상기 프로세스로부터 수집된 정보를 수집함으로써 추정될 수 있다. 소셜 관심 추정(340)은 광고 블록 또는 텔레비전 쇼의 모든 광고에 대해 계산될 수 있다. 가능한 결과는 특히 재미있거나 우스운 광고에 대해 더 높은 소셜 관심 점수 및 덜 흥분적이거나 반복적인 광고에 대해 더 낮은 소셜 관심 점수이다.
미국 풋볼 및 광고 도메인이 전술되었지만, 본 명세서에 설명된 방법은 시간 기반 미디어를 사용하여 임의의 도메인에 적응될 수 있다. 적응 방법은 2개의 변화 상의 포커스 및 상이한 도메인을 일반적으로 가로지른다. 먼저, 이벤트 분할 및 주석을 위해 사용된 기술 및 특징은 도메인 특정 특성을 반영하도록 적응된다. 예를 들어, 풋볼의 검출 이벤트는 비디오 프레임 내의 컬러 분포에 표현되는 바와 같은 잔디의 가시성을 이용하고 새로운 비디오 내의 검출 이벤트는 프레임 내의 클로즈드 캡셔닝 스트림 및 그래픽 오버레이의 암시를 이용할 수 있다. 제 2 변화는 이들을 참조하는 소셜 미디어 콘텐트 아이템에 이벤트를 링크하는데 사용된 온톨로지를 수반한다. 풋볼에 대해, 필수 온톨로지는 풋볼 플레이어, 팀 및 이벤트에 관련된 개념을 포함하지만, 뉴스 비디오와 같은 도메인은 현재 이벤트 및 문화적으로 인기 있는 그림과 같은 적절한 개념과 관련된 개념을 갖는 온톨로지를 필요로 한다.
소셜 관심 추정의 표시
전술된 바와 같이, 소셜 관심 추정은 다양한 방식으로 사용될 수 있다. 하나의 이러한 용례는 다양한 사용자 인터페이스 및 그래픽 표현에서 소셜 관심을 표시하는 것이다. 도 8a 및 도 8b는 시간 기반 매체에서 일련의 연대적인 시간 세그먼트에 대응하는 복수의 이벤트를 위한 소셜 관심의 레벨을 나타내는 소셜 관심 히트 맵(810, 820)의 2개의 실시예를 도시한다.
도 8a는 개별 이벤트(플레이 및 광고)(815)가 타임라인(830)을 가로질러 연대적으로 수직 바아로서 표시되어 있는 풋볼 게임에 대응하는 소셜 관심 히트 맵(810)을 도시하고, 바아의 시간 위치는 이벤트의 시작점에 대응한다. 각각의 이벤트(815)의 추정된 소셜 관심의 레벨(높이)은 각각의 이벤트(815)에 대응하는 소셜 콘텐트 아이템(850)의 수에 의해 수직으로 나타나고, 더 높은 바아는 더 큰 소셜 관심을 표현한다. 2개의 이벤트 유형, 광고(870) 및 플레이(880)가 표시되어 있다.
도 8b는 개별 이벤트(플레이 및 광고)(860)가 타임라인(840)을 가로질러 연대적으로 표시되어 있는 풋볼 게임에 대응하는 유사한 소셜 관심 히트 맵을 도시한다. 각각의 이벤트(860) 내의 추정된 소셜 관심의 레벨은 대응 바아(860)의 컬러의 강도에 의해 나타내고, 더 어두운 바아는 더 큰 소셜 관심을 표현한다. 다른 컬러/강도/텍스처/패턴 스케일이 관심의 레벨을 표현하는데 사용될 수 있다. 2개의 이벤트 유형, 광고(890) 및 플레이(860)가 표시된다.
도 13a 내지 도 13d는 시간 기반 매체의 일련의 연대적인 시간 세그먼트에 대응하는 복수의 이벤트에 대한 소셜 관심의 레벨을 나타내는 소셜 관심 히트 맵(1310)을 표시하는 사용자 인터페이스(1300)의 또 다른 실시예를 도시한다.
도 13a는 상이한 채널에 대응하는 각각의 소셜 관심 히트 맵(1310)(수평 바아)을 갖는 사용자 인터페이스(1300a)를 도시한다. 맵(1310)의 폭은 2개의 단부(1325) 사이의 네비게이션 바아(1320)에 나타낸 바와 같이 시간 기간에 대응한다. 채널은 셀(1315)로서 나타낸 다중 개별 쇼를 갖고, 이에 의해 그리드를 형성한다. 소셜 관심의 레벨은 소정의 셀(1315) 내의 컬러의 강도에 의해 지시되고, 가장 어두운 셀은 쇼 내의 가장 높은 소셜 관심을 지시한다. 네비게이션 바아(1320)는 사용자가 관찰을 위한 시간 프레임을 선택할 수 있게 하고, 단부(1325)는 네비게이션 바아의 크기가 확장되어 사용자 인터페이스(1300) 내의 소셜 관심 히트 맵의 시각적 부분을 조정할 수 있게 하고, 좌측 단부(1325a)는 시작 시간을 제어하고, 우측 단부(1325b)는 소셜 관심 히트 맵(1310)을 위한 종료 시간을 제어한다.
도 13b는 소셜 관심 히트 맵(1310)이 쇼(1315) 중에 나타나는 광고(1330)의 지시를 포함하는 것을 제외하고는, 도 13a에 도시된 것과 유사한 사용자 인터페이스(1300b)를 도시한다. 라인의 암도는 광고의 소셜 관심의 지시기로서 암도를 갖는 개별 광고에 대응하고, 더 어두울수록 더 큰 관심을 지시한다.
도 13c는 소셜 관심 히트 맵(1310)이 네비게이션 바아(1337) 상의 상이한 스케일을 나타내기 위해 일의 레벨로 확대되어 있는 것을 제외하고는, 도 13a에 도시된 것과 유사한 사용자 인터페이스(1300c)를 도시한다. 여기서, 네비게이션 바아의 각각의 구획(1340)은 하루에 대응한다. 셀(1345)은 예를 들어 골든아워와 같은 일시에 대응한다. 각각의 셀이 컬러의 암도는 이 시간 프레임 중에 쇼 및/또는 광고의 소셜 관심을 표현한다.
도 13d는 소셜 관심 히트 맵(1310)은 상이한 시간 스케일을 나타내기 위해 월의 레벨로 확대되어 있는 것을 제외하고는 도 13a에 도시된 것과 유사한 사용자 인터페이스(1300d)를 도시한다. 네비게이션 바아(1337) 내의 구획(1365)은 1/4년에 대응한다. 그리드 내의 셀(1355)은 년의 월에 대응한다. 각각의 셀의 컬러의 암도는 이 시간 프레임 중의 쇼 및/또는 광고의 소셜 관심을 표현한다.
도 9a 내지 도 9c는 소셜 관심 추정 시스템의 사용자 인터페이스(900)의 3개의 실시예를 도시한다. 각각의 도면은 소셜 관심 히트 맵 영역(910), 미디어 표시 영역(920) 및 소셜 미디어 표시 영역(930)(도 9c에는 도시되지 않음)을 도시한다.
도 9a는 소셜 관심 히트 맵 영역(910a)에서 도 8a와 관련하여 설명된 것과 유사한 3개의 소셜 관심 히트 맵(940a 내지 940c)을 도시하고, 각각의 맵(940a 내지 940c)은 미디어 콘텐트의 상이한 채널에 대응한다. 미디어 표시 영역(920a)은 이 예에서 다지 차저(Dodge Charger) 광고인 선택된 이벤트(915)와 관련된 시간 기반 미디어를 표시하기 위한 미디어 플레이어를 나타낸다. 소셜 미디어 표시 영역(930a)은 선택된 이벤트에 대응하는 소셜 미디어, 뿐만 아니라 개별 소셜 미디어 콘텐트 아이템에 대한 통계 정보를 나타낸다.
도 9b는 소셜 관심 히트 맵 영역(910b)에서 도 8b와 관련하여 설명된 것과 유사한 다수의 소셜 관심 히트 맵(960)을 도시하고, 각각의 맵(960)은 상이한 채널에 대응하고, 뿐만 아니라 전체 소셜 관심 히트 맵(970)은 모든 채널을 가로질러 선택된 이벤트에 대응한다. 미디어 표시 영역(920b)은 이 예에서 광고 장면인 사용자 선택된 이벤트(935)와 관련된 시간 기반 미디어를 표시하기 위한 미디어 플레이어를 나타낸다. 사용자는 디스플레이 내의 임의의 이벤트(935)를 선택할 수 있고 이벤트의 비디오 콘텐트를 나타내기 위해 플레이어를 호출할 수 있다. 소셜 미디어 표시 영역(930b1, 930b2)은 개별 소셜 미디어 콘텐트 아이템(930b1) 및 선택된 이벤트(930b2)에 대응하는 소셜 미디어에 대한 통계 정보를 나타낸다.
도 9c는 소셜 관심 히트 맵 영역(910c)에서 도 8b와 관련하여 설명된 것과 유사한 4개의 소셜 관심 히트 맵(950a 내지 950d)을 도시하고, 각각의 맵(950a 내지 950d)은 상이한 채널에 대응한다. 미디어 표시 영역(920c)은 이 예에서 풋볼 게임에서의 패스인 선택된 이벤트(925)와 관련된 시간 기반 미디어를 표시하기 위한 미디어 플레이어를 나타낸다. 재차, 사용자는 맵(950) 내의 이벤트(925)를 선택함으로써 이벤트를 나타내기 위해 플레이어를 제어할 수 있다.
도 10a 및 도 10b는 감성 뷰를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스(1000)의 2개의 실시예를 도시한다. 사용자 인터페이스(1000)는 소셜 관심 히트 맵(940, 970)이 소셜 미디어 콘텐트 아이템의 감성, 즉 이들이 예를 들어 본 명세서에 설명된 감성 검출 프로세스에 기초하여 네거티브인지 포지티브인지 여부를 지시하는 정보를 제공하는 것을 제외하고는, 도 9a 내지 도 9b에 도시된 것들과 유사하다.
도 10a는 소셜 관심 히트 맵(940) 내의 이벤트(915)에 대해, 포지티브 감성을 갖는 소셜 미디어 콘텐트 아이템의 수에 대응하는 (상부) 포지티브부(1010) 및 네거티브 감성을 갖는 소셜 미디어 콘텐트 아이템의 수에 대응하는 (저부) 네거티브부(1012)를 도시한다. 포지티브부(1010) 및 네거티브부(1012)는 서로로부터 시각적으로 구별되어 이벤트 바아 전체 내의 이들의 상대 백분율이 가시화되게 된다. 감성 뷰를 토글 온 및 오프하기 위한 라디오 버튼(1015)이 도시되어 있다.
도 10b는 전체 소셜 관심 히트 맵(970) 내의 이벤트(1015)에 대해 포지티브 감성을 갖는 소셜 미디어 콘텐트 아이템의 수에 대응하는 (상부) 포지티브부(1020) 및 네거티브 감성을 갖는 소셜 미디어 콘텐트 아이템의 수에 대응하는 (저부) 네거티브부(1022)를 도시한다. 포지티브부(1020) 및 네거티브부(1022)는 서로로부터 시각적으로 구별되어 이벤트 바아 전체 내의 이들의 상대 백분율이 가시화되게 된다.
도 11a 내지 도 11c는 필터링된 뷰를 나타내는 소셜 관심 추정 시스템의 사용자 인터페이스(1100)의 3개의 실시예를 도시한다. 사용자 인터페이스(1100)는 소셜 관심 히트 맵(940, 970)이 단지 소셜 미디어 콘텐트 아이템의 필터링된 서브세트만을 위한 정보를 제공하는 것을 제외하고는, 도 9a 내지 도 9c에 도시된 것들과 유사하다.
도 11a는 도리토스(Doritos) 브랜드 광고(1110)에 대응하는 소셜 미디어 콘텐트가 더 어두워지거나, 아니면 비-도리토스(non-Doritos) 브랜드 소셜 미디어 콘텐트 아이템 바(115)로부터 눈에 띄게 구별될 수 있도록 "도리토스(doritos)"에 적용된 텍스트 기반 필터를 도시한다.
도 11b는 적용된 필터에 대응하는 소셜 미디어 콘텐트 아이템 바아만이 전체 소셜 관심 히트 맵(970)에 가시화되도록 데이터(도시 생략)에 적용된 텍스트 기반 필터를 도시한다.
도 11c는 단지 판타지 풋볼 플레이어에 의한 플레이에 대응하는 소셜 미디어 콘텐트 아이템 바아만이 소셜 관심 히트 맵(950)에 나타나도록 사용자의 판타지 풋볼 리그의 플레이어에 대응하는 데이터에 적용된 필터를 도시한다. 부가적인 플레이어 영역(1120)은 사용자의 판타지 풋볼 리그의 플레이어를 나타낸다.
도 12a는 포커싱된 비확장된 뷰를 도시하는 소셜 관심 추정 시스템의 사용자 인터페이스(1200)의 일 실시예를 도시한다. 사용자 인터페이스(1200)는 소셜 관심 히트 맵(940a)이 선택된 소셜 관심 히트 맵의 서브섹션(1210)을 갖는 것을 제외하고는, 도 10a의 것과 유사하다. 도 12b는 도 12a로부터 서브섹션(1210)이 확대되어 있는 소셜 관심 히트 맵(940a)의 확대뷰(1260)를 도시하는 것을 제외하고는, 도 12a의 것과 유사한 사용자 인터페이스(1250)를 도시한다.
본 발명의 실시예의 상기 설명은 예시를 목적으로 제시되어 있고, 개시된 정밀한 형태에 본 발명을 한정하거나 철저한 것으로 의도되는 것은 아니다. 관련 분야의 숙련자들은 다수의 수정 및 변경이 상기 개시 내용의 견지에서 가능하다는 것을 이해할 수 있을 것이다.
이 명세서의 몇몇 부분은 정보 상의 동작의 기호적 표현 및 알고리즘의 견지에서 본 발명의 실시예를 설명한다. 이들 알고리즘적 설명 및 표현은 당 기술 분야의 숙련자들에 이들의 작업 물질을 효과적으로 전달하기 위해 데이터 프로세싱 분야의 숙련자들에 의해 통상적으로 사용된다. 이들 동작은 기능적으로, 연산적으로 또는 논리적으로 설명되었지만, 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 더욱이, 보편성의 손실 없이 모듈로서 동작의 이들 배열을 칭하는 것이 때때로 편리한 것으로 또한 입증되었다. 설명된 동작 및 이들의 관련된 모듈은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구체화될 수 있다.
본 명세서에 설명된 임의의 단계, 동작 또는 프로세스는 단독으로 또는 다른 디바이스와 조합하여 하나 이상의 하드웨어 또는 소프트웨어 모듈로 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은 설명된 임의의 또는 모든 단계, 동작 또는 프로세스를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 발명의 실시예는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 요구된 목적으로 특히 구성될 수 있고 그리고/또는 이 장치는 컴퓨터 내에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적 탠저블 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령을 저장하기 위해 적합한 임의의 유형의 매체 내에 영구적으로 저장될 수 있다. 더욱이, 본 명세서에서 참조되는 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있고 또는 증가된 컴퓨팅 능력을 위한 다중 프로세서 디자인을 이용하는 아키텍처일 수 있다.
본 발명의 실시예는 또한 본 명세서에 설명된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있고, 여기서 정보는 비일시적인 탠저블 컴퓨터 판독 가능 저장 매체 상에 저장될 수 있고, 본 명세서에 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원리적으로 독해성 및 교육의 목적으로 선택되어 있는 것이고, 본 발명의 요지를 한정하거나 제한하도록 선택되어 있는 것은 아닐 수 있다. 따라서, 본 발명의 범주는 이 상세한 설명에 의해 한정되는 것이 아니라, 오히려 그에 기초하여 출원에 발표된 임의의 청구범위에 의해서만 한정되도록 의도된다. 따라서, 본 발명의 실시예의 설명은 첨부된 청구범위에 설명된 본 발명의 범주의 한정이 아니라 예시로 의도된다.
110: 소셜 미디어 소스 120: 시간 기반 미디어 소스
130: 소셜 관심 정보 공급자 140: 네트워크
150: 클라이언트 디바이스 200: 웹서버
202: API 205: 도메인 온톨로지 엔진
220: 이벤트 분할 엔진 225: 특징 추출 엔진
240: 비교 특징 추출 엔진 245: 미디어/이벤트 정렬 엔진
260: 소셜 미디어 콘텐트 저장부 263: 소셜 미디어 저자 저장부
265: 사용 스탯 저장부 267: 클로즈드 캡셔닝
270: 멀티미디어 저장부 273: 이벤트 MD 저장부
307: 메타데이터 인스턴스 309: 주석 달린 이벤트
320: 비디오 메타데이터 정렬/주석 330: 소셜 미디어/이벤트 정렬

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    소셜 네트워킹 시스템의 사용자에 의해 저작(author)된 복수의 콘텐트 아이템들에 액세스하는 단계와,
    시간 세그먼트 동안 방영되는 시간 기반 브로드캐스트 미디어(time based broadcast media)의 이벤트에 관한 프로그래밍 정보에 액세스하는 단계와,
    상기 이벤트에 관한 의미 정보(semantic information)를 갖는 하나 이상의 메타데이터 인스턴스로 상기 이벤트를 주석 처리하는 단계 － 상기 주석 처리는 상기 이벤트가 상기 메타데이터 인스턴스 중 하나 이상에 의해 설명될 가능성을 추정하기 위해 정렬 함수를 사용함 － 와,
    맵핑의 세트를 생성하는 단계 － 상기 맵핑의 각각은,
    상기 주석 처리된 이벤트와 상기 콘텐트 아이템들 중 하나의 콘텐트 아이템을 포함하는 쌍에 대해, 상기 콘텐트 아이템과 상기 주석 처리된 이벤트의 메타데이터 인스턴스 중 하나 사이의 동시 발생 텍스처 정보(co-occurring textual information)를 식별하는 적어도 하나의 콘텐트 특징을 생성함으로써 데이터를 공통 포맷으로 변환하는 특징 추출 프로세스를 수행하는 단계와,
    상기 콘텐트 특징에 대한 특징 특정 서브 기능(feature specific sub-function)을 사용하여, 상기 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 콘텐트 특징에 대한 점수를 생성하는 단계
    에 의해 생성됨 － 와,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하는 단계를 포함하는
    컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 단계는,
    상기 이벤트에 관한 소셜 미디어 콘텐트 아이템과 연관된 위치로부터 상기 소셜 미디어 콘텐트 아이템이 생성된 위치 및 시간의 차이를 참조하는 적어도 하나의 지오-시간적 특징(geo-temporal feature)을 생성하는 단계와,
    상기 지오-시간적 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 지오-시간적 특징에 대한 점수를 생성하는 단계를 포함하는
    컴퓨터 구현 방법.
  3. 제 1 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 단계는,
    상기 소셜 미디어 콘텐트 아이템의 저자와 관련된 정보를 설명하는 적어도 하나의 권한 특징(authority feature)을 생성하는 단계와,
    상기 권한 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 권한 특징에 대한 점수를 생성하는 단계를 포함하는
    컴퓨터 구현 방법.
  4. 제 1 항에 있어서,
    상기 액세스된 소셜 미디어 콘텐트 아이템은 소셜 네트워킹 시스템에 의해 공개적으로 브로드캐스트된 것인
    컴퓨터 구현 방법.
  5. 제 1 항에 있어서,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하는 단계는 상기 맵핑을 수집하여 점수를 결정하는 단계를 포함하되, 상기 맵핑은 상기 콘텐트 아이템에 기초하여 결정된 적어도 하나의 가중치에 기초하여 가중되는
    컴퓨터 구현 방법.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 가중치는 상기 콘텐트 아이템의 감성(sentiment)에 기초한 수치 값을 갖는 소셜 미디어 콘텐트 가중치를 포함하는
    컴퓨터 구현 방법.
  7. 제 5 항에 있어서,
    상기 적어도 하나의 가중치는 상기 콘텐트 아이템의 저자의 청중의 크기에 기초한 수치 값을 갖는 소스 기반 가중치를 포함하는
    컴퓨터 구현 방법.
  8. 제 5 항에 있어서,
    상기 적어도 하나의 가중치는 상기 콘텐트 아이템에 대한 인바운드 링크의 수에 기초한 수치 값을 갖는 소스 기반 가중치를 포함하는
    컴퓨터 구현 방법.
  9. 제 5 항에 있어서,
    상기 적어도 하나의 가중치는 상기 콘텐트 아이템의 저자의 인구학 정보에 기초한 수치 값을 갖는 저자 기반 가중치를 포함하는
    컴퓨터 구현 방법.
  10. 제 5 항에 있어서,
    상기 적어도 하나의 가중치는 상기 콘텐트 아이템의 저자와 연관된 위치에 기초한 수치 값을 갖는 저자 기반 가중치를 포함하는
    컴퓨터 구현 방법.
  11. 서버를 포함하는 시스템으로서,
    상기 서버는 프로세서 및 데이터베이스를 포함하고,
    상기 서버는,
    소셜 네트워킹 시스템의 사용자에 의해 저작된 복수의 콘텐트 아이템들에 액세스하고,
    시간 세그먼트 동안 방영되는 시간 기반 브로드캐스트 미디어의 이벤트에 관한 프로그래밍 정보에 액세스하고,
    상기 이벤트에 관한 의미 정보를 갖는 하나 이상의 메타데이터 인스턴스로 상기 이벤트를 주석 처리 － 상기 주석 처리는 상기 이벤트가 상기 메타데이터 인스턴스 중 하나 이상에 의해 설명될 가능성을 추정하기 위해 정렬 함수를 사용함 － 하고,
    맵핑의 세트를 생성 － 상기 맵핑의 각각은,
    상기 주석 처리된 이벤트와 상기 콘텐트 아이템들 중 하나의 콘텐트 아이템을 포함하는 쌍에 대해, 상기 콘텐트 아이템과 상기 주석 처리된 이벤트의 메타데이터 인스턴스 중 하나 사이의 동시 발생 텍스처 정보를 식별하는 적어도 하나의 콘텐트 특징을 생성함으로써 데이터를 공통 포맷으로 변환하는 특징 추출 프로세스를 수행하는 것과,
    상기 콘텐트 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 콘텐트 특징에 대한 점수를 생성하는 것에 의해 생성됨 － 하고,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하도록 구성되는
    시스템.
  12. 제 11 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 것은,
    상기 이벤트에 관한 소셜 미디어 콘텐트 아이템과 연관된 위치로부터 상기 소셜 미디어 콘텐트 아이템이 생성된 위치 및 시간의 차이를 참조하는 적어도 하나의 지오-시간적 특징을 생성하는 것과,
    상기 지오-시간적 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 지오-시간적 특징에 대한 점수를 생성하는 것을 포함하는
    시스템.
  13. 제 11 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 것은,
    상기 소셜 미디어 콘텐트 아이템의 저자와 관련된 정보를 설명하는 적어도 하나의 권한 특징을 생성하는 것과,
    상기 권한 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 권한 특징에 대한 점수를 생성하는 것을 포함하는
    시스템.
  14. 제 11 항에 있어서,
    상기 액세스된 소셜 미디어 콘텐트 아이템은 소셜 네트워킹 시스템에 의해 공개적으로 브로드캐스트된 것인
    시스템.
  15. 제 11 항에 있어서,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하는 것은 상기 맵핑을 수집하여 점수를 결정하는 것을 포함하되, 상기 맵핑은 상기 콘텐트 아이템에 기초하여 결정된 적어도 하나의 가중치에 기초하여 가중되는
    시스템.
  16. 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어는 실행될 때 프로세서로 하여금,
    소셜 네트워킹 시스템의 사용자에 의해 저작된 복수의 콘텐트 아이템들에 액세스하게 하고,
    시간 세그먼트 동안 방영되는 시간 기반 브로드캐스트 미디어의 이벤트에 관한 프로그래밍 정보에 액세스하게 하고,
    상기 이벤트에 관한 의미 정보를 갖는 하나 이상의 메타데이터 인스턴스로 상기 이벤트를 주석 처리 － 상기 주석 처리는 상기 이벤트가 상기 메타데이터 인스턴스 중 하나 이상에 의해 설명될 가능성을 추정하기 위해 정렬 함수를 사용함 － 하게 하고,
    맵핑의 세트를 생성 － 상기 맵핑의 각각은,
    상기 주석 처리된 이벤트와 상기 콘텐트 아이템들 중 하나의 콘텐트 아이템을 포함하는 쌍에 대해, 상기 콘텐트 아이템과 상기 주석 처리된 이벤트의 메타데이터 인스턴스 중 하나 사이의 동시 발생 텍스처 정보를 식별하는 적어도 하나의 콘텐트 특징을 생성함으로써 데이터를 공통 포맷으로 변환하는 특징 추출 프로세스를 수행하는 것과,
    상기 콘텐트 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 콘텐트 특징에 대한 점수를 생성하는 것에 의해 생성됨 － 하게 하고,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하게 하는
    컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 것은,
    상기 이벤트에 관한 소셜 미디어 콘텐트 아이템과 연관된 위치로부터 상기 소셜 미디어 콘텐트 아이템이 생성된 위치 및 시간의 차이를 참조하는 적어도 하나의 지오-시간적 특징을 생성하는 것과,
    상기 지오-시간적 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 지오-시간적 특징에 대한 점수를 생성하는 것을 포함하는
    컴퓨터 판독가능 매체.
  18. 제 16 항에 있어서,
    상기 특징 추출 프로세스를 수행하는 것은,
    상기 소셜 미디어 콘텐트 아이템의 저자와 관련된 정보를 설명하는 적어도 하나의 권한 특징을 생성하는 것과,
    상기 권한 특징에 대한 특징 특정 서브 기능을 사용하여, 상기 소셜 미디어 콘텐트 아이템이 상기 주석 처리된 이벤트를 참조하는지 여부를 나타내는 상기 권한 특징에 대한 점수를 생성하는 것을 포함하는
    컴퓨터 판독가능 매체.
  19. 제 16 항에 있어서,
    상기 액세스된 소셜 미디어 콘텐트 아이템은 소셜 네트워킹 시스템에 의해 공개적으로 브로드캐스트된 것인
    컴퓨터 판독가능 매체.
  20. 제 16 항에 있어서,
    상기 맵핑의 세트에 기초하여 상기 이벤트에 대한 소셜 관심 레벨을 결정하는 것은 상기 맵핑을 수집하여 점수를 결정하는 것을 포함하되, 상기 맵핑은 상기 콘텐트 아이템에 기초하여 결정된 적어도 하나의 가중치에 기초하여 가중되는
    컴퓨터 판독가능 매체.
KR1020187000021A 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 KR101944469B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22600209P 2009-07-16 2009-07-16
US61/226,002 2009-07-16
PCT/US2010/042362 WO2011009101A1 (en) 2009-07-16 2010-07-16 Estimating and displaying social interest in time-based media

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004145A Division KR101816113B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002576A Division KR102068790B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체

Publications (2)

Publication Number Publication Date
KR20180005277A true KR20180005277A (ko) 2018-01-15
KR101944469B1 KR101944469B1 (ko) 2019-01-31

Family

ID=43449847

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020127004145A KR101816113B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
KR1020207001423A KR102112973B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
KR1020197002576A KR102068790B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
KR1020187000021A KR101944469B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020127004145A KR101816113B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
KR1020207001423A KR102112973B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
KR1020197002576A KR102068790B1 (ko) 2009-07-16 2010-07-16 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체

Country Status (7)

Country Link
US (7) US9542489B2 (ko)
EP (2) EP2454712A4 (ko)
JP (1) JP5795580B2 (ko)
KR (4) KR101816113B1 (ko)
CA (3) CA3149767A1 (ko)
MX (1) MX2012000724A (ko)
WO (1) WO2011009101A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087776A (ko) * 2016-01-21 2017-07-31 주식회사 알티캐스트 관계 정보 기반의 성장형 콘텐츠 서비스 방법 및 시스템
WO2020102005A1 (en) * 2018-11-15 2020-05-22 Sony Interactive Entertainment LLC Dynamic music creation in gaming
US11328700B2 (en) 2018-11-15 2022-05-10 Sony Interactive Entertainment LLC Dynamic music modification

Families Citing this family (284)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862591B2 (en) * 2006-08-22 2014-10-14 Twitter, Inc. System and method for evaluating sentiment
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US9407942B2 (en) * 2008-10-03 2016-08-02 Finitiv Corporation System and method for indexing and annotation of video content
US8769589B2 (en) 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
EP2454712A4 (en) 2009-07-16 2013-01-23 Bluefin Labs Inc DETERMINATION AND DISPLAY OF SOCIAL INTERESTS IN TIME-BASED MEDIA
US8068677B2 (en) * 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US20110162007A1 (en) * 2009-09-14 2011-06-30 Broadcom Corporation Television system providing user-interaction related to an in-progress television program
US9081857B1 (en) * 2009-09-21 2015-07-14 A9.Com, Inc. Freshness and seasonality-based content determinations
US20110313824A1 (en) * 2009-12-09 2011-12-22 Marcos Lara Method for Applying Gaming Philosophy to Crowd-Sourced Play-Listing
WO2011085407A1 (en) * 2010-01-11 2011-07-14 Signet Media Inc. System and method for providing an audio component of a multimedia content displayed on an electronic display device to one or more wireless computing devices
KR101163196B1 (ko) * 2010-02-12 2012-07-06 박미쁨 개인 맞춤형 컨텐트를 제공하는 애플리케이션 서버에서의 개인 맞춤형 사회 네트워크 지도 관리 방법 및 그 방법을 실행하기 위한 프로그램 기록매체
US9084096B2 (en) * 2010-02-22 2015-07-14 Yahoo! Inc. Media event structure and context identification using short messages
US20110276513A1 (en) * 2010-05-10 2011-11-10 Avaya Inc. Method of automatic customer satisfaction monitoring through social media
US8994311B1 (en) * 2010-05-14 2015-03-31 Amdocs Software Systems Limited System, method, and computer program for segmenting a content stream
KR20120020010A (ko) * 2010-08-27 2012-03-07 삼성전자주식회사 컨텐츠 표시 방법 및 그 장치
KR101169377B1 (ko) * 2010-09-27 2012-07-30 한국과학기술연구원 핫 토픽 이벤트 추출에 기반한 실시간 이벤트의 하이라이트 제공 시스템 및 이를 이용한 하이라이트 서비스 제공방법
WO2012050927A2 (en) * 2010-09-28 2012-04-19 Beyond Oblivion Inc. Content discovery and delivery platform apparatuses, methods and systems
US10387524B2 (en) * 2010-09-29 2019-08-20 Open Text Sa Ulc System and method for managing objects using an object map
US20120210250A1 (en) * 2010-10-12 2012-08-16 Waldeck Technology, Llc Obtaining and displaying relevant status updates for presentation during playback of a media content stream based on crowds
US8805165B2 (en) * 2010-11-09 2014-08-12 Kodak Alaris Inc. Aligning and summarizing different photo streams
KR20120052636A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 온톨로지 기반의 품목분류코드 추천 시스템 및 방법
US9829340B2 (en) * 2010-11-18 2017-11-28 Google Inc. Analysis of interactive map usage patterns
US20120166250A1 (en) * 2010-12-22 2012-06-28 Facebook, Inc. Data visualization for time-based cohorts
US9881257B2 (en) * 2010-12-29 2018-01-30 Tickr, Inc. Multi-dimensional visualization of temporal information
US8898698B2 (en) 2011-01-21 2014-11-25 Bluefin Labs, Inc. Cross media targeted message synchronization
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
US8543454B2 (en) 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
US20120221563A1 (en) * 2011-02-24 2012-08-30 Microsoft Corporation Social Weight of Social Media Content
US20120238254A1 (en) * 2011-03-17 2012-09-20 Ebay Inc. Video processing system for identifying items in video frames
US8856056B2 (en) * 2011-03-22 2014-10-07 Isentium, Llc Sentiment calculus for a method and system using social media for event-driven trading
TWI456410B (zh) * 2011-03-25 2014-10-11 Yahoo Inc 使用短訊息之媒體事件結構與內容辨識之方法、系統及電腦可讀儲存媒介
JP5872183B2 (ja) * 2011-04-08 2016-03-01 株式会社ユニバーサルエンターテインメント 情報処理システム、嗜好可視化システム及び検閲システム並びに嗜好可視化方法
US9100669B2 (en) * 2011-05-12 2015-08-04 At&T Intellectual Property I, Lp Method and apparatus for associating micro-blogs with media programs
EP2705488A4 (en) * 2011-06-08 2014-12-31 Hewlett Packard Development Co IDENTIFICATION AND VISUALIZATION OF SOCIAL MEDIA EXPRESSION
CN102831116A (zh) * 2011-06-14 2012-12-19 国际商业机器公司 用于文档聚类的方法及系统
US9613339B2 (en) * 2011-06-30 2017-04-04 International Business Machines Corporation Information exchange in the social network environment
EP2732424A4 (en) 2011-07-13 2015-03-25 Bluefin Labs Inc ESTIMATING AFFINITY BETWEEN A SUBJECT AND A TIME-BASED MEDIA EVENT
US9053517B2 (en) * 2011-07-29 2015-06-09 Rb.tv., Inc. Devices, systems, and methods for aggregating, controlling, enhancing, archiving, and analyzing social media for events
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
CN103077179B (zh) * 2011-09-12 2016-08-31 克利特股份有限公司 用于显示社交网络的用户的个人时间线的计算机实现方法，计算机系统及其计算机可读介质
US10296159B2 (en) 2011-09-21 2019-05-21 Facebook, Inc. Displaying dynamic user interface elements in a social networking system
US9946430B2 (en) 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
US8726142B2 (en) * 2011-09-21 2014-05-13 Facebook, Inc. Selecting social networking system user information for display via a timeline interface
US9661364B2 (en) * 2011-09-27 2017-05-23 Verizon Patent And Licensing Inc. Recommended media content based channel surfing methods and systems
WO2013049774A2 (en) * 2011-09-30 2013-04-04 Metavana, Inc. Sentiment analysis from social media content
US9026592B1 (en) 2011-10-07 2015-05-05 Google Inc. Promoting user interaction based on user activity in social networking services
US9098344B2 (en) 2011-12-27 2015-08-04 Microsoft Technology Licensing, Llc Cloud-edge topologies
JP6416626B2 (ja) * 2012-01-06 2018-10-31 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 第２のスクリーン上での代替ビュービデオの再生
US9183259B1 (en) 2012-01-13 2015-11-10 Google Inc. Selecting content based on social significance
US8843491B1 (en) * 2012-01-24 2014-09-23 Google Inc. Ranking and ordering items in stream
US8645485B1 (en) * 2012-01-30 2014-02-04 Google Inc. Social based aggregation of related media content
US9143742B1 (en) 2012-01-30 2015-09-22 Google Inc. Automated aggregation of related media content
US9177065B1 (en) 2012-02-09 2015-11-03 Google Inc. Quality score for posts in social networking services
US20130232412A1 (en) * 2012-03-02 2013-09-05 Nokia Corporation Method and apparatus for providing media event suggestions
WO2013133109A1 (ja) * 2012-03-08 2013-09-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示システム、表示装置、表示方法、およびプログラム
EP2824916A4 (en) * 2012-03-08 2015-10-21 Nec Corp DISPLAY SYSTEM, DISPLAY DEVICE, DISPLAY METHOD, AND PROGRAM
US9106979B2 (en) * 2012-03-14 2015-08-11 Arris Technology, Inc. Sentiment mapping in a media content item
US8995822B2 (en) * 2012-03-14 2015-03-31 General Instrument Corporation Sentiment mapping in a media content item
US10681427B2 (en) 2012-03-14 2020-06-09 Arris Enterprises Llc Sentiment mapping in a media content item
US20130263166A1 (en) * 2012-03-27 2013-10-03 Bluefin Labs, Inc. Social Networking System Targeted Message Synchronization
US20130263019A1 (en) * 2012-03-30 2013-10-03 Maria G. Castellanos Analyzing social media
US11588778B2 (en) * 2012-03-30 2023-02-21 Fox Sports Productions, Llc System and method for enhanced second screen experience
US9301016B2 (en) 2012-04-05 2016-03-29 Facebook, Inc. Sharing television and video programming through social networking
US9319372B2 (en) * 2012-04-13 2016-04-19 RTReporter BV Social feed trend visualization
US20130283143A1 (en) * 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US10389779B2 (en) 2012-04-27 2019-08-20 Arris Enterprises Llc Information processing
US10198444B2 (en) 2012-04-27 2019-02-05 Arris Enterprises Llc Display of presentation elements
US9552124B2 (en) * 2012-04-27 2017-01-24 Mobitv, Inc. Character based search and discovery of media content
US9386357B2 (en) 2012-04-27 2016-07-05 Arris Enterprises, Inc. Display of presentation elements
US10277933B2 (en) 2012-04-27 2019-04-30 Arris Enterprises Llc Method and device for augmenting user-input information related to media content
US20130290232A1 (en) * 2012-04-30 2013-10-31 Mikalai Tsytsarau Identifying news events that cause a shift in sentiment
WO2013166411A1 (en) * 2012-05-03 2013-11-07 United Video Properties, Inc. Systems and methods for preventing access to a media asset segment during a fast-access playback operation
KR20130125047A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 디스플레이장치 및 컨텐츠 영상 제공장치 및 이들의 제어방법
US8566866B1 (en) 2012-05-09 2013-10-22 Bluefin Labs, Inc. Web identity to social media identity correlation
US20130328921A1 (en) * 2012-06-08 2013-12-12 Ipinion, Inc. Utilizing Heat Maps to Represent Respondent Sentiments
US9584834B1 (en) 2012-06-25 2017-02-28 Google Inc. Video broadcasting with geolocation
US20140025755A1 (en) * 2012-07-20 2014-01-23 Google Inc. Inferring events based on mob source video
US9460205B2 (en) 2012-07-20 2016-10-04 Google Inc. Crowdsourced video collaboration
US8972242B2 (en) 2012-07-31 2015-03-03 Hewlett-Packard Development Company, L.P. Visual analysis of phrase extraction from a content stream
US9454519B1 (en) 2012-08-15 2016-09-27 Google Inc. Promotion and demotion of posts in social networking services
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
FR2994785A1 (fr) * 2012-08-23 2014-02-28 France Telecom Procede de traitement d'un flux multimedia, terminal de communication, serveur et produit programme d'ordinateur correspondant.
US20140067370A1 (en) * 2012-08-31 2014-03-06 Xerox Corporation Learning opinion-related patterns for contextual and domain-dependent opinion detection
US8612211B1 (en) 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
US9519723B2 (en) * 2012-09-18 2016-12-13 Adobe Systems Incorporated Aggregating electronic content items from different sources
US9691128B2 (en) 2012-09-20 2017-06-27 Facebook, Inc. Aggregating and displaying social networking system user information via a map interface
US9002069B2 (en) 2012-09-24 2015-04-07 International Business Machines Corporation Social media event detection and content-based retrieval
WO2014052921A2 (en) * 2012-09-27 2014-04-03 University Of Utah Research Foundation Patient health record similarity measure
US9635438B2 (en) 2012-09-27 2017-04-25 Arris Enterprises, Inc. Providing secondary content to accompany a primary content item
US8818037B2 (en) 2012-10-01 2014-08-26 Microsoft Corporation Video scene detection
WO2014059078A1 (en) * 2012-10-12 2014-04-17 Google Inc. Unsupervised content replay in live video
US9032434B2 (en) 2012-10-12 2015-05-12 Google Inc. Unsupervised content replay in live video
US9544647B2 (en) 2012-11-21 2017-01-10 Google Technology Holdings LLC Attention-based advertisement scheduling in time-shifted content
US8484676B1 (en) * 2012-11-21 2013-07-09 Motorola Mobility Llc Attention-based, multi-screen advertisement scheduling
US20140164506A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Multimedia message having portions of networked media content
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
WO2014102568A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion detection
US9990360B2 (en) * 2012-12-27 2018-06-05 Arria Data2Text Limited Method and apparatus for motion description
US9596207B1 (en) * 2012-12-31 2017-03-14 Google Inc. Bootstrap social network using event-related records
US10360582B2 (en) * 2013-01-09 2019-07-23 Dell Products L.P. Social commerce return on investment
US9510055B2 (en) 2013-01-23 2016-11-29 Sonos, Inc. System and method for a media experience social interface
JP2014142876A (ja) * 2013-01-25 2014-08-07 Sony Corp データ生成装置、コンテンツ再生装置、および記憶媒体
US10572466B2 (en) * 2013-02-27 2020-02-25 Hitachi Vantara Corporation Multiple collections of user-defined metadata for self-describing objects
US9165069B2 (en) * 2013-03-04 2015-10-20 Facebook, Inc. Ranking videos for a user
US10025861B2 (en) * 2013-08-28 2018-07-17 Oath Inc. Prioritizing items from different categories in a news stream
US9191422B2 (en) * 2013-03-15 2015-11-17 Arris Technology, Inc. Processing of social media for selected time-shifted multimedia content
US20160063122A1 (en) * 2013-04-16 2016-03-03 Hewlett-Packard Development Company, L.P. Event summarization
US10445115B2 (en) * 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9553922B1 (en) * 2013-05-02 2017-01-24 Twitter, Inc. Media event based social networking interfaces
US20140337126A1 (en) * 2013-05-08 2014-11-13 Viki, Inc. Timed comments for media
US9251275B2 (en) * 2013-05-16 2016-02-02 International Business Machines Corporation Data clustering and user modeling for next-best-action decisions
EP2811752B1 (en) * 2013-06-03 2018-08-15 Alcatel Lucent Synchronization between multimedia flows and social network threads
US10868682B2 (en) 2013-06-13 2020-12-15 Pushfor, Ltd. System and method for monitoring usage of an electronic document
US9418391B2 (en) * 2013-06-24 2016-08-16 Infosys Limited System for influencer scoring and methods thereof
KR101540686B1 (ko) * 2013-07-26 2015-08-03 주현선 동영상의 구간별 댓글과 통계정보 제공 장치 및 그 방법
WO2015021459A1 (en) * 2013-08-09 2015-02-12 Yang Shaofeng Method for processing and displaying real-time social data on map
US9154761B2 (en) * 2013-08-19 2015-10-06 Google Inc. Content-based video segmentation
US9575621B2 (en) 2013-08-26 2017-02-21 Venuenext, Inc. Game event display with scroll bar and play event icons
US10282068B2 (en) 2013-08-26 2019-05-07 Venuenext, Inc. Game event display with a scrollable graphical game play feed
US9299113B2 (en) * 2013-09-13 2016-03-29 Microsoft Technology Licensing, Llc Social media driven information interface
CN105580013A (zh) * 2013-09-16 2016-05-11 汤姆逊许可公司 通过搜索多个用户评论并将其覆盖到内容中来浏览视频
US20150088878A1 (en) * 2013-09-23 2015-03-26 Google Inc. Discovering New Media Items for a User
EP2858310A1 (en) * 2013-10-07 2015-04-08 Alcatel Lucent Association of a social network message with a related multimedia flow
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
US9471944B2 (en) * 2013-10-25 2016-10-18 The Mitre Corporation Decoders for predicting author age, gender, location from short texts
KR102268052B1 (ko) * 2013-11-11 2021-06-22 삼성전자주식회사 디스플레이 장치, 서버 장치 및 그 제어 방법
US9565245B1 (en) * 2013-11-25 2017-02-07 Twitter, Inc. Promoting time-based content through social networking systems
US9984427B2 (en) * 2013-12-02 2018-05-29 Qbase, LLC Data ingestion module for event detection and increased situational awareness
US9578377B1 (en) * 2013-12-03 2017-02-21 Venuenext, Inc. Displaying a graphical game play feed based on automatically detecting bounds of plays or drives using game related data sources
US11042274B2 (en) * 2013-12-04 2021-06-22 Autodesk, Inc. Extracting demonstrations from in-situ video content
US9965776B2 (en) * 2013-12-30 2018-05-08 Verizon and Redbox Digital Entertainment Services, LLC Digital content recommendations based on user comments
US9467744B2 (en) * 2013-12-30 2016-10-11 Verizon and Redbox Digital Entertainment Services, LLC Comment-based media classification
US20150213002A1 (en) * 2014-01-24 2015-07-30 International Business Machines Corporation Personal emotion state monitoring from social media
EP2902924A1 (en) * 2014-01-30 2015-08-05 Alcatel Lucent Method for automatically selecting a real-time video stream among a plurality of available real-time video streams, and associated system
US20150220498A1 (en) 2014-02-05 2015-08-06 Sonos, Inc. Remote Creation of a Playback Queue for a Future Event
US9876848B1 (en) * 2014-02-21 2018-01-23 Twitter, Inc. Television key phrase detection
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US9857950B2 (en) 2014-03-24 2018-01-02 International Business Machines Corporation Unified filtered social media content stream for single user interface access
EP2925009A1 (en) * 2014-03-26 2015-09-30 Thomson Licensing Viewer engagement estimating system and method of estimating viewer engagement
US9953060B2 (en) 2014-03-31 2018-04-24 Maruthi Siva P Cherukuri Personalized activity data gathering based on multi-variable user input and multi-dimensional schema
US9342267B2 (en) 2014-04-29 2016-05-17 Cisco Technology, Inc. Displaying regions of user interest in sharing sessions
US9898685B2 (en) * 2014-04-29 2018-02-20 At&T Intellectual Property I, L.P. Method and apparatus for analyzing media content
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US20150332309A1 (en) * 2014-05-13 2015-11-19 Ispot.Tv, Inc. Advertisement scoring system and method
US20150347561A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Methods and systems for media collaboration groups
US20150356084A1 (en) 2014-06-05 2015-12-10 Sonos, Inc. Social Queue
US10183224B2 (en) 2014-06-12 2019-01-22 Michael Neil MACCALLUM Fantasy sports manager for various devices
US9665551B2 (en) 2014-08-05 2017-05-30 Linkedin Corporation Leveraging annotation bias to improve annotations
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US9690540B2 (en) 2014-09-24 2017-06-27 Sonos, Inc. Social media queue
WO2016049342A1 (en) 2014-09-24 2016-03-31 Sonos, Inc. Social media connection recommendations based on playback information
US9667679B2 (en) 2014-09-24 2017-05-30 Sonos, Inc. Indicating an association between a social-media account and a media playback system
US9959087B2 (en) * 2014-09-24 2018-05-01 Sonos, Inc. Media item context from social media
US10672030B2 (en) * 2014-09-25 2020-06-02 International Business Machines Corporation Targeted advertisements from intended recipient predictions derived from user information
US10652127B2 (en) 2014-10-03 2020-05-12 The Nielsen Company (Us), Llc Fusing online media monitoring data with secondary online data feeds to generate ratings data for online media exposure
KR20160054134A (ko) * 2014-11-05 2016-05-16 삼성전자주식회사 방송 서비스 제공 방법 및 장치
US9977568B2 (en) * 2015-02-27 2018-05-22 Wipro Limited Method and device for optimizing arrangement of an icon on display unit of device
US20160260108A1 (en) * 2015-03-05 2016-09-08 David Brian Bracewell Occasion-based consumer analytics
US10834436B2 (en) * 2015-05-27 2020-11-10 Arris Enterprises Llc Video classification using user behavior from a network digital video recorder
US11252450B2 (en) * 2015-05-27 2022-02-15 Arris Enterprises Llc Video classification using user behavior from a network digital video recorder
EP3304329A4 (en) 2015-06-01 2018-10-31 Benjamin Aaron Miller Break state detection in content management systems
WO2016196693A1 (en) 2015-06-01 2016-12-08 Miller Benjamin Aaron Content segmentation and time reconciliation
US10224027B2 (en) 2015-06-01 2019-03-05 Sinclair Broadcast Group, Inc. Rights management and syndication of content
USD812076S1 (en) 2015-06-14 2018-03-06 Google Llc Display screen with graphical user interface for monitoring remote video camera
USD809522S1 (en) 2015-06-14 2018-02-06 Google Inc. Display screen with animated graphical user interface for an alert screen
USD797131S1 (en) 2015-06-14 2017-09-12 Google Inc. Display screen with user interface for mode selector icons
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10133443B2 (en) 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
USD807376S1 (en) 2015-06-14 2018-01-09 Google Inc. Display screen with animated graphical user interface for smart home automation system having a multifunction status
USD796540S1 (en) 2015-06-14 2017-09-05 Google Inc. Display screen with graphical user interface for mobile camera history having event-specific activity notifications
USD803241S1 (en) 2015-06-14 2017-11-21 Google Inc. Display screen with animated graphical user interface for an alert screen
US11513658B1 (en) 2015-06-24 2022-11-29 Amazon Technologies, Inc. Custom query of a media universe database
US10319047B2 (en) * 2015-06-29 2019-06-11 International Business Machines Corporation Identification of life events within social media conversations
US10268773B2 (en) * 2015-06-30 2019-04-23 International Business Machines Corporation Navigating a website using visual analytics and a dynamic data source
US10382824B2 (en) 2015-07-17 2019-08-13 Tribune Broadcasting Company, Llc Video production system with content extraction feature
WO2017015090A1 (en) 2015-07-17 2017-01-26 Tribune Broadscasting Company, Llc Media production system with score-based display feature
US10219026B2 (en) * 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video
US10162870B2 (en) 2015-09-30 2018-12-25 International Business Machines Corporation Historical summary visualizer for news events
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US9966110B2 (en) 2015-10-16 2018-05-08 Tribune Broadcasting Company, Llc Video-production system with DVE feature
US10762132B2 (en) * 2015-10-29 2020-09-01 Pixured, Inc. System for referring to and/or embedding posts, videos or digital media within another post, video, digital data or digital media within 2D, 3D, 360 degree or spherical applications whereby to reach convergence or grouping
US9524469B1 (en) * 2015-12-14 2016-12-20 MetroStar Systems, Inc. Systems, apparatus, and methods for generating prediction sets based on a known set of features
US11257000B2 (en) * 2015-12-14 2022-02-22 Zoomph, Inc. Systems, apparatus, and methods for generating prediction sets based on a known set of features
US9830533B2 (en) * 2015-12-30 2017-11-28 International Business Machines Corporation Analyzing and exploring images posted on social media
US11367149B2 (en) * 2016-01-15 2022-06-21 Carnegie Mellon University Pattern identification in time-series social media data, and output-dynamics engineering for a dynamic system having one or more multi-scale time-series data sets
US10181208B2 (en) 2016-02-10 2019-01-15 Microsoft Technology Licensing, Llc Custom heatmaps
US10116537B2 (en) 2016-02-29 2018-10-30 Wowza Media Systems, LLC Media player analytics
US9654360B1 (en) 2016-02-29 2017-05-16 Wowza Media Systems, LLC Coordinating analytics between media player and server
US10575036B2 (en) * 2016-03-02 2020-02-25 Google Llc Providing an indication of highlights in a video content item
WO2017150752A1 (ko) * 2016-03-04 2017-09-08 엄지홍 무한 스크롤 환경에서 클립 기능 제공 방법
US10972333B2 (en) * 2016-03-16 2021-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for real-time network event processing
WO2017176808A1 (en) 2016-04-04 2017-10-12 Twitter, Inc. Live video classification and preview selection
US9774907B1 (en) 2016-04-05 2017-09-26 International Business Machines Corporation Tailored audio content delivery
US10311104B2 (en) 2016-04-13 2019-06-04 Google Llc Video competition discovery and recommendation
US10075556B2 (en) * 2016-04-20 2018-09-11 Disney Enterprises, Inc. Systems and methods for selecting a portion of a content segment to distribute via on online platform
US10055608B2 (en) * 2016-04-26 2018-08-21 Adobe Systems Incorporated Data management for combined data using structured data governance metadata
US10389718B2 (en) 2016-04-26 2019-08-20 Adobe Inc. Controlling data usage using structured data governance metadata
US9971812B2 (en) 2016-04-26 2018-05-15 Adobe Systems Incorporated Data management using structured data governance metadata
US10154312B2 (en) * 2016-05-09 2018-12-11 Facebook, Inc. Systems and methods for ranking and providing related media content based on signals
US10855765B2 (en) 2016-05-20 2020-12-01 Sinclair Broadcast Group, Inc. Content atomization
US9912424B2 (en) * 2016-05-27 2018-03-06 The Nielsen Company (Us), Llc Methods and apparatus to estimate ratings for media assets using social media
DK179494B1 (en) 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
US10489016B1 (en) * 2016-06-20 2019-11-26 Amazon Technologies, Inc. Identifying and recommending events of interest in real-time media content
US9936239B2 (en) * 2016-06-28 2018-04-03 Intel Corporation Multiple stream tuning
US10685070B2 (en) 2016-06-30 2020-06-16 Facebook, Inc. Dynamic creative optimization for effectively delivering content
US20180014037A1 (en) * 2016-07-09 2018-01-11 N. Dilip Venkatraman Method and system for switching to dynamically assembled video during streaming of live video
USD882583S1 (en) 2016-07-12 2020-04-28 Google Llc Display screen with graphical user interface
US10263802B2 (en) 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
US10404770B2 (en) 2016-07-15 2019-09-03 Tribune Broadcasting Company, Llc Video-production system with social-media features
US10521481B2 (en) 2016-07-15 2019-12-31 Tribune Broadcasting Company, Llc Video-production system with social-media features
WO2018017836A1 (en) 2016-07-21 2018-01-25 Twitter, Inc. Live video streaming services with machine-learning based highlight replays
US20180077440A1 (en) * 2016-09-09 2018-03-15 Cayke, Inc. System and method of creating, analyzing, and categorizing media
US10885131B2 (en) 2016-09-12 2021-01-05 Ebrahim Bagheri System and method for temporal identification of latent user communities using electronic content
US10795560B2 (en) 2016-09-30 2020-10-06 Disney Enterprises, Inc. System and method for detection and visualization of anomalous media events
USD843398S1 (en) 2016-10-26 2019-03-19 Google Llc Display screen with graphical user interface for a timeline-video relationship presentation for alert events
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
ES2911173T3 (es) 2016-11-03 2022-05-17 Thomson Reuters Entpr Centre Gmbh Sistemas y métodos para la detección de eventos y clústering
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10922713B2 (en) 2017-01-03 2021-02-16 Facebook, Inc. Dynamic creative optimization rule engine for effective content delivery
US10572908B2 (en) 2017-01-03 2020-02-25 Facebook, Inc. Preview of content items for dynamic creative optimization
US10819810B2 (en) * 2017-01-05 2020-10-27 International Business Machines Corporation Event affinity detangling with broadcasts rolling over time zones
US10558697B2 (en) * 2017-02-21 2020-02-11 International Business Machines Corporation Segmenting a set of media data using a set of social networking data
JP6806589B2 (ja) * 2017-02-27 2021-01-06 日本放送協会 情報判定モデル学習装置、情報判定装置およびそれらのプログラム
US10318350B2 (en) 2017-03-20 2019-06-11 International Business Machines Corporation Self-adjusting environmentally aware resource provisioning
US10158897B2 (en) * 2017-03-28 2018-12-18 International Business Machines Corporation Location-based event affinity detangling for rolling broadcasts
US10277950B2 (en) 2017-04-17 2019-04-30 Facebook, Inc. Matching and ranking content items
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US10352496B2 (en) 2017-05-25 2019-07-16 Google Llc Stand assembly for an electronic device providing multiple degrees of freedom and built-in cables
US10574601B2 (en) * 2017-08-03 2020-02-25 International Business Machines Corporation Managing and displaying online messages along timelines
US20190251138A1 (en) 2018-02-09 2019-08-15 Banjo, Inc. Detecting events from features derived from multiple ingested signals
US10404840B1 (en) * 2018-04-27 2019-09-03 Banjo, Inc. Ingesting streaming signals
US10581945B2 (en) 2017-08-28 2020-03-03 Banjo, Inc. Detecting an event from signal data
US10257058B1 (en) * 2018-04-27 2019-04-09 Banjo, Inc. Ingesting streaming signals
US10313413B2 (en) 2017-08-28 2019-06-04 Banjo, Inc. Detecting events from ingested communication signals
US10324948B1 (en) 2018-04-27 2019-06-18 Banjo, Inc. Normalizing ingested signals
US11025693B2 (en) 2017-08-28 2021-06-01 Banjo, Inc. Event detection from signal data removing private information
US10552683B2 (en) * 2018-04-27 2020-02-04 Banjo, Inc. Ingesting streaming signals
US11836811B2 (en) * 2017-08-31 2023-12-05 What'scommon, Inc. System and method for event-based pet searching on social media
US20190090023A1 (en) * 2017-09-19 2019-03-21 Sling Media L.L.C. Intelligent filtering and presentation of video content segments based on social media identifiers
US11132541B2 (en) 2017-09-29 2021-09-28 The Mitre Corporation Systems and method for generating event timelines using human language technology
US10349097B2 (en) * 2017-10-27 2019-07-09 Mti Film, Llc Metadata editor for multimedia delivery
US10417500B2 (en) 2017-12-28 2019-09-17 Disney Enterprises, Inc. System and method for automatic generation of sports media highlights
US10755115B2 (en) 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
US10261846B1 (en) 2018-02-09 2019-04-16 Banjo, Inc. Storing and verifying the integrity of event related data
US10846151B2 (en) 2018-04-13 2020-11-24 safeXai, Inc. Notifying entities of relevant events removing private information
US10970184B2 (en) 2018-02-09 2021-04-06 Banjo, Inc. Event detection removing private information
US10628601B2 (en) * 2018-02-09 2020-04-21 Banjo, Inc. Detecting events from features derived from ingested signals
US10313865B1 (en) 2018-04-27 2019-06-04 Banjo, Inc. Validating and supplementing emergency call information
US10324935B1 (en) 2018-02-09 2019-06-18 Banjo, Inc. Presenting event intelligence and trends tailored per geographic area granularity
US10585724B2 (en) 2018-04-13 2020-03-10 Banjo, Inc. Notifying entities of relevant events
US10423688B1 (en) 2018-04-13 2019-09-24 Banjo, Inc. Notifying entities of relevant events
US11159585B2 (en) 2018-03-14 2021-10-26 At&T Intellectual Property I, L.P. Content delivery and consumption with affinity-based remixing
US10904720B2 (en) 2018-04-27 2021-01-26 safeXai, Inc. Deriving signal location information and removing private information from it
US10353934B1 (en) * 2018-04-27 2019-07-16 Banjo, Inc. Detecting an event from signals in a listening area
US10327116B1 (en) 2018-04-27 2019-06-18 Banjo, Inc. Deriving signal location from signal content
AU2019267527A1 (en) * 2018-05-07 2020-11-19 Apple Inc. User interfaces for viewing live video feeds and recorded video
US11269943B2 (en) * 2018-07-26 2022-03-08 JANZZ Ltd Semantic matching system and method
US11361039B2 (en) 2018-08-13 2022-06-14 International Business Machines Corporation Autodidactic phenological data collection and verification
US11831954B2 (en) 2019-01-11 2023-11-28 Sharp Nec Display Solutions, Ltd. System for targeted display of content
US11710037B2 (en) 2019-01-28 2023-07-25 Walmart Apollo, Llc Systems and methods for altering user interfaces using predicted user activity
US10638206B1 (en) 2019-01-28 2020-04-28 International Business Machines Corporation Video annotation based on social media trends
US10521655B1 (en) 2019-02-11 2019-12-31 Google Llc Generating and provisioning of additional content for biased portion(s) of a document
US11314930B2 (en) 2019-02-11 2022-04-26 Google Llc Generating and provisioning of additional content for source perspective(s) of a document
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US10582343B1 (en) 2019-07-29 2020-03-03 Banjo, Inc. Validating and supplementing emergency call information
US10999566B1 (en) * 2019-09-06 2021-05-04 Amazon Technologies, Inc. Automated generation and presentation of textual descriptions of video content
US10997625B1 (en) * 2019-12-11 2021-05-04 Cloudinary Ltd. System, device, and method for determining predicted annoyance level of multimedia content
US20210209629A1 (en) * 2020-01-02 2021-07-08 Adobe Inc. Continuous updating of predicted event outcomes using real-time audience behavior
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11843574B2 (en) 2020-05-21 2023-12-12 Snap Inc. Featured content collection interface
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11809958B2 (en) 2020-06-10 2023-11-07 Capital One Services, Llc Systems and methods for automatic decision-making with user-configured criteria using multi-channel data inputs
CN116195261A (zh) 2020-09-05 2023-05-30 苹果公司 用于管理媒体项目的音频的用户界面
KR102443041B1 (ko) * 2021-02-26 2022-10-14 주식회사 페스타 이벤트간 유사성 측정을 통한 새로운 이벤트의 수요 예측 방법 및 장치
US20230010938A1 (en) * 2021-07-06 2023-01-12 Spherex, Inc. Content genome generation and management system in a multi-modal artificial intelligence system for media assets
US11704891B1 (en) 2021-12-29 2023-07-18 Insight Direct Usa, Inc. Dynamically configured extraction, preprocessing, and publishing of a region of interest that is a subset of streaming video data
US20240040115A1 (en) * 2022-07-26 2024-02-01 Insight Direct Usa, Inc. Scheduled scene modification for extraction, preprocessing, and publishing of streaming video data
CN117909002A (zh) * 2022-10-17 2024-04-19 抖音视界有限公司 用于内容呈现的方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
JP2005223534A (ja) * 2004-02-04 2005-08-18 Victor Co Of Japan Ltd 受信装置および集計グラフ作成方法
JP2006157691A (ja) * 2004-11-30 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> 代表画像選定方法及び装置及びプログラム
US7853622B1 (en) * 2007-11-01 2010-12-14 Google Inc. Video-related recommendations using link structure

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US59348A (en) * 1866-11-06 Improved composition for roofing
US270541A (en) * 1883-01-09 Locomotive ash-pan
US130580A (en) * 1872-08-20 Improvement in cooking-stoves
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
AU2001234456A1 (en) 2000-01-13 2001-07-24 Erinmedia, Inc. Privacy compliant multiple dataset correlation system
NZ503817A (en) 2000-04-07 2003-05-30 Cool 123 Ltd Survey reply using short message service mobile services
US8271341B2 (en) 2000-04-12 2012-09-18 Music Choice Media content delivery systems and methods
US20020152463A1 (en) * 2000-11-16 2002-10-17 Dudkiewicz Gil Gavriel System and method for personalized presentation of video programming events
US7444660B2 (en) * 2000-11-16 2008-10-28 Meevee, Inc. System and method for generating metadata for video programming events
US7155412B2 (en) * 2001-12-17 2006-12-26 International Business Machines Corporation Billing for use of a telephony device
US20030115188A1 (en) * 2001-12-19 2003-06-19 Narayan Srinivasa Method and apparatus for electronically extracting application specific multidimensional information from a library of searchable documents and for providing the application specific information to a user application
US7672864B2 (en) * 2004-01-09 2010-03-02 Ricoh Company Ltd. Generating and displaying level-of-interest values
US8010460B2 (en) 2004-09-02 2011-08-30 Linkedin Corporation Method and system for reputation evaluation of online users in a social networking scheme
US8185543B1 (en) 2004-11-10 2012-05-22 Google Inc. Video image-based querying for video content
US7801910B2 (en) * 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
US8442125B2 (en) 2005-11-29 2013-05-14 Google Inc. Determining popularity ratings using social and interactive applications for mass media
US7707246B1 (en) 2006-02-22 2010-04-27 Qurio Holdings, Inc. Creating a social network around recorded media
WO2008118183A1 (en) 2007-03-28 2008-10-02 Motionbox, Inc. System and method for autogeneration of long term media data from networked time-based media
CA2647617A1 (en) 2006-03-28 2007-11-08 Motionbox, Inc. System and method for enabling social browsing of networked time-based media
US8504575B2 (en) * 2006-03-29 2013-08-06 Yahoo! Inc. Behavioral targeting system
US8019815B2 (en) 2006-04-24 2011-09-13 Keener Jr Ellis Barlow Interactive audio/video method on the internet
US7720835B2 (en) * 2006-05-05 2010-05-18 Visible Technologies Llc Systems and methods for consumer-generated media reputation management
US20080059897A1 (en) * 2006-09-02 2008-03-06 Whattoread, Llc Method and system of social networking through a cloud
US8214272B2 (en) 2006-09-05 2012-07-03 Rafael A. Sosa Web site valuation
US8271429B2 (en) * 2006-09-11 2012-09-18 Wiredset Llc System and method for collecting and processing data
US8176191B2 (en) 2006-11-30 2012-05-08 Red Hat, Inc. Automated identification of high/low value content based on social feedback
US8161069B1 (en) * 2007-02-01 2012-04-17 Eighty-Three Degrees, Inc. Content sharing using metadata
US20090063995A1 (en) * 2007-08-27 2009-03-05 Samuel Pierce Baron Real Time Online Interaction Platform
KR102341800B1 (ko) 2007-09-26 2021-12-21 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US20090164929A1 (en) * 2007-12-20 2009-06-25 Microsoft Corporation Customizing Search Results
US9535988B2 (en) * 2007-12-21 2017-01-03 Yahoo! Inc. Blog-based video summarization
US8832753B2 (en) * 2008-01-16 2014-09-09 Apple Inc. Filtering and tailoring multimedia content based on observed user behavior
US8151194B1 (en) * 2008-03-26 2012-04-03 Google Inc. Visual presentation of video usage statistics
US8452855B2 (en) * 2008-06-27 2013-05-28 Yahoo! Inc. System and method for presentation of media related to a context
US20100042612A1 (en) * 2008-07-11 2010-02-18 Gomaa Ahmed A Method and system for ranking journaled internet content and preferences for use in marketing profiles
US9152722B2 (en) * 2008-07-22 2015-10-06 Yahoo! Inc. Augmenting online content with additional content relevant to user interest
EP2311277A4 (en) 2008-08-05 2014-01-08 Mediafriends Inc SMS TECHNOLOGY FOR COMPUTER DEVICES
US9892103B2 (en) * 2008-08-18 2018-02-13 Microsoft Technology Licensing, Llc Social media guided authoring
US20110179385A1 (en) * 2008-09-24 2011-07-21 Wencheng Li Content classification utilizing a reduced description palette to simplify content analysis
US8321401B2 (en) * 2008-10-17 2012-11-27 Echostar Advanced Technologies L.L.C. User interface with available multimedia content from multiple multimedia websites
US8032508B2 (en) * 2008-11-18 2011-10-04 Yahoo! Inc. System and method for URL based query for retrieving data related to a context
US8024311B2 (en) * 2008-12-05 2011-09-20 Eastman Kodak Company Identifying media assets from contextual information
US20100191728A1 (en) 2009-01-23 2010-07-29 James Francis Reilly Method, System Computer Program, and Apparatus for Augmenting Media Based on Proximity Detection
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US20100281108A1 (en) * 2009-05-01 2010-11-04 Cohen Ronald H Provision of Content Correlated with Events
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
EP2454712A4 (en) 2009-07-16 2013-01-23 Bluefin Labs Inc DETERMINATION AND DISPLAY OF SOCIAL INTERESTS IN TIME-BASED MEDIA

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
JP2005223534A (ja) * 2004-02-04 2005-08-18 Victor Co Of Japan Ltd 受信装置および集計グラフ作成方法
JP2006157691A (ja) * 2004-11-30 2006-06-15 Nippon Telegr & Teleph Corp <Ntt> 代表画像選定方法及び装置及びプログラム
US7853622B1 (en) * 2007-11-01 2010-12-14 Google Inc. Video-related recommendations using link structure

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170087776A (ko) * 2016-01-21 2017-07-31 주식회사 알티캐스트 관계 정보 기반의 성장형 콘텐츠 서비스 방법 및 시스템
WO2020102005A1 (en) * 2018-11-15 2020-05-22 Sony Interactive Entertainment LLC Dynamic music creation in gaming
US11328700B2 (en) 2018-11-15 2022-05-10 Sony Interactive Entertainment LLC Dynamic music modification
US11969656B2 (en) 2018-11-15 2024-04-30 Sony Interactive Entertainment LLC Dynamic music creation in gaming

Also Published As

Publication number Publication date
JP5795580B2 (ja) 2015-10-14
US11048752B2 (en) 2021-06-29
US20210397651A1 (en) 2021-12-23
US10445368B2 (en) 2019-10-15
KR20200008059A (ko) 2020-01-22
WO2011009101A1 (en) 2011-01-20
US20130086489A1 (en) 2013-04-04
CA2771379C (en) 2019-05-21
EP2454712A1 (en) 2012-05-23
KR102068790B1 (ko) 2020-01-21
US8516374B2 (en) 2013-08-20
CA2771379A1 (en) 2011-01-20
EP2454712A4 (en) 2013-01-23
US10133818B2 (en) 2018-11-20
JP2012533803A (ja) 2012-12-27
US20110041080A1 (en) 2011-02-17
CA3041557C (en) 2022-03-22
US20160246801A1 (en) 2016-08-25
KR20120088650A (ko) 2012-08-08
CA3041557A1 (en) 2011-01-20
US9542489B2 (en) 2017-01-10
US20170075995A1 (en) 2017-03-16
KR102112973B1 (ko) 2020-05-19
EP3009975A1 (en) 2016-04-20
US20110040760A1 (en) 2011-02-17
KR101944469B1 (ko) 2019-01-31
US20200073888A1 (en) 2020-03-05
CA3149767A1 (en) 2011-01-20
US9218101B2 (en) 2015-12-22
MX2012000724A (es) 2012-06-25
KR101816113B1 (ko) 2018-01-08
KR20190011829A (ko) 2019-02-07

Similar Documents

Publication Publication Date Title
KR101944469B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US11574321B2 (en) Generating audience response metrics and ratings from social interest in time-based media
US9471936B2 (en) Web identity to social media identity correlation
WO2012100222A2 (en) Cross media targeted message synchronization
CN113779381B (zh) 资源推荐方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20180102

Application number text: 1020127004145

Filing date: 20120216

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180402

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181026

PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20190125

Application number text: 1020127004145

Filing date: 20120216

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190125

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190128

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220114

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230112

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20241105