[go: up one dir, main page]

KR20180037826A - 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템 - Google Patents

디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템 Download PDF

Info

Publication number
KR20180037826A
KR20180037826A KR1020160128537A KR20160128537A KR20180037826A KR 20180037826 A KR20180037826 A KR 20180037826A KR 1020160128537 A KR1020160128537 A KR 1020160128537A KR 20160128537 A KR20160128537 A KR 20160128537A KR 20180037826 A KR20180037826 A KR 20180037826A
Authority
KR
South Korea
Prior art keywords
information
content
feature information
search
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020160128537A
Other languages
English (en)
Inventor
고광현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160128537A priority Critical patent/KR20180037826A/ko
Priority to PCT/KR2017/010992 priority patent/WO2018066938A1/ko
Priority to US16/336,651 priority patent/US11218764B2/en
Publication of KR20180037826A publication Critical patent/KR20180037826A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • G06F17/30784—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F17/30743—
    • G06F17/30899—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 컨텐츠에 대응되는 영상을 표시하는 디스플레이부, 컨텐츠로부터 특징 정보를 추출하는 프로세서 및 추출된 특징 정보 및 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송하고, 복수의 검색 영역 중 검색 범위 정보에 대응되는 검색 영역 내의 추출된 특징 정보와 매칭되는 특징 정보에 대응하는 부가 정보를 외부 서버로부터 수신하는 통신부를 포함하고, 프로세서는, 수신된 부가 정보가 표시되도록 디스플레이부를 제어한다.

Description

디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템 { DISPLAY APPARATUS, METHOD OF CONTROLLING DISPLAY APPARATUS AND INFORMATION PROVIDING SYSTEM }
본 개시는 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템에 대한 것으로, 보다 상세하게는 컨텐츠로부터 추출된 특징 정보 및 추가 정보를 이용하여 컨텐츠 인식 속도를 향상시킬 수 있는 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템에 대한 것이다.
사용자의 니즈가 점차 다양해지면서, 방송 콘텐츠 또는 멀티미디어 콘텐츠의 출처가 공중파 위주의 단일 소스에서, 케이블, IPTV(Internet Protocol TV), Vod(Video On Demand) 등의 다양한 소스들로 변화되고 있다. 그리고 맞춤형 광고나 프로그램 추천 등의 정보를 제공하는 소스들도 발생하고 있었다.
이와 같은 맞춤형 광고나 프로그램 추천 등의 정보는, 현재 출력되는 장면에 맞게 적절하게 제공될 필요가 있다. 가령, 특정 제품에 대한 광고 메시지는 해당 제품이 노출되는 장면이 표시될 때, 함께 표시되는 것이 가장 효과적이다. 따라서, 디스플레이 장치에선 현재 표시되고 있는 영상이 무엇인지 인식하는 기술이 필요하였다.
이를 위해, 출력되고 있는 컨텐츠로부터 특징 데이터를 추출하고, 추출된 특징 데이터와 기 저장된 특징 데이터 매칭하는 작업을 수행함으로써 컨텐츠를 인식하는 기술이 등장하였다. 핑거프린트를 이용한 ACR(Automatic Contents Recognition) 기술이 대표적이었다.
그러나 컨텐츠의 종류가 다양해짐에 따라, 출력 중인 컨텐츠로부터 추출된 특징 데이터에 비교 대상이 되는 특징 데이터의 양도 또한 매우 방대하여, 매칭 작업에 많은 양의 연산이 필요하다는 단점이 있었다. 또한, 이에 따라 매칭 작업 속도가 느려지게 되어, 디스플레이 장치에서 광고 메시지 등이 적절한 타이밍에 제공되지 못한다는 문제도 존재하였다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 컨텐츠로부터 추출된 특징 정보 및 추가 정보를 이용하여 컨텐츠 인식 속도를 향상시킬 수 있는 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디스플레이 장치는, 컨텐츠에 대응되는 영상을 표시하는 디스플레이부, 상기 컨텐츠로부터 특징 정보를 추출하는 프로세서 및 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송하고, '복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내의 상기 추출된 특징 정보와 매칭되는 특징 정보'에 대응하는 부가 정보를 상기 외부 서버로부터 수신하는 통신부를 포함한다.
이 경우, 상기 프로세서는, 상기 수신된 부가 정보가 표시되도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 검색 범위 정보는, 상기 외부 서버가 방송 채널별 복수의 데이터 베이스 중 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 데이터 베이스를 결정하거나, 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색하기 위한 검색 조건을 결정하는데 이용하기 위한 상기 디스플레이 장치에서의 주요시청 채널 정보일 수 있다.
한편, 상기 검색 범위 정보는, 시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함할 수 있다.
이 경우, 상기 검색 범위 정보는, 상기 컨텐츠를 제공하는 소스의 정보를 더 포함할 수 있다.
이 경우, 상기 프로세서는, 상기 컨텐츠를 제공하는 소스의 정보에 대응되는 추출 주기로 상기 컨텐츠로부터 특징 정보를 추출할 수 있다.
한편, 상기 부가 정보는, 상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는, 상기 컨텐츠로부터 채널 정보를 추출하고, 추출된 채널 정보에 기초하여, 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보의 전송 여부를 결정할 수 있다.
한편, 상기 추출된 특징 정보는, 상기 영상에서 추출된 텍스트, 로고, 비디오 핑거 프린트 및 상기 컨텐츠의 오디오에서 추출된 오디오 핑거 프린터 중 적어도 하나일 수 있다.
한편, 본 개시의 일 실시 예에 따른 정보 제공 시스템은, 컨텐츠에 대응되는 영상을 표시하고, 상기 컨텐츠에 대응되는 특징 정보를 추출하는 디스플레이 장치, 및 상기 디스플레이 장치로부터 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 수신하고, 복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내에서 상기 추출된 특징 정보와 매칭되는 특징 정보를 검색하고, 검색된 특징 정보에 대응하는 부가 정보를 상기 디스플레이 장치에 제공하는 서버를 포함하고, 상기 디스플레이 장치는, 상기 수신된 부가 정보를 표시한다.
이 경우, 상기 검색 범위 정보는, 상기 디스플레이 장치에서의 주요시청 채널 정보이며, 상기 서버는, 방송 채널별 복수의 데이터 베이스 중 상기 주요시청 채널 정보에 기초하여 결정된 데이터 베이스에서 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 수 있다.
한편, 상기 서버는, 상기 추출된 특징 정보와 매칭되는 특징 정보가 검색될 때까지 상기 복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역부터 순차적으로 검색을 수행할 수 있다.
한편, 상기 검색 범위 정보는, 상기 디스플레이 장치의 사용에 대응하여 발생된 이력 정보 및 상기 컨텐츠를 제공하는 소스의 정보를 포함하며, 상기 서버는, 상기 복수의 검색 영역 중 상기 이력 정보 및 상기 컨텐츠를 제공하는 소스의 정보에 대응하는 검색 영역 내에서 상기 추출된 특징 정보와 매칭되는 특징 정보를 검색할 수 있다.
한편, 상기 부가 정보는, 상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 추출된 특징 정보는, 상기 영상에서 추출된 텍스트, 로고, 비디오 핑거 프린트 및 상기 컨텐츠의 오디오에서 추출된 오디오 핑거 프린터 중 적어도 하나일 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 컨텐츠에 대응되는 영상을 표시하는 단계, 상기 컨텐츠로부터 특징 정보를 추출하는 단계, 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송하는 단계, '복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내의 상기 추출된 특징 정보와 매칭되는 특징 정보'에 대응하는 부가 정보를 상기 외부 서버로부터 수신하는 단계 및 상기 수신된 부가 정보 표시하는 단계를 포함한다.
이 경우, 상기 검색 범위 정보는, 상기 외부 서버가 방송 채널별 복수의 데이터 베이스 중 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 데이터 베이스를 결정하는데 이용하기 위한 상기 디스플레이 장치에서의 주요시청 채널 정보일 수 있다.
한편, 상기 검색 범위 정보는, 시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함할 수 있다.
이 경우, 상기 검색 범위 정보는, 상기 컨텐츠를 제공하는 소스의 정보를 더 포함할 수 있다.
이 경우, 상기 추출하는 단계는, 상기 컨텐츠를 제공하는 소스의 정보에 대응되는 추출 주기로 상기 컨텐츠로부터 특징 정보를 추출할 수 있다.
한편, 상기 부가 정보는, 상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 추출된 특징 정보는, 상기 영상에서 추출되는 텍스트, 로고, 비디오 핑거 프린트 및 상기 컨텐츠의 오디오에서 추출되는 오디오 핑거 프린터 중 적어도 하나일 수 있다.
도 1은 본 개시의 일 실시 예에 따른 정보제공시스템을 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 서버의 검색 영역을 설명하기 위한 도면,
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 4 내지 도 5는 본 개시의 다양한 실시 예에 따른 디스플레이 장치의 OCR 인식 방법을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치의 로고 인식을 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블럭도,
도 8, 도 12 및 도 13은 본 개시의 또 다른 실시 예들에 따른 정보제공시스템을 도시한 도면,
도 9는 본 개시의 일 실시 예에 따른 정보제공시스템의 동작을 설명하기 위한 흐름도,
도 10 및 도 11은 본 개시의 다양한 실시 예에 따른 정보제공시스템에서의 검색 데이터 베이스를 설명하기 위한 도면, 그리고
도 14는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 정보 제공 시스템을 설명하기 위한 도면이다.
도 1을 참고하면, 정보 제공 시스템(1000)은 디스플레이 장치(100)와 서버(200)를 포함한다.
디스플레이 장치(100)는 컨텐츠에 대응되는 영상을 표시할 수 있는 장치이다. 예컨대, 디스플레이 장치(100)는 TV 또는, PC, 휴대폰, PDA 등과 같은 전자 장치일 수 있다.
컨텐츠란, 디스플레이 장치(100)에서 시청될 수 있는 미디어 객체를 의미하는 것으로 예를 들어, 컨텐츠를 제공하는 소스의 종류에 따라, 라이브 방송 컨텐츠, DVR 컨텐츠, VoD/OTT Non-linear 컨텐츠, UGC 컨텐츠 등으로 구분될 수 있다.
디스플레이 장치(100)는 출력 중인 컨텐츠로부터 특징정보를 추출할 수 있다. 특징 정보는 예컨대 컨텐츠에 대응되는 영상에서 추출되는 텍스트, 로고, 비디오 핑거 프린트, 컨텐츠의 오디오에서 추출되는 오디오 핑거 프린터 등일 수 있다.
한편, 핑거프린트(fingerprint)란, 컨텐츠의 일부 구간의 영상 또는 사운드에 대한 고유 데이터를 의미한다. 구체적으로, 핑거프린트는 영상 신호 또는 오디오 신호로부터 추출된 특징 정보로서, 텍스트를 기반으로 한 메타 데이터와는 달리, 신호 자체 고유의 특성을 반영한다. 따라서 핑거프린트를 지문 데이터, DNA 데이터 또는 유전자 데이터라고도 한다. 예컨대 오디오 신호로부터 추출된 오디오 핑거프린트는 오디오 신호의 주파수, 진폭 등의 특징을 나타낸 정보이고, 영상 신호로부터 추출된 비디오 핑거프린트는 영상 신호의 모션 벡터, 색상 등의 특징을 나타낸 정보이다. 이와 같은 핑거프린트는 자동 컨텐츠 식별(Automatic Contents Recognition, ACR) 기술에서 이용된다.
디스플레이 장치(100)는 서버(200)와 통신이 가능하며, 컨텐츠로부터 추출된 특징 정보를 서버(200)에 전송하고, 서버(200)에 저장된 특징 정보들 중에서 추출된 특징 정보에 매칭되는 특징 정보에 대응하는 부가 정보를 수신할 수 있다.
이 경우, 디스플레이 장치(100)는 서버(200)에 존재하는 복수의 검색 영역 중에서 상기 추출된 특징 정보에 매칭되는 특징 정보가 존재할 확률이 높은 검색 영역을 알려주는 검색 범위 정보를 특징 정보와 함께 서버(200)로 전송할 수 있다.
여기서 검색 범위 정보는, 시청 이력 정보, 소스 선택 이력 정보 및 컨텐츠를 제공하는 소스의 정보 중 적어도 하나가 포함될 수 있다.
서버(200)는 디스플레이 장치(100)로부터 수신된 특징 정보에 매칭되는 특징 정보를 검색할 수 있다. 서버(200)는 매칭 서버로 명명될 수도 있다. 구체적으로, 서버(200)에는 디스플레이 장치(100)로부터 수신된 특징 정보와 비교 대상이 될 복수의 특징 정보와, 이러한 복수의 특징 정보에 대응하는 부가 정보들이 저장되어 있다. 서버(200)는 서버(200)에 저장된 복수의 특징 정보 중에서 디스플레이 장치(100)로부터 수신된 특징 정보와 매칭되는 특징 정보를 검색하고, 검색된 특징 정보에 대응되는 부가 정보를 디스플레이 장치(100)로 전송할 수 있다.
부가 정보는 컨텐츠의 식별 정보, 컨텐츠에 연관된 광고 정보, 컨텐츠에 연관된 컨텐츠 추천 정보 및 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함할 수 있다. 여기서 컨텐츠 식별 정보는, 컨텐츠가 라이브 방송인 경우에는 채널별 EPG 메타데이터이며, VoD/OTT 등과 같은 컨텐츠나 광고와 같은 커스텀 컨텐츠(custom content)의 경우에는 미리 기록된 컨텐츠에 대한 정보일 수 있다.
부가 정보는 서버(200)에 저장되어 있거나, 서버(200)에 연결된 부가정보 제공 서버로부터 제공될 수 있다.
특히, 서버(200)는 디스플레이 장치(100)로부터 특징 정보와 함께 수신된 검색 범위 정보에 기초하여, 복수의 검색 영역 중 디스플레이 장치(100)로부터 수신된 특징 정보와 동일 또는 유사한 특징 정보가 존재할 확률이 높은 검색 영역에서 검색을 수행할 수 있다. 여기서 검색 영역이란, 데이터 베이스로도 명명될 수 있다.
복수의 검색 영역은, 컨텐츠의 타입별로 구분된 검색 영역이거나, 컨텐츠의 제조사별로 구분된 검색 영역이거나, 컨텐츠의 제공사별로 구분된 검색영역일 수 있다. 구체적인 예로, 도 2에 도시된 바와 같이, 서버(200)에는 라이브 방송 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(21), DVR 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(22), 캐치 업 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(23), 커스텀 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(24), VoD 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(25)이 존재할 수 있다.
만약, 디스플레이 장치(100)로부터 수신된 검색 범위 정보에 기초하였을 때, 디스플레이 장치(100)로부터 수신된 특징 정보에 대응되는 특징 정보가 라이브 방송 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(21)에 존재할 확률이 높은 경우, 서버(200)는 복수의 검색 영역 모두에서 검색을 수행하는 대신, 라이브 방송 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(21)에서만 검색을 수행할 수 있다.
이에 따라, 검색 범위를 줄일 수 있으므로, 줄어든 만큼 서버 비용이 감소되고 검색 시간도 단축될 수 있으며, 따라서 디스플레이 장치(100)는 보다 빠르게 부가 정보를 받아볼 수 있게 되므로, 디스플레이 장치(100)에서 현재 표시되고 있는 컨텐츠에 연관된 정보를 더욱 정확한 타이밍에 실시간으로 사용자가 제공 받을 수 있게 된다.
한편, 도 1에선 서버(200)가 하나인 것으로 도시하였으나, 기능에 따라 복수 개의 서버가 존재할 수 있다.
한편, 디스플레이 장치(100)가 수행하는 다양한 기능 중에서 영상 표시 기능을 제외한 다른 기능들 중 일부 혹은 전부는 디스플레이 장치(100)와 연결된 컨텐츠 제공 장치에서 수행될 수 있다. 예컨대, 디스플레이 장치와 연결되어 디스플레이 장치로 컨텐츠를 제공하는 셋톱 박스, DVR(digital video recorder)와 같은 전자 장치가 컨텐츠로부터 특징 정보를 추출하는 동작, 서버(200)로 특징 정보와 검색 범위 정보를 전송하는 동작 및 서버(200)로부터 부가 정보를 수신하는 동작 중 적어도 하나를 수행할 수 있다.
또한, 경우에 따라 디스플레이 장치(100)(또는, 셋톱 박스와 같은 전자 장치)와 서버(200)는 하나의 장치로 구현될 수도 있다.
이하에선 본 개시에 따른 디스플레이 장치(100)와 서버(200)에 대해 좀 더 자세히 설명하도록 한다.
도 3은 본 개시에 따른 디스플레이 장치(100)를 설명하기 위한 블록도이다.
도 3을 참고하면 디스플레이 장치(100)는 디스플레이부(110), 통신부(120) 및 프로세서(130)를 포함한다.
디스플레이부(110)는 컨텐츠에 대응하는 영상을 표시하기 위한 구성이다. 디스플레이부(110)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
통신부(120)는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 기기에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부(120)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다.
프로세서(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 프로세서(130)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 이상에서는 프로세서(130)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, MPU 등)로 구현될 수 있다. 또한 프로세서(130)는 MICOM(MICRO COMPUTER), ASIC(application specific integrated circuit) 등으로 구현될 수 있다.
프로세서(130)는 컨텐츠에 대응하는 영상을 표시하도록 디스플레이부(110)를 제어할 수 있다. 그리고 프로세서(130)는 디스플레이부(110)를 통해 표시되는 영상에 대응하는 컨텐츠로부터 특징 정보를 추출할 수 있다.
프로세서(130)는 표시된 영상으로부터 텍스트, 로고 등을 특징 정보로서 추출할 수 있다. 텍스트 추출을 위해 OCR(optical character reader)이 사용될 수 있다.
일 예로, 도 4에 도시한 것과 같이 채널 배너(40)에서 채널 번호(41), 채널명(42), 프로그램명(43), 채널 콜 사인(callsign) 등의 텍스트가 특징 정보로서 추출될 수 있고, 도 5에 도시한 것과 같이 컨텐츠 타이틀(51) 등의 텍스트가 특징 정보로서 추출될 수 있다. 이때 OCR이 사용될 수 있다.
또는, 시작/정지 버튼과 같은 기설정된 이미지(52)도 특징 정보로서 추출될 수 있다. 시작/정지 버튼과 같은 기설정된 이미지(52)는 현재의 컨텐츠가 라이브 방송이 아닌 VoD 컨텐츠 등임을 나타내는 것이다.
또 다른 예로, 도 6에 도시한 것과 같이 방송사 로고(61)가 특징 정보로서 추출될 수 있다.
또한, 프로세서(130)는 표시된 영상으로부터 비디오 핑거프린트를 추출할 수 있다. 일 예에 따르면, 프로세서(130)는 한 영상 프레임 내의 특정 좌표 및 일정한 기준에 의한 그 좌표의 방향 값의 크기들을 포함하는 특징점을 추출하고, 방향 값이 큰 순서대로 몇 개의 특징점을 선택하고, 선택된 특징점들 간의 일정한 관계를 설정함으로써 한 영상 프레임에 대한 비디오 특징정보를 추출할 수 있다.
또한 프로세서(130)는 표시된 영상에 대응하는 컨텐츠의 오디오로부터 오디오 핑거프린트를 추출할 수 있다. 일 예에 따르면, 프로세서(130)는 오디오 신호를 일정 시간 간격으로 분할하고, 각 시간 간격에 포함되는 주파수들의 신호의 크기를 계산하고 인접한 주파수 구간의 신호들 간의 크기 차를 구하여 주파수 기울기를 계산하고, 기울기가 양수인 경우 1로, 음수인 경우 0으로 양자화함으로써 오디오 핑거프린트를 추출할 수 있다.
그리고 프로세서(130)는 상기와 같이 추출된 특징 정보와 함께 서버(200)로 검색 범위 정보를 전송하도록 통신부(120)를 제어할 수 있다.
검색 범위 정보는 서버(200)가 방송 채널별 복수의 데이터 베이스(또는 복수의 검색 영역) 중 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 데이터 베이스를 결정하는데 이용하거나, 상기 외부 서버가 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색하기 위한 검색 조건을 결정하는데 이용하기 위한 디스플레이 장치(100)에서의 주요시청 채널 정보일 수 있다.
예컨대, 디스플레이 장치(100)에서 최근 한달 간 30개의 채널만 시청한 이력이 있는 경우 프로세서(130)는 그 30개의 채널에 대한 정보를 주요 시청 채널 정보로 하여 서버(200)에 전송할 수 있다. 서버(200)는 주요 시청 채널 정보와 특징 정보를 수신하여, 상기 30개의 채널에 해당하는 데이터 베이스에서만 특징 정보에 대한 검색 동작을 수행할 수 있다. 또한 서버(200)는 상기와 같은 주요 시청 채널 정보에 기초하여 검색식을 생성하고, 생성된 검색식에 기초하여 특징 정보에 대한 검색 동작을 수행할 수 있다.
또 다른 실시 예에 따르면 검색 범위 정보는 시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함할 수 있다.
시청 이력 정보는, 예컨대, '디스플레이 장치(100)를 통해 라이브 방송을 보지 않는다' 혹은 '디스플레이 장치(100)를 통해 일요일 저녁 8시에는 항상 뉴스를 본다'와 같은 시청 이력을 나타낸 정보이다. 디스플레이 장치(100)에서 서버(200)로 '디스플레이 장치(100)를 통해 라이브 방송을 보지 않는다'를 나타내는 시청 이력 정보와 함께 특징 정보가 수신되면, 이는 곧, 현재 디스플레이 장치(100)에서 VoD 컨텐츠 등과 같이 non-linear 컨텐츠가 표시되고 있을 확률이 높다는 의미이므로, 서버(200)는 도 2를 통해 설명한, 라이브 방송 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(21)은 제외하고 검색 동작을 수행할 수 있다. 또는, 디스플레이 장치(100)에서 서버(200)로 일요일 저녁 8시에 특징 정보와 함께 '디스플레이 장치(100)를 통해 일요일 저녁 8시에는 항상 뉴스를 본다'를 나타내는 시청 이력 정보가 수신되면, 이는 곧, 현재 일요일 저녁 8시에 라이브 방송인 뉴스를 보고 있을 확률이 높다는 의미이므로, 서버(200)는 도 2를 통해 설명한 라이브 방송 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(21)에서 검색 동작을 수행할 수 있다. 또는, 디스플레이 장치(100)에서 서버(200)로 수요일 저녁 8시에는 항상 프로그램 'American singer'가 시청되었음을 나타내는 시청 이력 정보가 수신되면, 서버(200)는 해당 시간에 'American singer'의 방송사의 실시간 방송 컨텐츠에 대응하느 srjator 영역부터 검색 동작을 수행할 수 있다.
소스 선택 이력 정보는, 컨텐츠의 소스를 선택한 이력을 나타내는 정보로서, 컨텐츠 소스에는, DVR, 셋탑 박스, 방송 신호를 수신하는 튜너 등 다양한 소스가 있다. 예컨대 소스 선택 이력 정보에 컨텐츠 소스로서 최근 30일 동안 DVR을 사용하지 않았음을 알리는 정보가 포함되어 있는 경우, 이러한 소스 선택 이력 정보가 특징 정보와 함께 디스플레이 장치(100)로부터 서버(200)로 전송되면, 서버(200)는 도 2를 통해 설명한 DVR 컨텐츠에 대한 특징 정보들이 포함된 검색 영역(22)은 제외하고 검색 동작을 수행할 수 있다.
또 다른 실시 예에 따르면, 검색 범위 정보에는 시청 이력 정보 및 소스 선택 이력 정보와 같이 디스플레이 장치(100)의 사용에 의해 생성된 정보 이외에도, 컨텐츠를 제공하는 소스의 정보도 포함될 수 있다.
컨텐츠를 제공하는 소스의 정보는, 현재 디스플레이부(110)에서 표시되는 영상에 대응하는 컨텐츠의 소스에 대한 정보를 나타내는 것으로, 예컨대 현재 디스플레이부(110)에서 HDMI 소스를 통해 입력된 컨텐츠에 대응하는 영상이 표시되고 있으면 프로세서(130)는 HDMI CEC 정보를 확인하여 컨텐츠를 제공하는 소스의 정보를 얻을 수 있다. CEC 기능은 HDMI로 연결된 기기들이 서로를 제어할 수 있게 하는 기능으로서, 컨텐를 제공하는 장치가 CEC 기능을 지원하는 기기라면, HDMI CEC 정보엔 그 기기의 사업자 정보가 포함되어 있을 수 있다.
또 다른 예로 프로세서(130)는 디스플레이 장치(100)를 제어하는 리모컨 입력에 기초하여 컨텐츠를 제공하는 소스의 정보를 얻을 수 있다. 만약 리모컨으로부터 채널 업/다운 입력을 수신한 경우라면, 현재 디스플레이부(110)에서 표시되는 영상에 대응하는 컨텐츠는 라이브 방송임을 알 수 있다.
또 다른 예로 프로세서(130)는 현재 디스플레이 장치(100)의 입력 모드를 확인하여 컨텐츠를 제공하는 소스의 정보를 얻을 수 있다. 예컨대, 현재 입력 모드가 DVR 입력모드인 경우, 현재 디스플레이부(110)에서 표시되는 영상에 대응하는 컨텐츠는 DVR 컨텐츠임을 알 수 있다.
또 다른 예로, 도 4 내지 도 6에서 설명한 것처럼 컨텐츠로부터 텍스트, 이미지를 인식하여 컨텐츠를 제공하는 소스의 정보를 얻을 수 있다. 도 4의 채널 번호(41), 채널 명(42) 등의 컨텐츠 소스를 나타내는 정보에 기초하여, 서버(200)는 채널 13 혹은 "AAA COMEDY"에 해당하는 검색 영역에서 검색을 수행할 수 있다. 그리고 도 5의 시작/정지 버튼(52)은 현재 컨텐츠의 제공 소스가 라이브 방송이 아님을 나타내고 있으므로, 서버(200)는 라이브 방송 컨텐츠에 해당하는 검색 영역은 제외하고 검색을 수행할 수 있다. 그리고 도 6의 방송사 로고(61)도 컨텐츠 소스를 나타내는 정보이므로, 서버(200)는 이에 기초하여 검색 영역을 특정할 수 있다.
상술한 바와 같이, 시청 이력 정보 및 소스 선택 이력 정보와 같이 디스플레이 장치(100)의 사용에 대응하여 발생된 이력 정보뿐만 아니라 컨텐츠를 제공하는 소스의 정보를 서버(200)에 전송하게 되면, 더 검색 범위를 좁힐 수 있게된다. 다시 말해, 다양한 정보가 조합되어 이용되면 서버(200)에서의 검색 속도가 더 향상될 수 있다.
한편, 상술한 컨텐츠를 제공하는 소스의 정보는 서버(200)에서의 검색 영역 범위를 결정하는데 사용될 수 있을 뿐만 아니라, 디스프레이 장치(100)에서 서버(200)로 특징 정보를 전송하는 주기를 결정하는 데에도 사용할 수 있다.
구체적으로, 프로세서(130)는 디스플레이부(110)에서 표시되는 영상에 대응하는 컨텐츠를 제공하는 소스의 정보에 대응되는 추출 주기로 상기 컨텐츠로부터 특징 정보를 추출하고, 추출된 특징 정보를 서버(200)로 전송하도록 통신부(120)를 제어할 수 있다. 예컨대, 컨텐츠 소스가 게임기이고 서버(200)엔 게임 영상에 대해 제공할 부가 정보가 없는 경우, 특징 정보가 빈번하게 서버(200)로 전송될 필요가 없다. 이 경우, 프로세서(130)는 컨텐츠 소스가 게임기인 동안엔 특징 정보의 추출 주기를 일반적인 경우보다 길게 설정할 수 있다.
또한, 부가 정보의 수신 이력 정보도 특징 정보 추출 주기를 결정하는 데 이용될 수 있다.
부가 정보의 수신 이력 정보는, 특정 컨텐츠 소스에서 제공된 컨텐츠에서 추출한 특징 정보를 서버(200)로 보냈을 때, 서버(200)로부터 응답으로서 부가 정보가 수신되었는지 여부, 즉 매칭되는 특징 정보가 검색되었는지를 나타내는 정보일 수 있다. 예컨대, 디스플레이 장치(100)는 복수의 HDMI 입력을 가지고, 그 중 HDMI 3을 통해 제공된 컨텐츠에서 추출된 특징 정보를 서버(200)로 보냈을 때 매칭되는 특징 정보가 없다는 결과를 수신한 이력이 있는 경우, 이러한 사항은 부가 정보의 수신 이력 정보에 포함될 수 있고, 추후에 다시 HDMI 3을 통해 컨텐츠가 제공되는 경우, 프로세서(130)는 상기와 같은 부가 정보의 수신 이력 정보에 기초하여, HDMI 3을 통해 컨텐츠로부터 추출되는 특징 정보는 서버(200)의 특징 정보에 매칭되지 않을 확률이 높다고 판단하여, 특징 정보 추출 주기를 일반적인 경우보다 길게 설정할 수 있다.
한편, 프로세서(130)는 디스플레이부(110)에서 표시되는 컨텐츠로부터 채널 정보를 추출하고, 추출된 채널 정보에 기초하여, 상기 컨텐츠로부터 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보의 전송 여부를 결정할 수 있다. 예컨대, 컨텐츠로부터 추출된 채널 정보에 기초하였을 때, 특징 정보를 서버(200)에 전송하더라도 검색 결과가 제공되지 않을 것으로 예상된다면, 그 특징 정보를 보내는 것은 불필요하게 데이터 전송량을 증가시키는 결과가 되므로, 본 실시 예에 따르면 그러한 경우를 방지할 수 있다.
이 경우, 상기 채널 정보는 OCR 인식 또는 로고 인식 등에 의해 추출된 방송사 이름, 로고, 채널 번호, 컨텐츠 이름 등 중 어느 하나를 포함할 수 있다. 구체적인 예로, 컨텐츠로부터 추출된 방송사 이름, 로고 등에 기초하였을 때 컨텐츠를 제공하는 방송사가 서버(200)에 특징 정보를 검색 기반이 될 데이터베이스를 제공하지 않는 방송사인 경우, 프로세서(130)는 컨텐츠로부터 추출된 특징 정보 및 검색 범위 정보를 서버(200)로 전송하지 않는다. 또 다른 예로, 컨텐츠로부터 추출된 채널 번호가 VOD 컨텐츠를 소개하는 채널 번호인 경우, 프로세서(130)는 컨텐츠로부터 추출된 특징 정보 및 검색 범위 정보를 서버(200)로 전송하지 않는다.
또 다른 실시 예에 따르면, 프로세서(130)는 상기와 같은 채널 정보에 기초하였을 때 특징 정보의 전송이 필요 없는 경우라고 판단되면 특징 정보를 컨텐츠로부터 추출하는 동작을 아예 생략할 수도 있다.
한편, 도 3에 도시하진 않았으나 디스플레이 장치(100)는 튜너(tuner) 및 입/출력부 중 적어도 하나를 포함할 수 있다. 튜너는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 디스플레이 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 비디오(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너는 사용자 입력에 대응되는 채널 번호에 대응되는 주파수 대역에서 비디오, 오디오 및 데이터를 수신할 수 있다.
튜너는 지상파 방송, 케이블 방송, 또는, 위성 방송 등과 같이 다양한 소스에서부터 방송 신호를 수신할 수 있다. 튜너(120)는 다양한 소스에서부터 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
튜너는 디스플레이 장치(100)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(100)와 전기적으로 연결되는 튜너 유닛을 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부에 연결되는 튜너(도시되지 아니함))로 구현될 수 있다.
입/출력부는 컨텐츠 수신에 대응되는 HDMI 입력 포트(High-Definition Multimedia Interface port), 컴포넌트 입력 잭(jack), PC 입력 포트, 및 USB 입력 잭 중 적어도 하나를 포함할 수 있다. 입/출력부는 디스플레이 장치(100)의 성능 및 구조에 따라 추가, 삭제 및/또는 변경될 수 있다.
도 7은 본 개시의 일 실시 예에 따른 서버(200)를 설명하기 위한 블럭도이다.
서버(200)는 통신부(210)와 프로세서(220)를 포함한다.
통신부(210)는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 기기에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부(120)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다.
프로세서(220)는 서버(200)의 전반적인 동작을 제어하기 위한 구성이다. 프로세서(220)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 이상에서는 프로세서(220)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, MPU 등)로 구현될 수 있다. 또한 프로세서(220)는 MICOM(MICRO COMPUTER), ASIC(application specific integrated circuit) 등으로 구현될 수 있다.
특히 프로세서(220)는 디스플레이 장치(110)로부터 특징 정보 및 특징 정보에 대응되는 검색 범위 정보를 수신하고, 복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내에서 상기 추출된 특징 정보와 매칭되는 특징 정보를 검색하고, 검색된 특징 정보에 대응하는 부가 정보를 디스플레이 장치(100)에 전송하도록 상기 통신부(210)를 제어할 수 있다. 여기서 검색 영역은 데이터 베이스로 명명될 수도 있다.
일 실시 예에 따르면, 디스플레이 장치(100)로부터 수신된 검색 범위 정보는, 디스플레이 장치(100)에서의 주요시청 채널 정보이며, 프로세서(220)는 방송 채널별 복수의 데이터 베이스 중 주요시청 채널 정보에 기초하여 결정된 데이터 베이스에서, 디스플레이 장치(100)로부터 수신된 특징 정보에 매칭되는 특징 정보를 검색할 수 있다.
한편, 프로세서(220)는 검색 범위 정보에 대응되는 검색 영역에서만 검색을 수행한 뒤, 그 검색 결과를 디스플레이 장치(100)로 제공할 수 있다. 따라서, 디스플레이 장치(100)에서 수신된 특징 정보에 매칭되는 특징 정보가 검색되지 않은 경우엔 프로세서(220)는 검색되지 않았음을 알리는 정보를 디스플레이 장치(100)로 전송할 수 있다.
또는, 프로세서(220)는 디스플레이 장치(100)로부터 수신된 특징 정보와 매칭되는 특징 정보가 검색될 때까지 복수의 검색 영역을 순차적으로 검색할 수 있는데, 이 경우, 복수의 검색 영역 중 디스플레이 장치(100)로부터 수신된 검색 범위 정보에 대응되는 검색 영역부터 검색을 수행할 수 있다. 즉, 프로세서(220)는 검색 범위 정보에 대응되는 검색 영역에서 매칭되는 특징 정보가 검출되지 않더라도 나머지 검색 영역에서 검색을 수행할 수 있다.
또한, 경우에 따라서는 프로세서(220)는 검색 범위 정보 없이도, 디스플레이 장치(100)로부터 수신된 특징 정보만 이용하여 검색을 수행할 수 있다.
한편, 디스플레이 장치(100)로부터 수신되는 검색 범위 정보는 디스플레이 장치(100)의 사용에 대응하여 발생된 이력 정보 및 디스플레이 장치(100)에서 현재 컨텐츠를 제공하는 소스의 정보를 포함할 수 있다. 여기서 디스플레이 장치(100)의 사용에 대응하여 발생된 이력 정보는, 시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함할 수 있다.
이 경우, 프로세서(220)는 복수의 검색 영역 중 상기 이력 정보 및 상기 컨텐츠를 제공하는 소스의 정보에 대응하는 검색 영역 내에서, 디스플레이 장치(100)로부터 수신된 특징 정보와 매칭되는 특징 정보를 검색할 수 있다. 이처럼 다양한 정보가 조합되어 이용되면 검색 범위를 더 좁힐 수 있게된다.
한편, 검색 범위 정보는 디스플레이 장치(100)가 서버(200)로 제공하는 것으로 설명하였으나, 다른 전자 장치가 서버(200)로 검색 범위 정보를 제공하는 것도 가능하다.
도 8은 본 개시의 또 다른 실시 예에 따른 정보 제공 시스템(1000')을 설명하기 위한 도면이다. 특히, 도 8에서 설명하는 정보 제공 시스템(1000')은 특징 정보로서 오디오 및/또는 비디오 핑거 프린트가 이용되는 경우에 관련된 것이다.
도 8을 참고하면, 정보 제공 시스템(1000')은 디스플레이 장치(100'), 매칭 서버(200'), 분석 서버(300), 이벤트 서버(400), EPG 메타데이터 서버(500) 및 캡쳐 서버(600)를 포함한다.
디스플레이 장치(100')는 상술한 디스플레이 장치(100)가 TV로 구현된 경우를 나타낸 것이다.
디스플레이 장치(100')의 구성 요소에 대해 설명하자면, 캡쳐부(103)는 튜너 입력 또는 외부입력에서 받은 멀티미디어 컨텐츠 신호에서 오디오(Audio) 또는 비디오(Video)를 캡쳐하기 위한 구성이다. 외부 입력은 셋톱 박스, HDMI dongle 등일 수 있다.
핑거프린트 추출부(102)는 비디오 및/또는 오디오 핑거프린트를 추출하기 위한 구성이다. 통신부(108)는 매칭 서버(200')와 통신을 수행한다. ACR 컨트롤 관리부(101)는 ACR 매칭 전체를 관할한다. 시청 이력 데이터 베이스(104)는 디스플레이 장치(100')의 시청 이력을 저장한다. 시청 이력 데이터 베이스(104)는 시청 이력 자체를 저장할 수 있을 뿐만 아니라, 분석된 시청 패턴을 저장할 수 있다. 시청 이력 데이터 베이스(104)는 분석 서버(300)와 통신을 하여 시청 이력을 수신 및 저장하는 모듈이 포함될 수 있다. 정보사용판단부(105)는 시청 이력 정보와 장치 정보를 받고, 이를 핑거프린트 매칭에 사용할지를 결정한다. 즉, 시청 이력 정보 및 장치 정보 중 적어도 하나를 포함하는 검색 범위 정보를 매칭 서버(200)로 보낼 것인지를 결정한다. 장치 정보는, 컨텐츠의 소스, 즉 컨텐츠를 제공하는 장치의 정보로서, 예컨대 컨텐츠가 외부 입력을 통한 셋톱 박스에서 제공되고 있다면, 셋톱 박스의 제조사 정보를 포함할 수 있고, 컨텐츠가 방송신호로서 튜너 입력으로 제공되고 있다면, 방송 신호에 대응하는 방송사 정보를 포함할 수 있다. 또한, 장치 정보는 디스플레이 장치(100') 자체의 정보일 수 있다. 디스플레이 장치(100') 자체의 정보에는, 디스플레이 장치(100')가 설치된 위치에 대한 정보, 제조사 정보 등이 포함될 수 있다.
분석서버(300)는 디스플레이 장치(100')로부터 시청로그를 수집 분석하는 서버로서, 로그 수집부(301)과 시청 이력 분석부(302)를 포함할 수 있다. 디스플레이 장치(100')로부터 수집된 시청 로그들은 정제되어 저장되며, 다양한 방식으로 분석 작업이 수행된다. 분석 서버(300)는 디스플레이 장치(100') 뿐만 아니라, 다른 장치들과도 연결되어, 다양한 장치로부터 시청 로그를 수집할 수 있고, 장치별로 이를 관리할 수 있다. 분석 서버(300)는 전체 로그에 대한 통계 분석과 장치별로 시청패턴을 파악할 수 있는 개인화 분석을 수행할 수 있다. 이를 통해 ACR 핑거프린팅 매칭을 하는데 검색 범위를 줄여줄 수 있는 시청패턴(예컨대, 디스플레이 장치(100')를 통해서 수요일 저녁 8시에는 최근 4주간 항상 프로그램 '토크쇼'를 시청한다는 시청 이력 정보)을 생성할 수 있다. 이와 같이 생성된 정보는 통신부(108)를 통해 시청 이력 데이터 베이스(104)에 저장될 수 있다.
캡쳐 서버(600)는 컨텐츠로부터 핑거프린트를 추출하는 서버이다. 구체적으로 라이브 방송 튜너 뱅크 또는 파일/스트리밍의 컨텐츠를 캡쳐하여 핑거프린트를 추출할 수 있다.
EPG 메타데이터 서버(500)는 EPG 메타데이터 정보를 제공하는 서버로서, 라이브 방송의 EPG 메타데이터뿐만 아니라 컨텐츠에 따라 VoD/OTT, UGC 등의 non-linear 컨텐츠의 메타데이터 정보를 제공하는 서버일 수 있다. 그리고 EPG 메타데이터서버(500)는 경우에 따라 매칭 서버(200')가 아니라 캡쳐서버(600)와 연동 될 수 있다. EPG 메타 데이터 서버(500)는 상술한 실시 예들에서 설명한 부가 정보에 포함될 수 있는 컨텐츠 식별 정보를 제공할 수 있는 서버이다.
이벤트 서버(400)는 Overlay 또는 컨텐츠 연동 서비스에 관한 이벤트를 제공하는 서버이다. 이벤트 서버(400)는 상술한 실시 예들에서 설명한 부가 정보에 포함될 수 있는 컨텐츠에 연관된 광고 정보, 컨텐츠에 연관된 컨텐츠 추천 정보, 컨텐츠에 연관된 인터넷 주소 정보 등을 제공할 수 있는 서버이다.
그리고 매칭 서버(200')는, 캡쳐 서버(600), EPG 메타데이터 서버(500), 이벤트 서버(400) 등으로부터 제공된 정보들을 취합하여 저장하고 있으면서 디스플레이 장치(100')로부터 핑거프린트가 전달되면 일치하는 핑거프린트를 검색하고, 검색된 핑거프린트에 대응되는 컨텐츠 식별 정보를 디스플레이 장치(100')로 제공할 수 있다. 경우에 따라서는 컨텐츠에 연관된 광고 정보, 컨텐츠에 연관된 컨텐츠 추천 정보, 컨텐츠에 연관된 인터넷 주소 정보 등과 같은 이벤트 정보도 컨텐츠 식별 정보와 같이 디스플레이 장치(100')로 제공할 수 있다. 이벤트 정보의 전송은 필수적인 것은 아니고, 선택적이다.
도시되진 않았지만 매칭 서버(200')와 디스플레이 장치(100') 사이에는 Front-end 서버가 존재할 수 있다. 매칭 서버(200')는 하나 또는 복수개의 서버로 구성될 수 있다.
이벤트 관리부(106)는 이벤트를 실행을 위한 정보를 서비스 실행부(107)에 전달할 수 있다. 구체적으로, 매칭 서버(200')로부터 전달받은 이벤트 정보, 이벤트 정보가 출력될 시간에 대한 정보가 서비스 실행부(107)에 전달될 수 있다. 서비스 실행부(107)는 이벤트 정보를 컨텐츠와 함께 표시하는 등의 서비스를 제공할 수 있다. 한편, 디스플레이 장치(100')가 TV인 경우, 이러한 서비스는 TV에서 실행될 수도 있지만, 디스플레이 장치(100')와 네트워크로 연결된 타 장치, 예컨대 스마트폰과 같은 모바일 장치에서 실행될 수도 있다.
한편, 도 8에 도시하진 않았지만 디스플레이 장치(100')는 도 3을 통해 설명한 디스플레이부(110)를 포함한다.
도 9는 도 8의 정보 제공 시스템(1000')의 동작을 좀 더 구체적으로 설명하기 위한 흐름도이다.
도 8과 도 9를 참고하면, 분석 서버(300)는 디스플레이 장치(100')에서 발생되는 시청로그를 수집하며(S911), 디스플레이 장치(100')의 시청 패턴을 분석한다(S912). 그리고, 분석된 다양한 시청 패턴 중에서 핑거 프린트 매칭에 사용가능한 시청 패턴을 추출한다(S913). 그리고 이것을 디스플레이 장치(100')의 시청 이력 데이터 베이스(104)로 전송한다(S914).
디스플레이 장치(100')는 분석 서버(200)로부터 전달받은 정보와 함께, 장치 정보, 예컨대 컨텐츠 제공 소스에 대한 정보 혹은 디스플레이 장치(100')의 정보를 사용한다. 컨텐츠 제공 소스에 대한 정보는, 디스플레이 장치(100')를 제어하는 리모컨에서의 버튼 입력에 대응하여 생성될 수 있다. 예컨대 리모컨에서 채널 업/다운 버튼이 입력되었다면, 디스플레이 장치(100')에선 현재 컨텐츠 소스가 라이브 방송임을 알 수 있다. 또한, 디스플레이 장치(100')는 현재 튜너 입력으로 컨텐츠가 제공되고 있는지, 외부 입력(예컨대 셋톱박스, HDMI dongle 등)으로 컨텐츠가 제공되고 있는지 판단하여 컨텐츠 소스(예컨대 HDMI CEC 정보)를 파악할 수 있다. 디스플레이 장치(100')는 분석 서버(200)로부터 받은 정보와, 상기와 같은 장치 정보를 수집한다(S921).
디스플레이 장치(100')는 상기와 같은 동작과는 별개로, 컨텐츠 시청 중에 캡쳐부(103)가 오디오 및/또는 비디오 신호를 캡쳐하고(S931), 캡쳐된 신호에서 핑거프린트 추출부(102)가 오디오 및/또는 비디오 핑거 프린트를 추출한다(S932). 이 때, 정보 사용 판단부(105)는 핑거프린트 매칭에 사용할 정보로서, 시청 이력 데이터베이스(104)에 수집된 시청 이력 정보 또는 장치 정보 등을 선택한다(S922). 예를 들면, 주요시청채널리스트 또는 HDMI 입력에서의 부가 정보 수신 이력, 또는 HDMI CEC의 사업자, 디스플레이 장치(100')의 정보 또는 DVR 사용이력 등 중에서 적어도 하나가 선택될 수 있다. 정보 사용 판단부(105)가 선택한 정보들은 검색 범위 정보로서 ACR 컨트롤 관리부(101)로 전달된다(S923).
그리고 ACR 컨트롤 관리부(101)는 기 설정된 쿼리 주기에 따라 매칭 서버(200)로 핑거 프린트와 함께 검색 범위 정보를 전송한다(S933). 쿼리 주기는 장치 정보에 의해 결정될 수 있다.
매칭 서버(200)는 수신한 검색 범위 정보를 분석하고(S941), 검색 범위 정보에 기초하여 수신한 핑거 프린트를 검색할 검색 영역을 결정하여 매칭 동작을 수행한다(S942). 예컨대, 검색 범위 정보 분석 결과, 디스플레이 장치(100')에서 DVR 사용이력이 전혀 없는 경우 매칭 서버(200')는 DVR 컨텐츠에 대응하는 검색 영역을 제외하고 핑거프린트 매칭을 수행한다. 또 다른 예로, 검색 범위 정보 분석 결과, 디스플레이 장치(100')에서 채널을 최근 한달 간 30개만 시청한 경우, 매칭 서버(200')는 그 30개의 채널에 해당하는 검색 영역에서 핑거프린트 매칭을 수행한다. 또 다른 예로, 검색 범위 정보에 포함된 HDMI CEC의 정보가 게임기를 나타낼 경우, 매칭 서버(200')는 라이브 방송과 DVR 컨텐츠에 해당하는 검색 영역은 제외하고 핑거프린트 매칭을 수행한다.
상기와 같은 매칭 수행에 따라, 매칭 서버(200')는 매칭 결과를 확정한다(S943). 매칭 결과에는 컨텐츠 식별 정보, 컨텐츠에 연관된 광고 정보와 같은 부가 정보가 포함되어 있을 수 있다. 그리고 매칭 서버(200')는 결과를 디스플레이 장치(100')로 전달하고(S944), 디스플레이 장치(100')는 매칭 결과를 수신(S934)하여, 매칭 결과를 분석하고 저장한다(S935).
그리고 디스플레이 장치(100')는 매칭 결과에 따라 서비스를 실행한다(S936). 예컨대, 컨텐츠와 함께, 컨텐츠에 연관된 광고 정보를 표시하거나, 컨텐츠에 연관된 의견 수렴 정보를 표시하거나, 컨텐츠에 연관된 인터넷 주소 연결 UI를 표시하거나, 컨텐츠 식별 정보를 분석 서버(200)로 전달하는 등의 동작을 실행한다.
도 10은 매칭 서버(200') 내에서 검색하는 예를 좀 더 구체적으로 설명하기 위한 도면이다. 본 개시의 일 실시 예에 따르면, 도 10에서와 같이, 디스플레이 장치(100')와 매칭 서버(200') 사이에 Front-end 서버(700)가 존재할 수 있다.
매칭 서버(200') 내에는 복수의 데이터 서버(211, 212, 213, 214)가 존재한다. Front-end 서버(700)는 디스플레이 장치(100')로부터 수신한 검색 범위 정보를 분석하여 검색 영역을 결정할 수 있다. 따라서, 매칭 서버(200')는 복수의 데이터 서버(211, 212, 213, 214)로 나뉘어져 있는 검색 영역을 모두 검색하는 대신, 디스플레이 장치(100')로부터 수신한 검색 범위 정보에 기초하여, 검색 영역을 데이터 서버 1(211)로 한정하고, 데이터 서버 2 내지 데이터 서버 N(212, 213...214)은 제외할 수 있다. 이 경우, 특정 검색 영역만 검색하고 검색 결과를 디스플레이 장치(100')에 전달하거나, 특정 검색 영역에서 매칭되는 결과가 없는 경우에는 제외된 다른 검색 영역에 대해서도 검색이 수행될 수 있다. 다시 말해, 한 데이터 서버에서 찾지 못하면 다음 데이터 서버로 넘어가는 방식이 이용될 수 있다. 한편, 각 데이터 서버 내에서도 여러 컨텐츠 타입에 대응하는 검색 영역들이 존재할 수 있다.
그리고 도 11에 도시한 바와 같이, 데이터 서버 내부 또는 외부의 해쉬 테이블(221, 222)을 사용하는 방식도 이용될 수 있다. 이 경우, Front-end 서버(700)는 디스플레이 장치(100')로부터 수신한 검색 범위 정보를 분석한 결과에 따라 해쉬 테이블(221, 222)을 이용하여 검색 영역을 결정할 수 있다.
도 12는 본 개시의 또 다른 실시 예에 따른 정보 제공 시스템(1000'')을 설명하기 위한 도면이다. 특히, 도 12에서 설명하는 정보 제공 시스템(1000'')은 특징 정보 추출에 OCR이 이용되는 경우에 관련된 것이다.
도 12를 참고하면, 정보 제공 시스템(1000'')은 디스플레이 장치(100''), 분석 서버(300), 템플릿 서버(800)를 포함한다.
디스플레이 장치(100'')는 상술한 디스플레이 장치(100)가 TV로 구현된 또 다른 경우를 나타낸 것이다. 디스플레이 장치(100'')의 구성 요소들 중 도 8에서 이미 설명한 구성 요소들에 대한 설명은 생략한다.
도 12를 참고하면, OCR 수행시 영역 추출에 이용될 템플릿은 템플릿 데이터 베이스(111)에 미리 내장되어 있거나 템플릿 서버(800)로부터 주기적/비주기적, 사전 또는 실시간 다운로드 될 수 있다.
캡쳐부(103)는 튜너 입력이나 케이블, 위성, IPTV 셋탑박스, HDMI dongle 또는 스트리밍 비디오(와이 파이 또는 무선 네트워크로부터 전성된 컨텐츠)로부터 비디오 신호 또는 오디오 신호를 캡쳐한다. 그리고 영역 추출부(109)는 OCR을 수행할 영역을 찾는 구성이다. 구체적으로, 영역 추출부(109)는 템플릿 데이터베이스(111)로부터 OCR을 수행할 영역에 대한 정보를 가져와 영역을 추출한다. OCR 수행부(116)는 영역 추출부(109)에서 결정한 영역에서 OCR을 수행한다.
OCR 수행부(116)는 다양한 종류의 정보를 추출할 수 있다. 예를 들면 셋톱박스를 이용한 라이브방송 시청의 경우에는 채널번호, 채널 콜사인(callsign), 프로그램명 등의 정보를 추출할 수 있으며, VoD와 같은 non-linear 컨텐츠를 보는 경우는 컨텐츠의 타이틀을 추출할 수 있다. 시청이력 데이터베이스(104)는 분석서버(200)에서 분석된 시청패턴을 서버로부터 다운로드받아 저장하며, 정보 사용 판단부(105)는 시청패턴을 활용하여 OCR을 수행할지를 결정할 수 있다.
OCR 수행부(116)는 숫자나 문자 등을 인식하여 채널 번호, 채널명, 프로그램명에 대한 정보를 얻게 된다. 이 정보는 분석서버(300)로 전송되어 로그 수집부(301)에서 수집(301)되고, 시청 이력 분석부(302)는 수집된 정보에 기초하여 시청 이력 정보를 생성하고, 시청 이력 정보는 네트워크를 통해 디스플레이 장치(100'')로 전송되어 시청 이력 데이터 베이스(104)에 저장될 수 있다. 시청 이력은 OCR 분석뿐만 아니라 핑거프린트 매칭 또는 로고 인식을 통해서도 얻어질 수 있다.
정보 사용 판단부(105)는 시청 이력 정보와 장치 정보(예컨대 컨텐츠 소스의 정보)등을 수집하고, OCR을 수행할 수 있도록 OCR 수행부(116)와 템플릿 데이터베이스(111)에 제공하며, OCR 수행부(116)에서는 시청 이력을 사용하여 OCR을 수행할 영역이나 정보를 선택하여 OCR을 수행할 수 있다. 예컨대, 시청 이력 정보에 기초하였을 때, 최근 한달간 VoD 컨텐츠를 가장 많이 시청한 것으로 확인되면, 영역 추출부(109)는 템플릿 데이터베이스(111)로부터 VoD 컨텐츠의 제목이 위치하는 왼쪽 상단 부분(도 5 참조)에 해당하는 영역에 대응하는 템플릿을 전달받고, 이를 OCR 수행부(116)에 전달하면, OCR 수행부(116)는 영상의 왼쪽 상단 부분부터 OCR을 수행할 수 있다. 또한, 시청 이력 정보와 장치 정보에 기초하여, OCR 수행할 언어를 선택할 수도 있다. 예컨대, 장치 정보는 디스플레이 장치(100'')의 설치 위치 정보를 포함할 수 있고, 설치 위치가 한국인 경우, OCR 수행할 언어가 한글로 설정될 수 있다. 이를 통해, 영상 전 영역에 대해 OCR 작업을 수행하거나 혹은 다양한 언어로 OCR 작업을 수행할 때보다 적은 OCR작업을 수행할 수 있으며, 따라서 CPU사용량을 감소시킬 수 있다. 또는, 컨텐츠 제공 소스에 대한 정보에 기초하였을 때, 현재 출력 중인 컨텐츠를 제공하는 소스가 게임기인 경우, OCR 인식은 수행되지 않도록 제어될 수 있다.
한편, OCR 수행에 의해 추출된 채널 번호나 컨텐츠 제목과 같은 특징 정보는 상술한 서버(200)에 보내질 수 있고, 디스플레이 장치(100'')는 서버(200)로부터 그에 대응되는 부가 정보를 수신할 수 있다.
도 13은 본 개시의 또 다른 실시 예에 따른 정보 제공 시스템(1000''')을 설명하기 위한 도면이다. 특히, 도 13에서 설명하는 정보 제공 시스템(1000''')은 특징 정보 추출에 로고 인식이 이용되는 경우에 관련된 것이다.
도 13을 참고하면, 정보 제공 시스템(1000'')은 디스플레이 장치(100'''), 분석 서버(300), 템플릿 서버(910) 및 로고 서버(920)을 포함한다.
디스플레이 장치(100''')는 상술한 디스플레이 장치(100)가 TV로 구현된 또 다른 경우를 나타낸 것이다. 디스플레이 장치(100''')의 구성 요소들 중 도 8에서 이미 설명한 구성 요소들에 대한 설명은 생략한다.
도 13을 참고하면, 캡쳐부(103)는 튜너 입력이나 케이블, 위성, IPTV 셋탑박스, HDMI dongle 또는 스트리밍 비디오(와이 파이 또는 무선 네트워크로부터 전성된 컨텐츠)로부터 비디오 신호 또는 오디오 신호를 캡쳐한다.
영역 추출부(115)는 로고 인식을 수행할 영역을 찾는 구성이다.
템플릿 데이터 베이스(113)로부터 로고의 위치정보가 영역 추출부(115)로 전달되고, 로고 데이터베이스(112)로부터 로고 이미지(또는 이미지 특징)가 로고 인식부(114)로 전달되어, 로고 인식부(114)에서 로고 인식이 수행된다.
템플릿과 로고는 템플릿 데이터 베이스(113)와 로고 데이터베이스(112) 각각에 미리 저장되어 있거나, 템플릿 서버(910) 또는 로고 서버(920)로부터 주기적/비주기적, 사전 또는 실시간 다운로드 될 수 있다.
로고 인식의 결과는 네트워크를 통해 분석 서버(300)로 전달되며, 분석서버(300)에서 생성된 시청 이력정보가 시청이력 데이터베이스(104)로 전달될 수 있다. 시청 이력정보는 로고인식을 통해 생성될 수도 있으며, 핑거프린트 매칭이나 OCR을 통해 추출된 정보에 의해서도 생성될 수 있다. 정보 사용판단부(105)는 로고 인식할 때 시청 정보나 장치 정보를 사용할 지 여부를 결정한다. 예를 들면 특정요일 또는 특정시간에 주로 시청하는 채널이 있으면, 영상으로부터 추출된 로고를 그 채널 로고와 먼저 비교함으로써, 인식 시간을 단축할 수 있다. 또한, 장치 정보가 이용되는 경우에는, 디스플레이 장치(100''')가 설치된 위치가 한국인 경우, 로고 인식부(114)는 한국 방송사의 로고들로만 비교 대상을 한정할 수 있다. 또는, 컨텐츠 제공 소스에 대한 정보에 기초하였을 때, 현재 출력 중인 컨텐츠를 제공하는 소스가 게임기인 경우, 로고 인식은 수행되지 않도록 제어될 수 있다.
한편, 인식된 로고는 특징 정보로서 상술한 서버(200)에 보내질 수 있고, 디스플레이 장치(100''')는 서버(200)로부터 그에 대응되는 부가 정보를 수신할 수 있다.
도 8, 도 12 및 도 13에선, 서로 다른 장치들에서 핑거프린트 분석 방식, OCR 분석 방식, 로고 분석 방식이 각각 이루어지는 것으로 설명하였으나, 한 대의 장치에서 상기 방식들 중 적어도 2 이상이 조합되어 수행되는 것이 가능하다.
한편, OCR 수행에 의해 추출된 채널 번호나 컨텐츠 제목, 인식된 로고와 같은 특징 정보는, 핑거프린트를 통한 컨텐츠 인식시에 서버에서의 검색 범위를 줄여주는데 이용될 수 있다. 예컨대, OCR에 의해 현재 어떤 채널인지 확인된 경우, 그 채널에 대응하는 검색 영역에서만 핑거프린트 매칭이 수행될 수 있다. 또는, 로고 인식에 의해 현재의 컨텐츠가 특정 방송사의 컨텐츠인 것으로 확인된 경우, 그 방송사에 대응하는 검색 영역에서만 핑거프린트 매칭이 수행될 수 있다.
또 다른 예로, OCR 수행 또는 로고 인식 수행에 의해 컨텐츠로부터 추출된 채널 정보(예컨대, 컨텐츠 제목, 채널 번호, 로고, 방송사 이름 등)은 핑거프린트 매칭을 위한 서버 쿼리 양을 줄이는데 사용될 수 있다. 구체적인 예로, 현재 표시 중인 컨텐츠로부터 추출된 채널 번호가 셋탑 박스 사업자가 제공하는 VOD 소개 채널에 해당하는 번호인 경우(일반적으로 채널번호 0번에 VOD 소개 채널이 할당된다), 핑거프린트 매칭이 수행될 필요가 없으므로, 그 컨텐츠가 표시되는 동안엔 핑거프린트 추출 동작 및/또는 핑거 프린트를 매칭 서버로 전송하는 동작은 수행되지 않는다. 또 다른 예로, 현재 표시 중인 컨텐츠 제목이 뉴스 속보에 해당하는 경우, 일반적으로 뉴스 속보는 해당 방송사에서 급하게 방송하는 컨텐츠여서 매칭 서버에 뉴스 속보에 해당하는 핑거 프린트가 미리 마련되어 있지 않을 가능성이 크므로, 뉴스 속보가 표시되는 동안 핑거프린트 추출 동작 및/또는 핑거 프린트를 매칭 서버로 전송하는 동작은 수행되지 않는다. 또 다른 예로, 현재 표시 중인 컨텐츠로부터 추출된 방송사 이름에 해당하는 방송사가 매칭 서버에 컨텐츠를 제공하지 않는 방송사인 경우, 컨텐츠로부터 핑거프린트 추출 동작 및/또는 핑거 프린트를 매칭 서버로 전송하는 동작은 수행되지 않는다.
한편, 상술한 실시 예들에선 핑거프린트를 이용한 매칭, OCR, 로고 인식에 대해서만 설명하였으나, 유사한 기술에도 시청 이력 정보와 장치 정보가 인식 효율화를 위해 사용될 수 있다.
도 14는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.
도 14를 참고하면, 먼저, 디스플레이 장치(100)는 컨텐츠에 대응되는 영상을 표시한다(S1410).
그리고 디스플레이 장치(100)는 상기 컨텐츠로부터 특징 정보를 추출한다(S1420). 이 경우, 디스플레이 장치(100)는 핑거프린트 추출 방식, OCR 인식 방식 및 로고 인식 방식 중 적어도 하나를 이용하여 특징 정보를 추출할 수 있다.
그리고 디스플레이 장치(100)는 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송한다(S1430).
검색 범위 정보는 시청 이력 정보 및 장치 정보 중 적어도 하나를 포함할 수 있다.
시청 이력 정보는 분석 서버(300)가 디스플레이 장치(100)로 제공할 수 있다. 분석 서버(300)는 OCR을 통해 추출한 채널 번호, 채널명, 프로그램명, 또는 방송사 로고 분석 결과, 또는 매칭 서버(200)에서 핑거프린트 매칭을 통해 인식한 컨텐츠에 대한 정보를 수집하여, 디스플레이 장치(100)에서 시청된 컨텐츠에 대한 시청 이력 정보를 생성할 수 있다. 한편, 분석 서버(300)는 디스플레이 장치(100) 내부에 존재하는 것도 가능하다.
장치 정보는, 디스플레이 장치(100) 자체의 정보(예컨대, 디스플레이 장치(100)의 제조사, 디스플레이 장치(100)가 설치된 위치)를 포함하거나, 또는 디스플레이 장치(100)에 연결된 컨텐츠 제공 장치(혹은 소스)의 정보(예컨대, 디스플레이 장치(100)에 연결된 셋톱 박스의 사업자 정보 혹은 디스플레이 장치(100)에 연결된 게임기의 제조사 정보)를 포함할 수 있다. 장치 정보는 예컨대, HDMI CEC정보를 확인하는 방식으로 얻어지거나, 디스플레이 장치(100)를 제어하는 리모컨의 입력을 통해서도 얻어질 수 있다. 예컨대, 리모컨의 입력이 채널 업/다운인 경우, 현재 출력되는 컨텐츠의 소스는 라이브 방송임을 알 수 있다.
그리고 디스플레이 장치(100)는 '복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내의 상기 추출된 특징 정보와 매칭되는 특징 정보'에 대응하는 부가 정보를 상기 외부 서버로부터 수신한다(S1440).
그리고 디스플레이 장치(100)는 수신된 부가 정보를 표시한다(S1450). 예를 들어, 현재 요리 경연 컨텐츠가 표시되고 있는 경우, 수신된 부가 정보가 컨텐츠에 연관된 의견 수렴 정보인 경우, 디스플레이 장치(100)는 요리 경연에 참가한 참가자들 중 어떤 참가자가 우승할 것인지를 시청자에게 문의하는 팝업창을 표시할 수 있다. 또 다른 예로, 현재 휴대폰에 대한 광고 컨텐츠가 표시되고 있고, 수신된 부가 정보가 컨텐츠에 연관된 광고 정보인 경우, 디스플레이 장치(100)는 상기 휴대폰을 어디서 구매할 수 있는지에 관한 정보를 표시할 수 있다.
상술한 다양한 실시 예에 따르면, 장치 정보나 시청 이력 등의 추가 정보를 사용하여 컨텐츠 인식 시의 검색 영역을 줄여 매칭 성능 및 비용을 줄일 수 있게된다. 또한, 검색 영역을 줄이게 되면 줄어든 만큼 서버 비용이 감소되고 검색 시간도 단축될 수 있다.
또한, 상기와 같은 추가 정보를 이용하여 컨텐츠 인식을 위한 서버 쿼리 주기도 감소시킬 수 있으므로, 통신량을 감소시켜 TPS(Transaction per second)를 높이고 서버 비용을 줄일 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 디스플레이 장치의 제어방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
1000: 정보 제공 시스템
100: 디스플레이 장치
200: 서버

Claims (20)

  1. 디스플레이 장치에 있어서,
    컨텐츠에 대응되는 영상을 표시하는 디스플레이부;
    상기 컨텐츠로부터 특징 정보를 추출하는 프로세서; 및
    상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송하고, '복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내의 상기 추출된 특징 정보와 매칭되는 특징 정보'에 대응하는 부가 정보를 상기 외부 서버로부터 수신하는 통신부;를 포함하고,
    상기 프로세서는,
    상기 수신된 부가 정보가 표시되도록 상기 디스플레이부를 제어하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 검색 범위 정보는,
    상기 외부 서버가 방송 채널별 복수의 데이터 베이스 중 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 데이터 베이스를 결정하거나, 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색하기 위한 검색 조건을 결정하는데 이용하기 위한 상기 디스플레이 장치에서의 주요시청 채널 정보인 디스플레이 장치.
  3. 제1항에 있어서,
    상기 검색 범위 정보는,
    시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 검색 범위 정보는,
    상기 컨텐츠를 제공하는 소스의 정보를 더 포함하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 컨텐츠를 제공하는 소스의 정보에 대응되는 추출 주기로 상기 컨텐츠로부터 특징 정보를 추출하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 부가 정보는,
    상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 추출된 특징 정보는,
    상기 영상에서 추출된 텍스트, 로고, 비디오 핑거 프린트 및 상기 컨텐츠의 오디오에서 추출된 오디오 핑거 프린터 중 적어도 하나인 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 컨텐츠로부터 채널 정보를 추출하고, 추출된 채널 정보에 기초하여, 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보의 전송 여부를 결정하는 디스플레이 장치.
  9. 정보 제공 시스템에 있어서,
    컨텐츠에 대응되는 영상을 표시하고, 상기 컨텐츠에 대응되는 특징 정보를 추출하는 디스플레이 장치; 및
    상기 디스플레이 장치로부터 상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 수신하고, 복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내에서 상기 추출된 특징 정보와 매칭되는 특징 정보를 검색하고, 검색된 특징 정보에 대응하는 부가 정보를 상기 디스플레이 장치에 제공하는 서버;를 포함하고,
    상기 디스플레이 장치는,
    상기 수신된 부가 정보를 표시하는 정보 제공 시스템.
  10. 제9항에 있어서,
    상기 검색 범위 정보는,
    상기 디스플레이 장치에서의 주요시청 채널 정보이며,
    상기 서버는,
    방송 채널별 복수의 데이터 베이스 중 상기 주요시청 채널 정보에 기초하여 결정된 데이터 베이스에서 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색하는 정보 제공 시스템.
  11. 제9항에 있어서,
    상기 서버는, 상기 추출된 특징 정보와 매칭되는 특징 정보가 검색될 때까지 상기 복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역부터 순차적으로 검색을 수행하는 정보 제공 시스템.
  12. 제9항에 있어서,
    상기 검색 범위 정보는,
    상기 디스플레이 장치의 사용에 대응하여 발생된 이력 정보 및 상기 컨텐츠를 제공하는 소스의 정보를 포함하며,
    상기 서버는,
    상기 복수의 검색 영역 중 상기 이력 정보 및 상기 컨텐츠를 제공하는 소스의 정보에 대응하는 검색 영역 내에서 상기 추출된 특징 정보와 매칭되는 특징 정보를 검색하는 정보 제공 시스템.
  13. 제9항에 있어서,
    상기 부가 정보는,
    상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함하는 정보 제공 시스템.
  14. 제9항에 있어서,
    상기 추출된 특징 정보는,
    상기 영상에서 추출된 텍스트, 로고, 비디오 핑거 프린트 및 상기 컨텐츠의 오디오에서 추출된 오디오 핑거 프린터 중 적어도 하나인 정보 제공 시스템.
  15. 디스플레이 장치의 제어 방법에 있어서,
    컨텐츠에 대응되는 영상을 표시하는 단계;
    상기 컨텐츠로부터 특징 정보를 추출하는 단계;
    상기 추출된 특징 정보 및 상기 추출된 특징 정보에 대응되는 검색 범위 정보를 외부 서버에 전송하는 단계;
    '복수의 검색 영역 중 상기 검색 범위 정보에 대응되는 검색 영역 내의 상기 추출된 특징 정보와 매칭되는 특징 정보'에 대응하는 부가 정보를 상기 외부 서버로부터 수신하는 단계; 및
    상기 수신된 부가 정보 표시하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 검색 범위 정보는,
    상기 외부 서버가 방송 채널별 복수의 데이터 베이스 중 상기 추출된 특징 정보에 매칭되는 특징 정보를 검색할 데이터 베이스를 결정하는데 이용하기 위한 상기 디스플레이 장치에서의 주요시청 채널 정보인 디스플레이 장치의 제어 방법.
  17. 제15항에 있어서,
    상기 검색 범위 정보는,
    시청 이력 정보 및 소스 선택 이력 정보 중 적어도 하나를 포함하는 디스플레이 장치의 제어 방법.
  18. 제17항에 있어서,
    상기 검색 범위 정보는,
    상기 컨텐츠를 제공하는 소스의 정보를 더 포함하는 디스플레이 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 추출하는 단계는,
    상기 컨텐츠를 제공하는 소스의 정보에 대응되는 추출 주기로 상기 컨텐츠로부터 특징 정보를 추출하는 디스플레이 장치의 제어 방법.
  20. 제15항에 있어서,
    상기 부가 정보는,
    상기 컨텐츠의 식별 정보, 상기 컨텐츠에 연결된 광고 정보, 상기 컨텐츠에 연관된 컨텐츠 추천 정보 및 상기 컨텐츠에 연관된 인터넷 주소 정보 중 적어도 하나를 포함하는 디스플레이 장치의 제어 방법.








KR1020160128537A 2016-10-05 2016-10-05 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템 Ceased KR20180037826A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160128537A KR20180037826A (ko) 2016-10-05 2016-10-05 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
PCT/KR2017/010992 WO2018066938A1 (ko) 2016-10-05 2017-09-29 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
US16/336,651 US11218764B2 (en) 2016-10-05 2017-09-29 Display device, control method therefor, and information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160128537A KR20180037826A (ko) 2016-10-05 2016-10-05 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템

Publications (1)

Publication Number Publication Date
KR20180037826A true KR20180037826A (ko) 2018-04-13

Family

ID=61832092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160128537A Ceased KR20180037826A (ko) 2016-10-05 2016-10-05 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템

Country Status (3)

Country Link
US (1) US11218764B2 (ko)
KR (1) KR20180037826A (ko)
WO (1) WO2018066938A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010518A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 디스플레이 장치
US11503365B2 (en) 2019-10-29 2022-11-15 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
CA3143588A1 (en) * 2020-05-05 2021-11-11 Rovi Guides, Inc. Systems and methods for recommending content using progress bars
JP7593680B1 (ja) * 2023-06-16 2024-12-03 Revisio株式会社 表示情報取得プログラム、通信機器、表示情報取得方法および表示情報取得システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1063797A3 (en) * 1999-05-31 2006-03-15 Matsushita Electronics Corporation Digital broadcast reception apparatus for retrieving broadcast program information, and computer-readable record medium carrying a computer program allowing a computer to function as a digital broadcast reception apparatus
US20020147984A1 (en) * 2000-11-07 2002-10-10 Tomsen Mai-Lan System and method for pre-caching supplemental content related to a television broadcast using unprompted, context-sensitive querying
KR100601383B1 (ko) 2004-04-23 2006-07-13 학교법인 한국정보통신학원 디지털 티비 방송의 시청자 맞춤형 비디오 요약 제공시스템
JP5799512B2 (ja) 2011-01-31 2015-10-28 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR101778530B1 (ko) 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
US8832723B2 (en) 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition
US9661361B2 (en) * 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
KR101747776B1 (ko) 2012-12-10 2017-06-15 한국전자통신연구원 핑거 프린트를 이용한 실시간 방송 컨텐츠 검색 지원 시스템 및 방법
JP5703321B2 (ja) 2013-02-15 2015-04-15 株式会社東芝 情報処理装置及び情報処理方法
KR102123062B1 (ko) * 2013-08-06 2020-06-15 삼성전자주식회사 콘텐츠에 관한 정보를 획득하는 방법 및 이를 이용한 영상 표시 장치, 그리고 콘텐츠에 관한 정보를 제공하는 서버 시스템.
US20150082330A1 (en) * 2013-09-18 2015-03-19 Qualcomm Incorporated Real-time channel program recommendation on a display device
KR102095888B1 (ko) * 2013-10-07 2020-04-01 삼성전자주식회사 방송 시청 패턴 정보를 제공하는 사용자 단말 장치, 서버 및 시청 패턴 정보 제공 방법
KR20150066657A (ko) 2013-12-06 2015-06-17 주식회사 한국인터넷기술원 동영상 컨텐츠를 이용한 마케팅 장치 및 그 방법
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
JP6251637B2 (ja) 2014-06-02 2017-12-20 Kddi株式会社 情報検索方法、装置およびプログラム
KR102217191B1 (ko) * 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010518A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 디스플레이 장치
US11477534B2 (en) 2019-07-16 2022-10-18 Lg Electronics Inc. Display device
US11503365B2 (en) 2019-10-29 2022-11-15 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
US11218764B2 (en) 2022-01-04
WO2018066938A1 (ko) 2018-04-12
US20210092474A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11659220B2 (en) System and method for surveying broadcasting ratings
KR102166423B1 (ko) 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
KR101757878B1 (ko) 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US11218764B2 (en) Display device, control method therefor, and information providing system
US20090009532A1 (en) Video content identification using ocr
CN102957964A (zh) 广播信号接收器、提供广播信号相关信息的方法和服务器
CN103229515A (zh) 提供与广播内容有关的内容相关信息的系统和方法
CN103747293A (zh) 与电视节目关联的产品推荐方法及推荐装置
KR20190045916A (ko) 콘텐츠 지문화를 위한 지문 레이아웃
KR20150107464A (ko) 컨텐츠 처리 장치 및 그 이벤트 제공 방법
KR102019493B1 (ko) 디스플레이 장치 및 그 정보 제공 방법
KR20180079885A (ko) 전자 장치 및 이의 제어 방법
EP2658273B1 (en) Display control device, display control method and program
US8826318B2 (en) Image based interactive ticker system in television signal
CN109769130B (zh) 基于收视大数据的遥控器个性化设置方法及系统
US11164347B2 (en) Information processing apparatus, information processing method, and program
KR20150000649A (ko) 방송 영상과 관련된 정보를 제공하기 위한 방송 영상 표시 장치 및 방법
CN112154671B (zh) 电子设备及其内容识别信息获取
WO2018024572A1 (en) Image display device radio channel content information retrieving system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161005

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210917

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20161005

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240318

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241120

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D