[go: up one dir, main page]

KR101482094B1 - 영상 관련 정보 제공 방법 및 시스템 - Google Patents

영상 관련 정보 제공 방법 및 시스템 Download PDF

Info

Publication number
KR101482094B1
KR101482094B1 KR20110062319A KR20110062319A KR101482094B1 KR 101482094 B1 KR101482094 B1 KR 101482094B1 KR 20110062319 A KR20110062319 A KR 20110062319A KR 20110062319 A KR20110062319 A KR 20110062319A KR 101482094 B1 KR101482094 B1 KR 101482094B1
Authority
KR
South Korea
Prior art keywords
information
image
broadcast
pattern
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR20110062319A
Other languages
English (en)
Other versions
KR20130001512A (ko
Inventor
연승호
서태석
윤형진
이명순
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR20110062319A priority Critical patent/KR101482094B1/ko
Priority to US13/534,856 priority patent/US20120331514A1/en
Publication of KR20130001512A publication Critical patent/KR20130001512A/ko
Application granted granted Critical
Publication of KR101482094B1 publication Critical patent/KR101482094B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 관련 정보 제공 방법 및 시스템에 관한 것으로서, 보다 상세하게는, 디스플레이 장치를 통해 출력된 영상에 관련된 정보를 제공하는 방법 및 시스템에 관한 것이다.
영상 관련 정보 제공 서버가 영상 관련 정보를 제공하는 방법은 (a) 이동 단말로부터 방송 이미지 정보를 수신하는 단계, (b) 상기 수신한 방송 이미지 정보에 매칭되는 오브젝트를 획득하는 단계, (c) 상기 획득한 오브젝트에 매칭되는 관련 정보를 획득하는 단계 및 (d) 상기 획득한 관련 정보를 상기 이동 단말로 전송하는 단계를 포함할 수 있다.

Description

영상 관련 정보 제공 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING INFORMATION ASSOCIATED WITH IMAGE}
본 발명은 영상 관련 정보 제공 방법 및 시스템에 관한 것으로서, 보다 상세하게는, 디스플레이 장치를 통해 출력된 영상에 관련된 정보를 제공하는 방법 및 시스템에 관한 것이다.
최근 촬영이 가능하고 네트워크 통신이 가능한 이동 단말의 보급이 증가함에 따라, 이동 단말의 카메라를 이용한 VR(virtual reality) 기술이 개발되고 있으며, 이러한 VR 기술을 이용하여 다양한 서비스가 제공되고 있다.
또한, IPTV 등을 통해 다양한 콘텐츠가 사용자에게 제공되면서, 방송 프로그램 등의 콘텐츠를 통해 사용자에게 노출되는 다양한 정보, 예를 들어 배우, 시계, 가방 등의 인물 또는 사물에 대한 정보를 사용자의 요청에 따라 방송 프로그램의 제공과 함께 사용자에게 제공하는 기술이 점차 개발되고 있다.
이러한 종래의 기술 중 대표적인 기술인 클리어 스킨 기술은 VOD(video on demand) 영상물에 별도의 스킨(skin)을 삽입하여 영상 객체와 매칭되는 정보를 리모컨으로 요청하면, 해당 정보를 서버에서 수신하여 화면을 통해 사용자에게 제공한다. 이러한 클리어 스킨 기술을 이용하여 사용자에게 방송 프로그램의 정보를 제공하기 위해서는 미리 스킨이 제작되어 해당 방송 프로그램에 삽입되어야 한다.
본 발명의 일 실시예는 네트워크 통신이 가능한 이동 단말 내 카메라 등의 촬영 장치를 이용하여 방송 프로그램의 영상 이미지를 획득하고, 획득한 영상 이미지에 포함된 인물 정보, 상품 정보 등의 영상 관련 정보를 사용자에게 제공할 수 있는 방법 및 시스템을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은 (a) 이동 단말로부터 방송 이미지 정보를 수신하는 단계, (b) 상기 수신한 방송 이미지 정보에 매칭되는 오브젝트를 획득하는 단계, (c) 상기 획득한 오브젝트에 매칭되는 관련 정보를 획득하는 단계 및 (d) 상기 획득한 관련 정보를 상기 이동 단말로 전송하는 단계를 포함하는 영상 관련 정보 제공 서버가 영상 관련 정보를 제공하는 방법을 제공할 수 있다.
또한, 본 발명의 제 2 측면은 (a) 방송 영상 이미지를 획득하는 단계, (b) 상기 획득한 방송 영상 이미지를 포함하는 방송 영상 이미지 정보를 영상 관련 정보 제공 서버로 전송하는 단계, (c) 상기 영상 관련 제공 서버로부터 상기 전송한 상기 방송 영상 이미지에 매칭되는 영상 관련 정보를 수신하는 단계 및 (d) 상기 수신한 영상 관련 정보를 출력하는 단계를 포함하는 이동 단말이 영상 관련 정보를 제공하는 방법을 제공할 수 있다.
또한, 본 발명의 제 3 측면은 이동 단말로부터 수신한 방송 이미지 정보에 매칭되는 패턴을 추출하는 패턴 매칭부, 상기 추출된 패턴에 매칭되는 오브젝트를 오브젝트 데이터베이스로부터 획득하는 오브젝트 획득부 및 상기 획득된 오브젝트에 매칭되는 관련 정보를 획득하여 상기 이동 단말에 제공하는 관련 정보 제공부를 포함하고, 상기 관련 정보에 기초하여 상기 방송 이미지 정보에 매칭되는 영상 정보 또는 이벤트 정보가 상기 이동 단말에 제공되는 것인 영상 관련 정보 제공 시스템을 제공할 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 이동 단말의 촬영부를 통해 획득한 방송 프로그램의 영상 이미지를 분석하여, 영상 이미지에 포함된 오브젝트에 관련된 영상 정보를 사용자에게 제공하므로, 각각의 방송 프로그램에 대하여 별도의 스킨을 제작하지 않고도 방송 프로그램의 특정 장면에 대한 관련 정보를 사용자에게 제공할 수 있다.
또한, 전술한 본 발명의 과제 해결 수단에 의하면, 사용자로부터 입력 받은 방송 프로그램에 대한 정보를 영상 이미지와 함께 영상 관련 정보 제공 서버로 전송하므로, 사용자가 이동 단말을 통해 촬영한 영상 이미지에 포함된 인물, 상품 등의 오브젝트를 보다 정확하고 용이하게 획득하여 관련 정보를 사용자에게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 관련 정보 제공 시스템에 의해 영상 관련 정보가 사용자 단말에 제공되는 흐름을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 관련 정보 제공 방법의 흐름을 도시한 신호 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이동 단말의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 관련 정보 제공 서버의 구성을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 영상 관련 정보 제공 시스템에 의해 영상 관련 정보가 사용자 단말에 제공되는 흐름을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에서, 사용자는 이동 단말(100), 예를 들어 스마트폰, PDA(personal digital assistant), 태블릿 PC 등을 이용하여 TV(10) 등의 화면을 통해 출력되는 방송 영상의 이미지를 획득한다.
즉, 사용자는 이동 단말(100)에 포함된 카메라 등의 이미지 획득 수단을 이용하여 방송을 출력하고 있는 TV(10) 등의 화면의 이미지를 캡쳐하여 방송 영상 이미지를 획득할 수 있다.
이동 단말(100)은 획득한 방송 영상 이미지를 네트워크를 통해 영상 관련 정보 제공 서버(200)로 전송한다. 이동 단말(100)은 방송 영상 이미지와 함께 방송 정보를 영상 관련 정보 제공 서버(200)로 전송할 수 있다.
예를 들어, 이동 단말(100)은 방송 편성표 정보, VOD(video on demand) 목록 정보 등을 사용자에게 제공하고, 사용자가 제공된 정보를 이용하여 현재 TV(10)를 통해 시청 중인 방송 프로그램 또는 VOD의 정보를 선택하며, 이동 단말(100)은 사용자에 의해 선택된 방송 프로그램 정보 또는 VOD의 정보 등의 방송 정보를 방송 영상 이미지와 함께 영상 관련 정보 제공 서버(200)로 전송할 수 있다.
영상 정보 관련 제공 서버(200)는 이동 단말(100)로부터 수신한 방송 영상 이미지 및 방송 정보를 이용하여 방송 영상 이미지에 포함된 하나 이상의 오브젝트를 획득한다.
즉, 영상 정보 관련 제공 서버(200)는 수신한 방송 영상 이미지를 분석하여 패턴을 획득하고, 획득한 패턴을 미리 생성한 패턴과 비교하여 방송 영상 이미지에 매칭되는 패턴 정보를 획득한다.
영상 정보 관련 제공 서버(200)는 획득한 패턴 정보를 이용하여 방송 영상 이미지에 포함된 하나 이상의 오브젝트를 추출할 수 있으며, 추출한 오브젝트에 관련된 정보를 미리 생성한 데이터베이스 또는 인터넷 등으로부터 획득하여 이동 단말(100)에 제공할 수 있다.
이동 단말(100)은 영상 정보 관련 제공 서버(200)로부터 수신한 영상 관련 정보를 사용자에게 제공한다. 영상 관련 정보는 동영상, 이미지, 텍스트, URL 정보 등을 포함할 수 있으며, 영상 관련 정보를 통해 이동 단말(100)은 또 다른 동영상, 이벤트 서비스 등을 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 관련 정보 제공 방법의 흐름을 도시한 신호 흐름도이다.
단계(S105)에서, 이동 단말(100)은 TV 등의 디스플레이 장치에 의해 출력되는 영상의 이미지를 획득한다. 즉, 이동 단말(100)은 이동 단말(100)에 구비된 카메라 등을 이용하여 TV 등의 디스플레이 장치의 화면을 촬영하여, TV 등의 화면에 출력되는 영상의 이미지를 획득할 수 있다.
이동 단말(100)은 영상 이미지 획득과 함께 영상 이미지를 획득하는 시간의 정보를 생성하고, 생성한 시간 정보를 획득한 영상 이미지에 매칭시킬 수 있다.
단계(S110)에서, 이동 단말(100)은 사용자로부터 방송 정보에 대한 입력을 수신하여 방송 정보를 수신할 수 있다.
이동 단말(100)은 TV 등의 디스플레이 장치를 통해 사용자에게 제공되는 실시간 방송의 편성 정보, VOD 정보 등을 사용자에게 제공하고, 사용자로부터 실시간 방송의 편성 정보, VOD 정보 등에 포함된 다수의 방송 정보 중에서 하나의 방송 정보를 선택하는 입력을 수신할 수 있다.
이처럼 이동 단말(100)은 사용자에게 방송 편성 정보 또는 VOD 정보 등을 제공하고, 사용자로부터 수신한 방송 정보 선택 입력에 기초하여 방송 정보를 획득할 수 있다.
단계(S115)에서, 이동 단말(100)은 단계(S105)에서 획득한 영상 이미지 및 단계(S110)에서 획득한 방송 정보를 영상 관련 정보 제공 서버(200)로 전송한다.
단계(S120)에서, 영상 관련 정보 제공 서버(200)는 단계(S115)에서 수신한 영상 이미지 및 방송 정보를 이용하여 패턴 매칭을 수행한다.
즉, 영상 관련 정보 제공 서버(200)는 수신한 영상 이미지를 분석하여 패턴을 추출할 수 있다. 예를 들어, 영상 관련 정보 제공 서버(200)는 영상 이미지를 분석하여, 영상 이미지에 포함된 인물의 얼굴 패턴, 사물의 형상 패턴 등을 추출할 수 있다.
또한, 영상 관련 정보 제공 서버(200)는 영상 이미지와 함께 수신한 방송 정보를 이용하여 영상 이미지로부터 패턴을 추출할 수 있다. 즉, 영상 관련 정보 제공 서버(200)는 방송 정보에 매칭되는 패턴을 패턴 데이터베이스로부터 획득하고, 영상 이미지로부터 추출한 패턴과 패턴 데이터베이스로부터 획득한 패턴을 비교하여 서로 매칭되는지 여부를 판단함으로써 보다 용이하게 영상 이미지로부터 패턴을 추출할 수 있다.
단계(S125)에서, 영상 관련 정보 제공 서버(200)는 단계(S120)에서 추출한 패턴에 매칭되는 오브젝트를 획득할 수 있다. 즉, 영상 관련 정보 제공 서버(200)는 단계(S120)에서 추출한 패턴과 오브젝트 데이터베이스에 미리 저장된 오브젝트 정보를 비교하여 단계(S120)에서 추출한 패턴에 매칭되는 오브젝트를 획득할 수 있다.
예를 들어, 영상 관련 정보 제공 서버(200)가 단계(S120)에서 시계 'A'에 대한 패턴을 추출한 경우, 영상 관련 정보 제공 서버(200)는 추출한 패턴과 미리 저장된 오브젝트의 형상을 비교하여 시계 'A'에 매칭되는 오브젝트를 획득할 수 있다.
단계(S130)에서, 영상 관련 정보 제공 서버(200)는 단계(S125)에서 획득한 오브젝트에 매칭되는 관련 정보를 관련 정보 데이터베이스로부터 획득할 수 있다. 예를 들어, 영상 관련 정보 제공 서버(200)는 단계(S125)에서 획득한 시계 'A'에 매칭되는 오브젝트에 대한 가격 정보, 판매 정보, 제조 회사 정보, 관련 사이트 주소, 광고 영상 정보 등의 관련 정보를 획득할 수 있다.
단계(S135)에서, 영상 관련 정보 제공 서버(200)는 단계(S130)에서 획득한 영상 관련 정보를 이동 단말(100)로 전송한다. 영상 관련 정보 제공 서버(200)는 단계(S130)에서 획득한 영상 관련 정보를 동영상, 이미지 등의 콘텐츠 형식으로 이동 단말(100)로 전송할 수 있으며, 또는 획득한 영상 관련 정보를 웹 상에서 획득할 수 있는 정보, 예를 들어 URL(Uniform Resource Locator) 정보를 이동 단말(100)로 전송할 수 있다.
단계(S140)에서, 이동 단말(100)은 단계(S135)에서 수신한 영상 관련 정보를 출력한다. 이동 단말(100)은 설정에 따라 수신한 영상 관련 정보를 바로 디스플레이 수단을 통해 출력하거나 또는 영상 관련 정보의 수신 알림을 팝업, 소리 등을 이용하여 출력한 후 사용자의 요청에 응답하여 수신한 영상 관련 정보를 출력할 수도 있다.
사용자는 이동 단말(100)을 통해 출력되는 영상 관련 정보를 이용하여 단계(S105)에서 획득한 이미지에 관련된 다양한 정보를 제공 받을 수 있으며, 단계(S105)에서 획득한 이미지에 매칭되는 이벤트, 예를 들어 인기투표 이벤트 등에 참여할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 이동 단말의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 이동 단말(100)은 촬영부(110), 방송 정보 관리부(120), 이미지 정보 생성부(130), 송수신부(140), 관련 정보 출력부(150) 및 방송 정보 데이터베이스(160)를 포함한다.
촬영부(110)는 TV 등의 디스플레이 장치를 통해 출력되는 영상을 캡쳐하여 영상 이미지 데이터를 생성한다. 촬영부(110)는 이동 단말(100)에 구비된 애플리케이션을 통해 영상을 캡쳐하고, 영상 관련 정보 제공을 위한 영상 이미지 데이터를 생성할 수 있다.
방송 정보 관리부(120)는 외부 서버(도시 생략)로부터 방송 편성표 정보, VOD(video on demand) 목록 정보 등의 하나 이상의 방송 프로그램의 정보를 포함하는 방송 제공 정보를 수신하여 방송 정보 데이터베이스(160)에 저장한다.
방송 정보 관리부(120)는, 사용자의 요청에 따라 촬영부(110)가 영상 이미지 데이터를 생성하는 경우, 방송 정보 데이터베이스(160)에 저장된 방송 제공 정보를 사용자에게 제공한다. 사용자는 제공 받은 방송 제공 정보에 포함된 하나 이상의 방송 프로그램 정보 중에서 현재 시청 중인 방송 프로그램 정보, 즉 촬영부(110)를 통해 촬영한 방송 프로그램의 정보를 선택할 수 있다.
방송 정보 관리부(120)는 사용자에 의해 선택된 방송 프로그램 정보를 이미지 정보 생성부(130)로 전송한다.
이미지 정보 생성부(130)는 촬영부(110)에 의해 생성된 영상 이미지 데이터 및 방송 정보 관리부(120)로부터 수신한 방송 프로그램 정보에 기초하여 방송 이미지 정보를 생성한다.
즉, 이미지 정보 생성부(130)는 촬영부(110)에 의해 생성된 영상 이미지 데이터 및 방송 정보 관리부(120)로부터 수신한 방송 프로그램 정보를 포함하는 방송 이미지 정보를 생성할 수 있다.
따라서, 이미지 정보 생성부(130)에 의해 생성된 이미지 정보는 사용자가 관련 정보를 제공 받고자 하는 영상에 대한 정보 및 해당 영상을 포함하는 방송 프로그램을 용이하게 검색할 수 있는 방송 프로그램 정보 및 시간 정보 등을 포함할 수 있다.
송수신부(140)는 이미지 정보 생성부(130)에 의해 생성된 방송 이미지 정보를 영상 관련 정보 제공 서버(도시 생략)로 전송하고, 영상 관련 정보 제공 서버로부터 전송한 방송 이미지 정보에 매칭되는 영상 관련 정보를 수신한다.
관련 정보 출력부(150)는 송수신부(140)에 의해 영상 관련 정보 제공 서버로부터 수신한 영상 관련 정보를 출력한다. 전술한 바와 같이, 관련 정보 출력부(150)는 영상 관련 정보를 바로 디스플레이 수단을 통해 출력하거나 또는 영상 관련 정보의 수신 알림을 팝업, 소리 등을 이용하여 출력한 후 사용자의 요청에 응답하여 수신한 영상 관련 정보를 출력할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 영상 관련 정보 제공 서버의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 영상 관련 정보 제공 서버(200)는 데이터 수신부(210), 패턴 매칭부(220), 오브젝트 획득부(230), 관련 정보 관리부(240), 사용자 단말 정보 관리부(250), 방송 정보 데이터베이스(260), 오브젝트 데이터베이스(270), 관련 정보 데이터베이스(280), 사용자 단말 데이터베이스(290)를 포함한다.
데이터 수신부(210)는 이동 단말(도시 생략)로부터 방송 이미지 정보를 수신한다. 이동 단말에 의해 생성되어 전송되는 이미지 정보는 영상 이미지 데이터뿐만 아니라 방송 프로그램 정보, 시간 정보 등을 포함하는 방송 정보를 함께 포함할 수 있다.
패턴 매칭부(220)는 데이터 수신부(210)가 이동 단말로부터 수신한 방송 이미지 정보에 매칭되는 패턴을 추출한다. 즉, 패턴 매칭부(220)는 수신한 방송 이미지 정보로부터 영상 이미지 데이터 및 방송 정보를 획득하고, 획득한 방송 정보를 이용하여 영상 이미지 데이터로부터 영상 이미지 데이터에 포함된 하나 이상의 패턴, 예를 들어 영상 이미지 데이터에 포함된 인물, 사물 등의 패턴을 추출한다.
다시 말해, 패턴 매칭부(220)는 방송 이미지 정보에 포함된 방송 정보로부터 영상 이미지 데이터에 포함된 영상 이미지가 어떠한 방송 프로그램으로부터 획득된 이미지인지를 판단하고, 방송 정보 데이터베이스(260)로부터 해당 방송 프로그램에 대하여 저장된 패턴 데이터를 획득한다.
패턴 매칭부(220)는 영상 이미지 데이터를 분석하여 해당 방송 프로그램에 대하여 저장된 패턴 데이터에 매칭되는 패턴이 있는지 여부를 판단하고, 매칭되는 패턴을 획득함으로써 보다 용이하게 영상 이미지 데이터에 포함된 패턴을 획득할 수 있다.
오브젝트 획득부(230)는 패턴 매칭부(220)가 추출한 패턴에 매칭되는 오브젝트를 오브젝트 데이터베이스로부터 획득한다. 즉, 오브젝트 획득부(230)는 패턴 매칭부(220)에 의해 영상 이미지 데이터로부터 획득된 패턴에 매칭되는 오브젝트를 오브젝트 데이터베이스(270)로부터 검색하여 획득할 수 있다.
예를 들어, 오브젝트 획득부(230)는 패턴 매칭부(220)에 의해 획득된 패턴을 오브젝트 데이터베이스(270)에 저장된 오브젝트와 비교하여 매칭되는 인물 오브젝트 또는 사물 오브젝트를 획득할 수 있다.
관련 정보 관리부(240)는 획득된 오브젝트에 매칭되는 관련 정보를 획득하여 이동 단말에 제공한다. 즉, 관련 정보 관리부(240)는 관련 정보 데이터베이스(230)로부터 오브젝트 획득부(230)에 의해 획득된 오브젝트에 매칭되는 관련 정보를 검색하여 획득하고, 데이터 송수신부(210)를 통해 획득한 관련 정보를 이동 단말(도시 생략)로 전송하여 제공할 수 있다.
예를 들어, 오브젝트 획득부(230)에 의해 특정 물건에 대한 오브젝트가 검색된 경우, 관련 정보 관리부(240)는 해당 오브젝트의 판매 정보, 관련 사이트 정보, 관련 영상 정보 등의 관련 정보를 획득하여 이동 단말에 제공할 수 있다.
사용자 단말 정보 관리부(250)는 관련 정보 관리부(240)에 의해 이동 단말에 제공된 관련 정보에 대한 검색 이력 정보, 이용 이력 정보 등의 사용자 단말 정보를 이동 단말에 매칭하여 사용자 단말 데이터베이스(290)에 저장한다.
사용자 단말 정보 관리부(250)는 사용자 단말 데이터베이스(290)에 저장한 사용자 단말 정보를 이용하여 해당 이동 단말의 사용자에게 적합한 이벤트, 콘텐츠, 광고 등을 선택하여 이동 단말에 제공할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 영상 관련 정보 제공 서버가 영상 관련 정보를 제공하는 방법에 있어서,
    (a) 이동 단말의 카메라를 통해 외부 디스플레이 장치가 디스플레이하는 방송 이미지가 촬영된 경우, 상기 이동 단말로부터 상기 촬영된 방송 이미지를 포함하는 방송 이미지 정보를 수신하는 단계,
    (b) 상기 수신한 방송 이미지 정보에 매칭되는 오브젝트를 획득하는 단계,
    (c) 상기 획득한 오브젝트에 매칭되는 관련 정보를 획득하는 단계 및
    (d) 상기 획득한 관련 정보를 상기 이동 단말로 전송하는 단계를 포함하고,
    상기 방송 이미지 정보는 상기 방송 이미지 정보에 포함된 방송 이미지에 매칭되는 방송 정보 및 영상 이미지 데이터를 포함하며, 상기 방송 정보는 상기 방송 이미지가 촬영된 시간 정보에 기초하여 생성되는 것이되,
    상기 (b) 단계는,
    (b1) 미리 생성된 패턴 정보로부터 상기 방송 정보에 매칭되는 패턴 정보를 획득하는 단계
    (b2) 상기 방송 정보를 이용하여 영상 이미지 데이터로부터 상기 영상 이미지 데이터에 포함된 패턴을 추출하는 단계 및
    (b3) 상기 영상 이미지 데이터로부터 추출한 상기 패턴에 매칭하는 오브젝트를 검색하는 단계를 포함하는 것인, 영상 관련 정보 제공 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 방송 정보는 상기 이동 단말에 의해 사용자에게 제공된 방송 제공 정보에 기초하여 생성되는 것인 영상 관련 정보 제공 방법.
  5. 제 4 항에 있어서,
    상기 방송 제공 정보는 방송 편성 정보를 포함하는 것인 영상 관련 정보 제공 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 관련 정보를 통해 상기 이동 단말에 상기 방송 이미지 정보에 매칭되는 영상 정보 또는 이벤트 정보가 제공되는 것인 영상 관련 정보 제공 방법.
  8. 이동 단말이 영상 관련 정보를 제공하는 방법에 있어서,
    (a) 상기 이동 단말의 카메라를 통해 외부 디스플레이 장치가 디스플레이하는 방송 영상 이미지를 촬영하여 획득하는 단계;
    (b) 상기 획득한 방송 영상 이미지를 포함하는 방송 영상 이미지 정보를 영상 관련 정보 제공 서버로 전송하는 단계;
    (c) 상기 영상 관련 제공 서버로부터 상기 전송한 상기 방송 영상 이미지에 매칭되는 영상 관련 정보를 수신하는 단계; 및
    (d) 상기 수신한 영상 관련 정보를 출력하는 단계를 포함하고,
    상기 방송 영상 이미지 정보는 상기 방송 영상 이미지 정보에 포함된 방송 이미지에 매칭되는 방송 정보 및 영상 이미지 데이터를 포함하며, 상기 방송 정보는 상기 방송 이미지가 촬영된 시간 정보에 기초하여 생성되는 것이되,
    상기 영상 관련 정보는, 상기 영상 관련 제공 서버에서 미리 생성된 패턴 정보로부터 상기 방송 정보에 매칭되는 패턴 정보를 획득하고, 상기 방송 정보를 이용하여 상기 영상 이미지 데이터로부터 상기 영상 이미지 데이터에 포함된 패턴을 추출하고, 상기 영상 이미지 데이터로부터 추출한 상기 패턴에 매칭하는 오브젝트를 검색하여 상기 수신한 방송 영상 이미지 정보에 매칭되는 오브젝트를 획득하고, 상기 획득한 오브젝트에 매칭되어 획득된 것인, 영상 관련 정보 제공 방법.
  9. 제 8 항에 있어서,
    상기 (a) 단계는,
    (a1) 사용자에게 제공된 방송 제공 정보 중 하나의 방송을 선택하는 입력을 수신하는 단계
    를 포함하는 것인 영상 관련 정보 제공 방법.
  10. 제 9 항에 있어서,
    상기 방송 영상 이미지 정보는 상기 입력에 의해 선택된 방송 정보를 포함하는 것인 영상 관련 정보 제공 방법.
  11. 제 10 항에 있어서,
    상기 수신한 영상 관련 정보는 상기 방송 영상 이미지 및 상기 입력에 의해 선택된 방송 정보에 매칭되는 것인 영상 관련 정보 제공 방법.
  12. 제 8 항에 있어서,
    상기 영상 관련 정보를 통해 상기 이동 단말에 상기 방송 이미지 정보에 매칭되는 영상 정보 또는 이벤트 정보가 제공되는 것인 영상 관련 정보 제공 방법.
  13. 영상 관련 정보 제공 시스템에 있어서,
    외부 디스플레이 장치가 디스플레이하는 방송 이미지 중 이동 단말이 카메라를 통해 촬영한 방송 이미지를 포함하는 방송 이미지 정보가 수신되는 경우, 상기 이동 단말로부터 수신한 상기 방송 이미지 정보에 매칭되는 패턴을 추출하는 패턴 매칭부;
    상기 추출된 패턴에 매칭되는 오브젝트를 오브젝트 데이터베이스로부터 획득하는 오브젝트 획득부; 및
    상기 획득된 오브젝트에 매칭되는 관련 정보를 획득하여 상기 이동 단말에 제공하는 관련 정보 제공부를 포함하고,
    상기 관련 정보에 기초하여 상기 방송 이미지 정보에 매칭되는 영상 정보 또는 이벤트 정보가 상기 이동 단말에 제공되며,
    상기 패턴 매칭부는 상기 방송 이미지 정보 및 상기 방송 이미지 정보에 매칭되는 방송 정보 및 영상 이미지 데이터에 기초하여 상기 패턴을 추출하고,
    상기 방송 정보는 상기 방송 이미지 정보가 촬영된 시간 정보를 포함하되,
    상기 오브젝트 획득부는 미리 생성된 패턴 정보로부터 상기 방송 정보에 매칭되는 패턴 정보를 획득하고, 상기 방송 정보를 이용하여 상기 영상 이미지 데이터로부터 상기 영상 이미지 데이터에 포함된 패턴을 추출하고, 상기 영상 이미지 데이터로부터 추출한 상기 패턴에 매칭하는 오브젝트를 검색하는 것인, 영상 관련 정보 제공 시스템.
  14. 삭제
  15. 제 13 항에 있어서,
    상기 방송 정보는 상기 이동 단말을 통해 사용자에게 제공된 방송 제공 정보에 기초하여 생성되는 것인 영상 관련 정보 제공 시스템.
  16. 삭제
KR20110062319A 2011-06-27 2011-06-27 영상 관련 정보 제공 방법 및 시스템 Expired - Fee Related KR101482094B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20110062319A KR101482094B1 (ko) 2011-06-27 2011-06-27 영상 관련 정보 제공 방법 및 시스템
US13/534,856 US20120331514A1 (en) 2011-06-27 2012-06-27 Method and apparatus for providing image-associated information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20110062319A KR101482094B1 (ko) 2011-06-27 2011-06-27 영상 관련 정보 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130001512A KR20130001512A (ko) 2013-01-04
KR101482094B1 true KR101482094B1 (ko) 2015-01-13

Family

ID=47363094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110062319A Expired - Fee Related KR101482094B1 (ko) 2011-06-27 2011-06-27 영상 관련 정보 제공 방법 및 시스템

Country Status (2)

Country Link
US (1) US20120331514A1 (ko)
KR (1) KR101482094B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034065A1 (ko) * 2015-08-25 2017-03-02 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20190055558A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20230016877A (ko) 2021-07-27 2023-02-03 마젤원 주식회사 영상 미디어 매체에 기반한 옥외 광고 분석-구축 방법 및 옥외 광고 분석-구축 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363551B2 (en) * 2013-10-31 2016-06-07 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
KR102246305B1 (ko) * 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
KR102077237B1 (ko) 2014-09-17 2020-02-13 삼성전자주식회사 영상 재생 장치에 의해 캡쳐된 이미지에 관련된 연관 정보를 휴대용 디바이스에게 제공하는 방법 및 시스템
CN105872653A (zh) * 2016-03-21 2016-08-17 乐视网信息技术（北京）股份有限公司 一种弹幕的传输方法及装置
KR102620988B1 (ko) * 2021-09-03 2024-01-05 나우사이언스 유한회사 검색 기반 방송 시스템 및 그 구동 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328925A (ja) 2001-04-27 2002-11-15 Sony Corp 商品検索システム、商品検索装置及び商品検索方法
KR20070010570A (ko) * 2005-07-19 2007-01-24 에스케이 텔레콤주식회사 방송 프로그램별 부가 정보 제공 시스템 및 방법과 이를위한 이동통신 단말
KR100827849B1 (ko) * 2007-08-08 2008-06-10 (주)올라웍스 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509347B2 (en) * 2006-06-05 2009-03-24 Palm, Inc. Techniques to associate media information with related information
US8244589B2 (en) * 2006-08-29 2012-08-14 Daevid Vincent Personalized audio controlled shopping information service for a mobile device
EP1921852A1 (en) * 2006-11-07 2008-05-14 Microsoft Corporation Sharing Television Clips
KR20090003809A (ko) * 2007-07-03 2009-01-12 삼성전자주식회사 복수개의 망을 이용한 방송 정보 재생 방법 및 장치
US8601526B2 (en) * 2008-06-13 2013-12-03 United Video Properties, Inc. Systems and methods for displaying media content and media guidance information
US8280764B2 (en) * 2009-10-02 2012-10-02 Recognition Robotics, Inc. System and method for delivery of electronic coupons
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8607295B2 (en) * 2011-07-06 2013-12-10 Symphony Advanced Media Media content synchronized advertising platform methods
US20120187187A1 (en) * 2011-01-20 2012-07-26 Lai Games Australia Pty Ltd Two-way symbological communication between electronic devices
US8740064B2 (en) * 2011-04-08 2014-06-03 Blackberry Limited Payment processing system including mobile wireless communications device to send a payment confirmation to a transaction terminal and associated methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328925A (ja) 2001-04-27 2002-11-15 Sony Corp 商品検索システム、商品検索装置及び商品検索方法
KR20070010570A (ko) * 2005-07-19 2007-01-24 에스케이 텔레콤주식회사 방송 프로그램별 부가 정보 제공 시스템 및 방법과 이를위한 이동통신 단말
KR100827849B1 (ko) * 2007-08-08 2008-06-10 (주)올라웍스 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017034065A1 (ko) * 2015-08-25 2017-03-02 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20170024372A (ko) * 2015-08-25 2017-03-07 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10542311B2 (en) 2015-08-25 2020-01-21 Lg Electronics Inc. Display device and control method for displaying detailed information of a specific area
KR102393510B1 (ko) * 2015-08-25 2022-05-03 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20190055558A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2019098624A1 (ko) * 2017-11-15 2019-05-23 삼성전자(주) 디스플레이장치 및 그 제어방법
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20230016877A (ko) 2021-07-27 2023-02-03 마젤원 주식회사 영상 미디어 매체에 기반한 옥외 광고 분석-구축 방법 및 옥외 광고 분석-구축 시스템

Also Published As

Publication number Publication date
US20120331514A1 (en) 2012-12-27
KR20130001512A (ko) 2013-01-04

Similar Documents

Publication Publication Date Title
KR101482094B1 (ko) 영상 관련 정보 제공 방법 및 시스템
KR101839927B1 (ko) 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법
US10650442B2 (en) Systems and methods for presentation and analysis of media content
KR101314865B1 (ko) 모바일 환경에서 ｔｖ 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템
US20120272279A1 (en) Apparatus for providing internet protocol television broadcasting contents, user terminal and method for providing internet protocol television broadcasting contents information
WO2015090095A1 (zh) 一种信息推送方法、设备和系统
CN105829995A (zh) 根据观看者表情捕捉媒体内容
US20160035392A1 (en) Systems and methods for clipping video segments
US8893166B2 (en) Method of surveying watching of image content, and broadcast receiving apparatus and server employing the same
CN103891270A (zh) 捕获视频相关内容的方法
CN111107434A (zh) 信息推荐方法及装置
US20170134810A1 (en) Systems and methods for user interaction
US20130111525A1 (en) Method and apparatus for providing information
JP5574556B1 (ja) 視聴番組同定システム、方法およびプログラム
CN113497977A (zh) 视频处理方法、模型训练方法、装置、设备和存储介质
US20130132842A1 (en) Systems and methods for user interaction
US20130085846A1 (en) System and method for online selling of products appearing on a display
KR20160080603A (ko) 협찬 상품 정보 제공 방법, 서버 및 시스템
KR20140018650A (ko) 스마트 디바이스를 이용한 영상정보 검색시스템 및 그 방법
KR20150044465A (ko) 스마트 디스플레이
KR101566230B1 (ko) 스마트 디스플레이를 이용한 광고 방법
JP2014132385A (ja) サーバ装置、コンテンツ提供システム、制御方法及びプログラム
JP2014146073A (ja) 情報処理装置、配信システム、及びプログラム
KR101914584B1 (ko) 실시간 가상 콘텐츠를 이용한 타겟 광고 서비스 제공 방법 및 이를 수행하는 가상화 서버
KR101566227B1 (ko) 스마트 디스플레이를 이용한 광고 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 4

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PC1903 Unpaid annual fee

Not in force date: 20220108

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220108

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000