[go: up one dir, main page]

KR20110049328A - 캡처 영상 및 관련 정보의 처리 시스템 및 방법 - Google Patents

캡처 영상 및 관련 정보의 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20110049328A
KR20110049328A KR1020090106299A KR20090106299A KR20110049328A KR 20110049328 A KR20110049328 A KR 20110049328A KR 1020090106299 A KR1020090106299 A KR 1020090106299A KR 20090106299 A KR20090106299 A KR 20090106299A KR 20110049328 A KR20110049328 A KR 20110049328A
Authority
KR
South Korea
Prior art keywords
captured image
related information
information
subject
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020090106299A
Other languages
English (en)
Other versions
KR101215871B1 (ko
Inventor
홍상우
박명순
유병철
임민주
김경진
서승교
양재모
김건오
강석훈
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090106299A priority Critical patent/KR101215871B1/ko
Publication of KR20110049328A publication Critical patent/KR20110049328A/ko
Application granted granted Critical
Publication of KR101215871B1 publication Critical patent/KR101215871B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 캡처 영상 및 관련 정보의 처리 시스템 및 방법에 관한 것으로, 캡처 영상의 검색 효율성과 활용도를 향상시키기 위한 것이다. 본 발명에 따르면, 표시부에 영상이 표시된 상태에서 캡처 요청 신호가 입력되면, 휴대단말은 영상을 캡처하여 캡처 영상을 획득한다. 휴대단말은 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득한다. 그리고 휴대단말은 캡처 영상과 함께 획득한 관련 정보를 저장부에 저장한다. 이때 휴대단말은 관련 정보를 검색서버에 요청하여 획득하거나 저장부에서 검색하여 획득할 수 있다. 관련 정보는 캡처 상황과 관련된 기본 정보와, 피사체와 관련하여 검색된 피사체별 정보를 포함한다. 따라서 본 발명은 캡처 영상과 함께 관련 정보를 저장하기 때문에, 관련 정보를 이용한 캡처 영상의 검색, 정렬 및 다른 프로그램들과의 연동을 지원하고, 이로 인해 관련 정보를 이용한 캡처 영상의 검색 효율성과 활용도를 향상시킬 수 있다.
캡처, 피사체, 관련 정보, 검색, 정렬, 연동

Description

캡처 영상 및 관련 정보의 처리 시스템 및 방법{System and method for processing both captured image and related information}
본 발명은 휴대단말를 이용한 캡처 영상 처리 기술에 관한 것으로, 더욱 상세하게는 휴대단말을 통해 정지영상이나 동영상을 캡처할 때 피사체에 대한 관련 정보를 자동으로 검색하여 제공함으로써 캡처 영상과 관련 정보를 함께 저장할 수 있는 캡처 영상 및 관련 정보의 처리 시스템 및 방법에 관한 것이다.
유무선 통신망을 이용한 정보 통신 기술은 소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 휴대단말은 그 기술의 발달로 인하여 단순한 어플리케이션을 수행하는 단계를 넘어서서 사용자들의 요구에 맞는 다양한 어플리케이션들이 설치되고 있다. 이로 인해 사용자는 휴대단말을 통하여 장소에 구애됨이 없이 언제 어디서든 음성 정보, 문자 정보, 영상 정보, MP3(MPEG(Moving Picture Experts Group) layer 3), 게임 등을 이용할 수 있다.
이러한 휴대단말은 사진 촬영에 의한 정지영상 캡처 기능과, 방송 또는 영화와 같은 동영상 재생 중 캡처 기능을 제공하고 있다. 휴대단말은 캡처 영상을 자동 으로 부여되는 파일명을 이용하거나, 사용자가 입력한 파일명을 이용하여 저장부에 저장한다. 사용자가 저장부에 저장된 캡처 영상을 호출하면, 휴대단말은 파일명이나 썸네일(thumbnail) 형태로 구분하여 저장된 캡처 영상을 표시한다.
이와 같이 종래의 캡처 영상은 파일명에 의해 구분되기 때문에, 캡처 영상들 간의 식별성이 떨어진다. 이로 인해 사용자가 원하는 캡처 영상을 찾기 위해서 파일명이나 썸네일을 일일이 확인하면서 찾아야 하기 때문에, 번거롭고 해당 캡처 영상을 찾는 데 시간이 많이 소요되어 검색 효율성이 떨어진다. 그리고 캡처 영상은 단순히 영상 정보만을 제공할 뿐, 캡처 영상과 관련된 정보들은 제공하지 않기 때문에, 캡처 영상의 활용도 또한 떨어진다.
따라서, 본 발명의 목적은 캡처 영상의 검색 효율성과 활용도를 향상시킬 수 있는 캡처 영상 및 관련 정보의 처리 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 휴대단말을 통해 정지영상이나 동영상을 캡처할 때 피사체에 대한 관련 정보를 자동으로 검색하여 제공함으로써 캡처 영상과 관련 정보를 함께 저장할 수 있는 캡처 영상 및 관련 정보의 처리 시스템 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 검색서버 및 휴대단말을 포함하여 구성되는 캡처 영상 처리 시스템을 제공한다. 상기 검색서버는 상기 휴대단말이 요 청하는 피사체에 대한 관련 정보를 검색하여 제공한다. 그리고 상기 휴대단말은 캡처 요청 신호가 입력되면 화면에 표시된 영상을 캡처하여 캡처 영상을 획득하고, 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 상기 검색서버에 요청하여 획득하고, 상기 캡처 영상과 함께 상기 관련 정보를 저장한다.
본 발명은 또한, 통신부 및 서버제어부를 포함하여 구성되는 캡처 영상 처리 시스템의 검색서버를 제공한다. 상기 통신부는 네트워크를 매개로 휴대단말과 통신을 수행한다. 상기 서버제어부는 상기 통신부를 통하여 상기 휴대단말로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신하고, 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득하고, 상기 획득한 관련 정보를 상기 휴대단말로 전송한다.
본 발명에 따른 검색서버는, 피사체에 대한 관련 정보를 저장하는 데이터베이스부를 더 포함한다. 이때 상기 서버제어부는 상기 데이터베이스부에서 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득할 수 있다.
본 발명은 또한, 송수신부, 입력부, 저장부, 표시부 및 제어부를 포함하여 구성되는 캡처 영상 처리 시스템의 휴대단말을 제공한다. 상기 송수신부는 네트워크를 통하여 검색서버와 통신을 수행한다. 상기 입력부는 사용자의 선택 신호를 입력받는다. 상기 저장부는 정보를 저장한다. 상기 표시부는 영상을 표시한다. 그리고 상기 제어부는 상기 입력부를 통해 캡처 요청 신호가 입력되면 상기 표시부에 표시된 영상을 캡처하여 캡처 영상을 획득하고, 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 상기 송수신부를 통하여 상기 검색서버에 요청 하여 획득하고, 상기 캡처 영상과 함께 상기 관련 정보를 상기 저장부에 저장한다.
본 발명은 또한, 표시부에 영상이 표시된 상태에서 캡처 요청 신호가 입력되면, 휴대단말이 상기 영상을 캡처하여 캡처 영상을 획득하는 영상 획득 단계, 상기 휴대단말이 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 네트워크를 통하여 검색서버에 요청하여 획득하는 정보 획득 단계, 상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 저장부에 저장하는 저장 단계를 포함하는 캡처 영상 및 관련 정보의 처리 방법을 제공한다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 영상 획득 단계에서 상기 영상은 촬영 중인 영상, 웹 페이지(web page), 왑 페이지(wap page), 재생 중인 정지영상 및 동영상 중에 적어도 하나를 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 정보 획득 단계는 상기 휴대단말이 상기 캡처 영상에 포함된 피사체 중에 적어도 하나의 피사체에 대한 선택 신호를 입력받는 단계, 상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 상기 검색서버에 요청하여 획득하는 단계, 상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계를 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 정보 획득 단계는 상기 휴대단말이 상기 캡처 영상에 포함된 피사체 중에서 사용자가 선택할 수 있는 피사체를 추출하는 단계, 상기 휴대단말이 상기 추출한 피사체 중에 적어도 하나의 피사체에 대한 선택 신호를 입력받는 단계, 상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 검색서버에 요청하여 획득하는 단계, 상기 휴대 단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계를 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 추출하는 단계는 상기 휴대단말이 상기 추출한 피사체를 다른 피사체와 구별되게 표시하는 단계를 더 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 정보 획득 단계는 상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 상기 저장부에서 검색하여 획득하는 단계를 더 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 표시하는 단계에서 상기 관련 정보가 상기 캡처 영상에 중첩하여 표시되거나 PIP로 표시될 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 표시하는 단계에서 상기 관련 정보가 상기 피사체에 인접하게 표시될 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 표시하는 단계에서 상기 관련 정보가 아이콘 또는 리스트로 표시될 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 관련 정보는 캡처 상황과 관련된 기본 정보와, 상기 피사체와 관련하여 검색된 피사체별 정보를 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 저장 단계는 상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계, 상기 휴대단말이 사용자의 선택 신호를 입력받아 상기 획득한 관련 정보를 취사선택하는 단계, 상기 휴대단말이 상기 캡처 영상과 함께 선택된 상기 관련 정보를 저장하는 단계를 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 취사선택하는 단계에서 상기 사용자의 선택 신호가 키입력, 터치입력, 음성입력 및 제스처입력 중에 적어도 하나의 방식으로 입력될 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 저장 단계에서 상기 휴대단말이 상기 관련 정보 중에 적어도 하나를 상기 캡처 영상의 파일명으로 지정할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법은 상기 저장 단계 이후에 수행되는, 캡처 영상의 호출 신호가 입력되면, 상기 휴대단말이 상기 저장부에 저장된 캡처 영상을 표시하는 단계, 특정 관련 정보를 입력하여 검색을 요청하면, 상기 휴대단말이 상기 특정 관련 정보를 포함하는 캡처 영상을 상기 저장부에 저장된 캡처 영상에서 추출하여 표시하는 단계를 더 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법은 상기 저장 단계 이후에 수행되는, 캡처 영상의 호출 신호가 입력되면, 상기 휴대단말이 상기 저장부에 저장된 캡처 영상을 표시하는 단계, 특정 관련 정보를 입력하여 정렬을 요청하면, 상기 휴대단말이 상기 특정 관련 정보에 따라 상기 저장된 캡처 영상을 정렬하여 표시하는 단계를 더 포함할 수 있다.
본 발명에 따른 캡처 영상 및 관련 정보의 처리 방법에 있어서, 상기 특정 관련 정보는 상기 저장된 캡처 영상을 정렬할 수 있는 요소를 갖는 관련 정보일 수 있다.
본 발명은 또한, 검색서버가 네트워크를 통하여 휴대단말로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신하는 단계, 상기 검색서버가 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득하는 단계, 상기 검색서버가 상기 획득한 관련 정보를 상기 휴대단말로 전송하는 단계를 포함하는 캡처 영상 및 관련 정보의 처리 방법을 제공한다.
따라서, 본 발명에 따른 캡처 영상 처리 시스템은 휴대단말을 통해 정지영상이나 동영상을 캡처할 때 피사체에 대한 관련 정보를 자동으로 검색하여 휴대단말에 제공함으로써, 캡처 영상과 함께 관련 정보를 동시에 저장할 수 있는 이점이 있다.
본 발명에 따른 캡처 영상 처리 시스템의 휴대단말은 캡처 영상과 함께 저장된 관련 정보를 이용하여 캡처 영상의 검색, 정렬 및 다른 프로그램들과의 연동을 지원하기 때문에, 관련 정보를 이용한 캡처 영상의 검색 효율성과 활용도를 향상시킬 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리를 수행하는 캡처 영상 처리 시스템(100)의 구성을 보여주는 블록도이다.
본 발명의 실시예에 따른 캡처 영상 처리 시스템(100)은, 도 1에 도시된 바와 같이, 네트워크(20)를 매개로 연결된 휴대단말(10) 및 검색서버(30)를 포함하여 구성된다. 캡처 영상 처리 시스템(100)은 휴대단말(10)을 통해 정지영상이나 동영상을 캡처할 때 피사체에 대한 관련 정보를 검색서버(30)에서 검색하여 해당 휴대단말(10)로 제공할 수 있다. 휴대단말(10)은 캡처 영상과 함께 관련 정보를 저장한다.
네트워크(20)는 휴대단말(10)와 검색서버(30) 사이의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행한다. 네트워크(20)는 IP를 통하여 대용량 데이터의 송수신 서비스 및 끊김없는 데이터 서비스를 제공하는 IP망으로, IP를 기반으로 서로 다른 망을 통합한 IP망 구조인 ALL-IP망일 수 있다. 또한 네트워크(20)는 유선통신망, 이동통신망, WiBro(Wireless Broadband)망, HSDPA(High-Speed Downlink Packet Access)망, 위성통신망 중에 하나일 수 있다.
검색서버(30)는 피사체에 대한 관련 정보를 저장하며, 휴대단말(10)의 요청에 따라 피사체에 대한 관련 정보를 검색하여 제공한다. 이때 검색서버(30)는 데이터베이스부(34)를 검색하여 관련 정보를 획득하여 제공할 수 있다. 한편 검색서버(30)는 별도로 구축된 정보 제공 서버를 통하여 필요한 관련 정보를 획득하여 제공할 수도 있다.
그리고 휴대단말(10)은 화면에 영상이 표시된 상태에서 캡처 요청 신호가 입력되면, 영상을 캡처하여 캡처 영상을 획득한다. 휴대단말(10)은 캡처 영상에 포함 된 적어도 하나의 피사체에 대한 관련 정보를 검색서버(30)에 요청하여 수신한다. 그리고 휴대단말(10)은 캡처 영상과 함께 관련 정보를 저장한다. 이때 휴대단말(10)은 이동통신단말, 노트북(notebook), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 또는 DVB(Digital Video Broadcasting)와 같은 디지털방송 수신기를 포함할 수 있다.
이와 같은 본 실시예에 따른 검색서버(30)는 통신부(31), 데이터베이스부(34) 및 서버제어부(33)를 포함하여 구성된다.
통신부(31)는 네트워크를 매개로 휴대단말(10)과 통신을 수행한다. 통신부(31)는 휴대단말(10)로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신하여 서버제어부(33)로 전달한다. 통신부(31)는 서버제어부(33)의 제어에 따라 획득한 관련 정보를 해당 휴대단말(10)로 전송한다.
데이터베이스부(34)는 피사체에 대한 관련 정보를 저장한다. 이때 캡처 영상에는 적어도 하나의 피사체가 포함되어 있다. 피사체는 사람, 동물, 사물 등이 될 수 있다. 관련 정보는 캡처 상황과 관련된 기본 정보와, 피사체와 관련하여 검색된 피사체별 정보를 포함할 수 있다. 기본 정보는 국가, 장소, 시간, 피사체 ID, 기상상태 등을 포함할 수 있다. 피사체별 정보는 이름, 상호, 자신과의 관계, 레서피(recipe), 감정상태, 가격, 구입처, 브랜드 등을 포함할 수 있다. 예컨대 피사체가 인물인 경우, 피사체별 정보는 이름, 자신과의 관계, 감정상태 등을 포함할 수 있다. 피사체가 동물 또는 사물인 경우, 피사체별 정보는 이름, 상호, 레서피, 가격, 구입처, 브랜드 등을 포함할 수 있다.
이때 데이터베이스부(34)는 기본 정보와 피사체별 정보 모두를 제공할 수도 있고, 기본 정도 또는 피사체별 정보 중에 어느 한쪽 만을 제공할 수도 있다.
그리고 서버제어부(33)는 검색서버(30)의 전반적인 제어 동작을 수행한다. 특히 서버제어부(33)는 휴대단말(10)의 피사체에 대한 관련 정보의 전송 요청에 따른 관련 정보의 검색과, 검색된 관련 정보의 전송을 제어한다. 즉 서버제어부(33)는 통신부(31)를 통하여 휴대단말(10)로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신한다. 서버제어부(33)는 적어도 하나의 피사체에 대한 관련 정보를 데이터베이스부(34)에서 검색하여 획득하고, 획득한 관련 정보를 통신부(31)를 통하여 휴대단말(10)로 전송한다. 예컨대 피사체가 특정 상품인 경우, 서버제어부(33)는 데이터베이스부(34)에 저장된 상품 사진 중에서 피사체에 대응하는 상품 사진을 추출하고, 추출한 상품 사진에 매칭된 상품의 이름, 브랜드, 가격, 구입처 등에 대한 정보를 획득할 수 있다.
한편 서버제어부(33)는 데이터베이스부(34)에서 관련 정보를 검색하여 획득하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 서버제어부(33)는 정보 제공 서버로 관련 정보를 요청하여 획득할 수도 있다.
본 발명의 실시예에 따른 휴대단말(10)을 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 2는 도 1의 휴대단말(10)의 구성을 보여주는 블록도이다.
휴대단말(10)은, 도 1 및 도 2에 도시된 바와 같이, 표시부(17)에 표시되는 영상을 캡처할 때 캡처 영상에 포함된 피사체에 대한 관련 정보를 검색서버(30)로부터 수신하여 제공함으로써 캡처 영상과 함께 관련 정보를 저장한다. 즉 휴대단 말(10)은 표시부(17)에 영상이 표시된 상태에서 캡처 요청 신호가 입력되면, 영상을 캡처하여 캡처 영상을 획득한다. 휴대단말(10)은 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 검색서버(30)에 요청하여 수신한다. 그리고 휴대단말(10)은 캡처 영상과 함께 관련 정보를 저장한다.
이와 같은 본 실시예에 따른 휴대단말(10)은 송수신부(11), 입력부(12), 저장부(13), 표시부(17) 및 제어부(19)를 포함하며, 카메라부(15)와 음원처리부(18)를 더 포함할 수 있다.
송수신부(11)는 네트워크(20)를 매개로 검색서버(30)와 통신을 수행한다. 송수신부(11)는 제어부(19)의 제어에 따라 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송을 검색서버(30)에 요청한다. 송수신부(11)는 검색서버(30)로부터 요청한 피사체의 관련 정보를 수신하여 제어부(19)로 전달한다.
입력부(12)는 휴대단말(10)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(19)로 전달한다. 사용자는 입력부(12)를 통해 표시부(17)의 화면에 영상 표시를 요청하고, 표시된 영상에 대한 캡처 요청 신호를 입력할 수 있다. 또한 사용자는 입력부(12)를 통해 캡처 영상 및 관련 정보의 처리를 위한 선택 신호를 입력할 수 있다. 이때 입력부(12)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
저장부(13)는 휴대단말(10)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 정보를 저장한다. 저장부(13)는 캡처 영상 및 관련 정보의 처 리를 수행하기 위한 실행프로그램을 저장한다. 저장부(13)에 저장된 정보는 휴대단말(10)의 제조 단계에서 디폴트로 저장되는 내부 정보와, 사용자가 휴대단말(10)의 사용 중 자신이 입력하거나 외부의 단말로부터 수신받은 외부 정보를 포함한다. 이때 정보는 속성에 따라 전화번호부, 사진 앨범, 다이어리 또는 폴더에 분할 또는 중복되어 저장된다. 폴더에는 텍스트 정보 또는 검색 정보가 저장될 수 있다. 외부 정보는 관련 정보가 함께 저장된 캡처 영상을 포함할 수 있다.
카메라부(15)는 피사체의 촬영 기능을 수행하며, 특히 캡처 영상 및 관련 정보의 동시 저장을 위한 주변 영상을 획득한다. 이때 카메라부(15)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상데이터를 획득하며, 획득된 영상데이터를 제어부(19)나 표시부(17)를 통해 출력하거나 저장부(13)에 저장할 수 있다.
표시부(17)는 휴대단말(10)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(13)에 저장된 정보를 표시한다. 표시부(17)는 제어부(19)의 제어에 따라 영상을 표시한다. 이때 영상은 카메라부(15)로 촬영 중인 영상, 웹 페이지(web page), 왑 페이지(wap page), 재생 중인 정지영상 또는 동영상을 포함할 수 있다. 표시부(17)는 제어부(19)의 제어에 따라 캡처 영상을 표시하거나 캡처 영상과 함께 관련 정보를 표시할 수 있다. 표시부(17)로는 LCD(Liquid Crystal Display)나 터치스크린이 사용될 수 있다. 터치스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한 다.
음원처리부(18)는 제어부(19)의 제어에 따라 음원을 스피커로 출력하고, 마이크로 입력되는 음원을 디지털화하여 제어부(19)로 전송한다. 특히 음원처리부(18)는 사용자의 선택 신호를 음성으로 입력받아 제어부(19)로 전송할 수 있다.
그리고 제어부(19)는 휴대단말(10)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 제어부(19)는 캡처 영상 및 관련 정보의 동시 저장을 포함한 캡처 영상의 처리를 제어한다. 즉 제어부(19)는 입력부(12)를 통해 캡처 요청 신호가 입력되면 표시부(17)에 표시된 영상을 캡처하여 캡처 영상을 획득한다. 제어부(19)는 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 검색서버(30)에 요청하여 수신한다. 그리고 제어부(19)는 캡처 영상과 함께 획득한 관련 정보를 저장부(13)에 저장한다.
제어부(19)는 다음과 같이 관련 정보를 획득할 수 있다. 즉 제어부(19)는 캡처 영상에 포함된 피사체 중에 적어도 하나에 대한 선택 신호를 입력부(12)를 통하여 입력받는다. 제어부(19)는 선택된 피사체에 대한 관련 정보를 검색서버(30)에 요청하여 수신한다. 그리고 제어부(19)는 캡처 영상과 함께 획득한 관련 정보를 표시부(17)에 표시한다. 즉 제어부(19)는 객체 추출 알고리듬을 이용하여 선택된 피사체를 캡처 영상에서 추출한다. 제어부(19)는 추출한 피사체를 이미지 검색 알고리듬, 이미지 인식 알고리듬 또는 텍스트 인식 알고리듬 등을 통하여 인식할 수 있다. 제어부(19)는 인식한 피사체에 대한 관련 정보를 검색서버(30)에 요청하여 수신한다. 또한 제어부(19)는 인식한 피사체에 대한 관련 정보를 저장부(13)에서 검 색하여 획득할 수도 있다.
이때 관련 정보는 캡처 영상에 중첩하여 표시되거나 PIP(Picture In Picture)로 표시될 수 있다. 관련 정보는 해당 피사체에 인접하게 표시되거나 리스트 형태로 표시될 수 있다. 관련 정보는 아이콘 또는 텍스트로 표시될 수 있다.
한편으로 제어부(19)는 사용자가 캡처 영상에 포함된 피사체 중에서 선택할 수 있는 피사체를 쉽게 확인할 수 있도록, 캡처 영상에 포함된 피사체 중에서 사용자가 선택할 수 있는 피사체를 추출하고, 추출한 피사체를 다른 피사체와 구별되게 표시할 수 있다. 예컨대 제어부(19)는 추출한 피사체에 대해서 색상이나 밝기를 변화시켜 표시할 수 있다.
제어부(19)는 다음과 같이 캡처 영상과 함께 관련 정보를 저장할 수 있다. 캡처 영상과 함께 관련 정보가 화면에 표시된 상태에서, 제어부(19)는 사용자의 선택 신호를 입력받아 획득한 관련 정보를 취사선택한다. 그리고 입력부(12)를 통하여 저장 요청 신호가 입력되면, 제어부(19)는 캡처 영상과 함께 선택된 관련 정보를 저장한다.
이때 사용자의 선택 신호에 따라 관련 정보를 취사선택할 때, 제어부(19)는 캡처 영상과 함께 저장하고 싶은 관련 정보를 선택하거나 필요 없는 관련 정보를 삭제할 수 있다. 즉 선택 동작만 수행하거나, 삭제 동작만 수행하거나, 선택 및 삭제 동작을 모두 수행할 수 있다. 관련 정보의 취사선택시 사용자의 선택 신호는 키입력, 터치입력, 음성입력 및 제스처입력 중에 적어도 하나의 방식으로 입력될 수 있다. 예컨대 사용자의 선택 신호가 터치입력 방식으로 입력될 경우, 터치는 선택 동작, 플릭(flick)은 삭제 동작이다.
한편 제어부(19)는 선택된 관련 정보 중에 적어도 하나를 캡처 영상의 파일명으로 지정할 수 있다. 예컨대 관련 정보가 인물의 이름과 상호를 포함하는 경우, 제어부(19)는 인물의 이름과 상호를 조합하여 파일명으로 지정할 수 있다.
이와 같이 본 실시예에 따른 휴대단말(10)은 캡처 영상과 함께 관련 정보를 저장하기 때문에, 캡처 영상의 검색, 정렬 및 다른 프로그램들과의 연동을 지원할 수 있다.
즉 관련 정보를 이용하여 캡처 영상을 검색하는 방법을 설명하면 다음과 같다. 입력부(12)를 통하여 캡처 영상의 호출 신호가 입력되면, 제어부(19)는 저장부(13)에 저장된 캡처 영상을 표시한다. 입력부(12)를 통하여 특정 관련 정보를 입력하여 검색을 요청하면, 제어부(19)는 특정 관련 정보를 포함하는 캡처 영상을 저장부(13)에서 추출하여 표시한다.
관련 정보를 이용하여 캡처 영상을 정렬하는 방법을 설명하면 다음과 같다. 입력부(12)를 통하여 캡처 영상의 호출 신호가 입력되면, 제어부(19)는 저장부(13)에 저장된 캡처 영상을 표시한다. 입력부(12)를 통하여 특정 관련 정보를 입력하여 정렬을 요청하면, 제어부(19)는 특정 관련 정보에 따라 저장된 캡처 영상을 정렬하여 표시한다. 이때 제어부(19)는 캡처 영상의 호출 신호에 따라 캡처 영상을 표시할 때, 캡처 영상만 표시하거나, 캡처 영상과 함께 관련 정보를 표시부(17)에 표시할 수 있다. 특정 관련 정보는 저장된 캡처 영상을 정렬할 수 있는 요소를 갖는 관련 정보이다. 예컨대 특정 관련 정보는 국가, 장소, 시간, 기상상태, 이름, 가격 등이 될 수 있다.
그리고 연동되는 프로그램은 전화번호부, 사진 앨범, 다이어리, 영상편집 또는 문서편집 응용프로그램을 포함할 수 있다.
이와 같이 본 실시예에 따른 휴대단말(10)은 영상을 캡처할 때 피사체에 대한 관련 정보를 자동으로 검색하여 제공하기 때문에, 캡처 영상과 함께 관련 정보를 동시에 저장할 수 있다. 본 실시예에 따른 휴대단말(10)은 캡처 영상과 함께 저장된 관련 정보를 이용한 캡처 영상의 검색, 정렬 및 다른 프로그램들과의 연동을 지원하기 때문에, 관련 정보를 이용한 캡처 영상의 검색 효율성과 활용도를 향상시킬 수 있다.
이와 같은 본 실시예에 따른 캡처 영상 처리 시스템의 캡처 영상 및 관련 정보의 처리 방법의 일 예에 대해서 도 1 내지 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법의 일 예에 따른 흐름도이다. 도 4는 도 3의 정보 획득 단계에 따른 상세 흐름도이다.
먼저 S41단계에서 휴대단말(10)은 입력부(12)를 통한 사용자의 선택 신호에 따라 표시부(17)에 영상을 표시한다. 이때 영상은 카메라부(15)로 촬영 중인 영상, 웹 페이지, 왑 페이지, 재생 중인 정지영상 또는 동영상을 포함할 수 있다.
다음으로 S43단계에서 휴대단말(10)은 캡처 요청 신호가 입력되는 지의 여부를 판단한다. 이때 사용자의 캡처 요청 신호는 키입력, 터치입력, 음성입력 또는 제스처입력을 통하여 입력될 수 있다.
S43단계의 판단 결과 캡처 요청 신호가 입력되지 않은 경우, 휴대단말(10)은 S41단계의 표시 상태를 유지한다.
S43단계의 판단 결과 캡처 요청 신호가 입력된 경우, S45단계에서 휴대단말(10)은 영상을 캡처하여 캡처 영상을 표시부(17)에 표시한다. 즉 휴대단말(10)은 캡처 요청 신호가 입력되는 시점에 표시부(17)에 표시된 영상을 캡처하여 캡처 영상을 획득한다. 그리고 휴대단말(10)은 획득한 캡처 영상을 표시부(17)에 표시한다.
다음으로 S53단계 내지 S59단계에서 휴대단말(10)은 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득한다. 즉 S53단계에서 휴대단말(10)은 캡처 영상에 포함된 피사체 중에 적어도 하나의 피사체에 대한 선택 신호가 입력되는 지의 여부를 판단한다. 이때 피사체의 선택 신호는 사용자의 키입력, 터치입력, 음성입력 또는 제스처입력을 통하여 입력될 수 있다.
S53단계의 판단 결과 선택 신호가 입력되지 않은 경우, 휴대단말(10)은 S45단계에 따른 획득한 캡처 영상의 표시 상태를 유지한다.
S53단계의 판단 결과 선택 신호가 입력되면, S55단계에서 휴대단말(10)은 네트워크(20)를 통하여 검색서버(30)로 선택된 피사체의 관련 정보의 전송을 요청한다. 이때 휴대단말(10)는 객체 추출 알고리듬을 이용하여 선택된 피사체를 캡처 영상에서 추출한다. 휴대단말(10)은 추출한 피사체를 이미지 검색 알고리듬, 이미지 인식 알고리듬 또는 텍스트 인식 알고리듬 등을 통하여 인식하고, 인식한 피사체에 대한 관련 정보의 전송을 검색서버(30)에 요청한다.
S57단계에서 검색서버(30)는 선택된 피사체에 대한 관련 정보를 데이터베이스부(34)에서 검색하여 획득한다. 예컨대 피사체가 특정 상품인 경우, 검색서버(30)는 데이터베이스부(34)에 저장된 상품 사진 중에서 피사체에 대응하는 상품 사진을 추출하고, 추출한 상품 사진에 매칭된 상품의 이름, 브랜드, 가격, 구입처 등에 대한 정보를 획득할 수 있다. 한편으로 검색서버(30)는 별도로 구축된 정보 제공 서버를 통하여 필요한 관련 정보를 획득할 수도 있다.
이때 S53단계 내지 S57단계는 다음과 같이 수행될 수 있다. 즉 검색서버(30)는 S53단계에서 피사체에 대한 선택 신호가 입력될 때마다 S57단계를 수행할 수 있다. 또는 S53단계에서 캡처 영상에서 관련 정보를 획득할 피사체를 모두 선택한 이후에, S55단계에서 휴대단말(10)로부터 선택된 피사체들에 대한 관련 정보 요청이 수신되면, 검색서버(30)는 선택된 피사체들에 대해서 S57단계를 일괄적으로 수행할 수 있다.
다음으로 S59단계에서 검색서버(30)는 획득된 관련 정보를 휴대단말(20)로 전송한다.
한편 휴대단말(10)은 S53단계 내지 S59단계에서 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 검색서버(30)로 요청하여 획득하는 예를 개시하였지만, 관련 정보를 저장부(13)에서 검색하여 획득할 수도 있다. 예컨대 피사체가 인물인 경우, 휴대단말(10)은 전화번호부에 저장된 인물 사진 중에 피사체에 대응하는 인물 사진을 추출하고, 추출한 인물 사진에 매칭된 인물의 이름, 전화번호, 메일주소 등을 관련 정보로 획득할 수 있다. 또한 휴대단말(10)은 획득한 인물의 이름이나 전화번호를 토대로 다이어리에서 해당 인물과 관련된 스케줄을 검색하여 획득할 수 있다.
그리고 S61단계에서 휴대단말(10)은 캡처 영상과 함께 수신한 관련 정보를 표시한다. 이때 휴대단말(10)은 관련 정보를 캡처 영상에 중첩하여 표시하거나 PIP로 표시할 수 있다. 관련 정보는 해당 피사체에 인접하게 표시되거나 리스트 형태로 표시될 수 있다. 그리고 관련 정보는 아이콘 또는 텍스트로 표시될 수 있다.
그리고 S63단계에서 휴대단말(10)은 캡처 영상과 함께 관련 정보를 저장하며, 도 4를 참조하여 구체적으로 설명하면 다음과 같다.
먼저 표시부(17)에 캡처 영상과 함께 관련 정보가 표시된 상태에서, 휴대단말(10)은 S631단계에서 사용자의 선택 신호를 입력받아 획득한 관련 정보를 취사선택한다. 즉 사용자는 캡처 영상과 함께 저장하고 싶은 관련 정보를 선택하거나 필요 없는 관련 정보를 삭제하는 입력 동작을 수행할 수 있다. 즉 선택 동작만 수행하거나, 삭제 동작만 수행하거나, 선택 및 삭제 동작을 모두 수행할 수 있다. 관련 정보의 취사선택시 사용자의 선택 신호는 키입력, 터치입력, 음성입력 및 제스처입력 중에 적어도 하나의 방식으로 입력될 수 있다.
다음으로 S633단계에서 휴대단말(10)이 사용자로부터 저장 요청 신호가 입력되는 지의 여부를 판단한다.
S633단계의 판단 결과 저장 요청 신호가 입력되지 않은 경우, S634단계에서 휴대단말(10)은 삭제 요청 신호가 입력되는 지의 여부를 다시 판단한다. S634단계의 판단 결과 삭제 요청 신호도 입력되지 않은 경우, 휴대단말(10)은 S631단계를 수행한다. 그리고 S634단계의 판단 결과 삭제 요청 신호가 입력된 경우, S639단계에서 휴대단말(10)은 캡처 영상을 삭제한다. 한편 휴대단말(10)은 캡처 영상을 삭제한 이후에 대기화면을 표시하거나 S41단계에 따른 영상을 표시할 수 있다.
한편 S633단계에서 저장 요청 신호가 입력되면, S635단계에서 휴대단말(10)은 선택된 관련 정보 중에 적어도 하나를 캡처 영상의 파일명으로 지정한다. 예컨대 관련 정보가 인물의 이름과 상점의 상호를 포함하는 경우, 휴대단말(10)은 인물의 이름과 상점의 상호를 조합하여 파일명으로 지정할 수 있다.
그리고 S637단계에서 휴대단말(10)은 캡처 영상과 함께 선택된 관련 정보를 저장부(13)에 저장한다.
이와 같은 본 실시예에 따른 캡처 영상 처리 시스템(100)의 캡처 영상 및 관련 정보의 처리 방법의 다른 예에 대해서 도 1, 도 2, 도 4 및 도 5를 참조하여 설명하면 다음과 같다. 여기서 도 5는 본 실시예에 따른 캡처 영상 처리 시스템(100)의 캡처 영상 및 관련 정보의 처리 방법의 다른 예에 따른 흐름도이다.
먼저 S41단계 내지 S45단계까지는 도 3의 처리 방법의 일 예와 동일하게 진행되기 때문에 상세한 설명은 생략하고, S47단계부터 설명하면 다음과 같다.
S47단계에서 휴대단말(10)은 사용자로부터 피사체의 추출 요청 신호가 입력되는 지의 여부를 판단한다. 이때 피사체의 추출 요청 신호는 사용자의 키입력, 터치입력, 음성입력 또는 제스처입력을 통하여 입력될 수 있다.
S47단계의 판단 결과 피사체의 추출 요청 신호가 입력되지 않은 경우, 휴대단말(10)은 S45단계의 표시 상태를 유지한다.
S47단계의 판단 결과 피사체의 추출 요청 신호가 입력된 경우, S49단계에서 휴대단말(10)은 캡처 영상에서 사용자가 선택할 수 있는 피사체를 추출한다. 이어서 S51단계에서 휴대단말(10)은 추출한 피사체를 다른 피사체와 구별되게 표시한다. 즉 휴대단말(10)은 사용자가 캡처 영상에 포함된 피사체 중에서 선택할 수 있는 피사체를 쉽게 확인할 수 있도록, 캡처 영상에 포함된 피사체 중에서 사용자가 선택할 수 있는 피사체를 추출하고, 추출한 피사체를 다른 피사체와 구별되게 표시할 수 있다. 예컨대 휴대단말(10)은 추출한 피사체에 대해서 색상이나 밝기를 변화시켜 다른 피사체와 구별되게 표시할 수 있다.
한편 본 실시예에서는 S49단계가 S47단계에 따른 사용자의 선택 신호에 따라 수행되는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 S47단계를 생략하고 S49단계는 S45단계 이후에 자동으로 수행될 수도 있다.
그리고 S53단계 내지 S63단계는 도 3 및 도 4와 동일하게 진행되기 때문에 상세한 설명은 생략한다. 이때 휴대단말(10)은 사용자가 선택할 수 있는 피사체를 선택할 수 없는 피사체와 구별되게 표시하기 때문에, 사용자가 쉽게 피사체를 선택할 수 있도록 안내하고, 관련 정보를 제공할 수 없는 피사체의 선택으로 인한 검색 시간, 배터리와 같은 자원 낭비를 최소화할 수 있다.
이와 같은 본 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법에 대해서 도 1, 도 2, 도 6 내지 도 12의 화면 예시도를 참조하여 설명하면 다음과 같다. 여기서 도 6 내지 도 10은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법에 따른 휴대단말(10)의 화면 예시도이다. 도 11은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 정렬하는 단계에 따른 휴대단말(10)의 화면 예시도이다. 그리고 도 12는 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 검색하는 단계에 따른 휴대단말(10)의 화면 예시도이다.
먼저 도 1, 도 2, 도 6 내지 도 10을 참조하여 영상을 캡처하여 관련 정보와 함께 저장하는 단계를 설명하면 다음과 같다. 이때 표시부(17)로는 터치스크린을 예시하였다.
먼저 휴대단말(10)의 표시부(17)를 통하여 영상을 표시한 상태에서, 사용자(60)로부터 캡처 요청 신호가 입력되면, 휴대단말(10)은 도 6에 도시된 바와 같이 캡처 영상(71)을 표시부(17)에 표시한다. 다음으로 캡처 영상(71)에서 사용자가 터치입력을 통하여 피사체를 선택하면, 휴대단말(10)은 선택된 피사체에 대한 관련 정보를 검색서버(30)로 요청하여 수신하거나 저장부(13)에서 검색하여 획득할 수 있다. 이때 표시부(17)에는 캡처 영상(71)과 함께 저장 및 삭제 버튼(75,77)이 함께 표시될 수 있다.
그리고 도 7에 도시된 바와 같이, 휴대단말(10)은 선택된 피사체에 대한 관련 정보(73)를 캡처 영상(71)과 함께 표시한다. 이때 휴대단말(10)은 관련 정보(73)를 캡처 영상(71)에 중첩하여 표시할 수 있다. 휴대단말(10)은 관련 정보(73) 중 피사체별 정보(73e)를 해당 피사체에 근접하게 표시하고, 기본 정보(73a,73b,73c,73d)를 피사체 사이의 배경 영상 위에 표시할 수 있다. 휴대단말(10)은 기본 정보(73a,73b,73c,73d)로 장소(73a), 기상상태(73b), 시간(73c), 국가(73d)를 표시한 예를 개시하였지만 이것에 한정되는 것은 아니다. 장소(73a)는 텍스트로 표시하고, 기상상태(73b), 시간(73c) 및 국가(73d)는 아이콘으로 표시할 수 있다. 이때 장소(73a)는 "DD거리"로 표시된 예를 개시하였다.
다음으로 도 8에 도시된 바와 같이 사용자가 특정 관련 정보(73a)를 플릭하면, 도 9에 도시된 바와 같이 휴대단말(10)은 플릭된 관련 정보를 삭제한다. 예컨대 사용자가 "DD거리"를 플릭하면, 휴대단말(10)은 표시부(17)에 표시된 "DD거리"를 삭제한다.
이와 같이 사용자는 도 8 및 도 9에 도시된 바와 같이 플릭과 같은 터치입력을 통하여 캡처 영상(71)과 함께 저장할 관련 정보(73)를 취사선택할 수 있다.
다음으로 사용자가 저장 버튼(75)을 터치하면, 도 10에 도시된 바와 같이 휴대단말(10)은 캡처 영상(71)과 선택된 관련 정보(73)를 함께 저장할 지를 확인하는 팝업창(77)을 표시한다. 이때 휴대단말(10)은 선택된 관련 정보 중 "AA, BB, CC"를 캡처 영상의 파일명(77a)으로 지정할 수 있다. 그리고 팝업창(77)에는 "예", "아니오"와 같은 확인 버튼(77b,77c)이 함께 표시될 수 있다.
예 버튼(77b)을 터치하면, 휴대단말(10)은 캡처 영상(71)과 선택된 관련 정보(53)를 함께 저장부(13)에 저장한다. 반면에 아니오 버튼(77c)을 터치하면, 휴대단말(10)은 도 6d의 표시 상태로 돌아간다. 또는 휴대단말(10)은 영상 캡처를 종료하고 표시부(17)에 대기화면을 표시할 수 있다.
다음으로 도 1, 도 2 및 도 11을 참조하여 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 정렬하는 단계를 설명하면 다음과 같다.
휴대단말(10)은, 도 11(a)에 도시된 바와 같이, 사용자의 선택 신호에 따라 사진 앨범을 표시부(17)에 표시한다. 이때 사진 앨범은 제목창(80), 정렬창(82,83) 및 리스트창(85)을 포함할 수 있다. 예컨대 제목창(80)에는 "MY PHOTO ALBUM"이 표시될 수 있다. 제목창(80) 아래에 정렬창(83,82)이 표시된다. 정렬창(82,83)은 문자열을 입력할 수 있는 입력창(83)과, 정렬 버튼(82)을 포함한다. 리스트창(85)에는 저장부(13)에 저장된 복수의 캡처 영상이 표시된다. 이때 캡처 영상은 캡처 영상의 썸네일(88)과, 캡처 영상의 파일명(89)을 포함한다. 캡처 영상은 날짜, 이름, 기상상태 등에 따라 정렬되거나 램덤하게 리스트창(85)에 표시될 수 있다. 휴대단말(10)은 리스트창(85)에 한 번에 표시할 수 있는 캡처 영상 수보다 많은 캡처 영상을 저장하고 있는 경우에, 캡처 영상을 신속하게 검색할 수 있는 스크롤바(87)를 리스트창(85)의 일측에 표시할 수 있다. 이때 스크롤바(87)는 캡처 영상이 정렬된 방향과 동일한 방향으로 스크롤할 수 있도록 화면에 배치될 수 있다. 예컨대 캡처 영상이 세로 또는 가로 방향으로 정렬된 경우, 캡처 영상을 세로 또는 가로 방향으로 스크롤 할 수 있는 스크롤바(87)가 화면에 배치될 수 있다. 본 실시예에서는 표시부(17)에 세로 방향으로 캡처 영상이 표시되기 때문에, 표시부(17)의 오른쪽에 세로 방향으로 스크롤바(87)가 설치된 예를 개시하였다.
그리고 도 11(b)에 도시된 바와 같이 입력창(83)에 "이름"을 입력한 후 정렬 버튼(82)을 터치하면, 도 11(c)에 도시된 바와 같이 휴대단말(10)은 "이름" 순으로 캡처 영상을 정렬하여 표시한다. 이때 "이름" 순으로 캡처 영상을 정렬할 때, 알파벳, 가나다 또는 숫자 순 등 다양한 정렬 방식에 따라 정렬하여 표시할 수 있다. 예컨대 도 11(c)에는 휴대단말(10)이 "이름" 순으로 배열하되 알파벳 순으로 캡처 영상을 정렬하여 표시하는 예를 개시하였다.
한편 도 11(a)에 도시된 바와 같이 입력창(83)에 아무것도 입력되지 않은 상태에서 정렬 버튼(82)을 누르면, 도 12(a)에 도시된 바와 같이 휴대단말(10)은 정렬 버튼(82)을 검색 버튼(81)으로 전환하여 표시할 수 있다. 또는 휴대단말(10)은 사진 앨범의 하위 메뉴로 도 7에 도시된 바와 같은 정렬 메뉴창과, 도 12에 도시된 바와 같은 검색 메뉴창을 각각 구비할 수 있다.
다음으로 도 1, 도 2 및 도 12를 참조하여 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 검색하는 단계를 설명하면 다음과 같다.
휴대단말(10)은, 도 12(a)에 도시된 바와 같이, 사용자의 선택 신호에 따라 사진 앨범을 표시부(17)에 표시한다. 이때 사진 앨범은 제목창(80), 검색창(81,83) 및 리스트창(85)을 포함한다. 예컨대 제목창(80)에 "MY PHOTO ALBUM"이 표시될 수 있다. 제목창(80) 아래에 검색창(81,83)이 표시된다. 검색창(81,83)은 문자열을 입력할 수 있는 입력창(83)과, 검색 버튼(81)을 포함한다. 리스트창(85)에는 저장부(13)에 저장된 복수의 캡처 영상이 표시된다. 이때 리스트창(85)의 표시 형태는 도 7(a)와 동일하기 때문에 상세한 설명은 생략한다.
도 12(b)에 도시된 바와 같이 입력창(83)에 "BB"를 입력한 후 검색 버튼(81)을 터치하면, 도 12(c)에 도시된 바와 같이 휴대단말(10)은 파일명에 "BB"를 포함하는 캡처 영상을 추출하여 표시한다. 이때 "BB"는 다른 관련 정보와 구별되게 표시된다. 예컨대 도 12(c)에서 "BB"의 색상이 진하게 표시된 예를 개시하였지만, 밝기를 조절하여 하이라이트하여 표시할 수 있다.
그리고 본 실시예에 따른 휴대단말(10)은, 도 11 및 도 12에 도시된 바와 같이, 관련 정보를 포함하는 캡처 영상을 사진 앨범과 연동시키는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 휴대단말(10)은 관련 정보를 포함하는 캡처 영상을 전화번호부, 다이어리, 영상편집 또는 문서편집 응용프로그램 등과도 연동시킬 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 캡처 영상 및 관련 정보의 처리 시스템 및 방법에 관한 것으로, 휴대단말은 표시부에 표시되는 정지영상이나 동영상을 캡처할 때 피사체에 대한 관련 정보를 검색서버에 요청하여 제공하거나 저장부에서 검색하여 제공함으로써, 캡처 영상과 함께 관련 정보를 동시에 저장할 수 있다. 또한 휴대단말은 캡처 영상과 함께 저장된 관련 정보를 이용하여 캡처 영상의 검색, 정렬 및 다른 프로그램들과의 연동을 지원하기 때문에, 관련 정보를 이용한 캡처 영상의 검색 효율성과 활용도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리를 수행하는 캡처 영상 처리 시스템의 구성을 보여주는 블록도이다.
도 2는 도 1의 휴대단말의 구성을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법의 일 예에 따른 흐름도이다.
도 4는 도 3의 캡처 영상과 함께 관련 정보를 저장하는 단계에 따른 상세 흐름도이다.
도 5는 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법의 다른 예에 따른 흐름도이다.
도 6 내지 도 10은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법에 따른 휴대단말의 화면 예시도이다.
도 11은 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 정렬하는 단계에 따른 휴대단말의 화면 예시도이다.
도 12는 본 발명의 실시예에 따른 캡처 영상 및 관련 정보의 처리 방법 중 검색하는 단계에 따른 휴대단말의 화면 예시도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 휴대단말 11 : 통신부
12 : 입력부 13 : 저장부
15 : 카메라부 17 : 표시부
18 : 음원처리부 19 : 제어부
20 : 네트워크 30 : 검색서버
31 : 통신부 33 : 서버제어부
34 : 데이터베이스부 100 : 캡처 영상 처리 시스템

Claims (21)

  1. 휴대단말이 요청하는 피사체에 대한 관련 정보를 검색하여 제공하는 검색서버;
    캡처 요청 신호가 입력되면 화면에 표시된 영상을 캡처하여 캡처 영상을 획득하고, 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 상기 검색서버에 요청하여 획득하고, 상기 캡처 영상과 함께 상기 관련 정보를 저장하는 휴대단말;
    을 포함하는 것을 특징으로 하는 캡처 영상 처리 시스템.
  2. 네트워크를 매개로 휴대단말과 통신을 수행하는 통신부;
    상기 통신부를 통하여 상기 휴대단말로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신하고, 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득하고, 상기 획득한 관련 정보를 상기 휴대단말로 전송하는 서버제어부;
    를 포함하는 것을 특징으로 하는 캡처 영상 처리 시스템의 검색서버.
  3. 제2항에 있어서,
    피사체에 대한 관련 정보를 저장하는 데이터베이스부;를 더 포함하며,
    상기 서버제어부는 상기 데이터베이스부에서 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득하는 것을 특징으로 하는 캡처 영상 처리 시스템의 검색서버.
  4. 네트워크를 통하여 검색서버와 통신을 수행하는 송수신부;
    사용자의 선택 신호를 입력받는 입력부;
    정보를 저장하는 저장부;
    영상을 표시하는 표시부;
    상기 입력부를 통해 캡처 요청 신호가 입력되면 상기 표시부에 표시된 영상을 캡처하여 캡처 영상을 획득하고, 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 상기 송수신부를 통하여 상기 검색서버에 요청하여 획득하고, 상기 캡처 영상과 함께 상기 관련 정보를 상기 저장부에 저장하는 제어부;
    를 포함하는 것을 특징으로 하는 캡처 영상 처리 시스템의 휴대단말.
  5. 표시부에 영상이 표시된 상태에서 캡처 요청 신호가 입력되면, 휴대단말이 상기 영상을 캡처하여 캡처 영상을 획득하는 영상 획득 단계;
    상기 휴대단말이 상기 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보를 네트워크를 통하여 검색서버에 요청하여 획득하는 정보 획득 단계;
    상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 저장부에 저장하는 저장 단계;
    를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  6. 제5항에 있어서, 상기 영상 획득 단계에서,
    상기 영상은 촬영 중인 영상, 웹 페이지(web page), 왑 페이지(wap page), 재생 중인 정지영상 및 동영상 중에 적어도 하나를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  7. 제5항에 있어서, 상기 정보 획득 단계는,
    상기 휴대단말이 상기 캡처 영상에 포함된 피사체 중에 적어도 하나의 피사체에 대한 선택 신호를 입력받는 단계;
    상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 상기 검색서버에 요청하여 획득하는 단계;
    상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계;
    를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  8. 제5항에 있어서, 상기 정보 획득 단계는,
    상기 휴대단말이 상기 캡처 영상에 포함된 피사체 중에서 사용자가 선택할 수 있는 피사체를 추출하는 단계;
    상기 휴대단말이 상기 추출한 피사체 중에 적어도 하나의 피사체에 대한 선택 신호를 입력받는 단계;
    상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 검색서버에 요청하여 획득하는 단계;
    상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계;
    를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  9. 제8항에 있어서, 상기 추출하는 단계는,
    상기 휴대단말이 상기 추출한 피사체를 다른 피사체와 구별되게 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  10. 제7항 또는 제8항에 있어서, 상기 정보 획득 단계는,
    상기 휴대단말이 상기 선택된 피사체에 대한 관련 정보를 상기 저장부에서 검색하여 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  11. 제7항 또는 제8항에 있어서, 상기 표시하는 단계에서,
    상기 관련 정보가 상기 캡처 영상에 중첩하여 표시되거나 PIP로 표시되는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  12. 제7항 또는 제8항에 있어서, 상기 표시하는 단계에서,
    상기 관련 정보가 상기 피사체에 인접하게 표시되는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  13. 제7항 또는 제8항에 있어서, 상기 표시하는 단계에서,
    상기 관련 정보가 아이콘 또는 리스트로 표시되는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  14. 제5항에 있어서,
    상기 관련 정보는 캡처 상황과 관련된 기본 정보와, 상기 피사체와 관련하여 검색된 피사체별 정보를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  15. 제5항에 있어서, 상기 저장 단계는,
    상기 휴대단말이 상기 캡처 영상과 함께 상기 관련 정보를 화면에 표시하는 단계;
    상기 휴대단말이 사용자의 선택 신호를 입력받아 상기 획득한 관련 정보를 취사선택하는 단계;
    상기 휴대단말이 상기 캡처 영상과 함께 선택된 상기 관련 정보를 저장하는 단계;
    를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  16. 제15항에 있어서, 상기 취사선택하는 단계에서,
    상기 사용자의 선택 신호가 키입력, 터치입력, 음성입력 및 제스처입력 중에 적어도 하나의 방식으로 입력되는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  17. 제5항에 있어서, 상기 저장 단계에서,
    상기 휴대단말이 상기 관련 정보 중에 적어도 하나를 상기 캡처 영상의 파일명으로 지정하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  18. 제5항에 있어서, 상기 저장 단계 이후에 수행되는,
    캡처 영상의 호출 신호가 입력되면, 상기 휴대단말이 상기 저장부에 저장된 캡처 영상을 표시하는 단계;
    특정 관련 정보를 입력하여 검색을 요청하면, 상기 휴대단말이 상기 특정 관련 정보를 포함하는 캡처 영상을 상기 저장부에 저장된 캡처 영상에서 추출하여 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  19. 제5항에 있어서, 상기 저장 단계 이후에 수행되는,
    캡처 영상의 호출 신호가 입력되면, 상기 휴대단말이 상기 저장부에 저장된 캡처 영상을 표시하는 단계;
    특정 관련 정보를 입력하여 정렬을 요청하면, 상기 휴대단말이 상기 특정 관련 정보에 따라 상기 저장된 캡처 영상을 정렬하여 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  20. 제19항에 있어서,
    상기 특정 관련 정보는 상기 저장된 캡처 영상을 정렬할 수 있는 요소를 갖는 관련 정보인 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
  21. 검색서버가 네트워크를 통하여 휴대단말로부터 캡처 영상에 포함된 적어도 하나의 피사체에 대한 관련 정보의 전송 요청을 수신하는 단계;
    상기 검색서버가 상기 적어도 하나의 피사체에 대한 관련 정보를 검색하여 획득하는 단계;
    상기 검색서버가 상기 획득한 관련 정보를 상기 휴대단말로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 캡처 영상 및 관련 정보의 처리 방법.
KR1020090106299A 2009-11-05 2009-11-05 캡처 영상 및 관련 정보의 처리 시스템 및 방법 Active KR101215871B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106299A KR101215871B1 (ko) 2009-11-05 2009-11-05 캡처 영상 및 관련 정보의 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106299A KR101215871B1 (ko) 2009-11-05 2009-11-05 캡처 영상 및 관련 정보의 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110049328A true KR20110049328A (ko) 2011-05-12
KR101215871B1 KR101215871B1 (ko) 2012-12-27

Family

ID=44360484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106299A Active KR101215871B1 (ko) 2009-11-05 2009-11-05 캡처 영상 및 관련 정보의 처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101215871B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125802A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method of capturing content and mobile terminal thereof
US9529520B2 (en) 2012-02-24 2016-12-27 Samsung Electronics Co., Ltd. Method of providing information and mobile terminal thereof
WO2017033166A1 (en) * 2015-08-26 2017-03-02 Quixey, Inc. Action recommendation system for focused objects
US9659034B2 (en) 2012-02-24 2017-05-23 Samsung Electronics Co., Ltd. Method of providing capture data and mobile terminal thereof
WO2017115960A1 (en) * 2015-12-29 2017-07-06 Lg Electronics Inc. Mobile terminal and controlling method thereof
US9773024B2 (en) 2012-02-24 2017-09-26 Samsung Electronics Co., Ltd. Method of sharing content and mobile terminal thereof
WO2019098624A1 (ko) * 2017-11-15 2019-05-23 삼성전자(주) 디스플레이장치 및 그 제어방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125802A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method of capturing content and mobile terminal thereof
US9275077B2 (en) 2012-02-24 2016-03-01 Samsung Electronics Co., Ltd. Method of capturing content and mobile terminal thereof
US9529520B2 (en) 2012-02-24 2016-12-27 Samsung Electronics Co., Ltd. Method of providing information and mobile terminal thereof
US9659034B2 (en) 2012-02-24 2017-05-23 Samsung Electronics Co., Ltd. Method of providing capture data and mobile terminal thereof
US9773024B2 (en) 2012-02-24 2017-09-26 Samsung Electronics Co., Ltd. Method of sharing content and mobile terminal thereof
WO2017033166A1 (en) * 2015-08-26 2017-03-02 Quixey, Inc. Action recommendation system for focused objects
WO2017115960A1 (en) * 2015-12-29 2017-07-06 Lg Electronics Inc. Mobile terminal and controlling method thereof
US10104208B2 (en) 2015-12-29 2018-10-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
WO2019098624A1 (ko) * 2017-11-15 2019-05-23 삼성전자(주) 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
KR101215871B1 (ko) 2012-12-27

Similar Documents

Publication Publication Date Title
US20140365395A1 (en) Electronic business card application software and its system
KR101215871B1 (ko) 캡처 영상 및 관련 정보의 처리 시스템 및 방법
US9001983B2 (en) Digital photo frame with dial-a-tag functionality
CN109683761B (zh) 内容收藏方法、装置及存储介质
US9819871B2 (en) Method of executing fast association function of camera and portable device including the same
KR100796044B1 (ko) 인물 이미지에 대한 태깅 방법
US8340653B2 (en) Communication terminal apparatus and communication method
CN108153900A (zh) 一种图片处理方法及移动终端
JP6025483B2 (ja) 表示制御装置、画像表示装置、およびプログラム
KR20140027835A (ko) 휴대 단말기 및 메신저 영상 서비스 운용 방법
KR20110036462A (ko) 이동 단말기 및 그의 태그 편집 방법
CN108563684A (zh) 一种多媒体文件的分享方法及移动终端
CN107948428A (zh) 一种消息处理方法及移动终端
CN103164155A (zh) 显示处理装置
CN104246647A (zh) 显示内容相对于显示器的对准可通过进行用户输入而被拒绝的便携式设备
KR20130061914A (ko) 단말 및 그 단말에서 데이터 표시 방법
KR20130128708A (ko) 단말기의 기능 연동 방법 및 이를 지원하는 단말기
US20090137270A1 (en) Ringing Image for Incoming Calls
CN110365906A (zh) 拍摄方法及移动终端
KR101184661B1 (ko) 휴대단말과, 그의 캡처 영상 및 관련 정보의 처리 방법
US8896554B2 (en) Data retrieval apparatus and data retrieval method
JP5254892B2 (ja) 携帯通信機器及び通信機器
KR20060024962A (ko) 휴대 단말기의 사진 관리 방법
KR20130052752A (ko) 메모 기능 운용 방법 및 이를 지원하는 휴대 단말기
JP2014016811A (ja) 情報機器、人物関連情報取得方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091105

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20101230

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091105

Comment text: Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20111012

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120224

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20120926

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121207

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121220

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121220

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151130

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151130

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161201

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20191121

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191121

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201124

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211116

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 13

End annual number: 13