[go: up one dir, main page]

KR102762013B1 - 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법 - Google Patents

색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법 Download PDF

Info

Publication number
KR102762013B1
KR102762013B1 KR1020210143029A KR20210143029A KR102762013B1 KR 102762013 B1 KR102762013 B1 KR 102762013B1 KR 1020210143029 A KR1020210143029 A KR 1020210143029A KR 20210143029 A KR20210143029 A KR 20210143029A KR 102762013 B1 KR102762013 B1 KR 102762013B1
Authority
KR
South Korea
Prior art keywords
information
color
travel destination
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210143029A
Other languages
English (en)
Other versions
KR20230059027A (ko
Inventor
김홍래
Original Assignee
주식회사 휴플
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴플 filed Critical 주식회사 휴플
Priority to KR1020210143029A priority Critical patent/KR102762013B1/ko
Priority to US17/968,040 priority patent/US12152890B2/en
Publication of KR20230059027A publication Critical patent/KR20230059027A/ko
Application granted granted Critical
Publication of KR102762013B1 publication Critical patent/KR102762013B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일실시예에 따른 색채 기반 공간정보 데이터베이스를 이용한 여행지 검색 시스템은, 사용자 단말기로부터 이미지 데이터를 수집하는 데이터 수집부와, 상기 수집된 이미지를 분석하여 대표 색채정보를 추출하는 색채 추출부와, 상기 대표 색채정보에 연관되는 대표 ID 정보를 생성하는 ID 생성부와, 상기 대표 색채정보 및 상기 대표 ID 정보에 대응되는 여행지 정보를 생성하는 여행지 정보 생성부와, 상기 이미지 데이터에 상기 대표 색채정보, 상기 대표 ID 정보 및 상기 여행지 정보를 맵핑하여 색채공간정보를 생성하는 데이터 융합부와, 상기 생성된 색채공간정보를 저장하는 데이터 저장부 및 사용자 단말기로부터 여행지 검색을 위한 검색 이미지 정보를 수신하면, 상기 검색 이미지 정보와 상기 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 여행지정보 출력부를 포함한다.

Description

색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법{TRAVEL DESTINATION SEARCHING SYSTEM AND METHOD USING COLOR BASED SPACE INFORMATION DATABASE}
본 발명은 여행지 검색 시스템 및 방법에 관한 것으로서, 보다 상세하게는 빅데이터 기반의 학습을 통해 자동화한 색채 기반의 공간정보 데이터베이스를 이용하여 감성적인 여행지를 시각인 요소로 검색하는 여행지 검색 시스템 및 검색 방법에 관한 것이다.
일반적으로 여행지의 검색은 사용자가 여행 목적지의 명칭, 지리적 위치 등의 키워드를 입력하는 방식으로 이루어진다. 예를 들어 사용자가 제주로도 여행을 계획한 경우라면 사용자는 “제주로”, “올레길” 등 제주도와 관련된 지역 명칭을 위주로 키워드 검색을 하게 된다.
한국등록특허 제10-2195642호(이하 '642 특허'라 한다)는 사용자로부터 키워드를 입력받고, 미리 저장된 키워드-색상정보 연관도에 기초하여 색상을 선정하고 선택된 색상과 연관도가 높은 추천대상을 검색할 수 있는 색상정보에 기반한 검색 정보 제공 단말, 장치 및 제공 방법에 대하여 개시하고 있다. 즉, 사용자로부터 키워드를 입력받고 사용자의 키워드에 어울리는 색상정보를 매개로 키워드에 매칭되는 특정 제품에 대한 정보를 검색하는 장치에 관한 것이다.
이렇게 상기 642 특허는 감정어 등의 키워드와 색상정보의 연관도인 색상정보-키워드 연관도를 이용하여 검색된 키워드와 연관되는 정보를 색상에 기반하여 제공하는 구성만 개시하고 있을 뿐이며, 색상과 관련된 이미지 데이터를 어떻게 수집하여 어떤 내부 과정으로 분류 및 맵핑하여 데이터베이스를 만들어가는지에 대해 개시된 바가 없고, 또한 이미지 데이터에 메타 데이터 및 메타 데이터를 기반으로 검색된 연관 데이터를 추가로 맵핑하여 색채정보와 공간정보를 융합하는 데이터 구조에 대해 전혀 제시한 바가 없다.
후술하겠지만, 본 발명에서는 여행지 검색 시스템에서 이미지 데이터, 메타 데이터, 해시태그 정보, 연관 데이터, 대표 색상 정보가 상호 연결된 데이터로 맵핑된 데이터셋의 형태로 구성되며, 비지도 학습 알고리즘을 통하여 입력된 다수의 데이터를 유사한 세부 카테고리별로 군집화하고 패턴화함으로써 시간이 지남에 따라 반복 학습된 구조화된 DB를 만들고, 이를 기반으로 여행지 정보를 자동으로 추천하거나 원하는 여행지가 검색되는 것을 목적으로 한다.
따라서, 본 발명에서는 이미지에서 추출된 색채 데이터와 이미지에 포함된 메타 데이터 및 이를 통해 획득한 연관데이터들을 이용하여 색상배합의 컬러셋, 해시태그, 시공간적 연관데이터 모두 학습을 통해 군집화를 이룸으로써 키워드 기반의 검색 DB의 한계를 극복하고 새로운 형태의 고도화된 데이터베이스를 구성할 수 있다.
한국등록특허 제10-2195642호(2020.12.21)
본 발명은 위와 같은 문제를 해결하기 위한 것으로 이미지를 기반으로 추천 여행지를 검색할 수 있는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법을 제공하는 것을 목적으로 한다.
보다 상세하게는 최근 이미지, 동영상 등의 검색을 기반한 SNS의 발달로 “제주도”, “올레길”과 같이 지역명, 장소명 등의 정형적인 키워드 이외에 “유채꽃”,”메밀밭”,”일몰” 등과 같이 여행에서 느끼는 풍경과 경치의 키워드를 이미지와 동영상 등의 비정형 데이터를 기반으로 여행지를 검색할 필요성이 증가하고 있으므로 이러한 풍경과 경치의 느낌을 나타낼 수 있는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템을 제공하는 것을 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일실시예에 따른 색채 기반의 공간정보 데이터베이스를 이용한 여행기 검색 시스템은, 사용자 단말기로부터 이미지 데이터를 수집하는 데이터 수집부; 상기 수집된 이미지를 분석하여 적어도 그 특징을 하나 이상의 배합으로 나타낼 수 있는 색채배색의 대표 색채정보를 추출하는 색채 추출부; 상기 대표 색채정보에 연관되는 적어도 하나의 대표 ID 정보를 생성하는 ID 생성부; 상기 대표 색채정보 및 상기 대표 ID 정보에 대응되는 여행지 정보를 생성하는 여행지 정보 생성부; 상기 이미지 데이터에 상기 대표 색채정보, 상기 대표 ID 정보 및 상기 여행지 정보와 관계 될 수 있는 확장 정보를 포함한 다수의 데이터셋을 맵핑되는 구조로 구축되어진 방식으로 공간정보와 연결된 색채공간정보를 생성하는 데이터 융합부; 상기 생성된 색채공간정보를 저장하는 데이터 저장부; 및 사용자 단말기로부터 여행지 검색을 위한 검색 이미지와 키워드 정보를 수신하면, 상기 정보와 관계를 이룰 수 있는 상기 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 여행지정보 출력부를 포함한다.
일실시예에서 상기 수집된 이미지 데이터에서 방해 객체를 제거 또는 마스킹 처리하는 이미지 전처리부; 상기 이미지 전처리부는 상기 검색 이미지에서 방해 객체를 제거 또는 마스킹 처리하고, 상기 색채 추출부는 상기 방해 객체가 제거 또는 마스킹 처리된 검색 이미지를 분석하여 색채정보를 추출하고, 상기 여행지정보 출력부는 상기 검색 이미지에서 추출된 색채정보를 상기 색채공간정보와 비교하여 상기 추천 여행지 정보를 출력할 수 있다.
일실시예에서 본 발명의 여행지 검색 시스템은, 상기 이미지 데이터의 메타 데이터를 추출하는 메타 데이터 추출부를 더 포함하고, 상기 여행지 정보 생성부는 상기 메타 데이터에 대응되는 상기 여행지 정보를 생성하고, 상기 데이터 융합부는 상기 이미지 데이터에 상기 메타 데이터를 추가로 맵핑하여 상기 색채공간정보를 생성할 수 있다.
일실시예에서 상기 메타 데이터는 이미지 데이터 생성 시 형성되는 고유의 시간정보와 위치정보 등과 이를 대상으로 연계되는 기상, 교통 등의 데이터와 뉴스, 트랜드. 해시태그 등의 활용 정보를 포함할 수 있다.
일실시예에서 본 발명의 여행지 검색 시스템은, 상기 메타 데이터를 기반으로 인터넷망을 통하여 검색된 연관 데이터하고, 상기 메타 데이터를 기반으로 연관 데이터 또는 데이터셋을 저장한 DB를 검색하는 연관 데이터 검색부를 더 포함하고, 상기 데이터 융합부는 상기 이미지 데이터에 상기 연관 데이터를 추가 맵핑하여 상기 색채공간정보를 생성할 수 있다.
일실시예에서 본 발명의 여행지 검색 시스템은, 상기 사용자 단말기로부터 상기 이미지 데이터에 대응되는 해시태그 정보를 수집하는 해시태그 정보 수집부를 더 포함하고, 상기 여행지 정보 생성부는 상기 해시태그 정보에 대응되는 상기 여행지 정보를 생성하고, 상기 데이터 융합부는 상기 이미지 데이터에 상기 해시태그 정보를 추가 맵핑하여 상기 색채공간정보를 생성할 수 있다.
일실시예에서 상기 데이터 융합부는, 각각의 상기 색채공간정보 간 비교를 통하여 연관도 높은 해시태그와 키워드를 생성하여 각각의 색채공간정보에 추가로 연결할 수 있다.
일실시예에서 상기 데이터 융합부는, 상기 연관도 높은 해시태그와 키워드를 생성을 위해 비지도 학습 방식의 AI 알고리즘을 통하여 데이터를 비교하여 분류하고, 분류되는 군집화의 영향도에 따라 색채공간정보에 연계되는 해시태그와 키워드의 연관도가 분석된다.
일실시예에서 상기 데이터 융합부는, 상기 색채공간정보가 추가 생성되면 상기 분석을 반복하여 상기 알고리즘의 학습에 따라 정합률을 높여 분석된 해시태그와 키워드를 각각의 색채공간정보에 연결한다.
즉, 기존의 키워드 검색 시스템 또는 키워드를 이용한 추천 시스템에서는 이미지를 통한 여행지 검색에 대해서는 개시하고 있지 않으며, 나아가 이미지의 추출된 색채 데이터에서 메타 데이터를 이용한 공간정보와 결합된 분류 데이터의 DB에서 반복 학습하여 정합률이 높은 구조화된 검색을 자동으로 구성하는 기술적 요소에 대해서는 전혀 개시되어 있지 않으므로, 본 발명과 같이 이미지를 기반으로 추천 여행지 정보를 검색함에 있어서 시간이 지날수록 반복되는 검색을 통해 학습되는 색채 기반의 공간정보 DB를 기반으로 추천 여행지 정보를 시각화하여 제공하는 효과를 도출할 수 없다는 차이점이 있다.
일실시예에서 본 발명의 여행지 검색 시스템은, 상기 색채공간정보를 기반으로 상기 사용자 단말기에 추천 이미지 정보 및 추천 키워드 정보를 제공하는 추천정보 제공부를 더 포함할 수 있다.
일실시예에서 상기 추천정보 제공부는 상기 사용자 단말기로부터 수신되는 시간정보, 위치정보 및 검색이력정보 중 적어도 하나의 정보를 이용하여 상기 추천 이미지 정보 및 상기 추천 키워드 정보를 제공할 수 있다.
일실시예에서 본 발명의 여행지 검색 시스템은, 상기 데이터 수집부에서 수집된 상기 이미지 데이터를 분석하여 미리 설정된 카테고리별로 분류하거나 폐기하는 이미지 분류부를 더 포함할 수 있다.
일실시예에서 상기 여행지정보 출력부는 상기 추천 여행지 정보를 지도화면의 대응되는 위치에 대표 이미지와 함께 표시할 수 있다.
또한 본 발명의 일실시예에 따른 복수의 사용자 단말기에 네트워크로 연결되는 서버를 이용한 색채 기반의 공간정보 데이터베이스를 이용한 여행기 검색 방법은, (a) 상기 서버가 사용자 단말기로부터 이미지 데이터를 수집하는 단계; (b) 상기 서버가 상기 수집된 이미지 데이터에서 방해 객체를 제거 또는 마스킹 처리하는 단계; (c) 상기 서버가 상기 방해 객체가 제거 또는 마스킹 처리된 이미지를 분석하여 적어도 하나의 대표 색채정보를 추출하는 단계; (d) 상기 서버가 상기 대표 색채정보에 연관되는 적어도 하나의 대표 키워드 정보를 생성하는 단계; (e) 상기 서버가 상기 대표 색채정보 및 상기 대표 키워드 정보에 대응되는 여행지 정보를 생성하는 단계; (f) 상기 서버가 상기 이미지 데이터에 상기 대표 색채정보, 상기 대표 키워드 정보 및 상기 여행지 정보를 맵핑하여 데이터셋을 구축하는 방식으로 색채공간정보를 생성하는 단계; (g) 상기 서버가 상기 사용자 단말기로부터 여행지 검색을 위한 검색 이미지 정보를 수신하는 단계; 및 (h) 상기 서버가 상기 검색 이미지 정보와 상기 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 단계를 포함한다.
일실시예에서 상기 (h) 단계는 상기 검색 이미지에서 방해 객체를 제거 또는 마스킹 처리하는 단계; 및 상기 방해 객체가 제거 또는 마스킹 처리된 검색 이미지를 분석하여 색채정보를 추출하는 단계를 포함할 수 있다.
일실시예에서 본 발명의 상기 여행지 검색 방법은, 상기 서버가 상기 이미지 데이터의 메타 데이터를 추출하는 단계를 더 포함하고, 상기 (e) 단계는 상기 메타 데이터에 대응되는 상기 여행지 정보를 생성하는 단계를 포함하고, 상기 (f) 단계는 상기 이미지 데이터에 상기 메타 데이터를 더 맵핑하여 상기 색채공간정보를 생성할 수 있다.
일실시예에서 본 발명의 상기 여행지 검색 방법은, 상기 서버가 상기 메타 데이터를 기반으로 인터넷망을 통하여 연관 데이터를 검색하는 단계를 더 포함하고, 상기 (f) 단계는 상기 이미지 데이터에 상기 연관 데이터를 더 맵핑하여 상기 색채공간정보를 생성할 수 있다.
일실시예에서 상기 (f) 단계는, 상기 서버가 상기 데이터셋을 비지도 AI 학습 알고리즘을 통하여 자동으로 군집화하는 방식으로 상기 색채공간정보를 생성할 수 있다.
일실시예에서 상기 (h) 단계는 상기 추천 여행지 정보를 지도화면의 대응되는 위치에 대표 이미지와 함께 표시하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법은, 이미지를 기반으로 이미지에서 유발되는 정서적인 환기력과 감성적인 심미감이 시간의 흐름에 따라 누적 학습되어 구조화된 DB를 만들게 되고, 이를 기반으로 이와 유사한 감성을 제공할 수 있는 여행지 정보를 자동으로 추천하거나 원하는 여행지를 검색할 수 있으므로 여행 포털 플랫폼에서 비정형 데이터 기반 검색의 정합률이 보다 높아지고 정교해지는 효과가 있다.
또한 본 발명의 여행지 검색 시스템 및 방법은 색채 기반의 데이터베이스뿐만 아니라 학습된 이미지에 포함된 메타 데이터 및 이를 통해 획득한 연관데이터들을 이용하여 배경 이미지, 색상배합의 컬러셋, 해시태그, 키워드, 시간적/공간적 연관데이터, N차 활용 정보까지도 모두 함께 비지도 학습을 통해 군집화를 이룸으로써 색채와 감성의 데이터를 종합적으로 DB화 할 수 있으므로, 키워드 텍스트 기반의 정형적인 검색의 한계를 뛰어 넘어 감성공학 측면에서의 새로운 정성적 데이터베이스를 구성할 수 있다.
또한 본 발명은 색채 기반의 공간정보 데이터베이스를 기반으로 추천 이미지 정보를 제공하고, 추천 여행지 정보를 지도앱 상에서 하나 이상의 색채배합 컬러셋과 함께 대표 이미지 정보를 디스플레이함으로써 여행지 검색을 시각적이고 직관적으로 가능하게 하는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일실시예에 따른 여행지 검색 서버가 적용된 네트워크를 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 여행지 검색 서버의 세부 구성도이다.
도 3은 본 발명의 일실시예에 따른 여행지 검색 서버가 색채공간정보를 생성하는 방법을 설명하는 순서도이다.
도 4는 본 발명의 일실시예에 따른 여행지 검색 서버가 이미지 데이터에서 방해 객체를 제거하고 색채정보를 추출한 과정을 설명하는 도면이다.
도 5는 본 발명의 여행지 검색 서버가 생성한 색채공간정보를 나타내는 도면이다.
도 6은 본 발명의 여행지 검색 서버가 메타 데이터 및 해시태그 정보를 이용한 색채공간정보를 생성 방법을 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 여행지 검색 서버를 통해 추천 여행지 정보를 검색하는 과정을 설명하는 순서도이다.
도 8은 본 발명의 일실시예에 따른 여행지 검색 서버가 사용자 단말기에 출력하는 추천 여행지 정보의 예시 화면이다.
도 9는 본 발명의 일실시예에 따른 여행지 검색 서버가 사용자 단말기에 출력하는 검색 이미지 정보를 활용한 여행관련정보의 예시 화면이다.
도 10 및 도 11은 본 발명의 일실시예에 따른 학습을 통해 색채공간정보의 DB가 군집화되고 시간의 흐름에 따라 정합률이 고도화 되는 비지도 학습 알고리즘 개념을 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 따른 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템에 대하여 도면을 참고하여 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 여행지 검색 서버가 적용된 네트워크를 나타낸 개념도이다.
도 1을 참조하면 본 발명의 일실시예에 따른 여행지 검색 서버(100)는 유선 또는 무선의 인터넷 네트워크를 통하여 사용자 단말기(200)와 연결된다.
본 명세서에서 본 발명의 여행지 검색 시스템은 하나 또는 복수의 서버에 의하여 구성될 수 있으며, 이하에서는 편의상 하나의 서버인 여행지 검색 서버(100)로 이루어진 것을 예로 설명한다.
하지만, 여행지 검색 서버(100)는 하나의 컴퓨터로 이루어지는 것에 한정되는 것은 아니며 하위 구성요소가 별도의 서버로 이루어지는 실시예도 물론 가능하다.
여행지 검색 서버(100)는 인터넷망을 통하여 사용자 단말기(200)에 여행지 검색을 위한 웹사이트 또는 애플리케이션 등을 제공하는 서버 컴퓨터 등을 의미하며, 사용자 단말기(200)는 여행지를 검색하기 위하여 사용자가 사용하는 스마트폰, 태블릿, 노트북, 스마트워치, 스마트글래스, 기타 컴퓨터 등의 각종 단말기를 의미한다.
여행지 검색 서버(100)는 네트워크를 통하여 복수의 사용자 단말기(210, 220, 230)에 여행지 검색을 위한 웹사이트 또는 애플리케이션 프로그램을 제공할 수 있다.
여행지 검색 서버(100)는 사용자 단말기(200)에 제공하는 웹사이트 또는 애플리케이션은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다.
상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등이 단독으로 또는 조합으로 구성될 수 있다.
상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.
도 2는 본 발명의 일실시예에 따른 여행지 검색 서버의 세부 구성도이다.
도 2를 참조하면, 여행지 검색 서버(100)는 데이터 수집부(110), 이미지 분류부(120), 이미지 전처리부(130), 색채 추출부(140), 메타 데이터 추출부(150), 연관 데이터 검색부(152), 해시태그 정보 수집부(154), ID 생성부(156), 여행지 정보 생성부(158), 데이터 융합부(160), 데이터 저장부(170), 추천정보 제공부(180) 및 여행지정보 출력부(190)를 포함하여 구성된다.
데이터 수집부(110)는 사용자 단말기(200)로부터 다양한 이미지 데이터를 수집하고, 인터넷망을 통하여 기타 필요한 데이터를 수집하는 역할을 한다.
이미지 분류부(120)는 데이터 수집부(100)에서 수집된 이미지 데이터를 분석하여 미리 설정된 카테고리별로 분류하거나 기준에 맞지 않는 경우에는 폐기하는 역할을 한다.
예를 들어, 이미지 분류부(120)는 미리 구축된 알고리즘을 이용하여 수집된 이미지 데이터의 패턴을 분석하여 이미지가 풍경사진인지 건물사진인지 등을 판별하여 유사한 카테고리별로 분류하며, 만약 미리 설정된 규칙에 의하여 분석이 불가능하거나 분류될 수 없는 카테고리라고 판단되는 경우 해당 이미지를 폐기할 수 있다.
이미지 분류부(120)는 OpenCV 라이브러리를 사용하며 예를 들어 딥러닝 알고리즘의 일종인 CNN 알고리즘 등의 알고리즘, 머신러닝 알고리즘의 일종인 서포트벡터머신(SVM), 랜덤포레스트, 에이다부스트(AdaBoost) 등을 이용할 수 있다.
이미지 전처리부(130)는 데이터 수집부(110)에서 수집된 이미지 데이터에서 방해 객체를 제거 또는 마스킹 처리하는 역할을 한다.
이미지 전처리부(130)는 객체 인식 알고리즘으로 CNN 알고리즘에 속하는 R-CNN, Faster R-CNN, Mask R-CNN 알고리즘 등을 이용할 수 있다.
방해 객체는 상기 이미지 분류부(120)에서 분류된 이미지 데이터의 카테고리에 따라서 해당 카테고리에서 미리 설정된 기준에 따라 주요 이미지 내용을 방해하는 객체를 의미한다.
예를 들어, 수집된 이미지가 풍경사진인 경우에 풍경사진에 포함된 사람은 풍경(배경)을 방해하는 객체(전경)으로 판단할 수 있다.
이미지 전처리부(130)는 이미지를 분석하여 방해 객체인 사람의 윤곽선을 추출하고 방해 객체를 제거하거나 또는 마스킹 처리하여 풍경사진 영역만 남아있는 정제된 이미지로 재편집 할 수 있다.
이미지 전처리부(130)는 위와 같은 방법으로 다양한 카테고리에 대하여 위와 같이 방해 객체를 제거 또는 마스킹 처리를 할 수 있다.
색채 추출부(140)는 이미지 전처리부(130)에서 방해 객체가 제거 또는 마스킹 처리된 이미지를 분석하여 적어도 하나 이상의 대표 색채정보를 추출하는 역할을 한다.
색채 추출부(140)는 K-means Clustering, Mean-shift Clustering 알고리즘 등을 이용하여 이미지 파일에서 다양한 컬러를 추출할 수 있다.
즉, 색채 추출부는 수집된 이미지를 분석하여 적어도 그 특징을 하나 이상의 배합으로 나타낼 수 있는 색채배색(배합)의 대표 색채정보를 추출한다.
위에서 이미지 전처리부(130)의 구성은 생략하는 것도 가능하지만 방해 객체를 제거 또는 마스킹 처리하지 않는 경우 색채 추출부(140)에서 추출된 색채정보는 해당 이미지를 대표하는 색상정보의 정확도가 떨어질 수 있으므로 가급적 이미지 전처리부(130)의 구성을 포함하는 것이, 후술할 데이터 융합부에서 DB를 구성할 때 정합률이 높아지도록 하는데 효율적이므로 보다 바람직하다고 하겠다.
메타 데이터 추출부(150)는 수집된 이미지 데이터에 포함한 다양한 메타 데이터를 추출하는 역할을 한다.
이미지 데이터의 메타 데이터는 대표적으로 시간정보 및 위치정보를 포함할 수 있다. 예를 들어, 사용자가 사용자 단말기(200)을 이용하여 찍은 사진 이미지를 업로드하는 경우에 해당 이미지에는 이미 촬영날짜, 촬영시각 및 GPS 좌표정보 등이 메타 데이터로 같이 저장될 수 있다. 아울러, 촬영기기 상세정보(제조사, 모델명 등), 촬영 설정조건(초점 거리,　플래시,　ISO 감도,　조리개 상태,　셔터 속도, 회전 방향, 색 공간 등), 조도(빛)의 양, 방향정보, 이미지 화소, 저작권 정보, 이미지 설명 등 다양한 메타 정보가 함께 포함될 수 있다.
메타 데이터 추출부(150)는 상기 촬영날짜, 촬영시각 및 GPS 좌표정보 등과 같은 메타 데이터를 추출하고, 후술할 여행지정보 생성부(158)는 메타 데이터에 대응하는 여행지 정보를 생성하고, 후술할 데이터 융합부(160)는 이미지 데이터에 메타 데이터를 추가로 맵핑하여 색채공간정보를 생성한다.
일실시예에서 상기 메타 데이터는 이미지 데이터 생성 시 형성되는 고유의 시간정보와 위치정보 등 및 이들과 연계되는 기상, 교통 등의 데이터와 뉴스, 트랜드. 해시태그 등의 활용 정보를 포함할 수 있다. 또는 이러한 활용 정보는 연관 데이터로서 별개의 레코드로 저장되어 맵핑될 수도 있다.
연관 데이터 검색부(160) 상기 메타 데이터를 기반으로 인터넷망을 통하여 연관 데이터를 검색하는 역할을 한다.
예를 들어, 연관 데이터 검색부(160)는 상기 촬영날짜, 촬영시각 및 GPS 좌표정보를 기초로 해당 날짜, 시각 및 GPS 좌표정보에 대응되는 해당 지역에서 발생한 이벤트 정보 또는 날씨 정보를 검색할 수 있다.
상기 메타 데이터를 기반으로 인터넷망을 통하여 관련된 기상, 교통, 이벤트 정보 등의 연관 데이터를 검색하거나 생성할 수도 있고, 또는 상기 메타 데이터를 기반으로 기존의 연관 데이터 또는 저장된 데이터셋 DB를 자체적으로 검색해서 연관 데이터를 생성할 수도 있다.
후술할 데이터 융합부(160)는 이미지 데이터에 상기 연관 데이터를 추가로 맵핑하여 색채공간정보를 생성할 수 있다.
앞서 살펴 본 이미지를 나타내는 대표 ID 정보 및 상기 여행지 정보와 관계 될 수 있는 확장 정보를 포함한 다수의 데이터셋을 맵핑되는 구조로 구축하여 공간정보와 연결된 색채공간정보를 생성하는 데이터 융합부이다.
일실시예에서 상기 데이터 융합부는, 각각의 상기 색채공간정보 간의 비교를 통하여 통계적이고 상대적인 연관도가 더 높은 해시태그와 키워드를 생성하여 각각의 색채공간정보에 추가로 연결하는 방식으로 고도화 될 수 있다.
아울러 일실시예에서 상기 데이터 융합부는, 상기 연관도 높은 해시태그와 ID 또는 키워드 정보를 생성하기 위해 비지도 학습 방식의 AI 알고리즘을 반복하여 이를 통하여 데이터를 비교하고 분류하며, 분류되는 군집화의 영향도에 따라 색채공간정보에 연계되는 해시태그와 키워드의 연관도(연관규칙)을 분석할 수 있다.
또한 일실시예에서 상기 데이터 융합부는, 상기 색채공간정보가 추가로 생성되면 이러한 분석을 반복하여 비지도 알고리즘의 학습에 따라 패턴화하고 군집화 함으로써 정합률을 높여 해시태그와 ID 정보를 각각의 색채공간정보에 새롭게 연결할 수 있다.
따라서 본원의 일실시예에 따르면 이미지에서 추출된 색채 데이터와 이미지에 포함된 메타 데이터를 이용한 공간정보를 결합한 분류 데이터 DB에서 이와 같은 과정을 반복 학습하여 정합률이 높은 구조화된 검색 DB를 자동으로 구성할 수 있다.
다음으로 해시태그 정보 수집부(170)는 사용자 단말기(200)로부터 이미지 데이터에 대응되는 해시태그 정보를 수집하는 역할을 한다.
예를 들어, 사용자는 사용자 단말기(200)로 본 발명의 여행지 검색 서버(100)가 제공하는 웹사이트 또는 애플리케이션에 사진 이미지를 업로드하면서 “일몰”, “가을”, “유채꽃”, “메밀밭”, “사랑”, “가족과 함께” 등의 키워드를 입력하면서 해시태그 정보를 같이 입력할 수 있으며, 해시태그 정보 수집부(170)는 이러한 해시태그 정보를 수집하고, 후술할 여행지 정보 생성부(158)는 이미지 데이터에 상기 해시태그 정보를 추가로 맵핑하여 색채공간정보를 생성할 수 있다.
ID 생성부(156)는 상기 색채 추출부(140)에서 이미지를 분석하여 그 특징을 하나 이상의 배합으로 나타내는 색채배색의 대표 색채정보를 추출한 후 대표 색채정보에 연관되는 적어도 하나 이상의 대표 ID 정보를 생성하여 부여할 수 있다.
대표 색채정보는 이미지 데이터의 주요한 컬러셋 정보를 포함할 수 있으며, ID 생성부(156)는 각 컬러셋 정보에 대응되고 맵핑되는 ID를 생성한다.
ID 생성부(156)가 이미지와 연관된 ID를 생성하는 알고리즘으로는 이미지의 분류에 따라서 ID를 매칭하는 방법과 토픽 기반의 모델링 기법을 이용하여 SNS 등에서 해당 이미지의 분류에 따라 ID를 매칭하는 방법을 사용할 수 있으며, LSA, LDA, PLSI 등의 알고리즘을 사용할 수 있다.
이때, 각 컬러셋 정보에 대응되는 ID 정보는 미리 학습되어 데이터베이스로 구축되어 있을 수 있으며, 서버(100)로 입력되는 추가 이미지로 인해 계속 학습되어 반복적으로 업데이트 될 수 있다.
각 컬러셋 정보는 예를 들어 3개 내지 5개의 컬러로 이루어질 수 있으며, 하나의 컬러셋 정보에 대하여 복수의 ID 정보(ex. 키워드)가 매칭될 수 있다.
여행지 정보 생성부(158)는 상기 대표 색채정보 및 상기 대표 ID 정보에 대응되는 여행지 정보를 생성할 수 있다.
즉, 여행지 정보 생성부(158)는 대응되는 ID 정보를 포함하는 컬러셋 정보를 기반으로 적합한 여행지 정보를 생성할 수 있다.
또한, 여행지 정보 생성부(158)는 위에서 설명한대로 대표 색채정보 및 상기 대표 ID 정보 외에도 이미지에서 추출된 메타 데이터, 이로부터 검색된 연관 데이터 및 수집된 해시태그 정보를 더 고려하여 적합한 여행지 정보를 생성할 수 있다.
이때, 대표 색채정보, 대표 ID 정보, 메타 데이터, 연관 데이터 및 해시태그 정보와 연관되는 여행지 정보는 수만 내지 수백만건의 이미지 또는 검색어의 입력/처리/검색 등으로 인해 비지도 학습을 통해 데이터베이스화 되어 고정합률의 DB가 구축되어 있는 상황일 수 있다.
이때, 컬러셋 정보 및 ID 정보에 관련된 여행지 정보는 데이터베이스로 이미 구축되어 있을 수 있다.
데이터 융합부(160)는 수집된 이미지 데이터에 상기 대표 색채정보, 대표 ID 정보, 메타 데이터, 연관 데이터 및 해시태그 정보 등을 상호 맵핑하여 색채공간정보를 생성하는 역할을 한다.
상기 생성된 색채공간정보는 여행지 정보와 컬러정보가 매칭된 색채 기반의 공간정보 데이터베이스를 구축하는 데이터를 의미하며 보다 자세한 데이터의 구성은 도 5에 나타나 있다.
도 5를 참조하면 색채공간정보는 이미지 데이터와, 색채 연관 정보 및 연관 데이터의 셋으로 구성된다.
이미지 데이터는 이미지를 구성하는 화소 정보에 생성일자, 생성시간 및 GPS 정보와 같은 메타 데이터와 해시태그 정보를 포함한다.
엄밀하게는 메타 데이터는 이미지 데이터 저장시 같이 저장되는 데이터이며, 해시태그 정보는 이미지와 연관되어 별도로 연관되어 저장되는 정보이지만 편의상 이미지 데이터에 포함되는 것으로 기술하도록 한다.
이미지 데이터의 메타 데이터는 대표적으로 시간정보 및 위치정보를 포함할 수 있으며 촬영날짜, 촬영시각 및 GPS 좌표정보 등이 메타 데이터로 같이 저장될 수 있다. 아울러, 촬영장치의 제조사, 모델명, 초점 거리,　플래시,　ISO 감도,　조리개 상태,　셔터 속도, 회전 방향, 색 공간, 조도량, 이미지 화소정보, 아티스트 저작권 정보, 기타 설명 등의 다양한 메타 정보가 포함될 수 있다.
색채 연관 정보는 이미지 데이터에서 추출되는 적어도 하나 이상의 색채배색으로 이루어진 대표 색상정보 및 대표 ID 정보를 의미한다.
즉, 대표 색상정보는 이미지 데이터에서 추출된 대표성 있는 컬러셋 정보를 의미하며, 대표 ID는 상기 컬러셋 정보에 대응되는 키워드로서 이미지의 색채와 연관되는 정보이다.
연관 데이터는 상기 이미지 데이터의 메타 데이터에 연관되는 날씨정보, 교통정보, 이벤트 정보 등의 활용 가능한 다양한 정보로서 이미지와 연관되는 정보를 의미한다.
연관 데이터는 상기 메타 데이터를 기초로 인터넷망을 통하여 웹사이트, SNS, 접속가능한 서버 등으로부터 수집될 수 있으며, 또는 상기 메타 데이터를 기반으로 기존의 연관 데이터 또는 기 저장된 데이터셋 DB를 자체적으로 검색해서 연관 데이터를 생성할 수도 있다. 아울러, 시스템 설정에 따라서 수집된 연관 데이터를 기반으로 반복적인 수집 프로세스를 통해 n차 연관 데이터를 추가적으로 생성할 수도 있다.
위에서 대표 ID는 컬러셋 정보에 대응되는 키워드로써 미리 관련된 데이터 베이스가 구축되어 있는 상태에서 업데이트가 될 수도 있고, 비지도 AI 학습 알고리즘을 통하여 시간이 지나고, 처리되는 데이터량이 누적됨에 따라 자동으로 군집화하는 방식으로 구축될 수도 있다.
구체적으로 도 5에 도시된 바와 같이 색채공간정보는 이미지 데이터, 메타 데이터, 해시태그 정보, 연관 데이터, 대표 색상 정보가 상호 연결된 데이터로 맵핑된 데이터셋의 형태로 구축되며, 상기 설명한 비지도 AI 학습 알고리즘을 통하여 수많은 데이터가 입력되는 경우 자동으로 유사한 세부 카테고리별로 군집화되고 패턴화 될 수 있다.
이때, 대표 ID 정보는 각각 군집화된 색채공간정보 내에서 공통적으로 추출되는 정보로부터 업데이트 되어 생성될 수 있다.
데이터 저장부(170)는 상기 생성된 색채공간정보를 저장하는 역할을 한다.
추천정보 제공부(180)는 상기 색채공간정보를 기반으로 사용자 단말기(200)에 여행지 검색을 위한 추천 이미지 정보 및 추천 키워드 정보를 제공하는 역할을 한다.
이때, 추천정보 제공부(180)는 사용자 단말기(200)로부터 수신되는 시간정보, 위치정보 및 검색이력정보 중 적어도 하나의 정보를 이용하여 추천 이미지 정보 및 추천 키워드 정보를 제공할 수 있다.
여행지정보 출력부(190)는 사용자 단말기(200)로부터 여행지 검색을 위한 검색 이미지 정보를 수신하면, 검색 이미지 정보와 구조화된 DB인 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 역할을 한다.
이때, 사용자 단말기(200)로부터 사용자가 검색 이미지가 수신되면 해당 검색 이미지는 이미지 전처리부(130)를 통하여 방해 객체가 제거 또는 마스킹 처리되고, 색채 추출부(140)에 의해 방해 객체가 제거 또는 마스킹 처리된 검색 이미지로부터 대표 색채정보가 추출되게 된다.
여행지정보 출력부(190)는 상기 검색 이미지로부터 추출된 대표 색채정보를 상기 색채공간정보와 비교하여 추천 여행지 정보를 출력할 수 있다.
즉, 여행지 검색을 위한 검색 이미지와 키워드 정보를 수신하면, 상기 정보와 관계를 이룰 수 있는 상기 색채공간정보와의 정합성을 기준으로 추천 여행지 정보를 출력하는 것이다.
따라서, 마음속에 감성적인 여행지를 떠올리며 “어디에서 그 느낌을 경험할 수 있을까?”라는 질의에 대해, 기초가 되는 검색 이미지와 키워드만으로 본 발명에서는 색채기반 공간정보 데이터베이스를 이용하여 고정합률의 여행지를 추천해 줄 수 있는 것이다.
도 3은 본 발명의 일실시예에 따른 여행지 검색 서버가 색채공간정보를 생성하는 방법을 설명하는 순서도이다.
먼저 여행지 검색 서버(100)는 웹사이트 또는 애플리케이션을 통하여 사용자 단말기(200)로부터 이미지 데이터를 수집한다(S310).
이미지 데이터가 수집되면 이미지 분류부(120)에 의하여 이미지 데이터를 미리 설정한 카테고리별로 분류한다(S320).
즉 이미지 분류부(120)는 알고리즘을 이용하여 수집된 이미지 데이터의 패턴을 분석하여 이미지가 풍경사진인지 건물사진인지를 판별하여 유사한 카테고리별로 분류하며, 만약 미리 설정된 규칙에 해당하지 않거나 분류될 수 없는 카테고리라고 판단되는 경우에는 해당 이미지를 폐기할 수도 있다.
또한, 이미지 데이터의 메타 데이터 및 해시태그 정보를 추출한다(S330).
또한, 이미지 전처리부(130)를 통하여 수집된 이미지 데이터를 분류된 카테고리별 기준에 의해 방해 객체를 제거 또는 마스킹 처리할 수 있다(S340).
수집된 이미지가 전처리되어 방해 객체가 제거되면 이렇게 정제된 이미지를 분석하여 적어도 하나 이상의 대표 색채정보를 추출한다(S360).
수집된 이미지에서 대표 색채정보가 추출되면, 추출된 대표 색채정보에 대응되는 적어도 하나 이상의 대표 ID를 생성한다(S370).
한편, 단계 S330에서 이미지 데이터에서 메타 데이터가 추출되면, 메타 데이터를 기반으로 연관 데이터를 검색한다(S350).
상기 단계가 모두 수행되면 단계 S350에서 검색된 연관 데이터, 단계 S380에서 생성된 대표 색채정보 및 단계 S370에서 생성된 대표 ID 정보를 기반으로 색채공간정보를 생성한다(S380).
이렇게 생성된 색채공간정보는 데이터 저장부(170)에 저장된다.
도 4는 본 발명의 일실시예에 따른 여행지 검색 서버가 이미지 데이터에서 방해 객체를 제거하고 색채정보를 추출하는 과정을 설명하는 도면이다.
도 4를 참고하면, 풍경화면에 한 명의 인물이 배치된 사진이다. 이와 같은 이미지가 수집된 경우에 어떻게 방해 객체가 제거되고 색채정보 추출이 되는지 그 과정이 도시되어 있다.
이미지가 수집되면 이미지 인식 알고리즘에 의하여 해당 이미지가 풍경사진인 것으로 카테고리가 분류되고, 풍경사진의 카테고리에 대응하여 방해 객체 제거 알고리즘이 사진에 포함된 사람을 방해객체로 인식한다.
따라서 사람의 외곽영역부터 검출한 후 사람영역을 마스킹 처리하여 풍경사진에서 배경을 제외한 사람을 전경으로서 제거하며, 전경이 제거된 이미지를 클린한 이미지로서 분석하여 관련된 색채정보를 추출한다.
도 4에서는 최종적으로 5개의 대표 색상정보(배합)을 추출한 것으로 도시되어 있으며, 위에서부터 아래의 색상의 순서는 색상의 분포 비율에 의한 양에 따라 순서대로 배열된 것일 수 있다.
도 6은 본 발명의 여행지 검색 서버가 메타 데이터 및 해시태그 정보를 이용한 색채공간정보를 생성 방법을 설명하는 도면이다.
도 6에는 도 5와 같은 데이터셋의 색채공간정보가 AI 비지도 학습 알고리즘을 통하여 자동으로 군집화된 결과가 나타나 있다.
즉, 도 6의 각 사진의 상단에는 “#”으로 시작하는 해시태그 정보가 나타나 있으며 예를 들어, 왼쪽 첫 번째 사진의 경우 저녁 노을 풍경을 찍은 이미지이며, 해시태그로 “#일몰” 정보가 수집되었으며, 메타 정보로 “*시각” 정보가 주요하게 수집되었다.
따라서 저녁 노을 풍경 이미지를 분석하여 추출된 대표 컬러셋 정보에 해당 “일몰” 및 “시간” 정보가 매칭되어 색상공간정보가 매우 정확하게 군집화될 수 있다. 즉, 저녁 시간에 해당 컬러셋 정보가 “일몰”이라는 키워드에 매칭됨으로써 하나의 공간정보에 기반한 색채공간정보가 생성되는 것이다.
마찬가지로, 맨 오른쪽 첫 번째 사진에는 “#가을오름길” 이라는 해시태그 정보와 “*계절”이라는 메타 정보를 기반으로 해당 컬러셋 정보에 “오름길” 및 “계절”을 매칭하여 색채공간정보를 생성할 수 있다. 해시태그에 “가을”이라는 태그가 입력된 예가 설명되었지만 설령 해시태그에서 “가을”이 없었다고 하더라도 메타 데이터에 포함된 촬영 일자를 기반으로 해당 이미지가 촬영된 시점의 계절을 자동으로 판단할 수 있고, 이렇게 색채공간정보를 자동으로 생성할 수 있다.
도 6과 같은 유사한 데이터가 시간이 지남에 따라 계속 업데이트되면서 비지도 학습 알고리즘을 통하여 자동으로 군집화 되고 다양한 여행지 장소 정보에 컬러셋 정보 및 키워드 정보가 매칭될 수 있다.
도 7은 본 발명의 일실시예에 따른 여행지 검색 서버를 통해 추천 여행지 정보를 검색하는 과정을 설명하는 순서도이다.
사용자 단말기(200)에 제공되는 웹사이트 또는 애플리케이션에서 여행지 검색 메뉴로 진입하게 되면 추천 메뉴를 선택하거나 검색 메뉴를 선택할 수 있도록 하는 화면이 나타난다.
사용자가 추천 메뉴를 선택하게 되면(S610), 사용자 단말기(200)에는 미리 설정된 알고리즘에 의하여 추천 이미지 또는 추천 키워드를 표시한다.
이때, 추천 이미지 또는 추천 키워드는 사용자가 선택한 특정 여행지역에서 선호도가 가장 많은 여행지에 대응되는 추천 이미지 또는 추천 키워드이거나, 사용자가 사용자 단말기(200)를 통하여 기존에 진행한 검색이력정보 등을 기초로 제공될 수 있다.
사용자가 검색 메뉴를 선택하게 되면(S620), 사용자 단말기(200)에는 검색 키워드를 입력하거나 검색 이미지를 업로드할 수 있는 사용자 인터페이스가 표시된다.
사용자는 직업 키워드를 입력하여 추천 여행지를 검색하거나(S625), 자신이 찍은 이미지 또는 보유한 이미지를 업로드하여 추천 여행지를 검색할 수 있다(S627).
단계 S627에서 이미지가 업로드 되어 입력되면 상기와 같은 방법으로 메타 데이터 및 해시태그를 추출하고(S630), 대표 색채정보를 추출한다(S640).
단계 S640에서 메타 데이터, 해시태그 및 색채정보가 추출되면 이러한 데이터와 미리 구축된 색채공간정보와 비교하여 검색을 진행한다(S650).
단계 S625에서 사용자로부터 키워드가 입력되면, 입력된 키워드와 상기 색채공간정보와 비교하여 검색을 진행한다(S650).
단계 S650에서 사용자로부터 입력된 키워드와 매칭되는 키워드 정보가 상기 색채공간정보에 포함된 경우에는 기존 구축된 데이터베이스에서 바로 검색을 진행할 수 있다.
만약, 단계 S650에서 사용자로부터 입력된 키워드와 매칭되는 키워드 정보가 없는 경우에는 입력된 키워드에 매칭되는 색상 정보를 판별하고, 상기 판별된 색상 정보와 상기 색채공간정보를 비교하여 검색을 진행할 수 있다.
이때, 입력된 키워드에 매칭되는 색상 정보를 판별하는 방법은 해당 키워드에 매칭되는 이미지 데이터를 실시간으로 인터넷망을 통하여 검색 및 추출하여 대표 색상정보를 분석하거나 기 구축된 키워드-색상 연관 데이터베이스를 통하여 수행될 수 있다.
단계 S615 또는 단계 S617에서 사용자가 추천된 이미지 또는 키워드를 선택하는 경우에는 구축된 색채공간정보를 기반으로 바로 검색을 진행한다(S650).
상기와 같은 방법으로 추천 여행지가 검색되면 사용자 단말기(200)로 해당 추천 여행지 정보를 출력한다(S660).
도 8은 본 발명의 일실시예에 따른 여행지 검색 서버가 사용자 단말기에 출력하는 추천 여행지 정보의 예시 화면이다.
도 8에는 사용자가 제주도에 대하여 여행지를 검색하는 경우 특정 이미지를 입력하였을 경우에 출력된 4 개의 추천 여행지 정보를 나타내고 있다.
추천 여행지 정보를 지도화면에 표시될 수 있으며 각각의 여행지에 대응되는 위치에 대표 이미지와 함께 출력될 수 있다.
도 8에는 대표 이미지들 상단에 대표 색채정보가 같이 표시되어 있으며, 해당 여행지의 구체적인 주소 정보가 같이 표시되어 있다.
하지만, 이는 일실시예일 뿐이며, 구체적인 주소 정보 대신에 해당 여행지의 명칭만 표시되거나 명칭과 주소가 동시에 표시하는 등 이미지와 텍스트를 다양한 방식으로 표시할 수 있을 것이다.
이와 같이 사용자가 특정 이미지를 업로드하는 경우 해당 이미지의 대표 색상정보를 추출하고, 추출된 대표색상 정보에 매칭되는 추천 여행지 정보를 도 8과 같이 지도화면에 대표 이미지와 함께 표시함으로써 사용자는 비언어정보에 해당하는 이미지만을 이용하여 추천 여행지 정보를 제공받을 수 있게 된다.
도 9는 본 발명의 일실시예에 따른 여행지 검색 서버가 사용자 단말기에 출력하는 검색 이미지 정보를 활용한 여행관련정보의 예시 화면이다.
본 발명의 일실시예에 따른 여행지 검색 서버(100)는 상기와 같이 구축된 색채공간정보 데이터베이스를 기반으로 사용자의 여행 일정에 따른 여행 일정을 장소별로 분배하거나 여행 가능성 정보를 제공할 수 있다.
예를 들어, 사용자가 사용자 단말기(200)에 특정 이미지를 업로드하는 경우 해당 이미지에서 추출한 색상정보를 기반으로 또는 색상정보에 메타 데이터 또는 해시태그 정보를 부가한 정보를 기반으로 특정 여행지별 추천 여행지 리스트를 산출할 수 있으며, 사용자가 계획한 예상 일정에 업로드 된 이미지를 기반으로 예견되는 여행 날짜, 시간 등의 정보를 제공하거나 업로드 된 이미지와 유사한 풍경으로의 여행 가능성 정보를 확률 정보 등으로 제공할 수 있다.
이와 같이 본 발명의 여행지 검색 시스템은 이미지를 기반으로 추천 여행지를 사용자에게 제공할 수 있을 뿐만 아니라, 사용자의 여행 일정에 따라 여행지를 분배하거나 여행 성공 확률 등을 시뮬레이션할 수 있도록 함으로써 이미지 감성 정보를 기반으로 한 능동적인 여행지 검색을 가능하게 한다.
도 10 및 도 11은 본 발명의 일실시예에 따른 학습을 통해 색채공간정보의 DB가 군집화되고 시간의 흐름에 따라 정합률이 고도화 되는 비지도 학습 알고리즘 개념을 나타내는 도면이다.
본원에서 사용하는 비지도 학습(Unsupervised learning)은 지도 학습과 같은 레이블이 지정된 데이터를 사용하지 않으며, 비지도 학습을 사용할 때의 알고리즘의 목표는 데이터 내에서 관계를 찾고 입력 데이터만을 기반으로 데이터 포인트를 그룹화하는 것이다.　본원에서는 비지도 학습으로서 클러스터링을 이용하며 레이블이 지정되지 않은 빅데이터 내에서 클러스터 또는 하위 그룹을 찾을 수 있다.　　
도 10을 참고하면, 본 발명의 일실시예에 따라 학습을 통해 데이터가 군집화 되는 과정을 나타내는 도면으로서, 시간이 t1에서 t3으로 지남에 따라 정합률이 고도화 되는 비지도 학습 알고리즘의 개념을 예시적으로 나타낸다.
즉, t1 초기의 클러스터링 결과는 파선(dashed line)으로 표시된 것과 같이 일정한 영역(k=3)으로 분할된 영역으로 나누어지고, 이후 중심점(centroid)를 업데이트 하면서 알고리즘을 반복하면, t2와 같이 짧은 점선(dotted line)의 영역들로 재편되고, 연산량이 많아질수록 중심점 업데이트 값이 수렴하면서 t3의 실선(solid line)의 영역들로 군집화가 결정되게 된다.
도 11의 (a)은 부분 클러스터링(Partitional Clustering)로서 데이터 세트의 각 데이터 포인트가 하나의 클러스터에만 속할 수 있는 클러스터링 알고리즘 세트이며, 대표적으로 k-평균 알고리즘이 있으며, (b)는 계층적 클러스터링(Hierarchical Clustering)로서 계층 시스템(클러스터 안의 클러스터)으로서 모든 데이터 포인트는 여러 복수개의 클러스터에 속할 수 있고 일부 클러스터에는 더 작은 클러스터가 포함될 수도 있다.　
따라서, 본원의 데이터 융합부에서는 연관도 높은 해시태그와 ID 를 생성하기 위해 비지도 학습 방식의 AI 알고리즘을 반복하여 데이터를 비교하고 분류하며, 분류되는 군집화의 영향도에 따라 색채공간정보에 연계되는 해시태그와 키워드의 연관도를 분석하고, 상기 데이터 융합부는 색채공간정보가 추가로 생성되면 이와 같은 분석을 반복하여 패턴화하고 군집화 함으로써 색채 데이터와 공간정보를 결합한 분류 데이터에서 정합률이 높은 구조화된 검색 DB를 자동으로 구성할 수 있는 것이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 여행지 검색 서버 200: 사용자 단말기
110: 데이터 수집부 120: 이미지 분류부
130: 이미지 전처리부 140: 색채 추출부
150: 메타 데이터 추출부 152: 연관 데이터 검색부
154: 해시태그 정보 수집부 156: ID 생성부
158: 여행지 정보 생성부 160: 데이터 융합부
170: 데이터 저장부 180: 추천정보 제공부
190: 여행지정보 출력부

Claims (16)

  1. 복수의 사용자 단말기에 네트워크로 연결되는 여행지 검색 시스템에 있어서,
    상기 사용자 단말기로부터 이미지 데이터를 수집하는 데이터 수집부;
    상기 데이터 수집부에서 수집된 이미지 데이터의 메타 데이터를 추출하는 메타 데이터 추출부;
    상기 데이터 수집부에서 수집된 이미지 데이터에서 배경에 대한 방해 객체를 제거 또는 마스킹 처리하는 이미지 전처리부;
    상기 이미지 전처리부에서 상기 방해 객체가 제거 또는 마스킹 처리된 상기 수집된 이미지를 분석하여 파악되는 색상의 분포 비율에 기초하여 추출된 복수의 컬러로 이루어지는 컬러셋 정보에 해당하는 적어도 하나 이상의 대표 색채정보를 추출하는 색채 추출부;
    상기 대표 색채정보 각각에 대하여 연관되는 적어도 하나 이상의 대표 ID 정보를 생성하는 ID 생성부;
    미리 구축된 색채 정보, ID 정보 및 메타 데이터에 연관되는 여행지 정보 데이터베이스에 기초하여 상기 대표 색채정보, 상기 대표 ID 정보 및 상기 메타 데이터에 대응되는 여행지 정보를 생성하는 여행지 정보 생성부;
    상기 이미지 데이터에 상기 대표 색채정보, 상기 대표 ID 정보, 상기 메타 데이터 및 상기 여행지 정보를 맵핑하여 데이터셋을 구축하는 방식으로 색채공간정보를 생성하는 데이터 융합부;
    상기 생성된 색채공간정보를 저장하는 데이터 저장부; 및
    사용자 단말기로부터 여행지 검색을 위한 검색 이미지 정보를 수신하면, 상기 이미지 전처리부 및 상기 색채 추출부를 통하여 상기 검색 이미지 정보에서 추출된 색채정보와 상기 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 여행지정보 출력부를 포함하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 메타 데이터는 상기 이미지 데이터가 생성된 시간적 정보 및 위치적 정보를 포함하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  5. 제1항에 있어서,
    상기 맵핑된 메타 데이터를 기반으로 인터넷망을 통하여 연관 데이터를 검색하는 연관 데이터 검색부를 더 포함하고,
    상기 데이터 융합부는 상기 이미지 데이터에 상기 연관 데이터를 추가로 맵핑하여 상기 색채공간정보를 생성하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  6. 제1항에 있어서,
    상기 사용자 단말기로부터 상기 이미지 데이터에 대응되는 해시태그 정보를 수집하는 해시태그 정보 수집부를 더 포함하고,
    상기 여행지 정보 생성부는 상기 해시태그 정보에 대응되는 상기 여행지 정보를 생성하고,
    상기 데이터 융합부는 상기 이미지 데이터에 상기 해시태그 정보를 추가로 맵핑하여 상기 색채공간정보를 생성하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  7. 제5항 또는 제6항에 있어서,
    상기 데이터 융합부는 비지도 AI 학습 알고리즘을 반복하여 상기 데이터셋을 자동으로 군집화하는 방식으로 상기 색채공간정보를 계속적으로 재분류 하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  8. 제1항에 있어서,
    상기 색채공간정보를 기반으로 상기 사용자 단말기에 추천 이미지 정보 및 추천 키워드 정보를 제공하는 추천정보 제공부를 더 포함하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  9. 제8항에 있어서,
    상기 추천정보 제공부는 상기 사용자 단말기로부터 수신되는 시간정보, 위치정보 및 검색이력정보 중 적어도 하나의 정보를 이용하여 상기 추천 이미지 정보 및 상기 추천 키워드 정보를 제공하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  10. 제1항에 있어서,
    상기 데이터 수집부에서 수집된 상기 이미지 데이터를 분석하여 미리 설정된 카테고리별로 분류하거나 폐기하는 이미지 분류부를 더 포함하고,
    상기 여행지정보 출력부는 상기 추천 여행지 정보를 상기 사용자 단말기에서 지도화면의 대응되는 위치에 소정의 대표 이미지와 함께 표시하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템.
  11. 복수의 사용자 단말기에 네트워크로 연결되는 서버를 이용한 여행지 검색 방법에 있어서,
    (a) 상기 서버가 사용자 단말기로부터 이미지 데이터를 수집하는 단계;
    (b) 상기 서버가 상기 이미지 데이터의 메타 데이터를 추출하는 단계
    (c) 상기 서버가 상기 수집된 이미지 데이터에서 배경에 대한 방해 객체를 제거 또는 마스킹 처리하는 단계;
    (d) 상기 서버가 상기 방해 객체가 제거 또는 마스킹 처리된 상기 수집된 이미지를 분석하여 파악되는 색상의 분포 비율에 기초하여 추출된 복수의 컬러로 이루어지는 컬러셋 정보에 해당하는 적어도 하나 이상의 대표 색채정보를 추출하는 단계;
    (e) 상기 서버가 상기 대표 색채정보 각각에 대하여 연관되는 적어도 하나 이상의 대표 ID 정보를 생성하는 단계;
    (f) 상기 서버가 미리 구축된 색채 정보, ID 정보 및 메타 데이터에 연관되는 여행지 정보 데이터베이스에 기초하여 상기 대표 색채정보, 상기 대표 ID 정보 및 상기 메타 데이터에 대응되는 여행지 정보를 생성하는 단계;
    (g) 상기 서버가 상기 이미지 데이터에 상기 대표 색채정보, 상기 대표 ID 정보, 상기 메타 데이터 및 상기 여행지 정보를 맵핑하여 데이터셋을 구축하는 방식으로 색채공간정보를 생성하는 단계;
    (h) 상기 서버가 상기 사용자 단말기로부터 여행지 검색을 위한 검색 이미지 정보를 수신하는 단계; 및
    (i) 상기 서버가 상기 검색 이미지 정보에 대하여 상기 (c) 단계 및 상기 (d) 단계를 수행하여 추출된 색채정보와 상기 색채공간정보와의 유사도를 기준으로 추천 여행지 정보를 출력하는 단계를 포함하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    (j) 상기 서버가 상기 메타 데이터를 기반으로 인터넷망을 통하여 연관 데이터를 검색하는 단계를 더 포함하고,
    상기 (g) 단계는 상기 이미지 데이터에 상기 연관 데이터를 추가로 맵핑하여 상기 색채공간정보를 생성하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 방법.
  15. 제14항에 있어서,
    상기 (g) 단계는, 상기 서버가 비지도 AI 학습 알고리즘을 반복하여 상기 데이터셋을 자동으로 군집화하는 방식으로 상기 색채공간정보를 계속적으로 재분류 하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 방법.
  16. 제11항에 있어서,
    상기 (i) 단계는 상기 추천 여행지 정보를 상기 사용자 단말기에서 지도화면의 대응되는 위치에 소정의 대표 이미지와 함께 표시하는 단계를 포함하는 것을 특징으로 하는 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 방법.
KR1020210143029A 2021-10-25 2021-10-25 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법 Active KR102762013B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210143029A KR102762013B1 (ko) 2021-10-25 2021-10-25 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법
US17/968,040 US12152890B2 (en) 2021-10-25 2022-10-18 Travel destination searching system and method using color based space information database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210143029A KR102762013B1 (ko) 2021-10-25 2021-10-25 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230059027A KR20230059027A (ko) 2023-05-03
KR102762013B1 true KR102762013B1 (ko) 2025-02-05

Family

ID=86057160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210143029A Active KR102762013B1 (ko) 2021-10-25 2021-10-25 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법

Country Status (2)

Country Link
US (1) US12152890B2 (ko)
KR (1) KR102762013B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010500818A (ja) 2006-08-08 2010-01-07 デジタル メディア カートリッジ，リミティド 漫画アニメーション圧縮のためのシステムおよび方法
KR101117170B1 (ko) 2008-10-06 2012-03-07 엔에이치엔비즈니스플랫폼 주식회사 색상 정보를 이용하여 지역 내 업소 정보를 제공하는 방법 및 장치
KR102195642B1 (ko) 2019-01-23 2020-12-29 주식회사 마이셀럽스 색상정보에 기반한 검색 정보 제공 단말, 장치 및 제공 방법
KR102228398B1 (ko) 2020-09-08 2021-03-15 김성철 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템
US20210278953A1 (en) * 2020-03-06 2021-09-09 Qualtrics, Llc Generating visual experience-journey timelines using experience and touchpoint data
JP2021526245A (ja) 2019-05-06 2021-09-30 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 推測された意図に基づく場所的拡張のトリガ

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US20080046409A1 (en) * 2006-08-21 2008-02-21 Adam Lieb Color searching for images
US8489627B1 (en) * 2008-08-28 2013-07-16 Adobe Systems Incorporated Combined semantic description and visual attribute search
KR101127769B1 (ko) * 2008-09-03 2012-03-23 에스케이플래닛 주식회사 유사색상 상품 검색 서비스를 제공하기 위한 방법, 검색 서버, 단말기 및 시스템
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
RU2012105677A (ru) * 2009-08-06 2013-09-20 Алд Софтвеа Лтд. Способ и система для поиска изображения
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8582802B2 (en) * 2009-10-09 2013-11-12 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
US8676803B1 (en) * 2009-11-04 2014-03-18 Google Inc. Clustering images
US8775424B2 (en) * 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US8805165B2 (en) * 2010-11-09 2014-08-12 Kodak Alaris Inc. Aligning and summarizing different photo streams
US20120166472A1 (en) * 2010-12-22 2012-06-28 Xerox Corporation System and method for collaborative graphical searching with tangible query objects on a multi-touch table
US8782077B1 (en) * 2011-06-10 2014-07-15 Google Inc. Query image search
US8589410B2 (en) * 2011-10-18 2013-11-19 Microsoft Corporation Visual search using multiple visual input modalities
US9053194B2 (en) * 2012-02-01 2015-06-09 Sri International Method and apparatus for correlating and viewing disparate data
US9582517B2 (en) * 2013-03-14 2017-02-28 Shutterstock, Inc. Content based systems and methods for conducting spectrum color based image search
US10409822B2 (en) * 2014-05-06 2019-09-10 Shutterstock, Inc. Systems and methods for presenting ranked search results
US9514543B2 (en) * 2014-06-26 2016-12-06 Amazon Technologies, Inc. Color name generation from images and color palettes
US9177391B1 (en) * 2014-06-26 2015-11-03 Amazon Technologies, Inc. Image-based color palette generation
US10691744B2 (en) * 2014-06-26 2020-06-23 Amazon Technologies, Inc. Determining affiliated colors from keyword searches of color palettes
CN106933867B (zh) * 2015-12-30 2020-02-21 杭州华为企业通信技术有限公司 一种图像查询方法和装置
US10437868B2 (en) * 2016-03-04 2019-10-08 Microsoft Technology Licensing, Llc Providing images for search queries
KR102012503B1 (ko) * 2017-12-27 2019-08-20 (주)저니앤조이트래블 이미지가 촬영된 위치 정보에 기반하여 여행 상품 정보를 자동으로 노출시키는 여행 상품 정보 노출 방법 및 장치
KR102633572B1 (ko) * 2019-02-19 2024-02-06 삼성전자주식회사 워치 페이스 이미지를 결정하기 위한 방법 및 그 전자 장치
KR20210023214A (ko) * 2019-08-22 2021-03-04 르노삼성자동차 주식회사 Sns를 이용한 경로 안내 방법 및 이를 구동하기 위한 서버
US11644330B2 (en) * 2020-07-08 2023-05-09 Rivian Ip Holdings, Llc Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
US12092464B2 (en) * 2021-05-06 2024-09-17 International Business Machines Corporation Indoor navigational mapping through pixel color matching
US20220364878A1 (en) * 2021-05-17 2022-11-17 International Business Machines Corporation Indoor navigational route enhancements using contextual data implied by map colors
US20240125609A1 (en) * 2022-10-18 2024-04-18 SparkCognition, Inc. Image-based navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010500818A (ja) 2006-08-08 2010-01-07 デジタル メディア カートリッジ，リミティド 漫画アニメーション圧縮のためのシステムおよび方法
KR101117170B1 (ko) 2008-10-06 2012-03-07 엔에이치엔비즈니스플랫폼 주식회사 색상 정보를 이용하여 지역 내 업소 정보를 제공하는 방법 및 장치
KR102195642B1 (ko) 2019-01-23 2020-12-29 주식회사 마이셀럽스 색상정보에 기반한 검색 정보 제공 단말, 장치 및 제공 방법
JP2021526245A (ja) 2019-05-06 2021-09-30 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 推測された意図に基づく場所的拡張のトリガ
US20210278953A1 (en) * 2020-03-06 2021-09-09 Qualtrics, Llc Generating visual experience-journey timelines using experience and touchpoint data
KR102228398B1 (ko) 2020-09-08 2021-03-15 김성철 이미지 분석 기반 맞춤형 정보 제공 방법 및 시스템

Also Published As

Publication number Publication date
US20230131392A1 (en) 2023-04-27
KR20230059027A (ko) 2023-05-03
US12152890B2 (en) 2024-11-26

Similar Documents

Publication Publication Date Title
EP2402867B1 (en) A computer-implemented method, a computer program product and a computer system for image processing
US20130198197A1 (en) Method and apparatus for correlating and viewing disparate data
CN107870959A (zh) 响应于视频搜索查询提供相关视频场景
JP6779641B2 (ja) 画像分類装置、画像分類システム及び画像分類方法
Kaneko et al. Event photo mining from twitter using keyword bursts and image clustering
CN113705293B (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN107992937B (zh) 基于深度学习的非结构化数据判决方法和装置
JP2018169972A (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
US20200410397A1 (en) Search system, search method, and program
CN106844733B (zh) 基于词汇树信息融合与豪斯多夫距离结合的图像检索方法
Paolanti et al. Deep convolutional neural networks for sentiment analysis of cultural heritage
US20220083587A1 (en) Systems and methods for organizing an image gallery
KR102762013B1 (ko) 색채 기반의 공간정보 데이터베이스를 이용한 여행지 검색 시스템 및 방법
Oliveira-Barra et al. Leveraging activity indexing for egocentric image retrieval
Hezel et al. Video search with sub-image keyword transfer using existing image archives
US11899722B2 (en) Search system, search method, and program
JP4755122B2 (ja) 画像辞書生成方法及び装置及びプログラム
CN111506754A (zh) 图片检索方法、装置、存储介质及处理器
Amato et al. Visione 5.0: Toward evaluation with novice users
US20240212324A1 (en) Video retrieval system using object contextualization
Sasireka Comparative analysis on video retrieval technique using machine learning
US20240303887A1 (en) Systems and methods for identifying a design template matching a media item
Jones et al. Automated annotation of landmark images using community contributed datasets and web resources
CN117994693A (zh) Ai智能视频场景分析系统和方法
Song Large‐Scale Image Retrieval of Tourist Attractions Based on Multiple Linear Regression Equations

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211025

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240405

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250122

PG1601 Publication of registration