KR20110070505A

KR20110070505A - 이미지 검색 방법

Info

Publication number: KR20110070505A
Application number: KR1020090127348A
Authority: KR
Inventors: 김선태
Original assignee: 한국전자통신연구원
Priority date: 2009-12-18
Filing date: 2009-12-18
Publication date: 2011-06-24
Anticipated expiration: 2029-12-18
Also published as: KR101671375B1

Abstract

본 발명은 이미지를 검색하는 과정에서, 텍스트를 입력하는 과정이 배제되고, 오직 간단한 마우스나 터치 펜의 조작만으로 사용자가 원하는 이미지를 검색한다. 즉, 키워드를 알고 있을 필요 없이 단지 터치 또는 클릭 등의 방식으로 이미지에 대한 검색이 가능하다. 이에 따라 많은 플랫폼 단말이나 서비스 응용에 적용될 수 있다.

Description

이미지 검색 방법{Method For Searching Image}

본 발명은 이미지 검색 방법에 관한 것으로서, 사용자가 보다 편리하게 원하는 이미지나 비디오를 검색할 수 있는 이미지 검색 방법에 관한 것이다.

본 발명은 문화체육관광부의 IT 성장동력기술개발 사업의 일환의 연구로부터 도출된 것이다.[과제번호: 2008-S-024-02, 과제명: Rich UCC 기술 개발(표준화 연계)]

현재 디지털 카메라와 화질 높은 휴대폰의 발전으로 많은 사람들이 자신들에게 의미를 부여할 이미지/비디오를 많이 갖게 되었다. 이미지/비디오 콘텐츠가 많아짐에 따라 이들을 관리하고 손쉽게 편집할 수 있는 응용들이나 툴 들이 필요하게 된다.

도 1은 기존의 이미지나 비디오 같은 콘텐츠들을 쉽게 관리하고 보관하기 위한 이미지/비디오 검색 방법을 보여주는 순서도이다.

도 1을 참조하면, 먼저, 이미지/비디오가 획득된다(S100). 이러한 이미지/비디오는 카메라나 휴대폰 등의 휴대형 단말을 통해 획득된다. 또는 다른 사람들이 이미 획득한 이미지를 웹사이트를 통해서 얻을 수도 있다. 물론 자신의 이미지를 웹을 통해서 업로드하여 다른 사람들과 공유도 가능하다. 이어, 획득된 이미지/비디오로부터 특징을 추출한다(S200). 획득된 이미지/비디오는 고유한 특징을 가지며, 그 고유한 특징을 추출한다. 이어, 추출된 특징에 따라 이미지/비디오를 자동 분류하고, 태그를 입력한다(S300). 이렇게 함으로써, 효과적으로 검색할 수 있게 된다. 이미지 고유의 특징들은 색깔(color)에 따른 특징추출, 모양(Shape)에 따른 분류, 재질(Texture)에 따른 분류, 얼굴 검출(Face Detection)에 의한 특징 추출 등의 다양한 방법들을 동원하게 된다. 각각의 방식들은 모두 장/단점이 존재하며 하나의 특징으로는 정확히 이미지를 표현할 수 없어 각 특징 분류에 대해서 조합을 통해 이미지에 의미 부여를 하도록 시도되고 있다.

이미지에서 추출된 특징들은 이미지를 자동 분류하고 검색하는데 사용되므로, 일정 데이터베이스(Data Base: DB)로 저장된다. 자동분류 및 태그(Tag) 입력과정(S300)에서는 사용자가 분류하고자 하는 이미지를 입력하게 되면 이미 특징 추출된 이미지 DB로부터 가장 유사한 이미지를 찾아 사용자에게 추천하는 단계로 사용자의 의도에 맞는 이미지를 추천했으면 사용자는 "확인"을 통해 태그 정보를 이미지에 추가하게 되며, 아닐 경우에는 별도로 태그를 입력하게 한다.

웹 사이트에서의 이미지 분류는 대부분 텍스트(Text)에 의한 분류로 웹 페이지에 사용자가 원하는 텍스트가 있으면 그와 가까운 이미지를 보여주는 식이다.

자동 분류되고 태그정보가 추가된 후 사용자는 저장된 이미지에 대해서 자신이 관심 있는 사람 이미지 혹은 이벤트 이미지에 대해서 관련된 이미지를 보고 싶을 경우, 이미지/비디오 검색을 하게 되는데(S400), 이때 텍스트를 이용해서 원하 는 태그정보를 입력하고 이를 바탕으로 태그정보가 저장된 이미지 DB에서 관련된 이미지를 불러오게 된다.

불러온 이미지들은 사용자의 기호도에 따라 순서가 바뀔 수 있는데, 이미지지가 찍힌 시간순, 관심 이벤트 순, GPS(Global Positioning System) 정보를 이용한 장소별, 이미지에 포함된 사람 순, SNS(Social Network Service) 정보를 이용한 순위, 이미지 사용 빈도순 등으로 이미지를 리스트화 해서 사용자에게 디스플레이된다(S500).

지금까지 설명한 바에 의하면, 기존의 이미지/비디오 검색 서비스에서는 이미지에서 특징을 추출한 후, 이미지를 자동 분류하고, 태그 정보를 입력하는 과정(S300)과, 사용자가 원하는 이미지를 검색하는 과정(S400)에서 텍스트를 이용하게 되는데, 이는 PC 상에서는 마우스와 키보드를 동시에 사용해야 하는 어려움이 있으며 모바일 단말 같은 포터블 디바이스에서는 터치 펜을 이용해서 작은 화면에서 하나씩 텍스트를 입력해야 하는 어려움이 있다.

따라서, 본 발명의 목적은 사용자가 불편하게 생각하는 텍스트 입력을 배제하고, PC와 같은 환경에서는 사용자에게 편리한 마우스를 이용하고, 휴대 단말 같은 작은 화면을 제공하거나 마우스가 없는 환경에서는 터치 펜을 이용하여 간단하게 검색할 수 있게 함으로써, 편리하고, 많은 플랫폼 단말이나 서비스 응용에 사용하게 할 수 있는 이미지 검색 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 이미지 검색 방법은, 제1 기능 버튼의 누름 동작에 따라 대표이미지를 등록하는 단계와, 다수의 검색 연산자에 대응하는 다수의 제2 기능 버튼을 생성하는 단계 및 상기 다수의 제2 기능 버튼의 선택적인 누름 동작에 따라 상기 등록된 대표이미지 중에서 사용자가 원하는 이미지를 검색하는 단계를 포함한다.

본 발명에 의하면, 이미지를 검색하는 과정에서, 텍스트를 입력하는 과정이 배제되고, 오직 간단한 마우스나 터치 펜의 조작만으로 사용자가 원하는 이미지를 검색할 수 있다. 즉, 문자 입력 없이 터치로만 검색이 가능하고, 일반 검색은 문자에 기반한 인덱싱(indexing)으로 비교하지만 본 발명에서는 정수 인덱싱 방식을 사 용함으로써, 빠른 검색이 가능하다. 또한 문자 인덱싱은 태킹(tagging)을 위한 많은 저장공간이 필요하지만, 본 발명에서는 정수로 저장함으로써, 2-3 바이트의 인덱싱으로 한 글자에 1~2바이트를 필요로 하는 텍스트에 비해 충분한 저장공간을 확보할 수 있다. 또한 키워드를 알고 있을 필요 없이 단지 터치방식으로 이미지에 대한 검색이 가능하다. 이에 따라 많은 플랫폼 단말이나 서비스 응용에 적용될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 이미지 검색방법에 있어, 이미지 분류 및 테그 정보 입력과정을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 이미지 검색방법은 이미지를 분류하기 위해서는 적어도 하나 이상의 이미지를 등록하는 과정, 등록 과정 다음으로 이미지를 분류하고, 태그를 저장하는 과정, 태그 정보가 저장된 DB로부터 편리하게 이미지를 검색하고 불러오는 과정, 이미지 태그 정보 저장시 사용자와 저장 공간 간의 매칭을 통한 텍스트를 사용할 수 있는 과정을 포함한다.

첫 번째 단계로 이미지를 등록하는 과정에서는, 하나 이상의 이미지에 의미가 부여된다. 즉, 도 4에서와 같이 인물(410)의 경우 "나"와 "와이프" 등의 태그 정보를 입력한다. 본 실시예에서는, 몇 가지 이미지들이 이미 등록 과정이 완료된 것을 가정하여 설명한다. 새로운 이미지 등록과정은 아래의 단계에서 수행된다.

두 번째 단계로 이미지를 분류하고 태그 정보를 저장하는 과정에서는, 등록된 이미지들(350, 351, 352)과 사용자가 분류하고자 하는 이미지에 대해서 두 특징들을 비교하여 최소값을 갖는 이미지를 도 2에서와 같이 추천을 하고, 사용자의 승락을 얻는다. 승락을 얻지 못한 이미지는 별도로 관리되며 원하는 태그 정보를 사용자가 입력을 하게 된다. 즉, 도 2에서와 같이 분류하고자 하는 질의(Query) 이미지가(310) 들어왔을 때, 먼저 얼굴 영역(320)을 감지하고, 감지된 얼굴을 영역(320)과 이미 추출된 이미지 DB에서 유사한 이미지를 추천 이미지들(350, 351, 352)을 소정 개수 예컨대, 3개 정도 표시하여 사용자가 선택하도록 한다.

추천 이미지들(350, 351, 352) 중에 하나가 선택되면, 이 질의 이미지(310)는 선택한 추천 이미지의 집합으로 태그 정보가 추가된다. 만일 추천 이미지에 해당사항이 없으면, 도 2의 새로운 대표 이미지 등록 버튼(330, N: New)의 클릭에 따라 새로운 대표이미지가 추가된다. 대표 이미지로써, 의미 없는 질의 이미지일 경우, 새로운 대표 이미지로 등록할 필요가 없으므로, 도 2의 기타 버튼(340, E: Ect)의 누름 동작에 따라 의미 없는 질의 이미지는 기타 이미지로 분류된다.

세 번째 단계에서는, 이미지 등록과 분류/태깅 과정을 마친 후에 사용자가 원하는 이미지를 검색하는 경우, 도 3에서와 같이 텍스트가 없는 경우, 인물(410), 장소(420), 이벤트(430) 등의 카테고리(Category)에 따른 분류로 각 대표이미지가 나타나게 된다. 사용자가 원하는 것을 검색하고자 할 때 대표이미지(411)와 도 3의 왼쪽의 두 버튼(430, 440)을 이용하여 쉽게 검색을 수행할 수 있다. 이 검색과정에 서는 도 3과 같이 대표이미지에 텍스트가 없는 경우와 기능버튼이 추가된 도 4와 같이 텍스트 태그 정보가 있는 경우를 고려할 수 있다.

도 3과 같이 텍스트가 없는 경우, 대표이미지(411)와 기능버튼(430, 440)을 이용해서 사용자가 원하는 이미지를 검색할 수 있도록 하며, 도 4와 같이 대표이미지에 텍스트 정보가 추가되는 경우에는 대표이미지와 기능버튼이 눌러졌을 때 이를 확인할 수 있는 텍스트 검색 필드(460)가 추가된다.

검색에 있어서 기능 버튼은 4가지가 지원되는 데, 여러 이미지 간의 태그 정보에서 공통으로 포함하는 태그를 불러들이는 교집합을 버튼 'X'(440), 사용자가 선택한 대표이미지에 대해서 합집합을 수행하는 버튼 '＋'(430), 도 5에서처럼 트리구조에서 상위 집합에서 하나를 제외하고 싶은 것을 수행하는 차집합 버튼 '-' (470)와 검색 필드에서의 태그정보 우선 검색 순위를 결정하는 결합집합 버튼 '()' (480)이 있다.

위와 같이 대표이미지와 기능버튼 4개를 가지고 사용자가 원하는 질의 이미지에 대한 검색을 수월하게 실행할 수 있다. 실 예는 아래에 명기한다.

네 번째 단계로는 태그 저장 및 관리하는 단계로 이미지 태그 정보 저장 시 사용자와 저장 공간 간의 매칭을 통한 텍스트를 사용할 수 있도록 하는 과정으로 두번째 단계의 하나의 가지이다.

태그를 텍스트로 저장할 경우에는 별도의 텍스트 필드가 지원되어야 하는데, 도 3과 같이 텍스트가 없는 경우에는 자동으로 대표이미지에 대한 태그가 저장되어야 한다. 따라서 자동분류가 수행될 때 텍스트 없는 태그를 지원하기 위해서는 순 차적 정수값 할당이 필요하게 된다.

도 3과 같이 텍스트가 필요없는 UI(User Interface)를 사용하는 경우, 등록된 대표 이미지에 3 바이트 ~ 4 바이트 정도의 순차적인 정수값을 할당하여 등록된 이미지에 대한 태그 정보를 추가한다. 즉, 등록된 대표 이미지가 도 3에서 "나"에 0x00000020으로 태그 정보를 할당한 경우, 그 다음 등록 이미지가 들어왔을 때, 도 3의 "와이프"는 0x00000021등으로 순차적으로 태그 정보를 할당받는다. 텍스트를 입력하게 되는 경우에는 사용자가 원하는 텍스트를 입력하여 태그 정보를 추가하도록 한다.

텍스트가 있는 경우에도 별도의 대표이미지 할당 값과 텍스트 태그 정보에 대한 매핑 정보만 있으면 도 3처럼 매핑 정보를 가지고 대표이미지의 텍스트를(도 5의 490)보여줄 수 있다. 이렇게 하면 텍스트를 입력해야 하는 불편함이 사라진다. 또한 4 바이트 정도의 값을 가지고 비교를 수행하므로, 더욱 신속한 검색이 가능하다. 뿐만 아니라 대표 이미지마다 4 바이트만 필요하므로 저장공간을 절약할 수 있다. 여기서는 4 바이트를 할당하였으나, 3 바이트로 할당할지라도 백 만개 이상의 이미지 관리가능하므로, 3 바이트로 할당할 수도 있다.

도 3은 본 발명의 일실시예에 따른 텍스트 태그가 없는 기본 검색 화면의 일례를 보여주는 도면이다.

도 3을 참조하면, 이미지 검색 방법 중 세 번째 단계에서 사용자가 편리하게 원하는 이미지를 검색하여 불러올 수 있도록 하는 경우이다. 이 경우에는 특징 추출 후 도 3에 도시된 바와 같이, 인물에 대한 대표 이미지들(411, 412)이 표시되 며, 다른 카테고리(420, 430)의 경우에도 동일하게 적용된다. 즉 장소나 이벤트에서도 대표 이미지가 표시된다. 일례로, "새해맞이"하는 "나"에 대한 이미지를 검색하고자 하는 경우, 인물 카테고리(410)에서 첫 번째 대표 이미지(412)를 클릭하고, 교집합인 기능 버튼 "X"(440)을 누르고, 이벤트에서 새해맞이 대표 이미지(431)를 클릭하고, 검색 버튼(450)을 누르면, 사용자가 원하는 "새해 and 나"에 대한 이미지를 불러올 수 있다.

도 4는 본 발명의 다른 실시예에 따른 텍스트 태그가 있는 경우, 이미지 검색 화면의 일례를 보여주는 도면이다.

도 4를 참조하면, 텍스트 태그 정보가 있는 경우에는, 대표 이미지 옆에 태그 정보(490)가 표시되어, 대표 이미지가 무엇을 의미하는 것인지를 사용자가 용이하게 파악할 수 있다. 이 경우에는 대표 이미지와 기능 버튼이 클릭될 때마다 텍스트 검색 필드(460)에 키워드와 기능 버튼에 대한 것이 입력된다. 도 4에서는 도 3과 같은 "새해 맞이하는 나"에 대응하는 이미지 검색 과정을 보여주는 도면이다.

도 5는 본 발명의 또 다른 실시예에 따른 이미지 검색 화면으로서, 대표이미지가 트리(Tree) 구조로 이루어진 경우에서의 이미지 검색 화면의 일례를 보여주는 도면이다.

도 5에서는 생일파티에서 나를 제외한 가족을 포함하는 이미지 검색의 일례를 보여준다. 따라서, 텍스트 검색 필드(460)에는 ("가족"-"나") "×" "생일"와 같은 텍스트가 표시된다.

구체적으로, 인물 카테고리(410)에서 가족에 대응하는 대표이미지를 클릭하 면, 가족이 선택되며, 한번 더 클릭하면 가족 구성원(413)이 트리 형식으로 나열되어 표시된다. "-" 버튼(470)을 클리하여, 차 집합 기능을 수행하도록 하며 가족에서 표시되는 "나"의 대표 이미지를 클릭하고 기능 버튼"()"을 눌러 차집합을 먼저 수행하는 순서를 정한다. 이후에 교집합(440) 버튼과 "생일"을 선택한 후, 검색버튼(450)을 누르면, 원하는 검색이 수행된다.

이상 설명한 바와 같이, 본 발명의 이미지 검색 방법에서는, 이미지를 검색하는 과정에서, 텍스트를 입력하는 과정이 배제되고, 오직 간단한 마우스나 터치 펜의 조작만으로 사용자가 원하는 이미지를 검색할 수 있다. 이에 따라 많은 플랫폼 단말이나 서비스 응용에 적용될 수 있다.

한편, 본 명세서에서는 기능 버튼을 '+', '×', '-' 등으로 산술 연산 기호로 표시된 기능 버튼을 설명하고 있으나, 'AND', 'OR' 및 'XOR' 등으로 표시된 기능 버튼을 예로 들 수도 있다.

또한, 검색의 편리성 증대를 위하여, 버튼 사용 회수를 줄일 수 있는 방안이 제시될 수도 있다. 예컨대, "나", "와이프", "아들"이 모두 포함된 사진을 검색하는 경우, "나" "×" "와이프" "×" "아들"의 순서로 5번의 버튼을 클릭하게 된다. 이러한 클릭 방식을 오직 한가지 기능 버튼이 필요할 때는 "×" "나" "와이프" "아들"과 같은 순서의 클릭 방식처럼 기능확장이 가능할 수 있다. 이렇게 함으로써, 버튼의 클릭횟수를 줄 일수 있다.

도 2는 본 발명의 일실시예에 따른 이미지 검색방법에 있어, 이미지 분류 및 태그 정보 입력과정을 설명하기 위한 도면이다.

Claims

제1 기능 버튼의 누름 동작에 따라 대표이미지를 등록하는 단계;

다수의 검색 연산자에 대응하는 다수의 제2 기능 버튼을 생성하는 단계; 및

상기 다수의 제2 기능 버튼의 선택적인 누름 동작에 따라 상기 등록된 대표이미지 중에서 사용자가 원하는 이미지를 검색하는 단계;

를 포함하는 이미지 검색 방법.