KR100997541B1 - 신상품 추천문제 해결을 위한 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 이미지 추천 방법 및 장치 - Google Patents

Abstract

본 발명은 신상품 추천문제 해결을 위한 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 이미지 추천 방법 및 장치에 관한 것으로서, 보다 구체적으로는 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법에 있어서, (1) 고객 구매목록 데이터베이스로부터 소정의 시간마다 모델을 구축하여 사용자 프로파일을 생성하는 단계; 및 (2) 상기 구축된 모델을 이용하여 대상 사용자가 구매할 확률이 높은 멀티미디어 이미지를 추천하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 사용자 프로파일 기반 이미지 추천 방법 및 장치에 따르면, 신상품 추천문제 해결을 위한 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 이미지 추천 방법을 사용함으로써, 고객 선호도에 대한 입력 데이터가 희박한 경우에 추천 결과의 정확도가 떨어지는 문제와 신상품인 경우에 그 상품을 추천할 수 없게 되는 문제를 해결하는 이미지 추천 방법을 제공할 수 있도록 한다.

협업필터링, 사용자 프로파일, 이미지 추천, 군집화

Description

신상품 추천문제 해결을 위한 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 이미지 추천 방법 및 장치 {THE METHOD AND APPARATUS FOR IMAGE RECOMMENDATION BASED ON USER PROFILE USING FEATURE BASED COLLABORATIVE FILTERING TO RESOLVE NEW ITEM RECOMMENDATION}

본 발명은 사용자 프로파일 기반 이미지 추천 방법 및 장치에 관한 것으로서, 보다 구체적으로는 신상품 추천문제 해결을 위한 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 이미지 추천 방법 및 장치에 관한 것이다.

최근 유선 인터넷에서 무선 인터넷으로 더 나아가 유비쿼터스 네트워크로 정보통신 기술이 진화하면서 이미지, 음악, 동영상 등 수많은 멀티미디어 콘텐츠들이 유무선 통신망을 통해 사용자들에게 제공되고 있다. 그러나 휴대 단말기를 통해 멀티미디어 서비스를 제공받는 모바일 인터넷 환경에서는 작은 LCD 화면, 입력 장치의 제한, 접속 브라우저 능력의 한계 등으로 인하여 기존 유선 웹 환경과 달리 자유로운 검색이 어려우며 이에 대한 고객의 서비스 만족도도 낮다.

따라서 향후 멀티미디어 서비스의 발전은 보다 개인적인 취향에 맞는 개별적 인 서비스가 주종을 이룰 것으로 전망되고 있다. 이에 따라 각 이용자의 취향을 적기에 파악하여 개개인의 취향과 부합하는 멀티미디어 콘텐츠만을 제공함으로써 고객이 보다 적은 노력으로 원하는 콘텐츠를 찾을 수 있도록 지원하는 개인화된 멀티미디어 추천시스템의 필요성이 관련 산업에서 대두하고 있다.

추천시스템은 통계적 기법과 지식탐사기술(Knowledge Discovery Technology)을 이용하여 사용자의 취향에 가장 부합하는 상품을 추천해주는 시스템으로써, 고객들의 편의를 도모하고 교차판매(Cross Sell) 및 매출 증대에 초점을 맞춘 시스템이다. 현재까지 추천시스템을 구현하기 위한 다양한 기법들이 개발되어 왔는데, 이중에서 협업필터링(Collaborative Filtering; 이하 ‘CF’)이 가장 성공적인 추천 기법으로 알려져 있으며 Amazon.com, CDNow 등과 같은 e-비즈니스 사이트에서 널리 활용되고 있다.

CF 기반 추천시스템은 상품을 추천하고자 하는 고객과 취향이 유사한 고객들의 의견을 반영하여 추천 대상 고객이 아직 구매하지 않은 상품에 대한 선호도를 예측한 후 선호도가 높을 것으로 예측되는 상품을 추천하는 시스템이다. 기존의 CF 기반 추천 프로세스는 크게 입력 데이터 구성, 유사 군집 탐색, 추천 상품 결정의 3 단계로 나누어볼 수 있다. (1) CF 기반 추천시스템에서의 입력 데이터는 보통 n개의 상품에 대한 m명의 고객 선호도 집합으로 구성되며, 이는 m x n 고객-상품 행렬 P로 표현된다. 예를 들어, 구매 데이터로부터 선호도를 측정할 경우, 행렬 P의 i번째 행 j번째 열의 값 P_ij는 i번째 고객이 j번째 상품을 구매했으면 1의 값을 그렇지 않으면 0의 값을 각각 가지게 된다. (2) 유사 선호도 군집 탐색은 유사 선호도 군집 탐색은 CF 기반 추천 시스템에서 가장 중요한 단계로써 고객-상품 행렬 P를 이용하여 각 고객 i에 대하여 가장 선호도가 유사한 j명의 유사 군집(Neighborhood)을 찾는 과정이다. 일반적으로 고객 간의 유사도 측정방법으로써 피어슨 상관계수(Pearson Correlation), 코사인 프로젝션(Cosine Projection) 등이 사용되고 있다. (3) 추천 상품 결정은 상품 추천을 위한 마지막 단계로써 설정된 유사 군집으로부터 λ개의 추천 상품을 결정한다. 추천 상품들을 선택하기 위한 기준으로써 일반적으로 빈발 구매 상품 추천(Most-frequent Item Recommendation)이 사용된다. 빈발 구매 상품 추천은 대상 고객의 유사 군집에 대한 구매 이력 데이터를 분석하여 상품별 구매 빈도가 높은 상위 λ개의 상품을 추천하는 방법이다.

그러나 이러한 협업 필터링은 가장 성공적인 추천기법으로 알려져 다양한 인터넷 비즈니스 분야에서 적용되고 있음에도, 고객 선호도에 대한 입력 데이터가 희박한 경우에 추천 결과의 정확도가 떨어지는 문제와 신상품인 경우에는 그 상품에 대한 선호도를 알 수 없어 그 상품에 대하여 누군가가 선호도를 입력하거나 구매하기 전에는 그 상품을 추천할 수 없게 되는 근본적인 결함으로 인하여 멀티미디어 콘텐츠 추천에는 적합하지 않다는 문제가 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 고객 선호도에 대한 입력 데이터가 희박한 경우에 추천 결과의 정확도가 떨어지는 문제와 신상품인 경우에는 그 상품에 대한 선호도를 알 수 없어 그 상품을 추천할 수 없게 되는 문제를 해결하는 사용자 프로파일 기반 이미지 추천 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 멀티미디어 이미지 추천 방법은, 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법에 있어서,

(1) 고객 구매목록 데이터베이스로부터 소정의 시간마다 모델을 구축하여 사용자 프로파일을 생성하는 단계; 및

(2) 상기 구축된 모델을 이용하여 대상 사용자가 구매할 확률이 높은 멀티미디어 이미지를 추천하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)은,

(a) 고객 구매목록 데이터베이스 내의 모든 배경화면 이미지에 대하여 다차원 속성공간 내의 특징 벡터를 이용하여 여러 개의 의미 있는 영역들로 배경화면 이미지를 분할하는 단계;

(b) 상기 분할된 배경화면 이미지의 영역들로부터 특징을 추출하여 특징 공간상으로 사상하는 단계; 및

(c) 상기 구매목록 데이터베이스를 분석하여 사용자가 구매한 배경화면 이미지를 사용자 선호도를 기반으로 한 특징군집들의 집합으로 표현하여 사용자 프로파일을 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

더욱 바람직하게는, 상기 단계 (a)는, 고객 구매목록 데이터베이스 내의 모든 배경화면 이미지의 각 픽셀을 다차원 속성공간 내의 특징 벡터를 이용하여 특징 공간의 점으로 취급하고, 선택된 특징에 따라 유사한 픽셀들을 묶음으로서 이미지를 분할할 수 있다.

더욱 바람직하게는, 상기 단계 (b)에서의 추출된 특징은, 상기 분할된 배경화면 이미지의 영역들로부터 추출된 영역의 크기, 영역의 위치, 2차 모멘트, 영역의 색상, 및 질감 중의 적어도 하나를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (c)에서의 특징군집은, 임의의 사용자가 구매한 적이 있는 배경화면 이미지들의 영역들로 나타낸 점, 군집의 중심, 분산, 유효반경, 및 군집의 배경화면 이미지를 구매한 사용자에 대한 정보 중의 적어도 하나를 포함할 수 있다.

바람직하게는, 상기 단계 (2)는,

(d) 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠들을 이용하여 유사군집을 설정하는 단계; 및

(e) 상기 설정된 유사군집을 기초로 배경화면 이미지 추천 목록을 생성하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

더욱 바람직하게는, 상기 단계(d)는,

대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠를 이용하여 각각의 군집을 형성하는 단계;

질의를 통하여 상기 각각의 군집 간의 거리를 계산하는 단계;

상기 계산 결과 구해진 거리에 따라 이웃 군집을 선택하는 단계; 및

상기 이웃 군집 중 대상 사용자를 위한 유사도 군집을 설정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

더욱 바람직하게는, 이전에 구매되지도 않았고 각 사용자의 군집에도 포함되지 않은 새로운 멀티미디어 이미지 콘텐츠가 제공된 경우, 상기 새로운 멀티미디어 이미지 콘텐츠가 포함될 군집을 결정하는 단계;

상기 결정된 군집의 유효 반경 거리 내에 상기 새로운 멀티미디어 이미지 콘텐츠가 위치하는 경우, 상기 유사도 군집에 포합하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

더욱 바람직하게는, 상기 단계 (e)는 상기 설정된 유사군집으로부터 구매 빈도가 높은 상위 특정 개수의 멀티미디어 이미지 콘텐츠를 추출하여 추천 목록을 생성할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 멀티미디어 이미지 추천 장치는, 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 장치로서,

(a) 고객 구매목록 데이터베이스 내의 모든 배경화면 이미지에 대하여 특징 벡터를 이용하여 여러 개의 의미 있는 영역들로 배경화면 이미지를 분할하는 이미지 분할부;

(b) 상기 배경화면 이미지 분할부에서 분할된 배경화면 이미지의 영역들로부터 특징을 추출하여 특징 공간상으로 사상하는 특징 추출부;

(c) 상기 고객 구매목록 데이터베이스를 분석하여 사용자가 구매한 배경화면 이미지를 사용자 선호도를 기반으로 한 특징군집들의 집합으로 표현하여 사용자 프로파일을 생성하는 사용자 프로파일 생성부;

(d) 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠들을 이용하여 유사군집을 설정하는 유사군집 설정부; 및

(e) 상기 유사군집 설정부에서 설정된 유사군집을 기초로 배경화면 이미지 추천 목록을 생성하는 추천목록 생성부를 포함하는 것을 그 구성상의 특징으로 한 다.

본 발명의 사용자 프로파일 기반 배경화면 이미지 추천 방법 및 장치에 따르면, 신상품 추천문제 해결을 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일 기반 배경화면 이미지 추천 방법 및 장치를 사용함으로써, 고객 선호도에 대한 입력 데이터가 희박한 경우에 추천 결과의 정확도가 떨어지는 문제와 신상품인 경우에 그 상품을 추천할 수 없게 되는 문제를 해결하여 멀티미디어 이미지 콘텐츠에 적합한 추천 방법을 제공할 수 있도록 한다.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시 예에 대하여 상세하게 설명하기로 한다.

일반적으로 협업필터링은 다음과 같은 문제점으로 인해 멀티미디어 콘텐츠 추천에 적합하지 않은 것으로 판단되므로 이하에서는 문제 파악 및 본 발명에 따른 해결 방법을 제시한다.

첫째는, 입력 데이터의 희박성(sparsity) 문제로 CF 기반 추천시스템은 고객의 선호도 데이터를 많이 확보할수록 추천의 정확도가 높아진다. 그러나 온라인 멀티미디어 서비스의 성장과 함께 유무선 웹 사이트에서 취급하는 콘텐츠가 많아짐에 따라 고객의 직접 평가나 구매정보 분석을 통하여 수집되는 선호도 데이터가 존재 하지 않은 콘텐츠의 개수가 상대적으로 많아진다. 따라서 고객-상품 행렬은 희박 행렬 (Sparse Matrix)일 수밖에 없으며, 유사군집을 탐색하는 과정에서 아주 적은 수의 선호도 데이터를 사용하므로 고객들 간의 유사도 측정 시 신뢰성이 떨어지게 된다. 이러한 현상은 결국 추천 결과의 정확도를 실추 시키게 하는 주요인으로 작용한다.

둘째는, 신상품 추천 문제로 협업 필터링은 상품에 대한 고객의 선호도 데이터를 기반으로 추천하므로 신상품의 경우와 같이 어느 고객도 평가하지 않은 상품은 그 상품의 선호도를 알 수 없기 때문에 누군가가 선호도를 입력하거나 구매하기 전에는 그 상품을 추천할 수 없게 된다. 따라서 멀티미디어 콘텐츠 기술의 발전과 고객 취향의 급속한 변화에 따라 수시로 새로운 멀티미디어 콘텐츠가 제공되는 웹 사이트에 협업 필터링을 적용할 경우, 매우 치명적인 약점이 될 수 있다.

이에 대한 해결책으로서, 본 발명은 내용기반 필터링(content-based filtering)을 협업 필터링과 혼합한 사용자 프로파일 기반 배경화면 이미지 추천방법을 제시하였다. 내용기반 필터링이란 내용이 유사한 상품은 사용자가 유사한 평가를 하리라는 가정에 의한 것으로서, 내용기반 필터링을 협업 필터링과 혼합한 사용자 프로파일 기반 배경화면 이미지 추천방법은 평가하지 않은 상품들의 평가 값을 내용기반 필터링으로 미리 예측함으로써 예측된 평가 값과 실제 사용자가 평가한 값들을 함께 고려하여 두 사용자의 유사 선호 경향을 분석하여 협업필터링의 근 본적인 문제를 해결하고 추천의 정확도를 높일 수 있다.

또한, 현재까지의 영화 및 음악 추천 시 개발된 추천방법은 정보검색 (Information Retrieval) 분야의 연구결과를 바탕으로 키워드 기반의 내용 속성을 사용하는 연구만이 진행되어 왔다. 그러나 키워드 기반의 내용 속성 추출방법은 사람의 주관적인 판단에 의해 속성 정보가 입력되므로 다양한 멀티미디어의 속성(예: 배경화면 이미지속성- 색상, 질감, 모양 등 , 음악속성 음정, 박자, 빠르기 등, 비디오속성 대표 프레임의 색상, 질감, 모션 픽처)을 정확하고 객관적으로 측정하기가 어려워 멀티미디어의 내용 속성에 대한 사용자의 선호도를 분석하는데 한계가 있다. 따라서 개별 고객이 선호하는 멀티미디어 정보를 다차원 특징 공간상의 점들(하나의 선호도 군집)로 표현한 후 추천 대상 고객과 다른 고객 간의 기하학적 거리를 계산하여 선호도 유사군집을 구함으로써 위에서 논의한 협업필터링의 문제점을 해결할 수 있다.

도 1은 본 발명의 일실시예에 따른 사용자 선호도를 고려한 멀티미디어 추천 알고리즘의 전체적인 개요를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 배경화면 이미지 추천 방법은, 과거 일정기간 동안 모바일 단말기를 이용하는 사용자들의 캐릭터 이미지 구매 내역과 배경화면 이미지들의 구매 패턴이 주어질 때 대상고객이 좋아할 배경화면 이미지들을 시각적 속성에 기반을 두어 추천하고자 한다. 특히, 기존의 CF와 달리 모델 구축(model building phase) 및 배경화면 이미지 추천(image recommendation phase)의 두 가지 단계로 구성된 새로운 고객 프로파일 구성방법을 제시한다. 모델 구축 단계는 고객 구매목록 데이터베이스로부터 신뢰할 수 있는 모델을 구축하기 위하여 주기적인 시간 단위로 한 번씩 수행되며, 반면에, 배경화면 이미지 추천단계는 대상고객이 구매할 확률이 높은 콘텐츠를 추천하기 위하여 사용된다.

모델 구축단계는 배경화면 이미지 분할단계, 시각적 속성 추출단계, 구매목록 데이터베이스를 이용하여 사용자가 구매한 배경화면 이미지들을 특징공간에서 군집하는 단계로서 첫 번째는 데이터베이스 내에 있는 모든 배경화면 이미지들에 대하여 배경화면 이미지 분할 방법을 수행한다. 이때 하나의 배경화면 이미지는 여러 개의 의미 있는 영역들로 분할된다. 두 번째는 배경화면 이미지의 영역들로부터 색상, 질감, 모양 등의 다양한 시각적 특징들을 추출한다. 영역에 기초한 지역화된 특징은 개체를 잘 표현할 수 있기 때문에 배경화면 이미지의 전체 픽셀로부터 추출한 전역화된 특징보다 사용자의 상위수준 개념을 확실히 파악할 수 있다. 마지막으로는 구매목록 데이터베이스를 분석하여 사용자가 구매한 배경화면 이미지들을 특징공간에서 군집하여 사용자 프로파일을 구축한다. 배경화면 이미지는 특징벡터 공간에서 각각 특징 벡터로 표현될 수 있으며, 마찬가지로 영역들도 특징공간에서 점들로 나타낼 수 있다. 즉, 사용자가 구매한 배경화면 이미지들은 특징공간에서 여러 개의 점들로 표현되며 이들을 그룹화하여 사용자별로 군집을 구성하게 된다. 일반적인 CF 기법과는 달리 본 발명에 따른 FBCF(Feature Based Collaborative Filtering) 기법에서는 사용자가 구매한 배경화면 이미지들을 벡터 공간상의 특징벡터들로 표현하여 구해진 군집의 집합을 사용자 프로파일로 사용하여 사용자 간의 선호도를 벡터 공간상의 군집 간 거리함수로 측정할 수 있게 한다.

배경화면 이미지 추천 단계는 상기 모델구축 단계에서 만들어진 특징군집들의 집합을 이용하여 대상고객의 이웃들을 탐색한다. 특징군집들의 집합에 대한 k-최근접 탐색방법을 수행하여 대상고객의 군집과 최 근접한 이웃군집을 형성하고 난 후, 최종적으로 상기 이웃군집의 군집들에 속한 배경화면 이미지들과 대상고객의 군집반경에 포함된 신상품들 중 구매확률이 상위-N번째에 들어가는 배경화면 이미지들을 추천하게 된다. 즉, 멀티미디어의 특성을 이용하여 유사한 속성을 가진 콘텐츠들을 추천할 수 있는 장점을 가지고 있다. 본 발명에서 제안하는 멀티미디어 이미지 콘텐츠 추천 알고리즘의 개요는 다음과 같다.

본 발명에 따른 배경화면 이미지 콘텐츠 추천 알고리즘은 배경화면 이미지 콘텐츠의 영역특징 데이터베이스, 구매 데이터베이스, 사용자 프로파일 P 등의 입력을 받아 추천된 배경화면 이미지 콘텐츠 목록 R을 출력하게 되는데, 첫 번째는 영역 특징 데이터베이스 및 구매 데이터베이스 구축으로써 데이터베이스 내의 모든 배경화면 이미지들에 대하여 배경화면 이미지분할방법을 적용하여 영역들을 구성한다. p차원 특징 공간 R^p에서 캐릭터 배경화면 이미지들을 구성하는 영역들의 특징 벡터 x_i={x_i1, x_i2, , x_ik}, i=1, …, N을 각각 추출하고 배경화면 이미지 영역 특징 데이터베이스를 구축한다. 모든 사용자에 대하여 배경화면 이미지의 구매내역을 구매 데이터베이스에 저장한다. 두 번째는 사용자 프로파일 생성으로써 사용자들이 구매한 배경화면 이미지들을 그룹화하여 특징군집들의 집합으로 사용자 프로파일을 구성하는 과정이다. 특징군집은 각각 임의의 사용자 a가 구매한 적이 있는 배경화면 이미지들의 영역을 묶은 군집으로 나타낸다. 군집의 중심과 분산, 유효반경, 군집에 속한 사용자 정보와 데이터들을 사용자 프로파일에 저장한다. 세 번째는 이웃군집 형성으로서, 대상고객 c와 임의의 다른 사용자 a의 프로파일에 있는 콘텐츠들은 각각 군집을 형성한다. 이웃군집을 구하기 위하여 특징군집들의 집합을 이용한 k-최근접 질의를 수행한다. 기본적으로 대상고객 c와 다른 사용자 a의 군집간 거리는 T² _ca를 이용하여 계산하며 대상고객 c를 위한 이웃 군집 H={h₁, h₂, …, h_L}, c￠H를 값의 오름차순으로 L개를 구한다. 네 번째로는 추천 목록 생성으로써 이웃군집이 과거에 구매한 적이 있는 배경화면 이미지들 x에 대한 대상고객 c의 구매확률 PLS(c, x)을 계산하여 구매빈도가 높은 상위 k개의 콘텐츠 R={χ₁′,?樂?₂′,?煉?, χ_k′}을 추천한다.

도 2는 본 발명의 일실시예에 따른 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법을 도시한 도면이다. 도 2에서 도시된 바와 같이, 본 발명의 일실시예에 따른 멀티미디어 이미지 추천 방법은, DB 내의 모든 배경화면 이미지를 분할하는 단계(S201), 특징을 추출하여 특징 공간으로 사상하는 단계(S202), 사용자 선호도를 기반으로 한 사용자 프로파일 생성하는 단계(S203), 각 사용자의 멀티미디어 이미지 콘텐츠를 이용하여 각각의 군집을 형성하는 단계(S204), 새로운 멀티미디어 이미지 콘텐츠인지 판단하는 단계(S205), 각 군집간의 거리를 계산하는 단계(S206), 상기 계산 결과에 따라 유사도 군집을 선택하는 단계(S207), 대상 사용자를 위한 유사 군집을 설정하는 단계(S208), 설정된 유사 군집을 기초로 배경화면 이미지 추천 목록을 생성하는 단계(S209), 새로운 멀티미디어 이미지 콘텐츠가 포함될 군집을 결정하는 단계(S210), 군집의 유효 반경 거리 내에 위치하는지 여부를 판단하는 단계(S211), 유사도 군집에 포함하는 단계(S212)를 포함한다.

본 발명에 따른 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법은 크게 (1) 고객 구매목록 데이터베이스로부터 소정의 시간마다 모델을 구축하여 사용자 프로파일을 생성하는 과정 및 (2) 상기 구축된 모델을 이용하여 대상 사용자가 구매할 확률이 높은 멀티미디어 이미지를 추천하는 과정으로 구성된다. 상기 사용자 프로파일을 생성하는 과정은 S201 ~ S203의 단계에 의해 수행된다.

단계 S201은, DB 내의 모든 배경화면 이미지를 분할하는 역할을 한다. 고객 구매목록 데이터베이스 내의 모든 배경화면 이미지에 대하여 다차원 속성공간 내의 특징 벡터를 이용하여 여러 개의 의미 있는 영역들로 배경화면 이미지를 분할한다. 이를 위하여 고객 구매목록 데이터베이스 내의 모든 이미지의 각 픽셀을 다차원 속성공간 내의 특징 벡터를 이용하여 특징 공간의 점으로 취급하고, 선택된 특징에 따라 유사한 픽셀들을 묶음으로서 이미지를 분할한다. 배경화면 이미지 분할을 위하여 Normalized cuts 세그먼테이션 방법을 수정한 알고리즘을 사용하였다. Normalized cuts는 점들의 집합을 부분집합들로 구분하기 위해 그래프 이론방법을 적용하는데, 이 방법은 배경화면 이미지를 영역으로 분할하는 경우에 적용될 수 있으며, 배경화면 이미지의 각 픽셀을 특징공간의 점으로 취급하고 선택된 특징에 따라 매우 유사한 픽셀들을 묶어준다. 도 3은 본 발명의 일실시예에 따른 Normalized cuts 세그먼테이션을 이용하여 추출된 영역들을 나타낸 도면이다. 도 3은 SKT의 캐릭터 이미지 다운로드 서비스에서 제공하고 있는 원본 배경화면 이미지와 Normalized cuts 세그먼테이션 방법을 이용하여 영역을 구별한 배경화면 이미지의 예시로서, 배경화면 이미지에 포함된 객체를 구별하는 영역을 만들었다. 즉, 배경화면 이미지는 객체를 포함하는 다수의 영역들로 표현된다.

단계 S202는, 상기 단계 S201에서 분할된 이미지의 영역들로부터 특징을 추출하여 특징 공간상으로 사상하는 역할을 한다. S202 단계는 본 발명에 따른 입력 데이터의 희박성 문제 해결을 위한 방법으로서, 사용자 프로파일을 기존의 고객-상품 행렬 대신에 다차원 속성공간 내의 특징벡터들로 표현한다. 따라서 사용자가 선호하는 상품들이 속성공간의 점들로 표현되며, 이들은 군집을 이루게 된다. 입력 데이터가 적은 경우 군집 내의 점들이 적어지게 되어 군집 간 거리함수 계산할 때 문제가 발생할 수도 있기 때문이다. 또한, 상기 추출된 특징은, 상기 단계 S201에서 분할된 이미지의 영역들로부터 추출된 영역의 크기, 영역의 위치, 2차 모멘트, 영역의 색상, 및 질감 중의 적어도 하나를 포함한다. 한 상품은 여러 개의 특징벡터, 예를 들어, 이미지의 경우 여러 개의 영역(region)으로 식별되며, 각각 영역의 특징벡터를 추출하여 공간상에 여러 개의 점으로 표현한다. 사용자가 한 배경화면 이미지를 구매하는 경우 그 배경화면 이미지를 표현하는 여러 개의 영역 특징 벡터들이 입력되므로 데이터의 희박성 문제를 해결할 수 있다. 즉, 하나의 상품에 대하여 속성공간상에 다수의 점들로 표현하는 시도이다.

이를 위하여 이미지의 모양을 표현하기 위하여 영역의 크기 RS, 영역의 위치, 2차 모멘트 등의 속성을 사용한다. 영역의 크기 RS는 이미지의 높이가 H와 폭이 W이며 영역의 넓이가 A일 때, 이미지의 크기에 의해 정규화된 영역의 면적으로 구해진다. 영역의 위치는 이미지 내 RS＝A／(WｘH)의 객체의 상대적인 위치를 나타낸다. 축척 불변성(scale invariance)을 유지하기 위하여 각 좌표들은 이미지의 높이와 폭에 의해 각각 정규화한다. 먼저 영역의 중심 좌표는 행과 열에 따라 영역 픽셀의 분포를 나타낸 히스토그램의 평균값 x_cm, y_cm이 구해지며, 영역의 위치 x_loc, y_loc는 x_cm, y_cm를 폭과 높이에 관하여 정규화한 값이다. 2차 모멘트는 영역의 중심 좌표를 기준으로 한 영역의 픽셀들의 표준편차이다. 영역의 픽셀 개수를 N으로 할 때 x축과 y축 상의 영역의 2차 모멘트는 다음 수학식 1과 같이 구해진다.

Compactness는 영역의 면적을 둘레의 길이의 제곱으로 나눈 비율이다. 영역의 모양이 원일 때 가장 높은 값을 가지며, 오목한 모양일 때 작은 값을 갖는다. 첨도(convexity)는 영역의 볼록한 정도를 나타낸다. 영역의 면적을 철포(convex hull)의 면적으로 나누어 구할 수 있다. 이를 정리하면 다음 수학식 2와 같다.

Compactness = A/P² , Convexity = A/A_hull

색상은 객체를 표현하는 유용한 특성 중의 하나이다. 영역의 색상은 L*a*b 색상공간에서의 픽셀들의 평균과 표준편차를 계산한 6차원의 속성 값들로 나타낸다. 질감은 영역 안에 있는 명암 패턴의 변화를 나타낸다. 각각 다른 규모(scale)와 방향을 갖는 선형 필터뱅크를 사용하여 필터에 대한 영역 내의 픽셀들의 반응을 평균하였으며, 필터뱅크의 짝수 부분은 가우시안 커널의 2차 미분을 이 용하여 홀수 부분은 힐버트 변환을 이용한다.

단계 S203은, 사용자 선호도를 기반으로 한 사용자 프로파일을 생성하는 역할을 한다. 본 단계는 상기 구매목록 데이터베이스를 분석하여 사용자가 구매한 배경화면 이미지를 사용자 선호도를 기반으로 한 특징군집들의 집합으로 표현함으로써 사용자 프로파일을 생성한다. 이때 특징군집들의 집합을 구성하는 목적은 이웃 군집을 보다 효율적으로 찾고자 하는 것이다. 또한, 상기의 특징군집은, 임의의 사용자가 구매한 적이 있는 배경화면 이미지들의 영역들로 나타낸 점, 군집의 중심, 분산, 유효반경, 및 군집의 배경화면 이미지를 구매한 사용자에 대한 정보 중의 적어도 하나를 포함한다. 사용자 프로파일 생성 시, 특징군집은 임의의 사용자 a가 구매한 적이 있는 배경화면 이미지들의 영역들로 나타낸 점들을 포함하며, 군집의 중심, 분산, 유효반경과 군집의 배경화면 이미지를 구매한 사용자에 대한 정보를 포함한다. UP ={ C₁, C₂, …, C_k}로 표현한다. 여기서, C_i는 i번째 사용자가 구매한 배경화면 이미지들을 구성하는 영역들의 집합 {x_i1, x_i2, …,x_in}={{x_j11 x_j12, …, x_j1m}, {x_i21, x_i22, …, x_i2m}}이다. n_i는 사용자 i가 구매한 배경화면 이미지들의 개수이고, {x_i11, x_i12, …, x_i2m }은 배경화면 이미지 x_i1을 구성하는 영역들의 집합이다. 군집 C_i는 군집의 중심 x_i, 가중치 공분산 행렬 S, 유효 반경 γ과 사용자에 대한 정보를 포함한다. 이를 수학식으로 정리하면 다음 수학식 3과 같 다.

평균 벡터는 초평면 타원의 위치를 결정한다. 반면에 공분산 행렬은 형태와 방향을 나타낸다. 각 군집의 상대적인 가중치는 각 군집에 있는 점들의 적합성 점수들의 합으로 정해진다. 일반적으로 군집을 타원으로 표현할 수 있다. 유효 반경은 새로운 배경화면 이미지 x가 주어진 군집에 속하는지 여부를 결정하는 임계값이다. 임의의 점 x가 타원 안에 위치하면 다음 수학식 4와 같은 성질을 만족한다.

데이터가 정규분포를 따른다고 가정하고 α를 유의수준이라고 하자. 주어진 유의수준에 대하여, 데이터의 100(1-α)%(일반적으로 95~99%)가 타원 내에 위치하며, F_{p , n-p}(α) 거리함수는 자유도가 p, n-p 인 분포를 따른다. α가 감소할수록, 주어진 유효 반경은 증가한다. 타원의 바깥에 위치한 점들은 이상치(outlier)로 인식되며 새로운 군집을 형성한다. i번째 사용자가 구매한 배경화면 이미지들의 영역의 집합을 표현한 군집 C_i의 크기를 n_i, 평균을 x_i = ∑_{χ∈ Ci} x/ni, 분산을 Si = ∑_χ∈Ci (x-x_i)(x-x_i)^T라고 할 때, 두 군집 C_i와 C_j의 공분산은 S_Pij = (S_i + S_j)/(n_i + n_j -2)이다.

본 발명에서는 이웃군집 형성에 적합한 군집 간 거리함수로서 다음과 같이 Hotelling의 T_ij 함수를 사용한다. 두 군집 C_i와 C_j 간의 거리함수는 다음 수학식 5와 같이 정의된다.

상기 사용자 프로파일 생성 후, 대상 사용자가 구매할 확률이 높은 멀티미디어 이미지를 추천하는 단계(2)는 S204~S212 의 순서로 수행되는데, 이는 다시 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠들을 이용하여 유사도 군집을 설정하는 (d)단계(S204~S208, S210~S212)와 상기 설정된 유사도군집을 기초로 배경화면 이미지 추천 목록을 생성하는 (e)단계(S209)로 구성된다.

단계 S204는 각 사용자의 멀티미디어 이미지 콘텐츠를 이용하여 각각의 군집을 형성하는 역할을 한다.

단계 S205는 새로운 멀티미디어 이미지 콘텐츠인지 여부를 판단하는 역할을 한다. 이는 S210 ~ S212 단계에서의 신상품 추천 문제 해결을 위한 특징공간상의 거리함수 적용 여부에 앞서 신상품인지를 판단하기 위한 부분으로서, 여기서 신상품은 이전에 구매된 적이 없으며, 선호도를 갖지 않고 있다. 만약 신상품이 선호도(rating)를 갖는다면 추천될 수 있을 것이다. 본 발명에서는 이 문제를 해결하기 위하여 신상품에 가상의 선호도(virtual rating)를 부여하여 추천한다. 일반적으로 가상의 선호도 부여에는 세 가지 부여 방법이 있는데, 첫 번째는 최댓값을 부여하는 방법, 두 번째로는 평균값을 부여하는 방법과 세 번째로는 최솟값을 부여하는 방법이다. 이 세 가지 방법 중 본 발명에서는 첫 번째 방법인 최댓값을 부여하는 방법을 적용하였다.

단계 S210 ~ S212는 본 발명에 따른 신상품 추천 문제를 해결한 부분으로서 도 4에 도시된 사용자가 선호하는 배경화면 이미지 상품 이웃 관계를 통하여 설명한다. 도 4는 본 발명의 실시 예에 따른 사용자가 선호하는 배경화면 이미지 상품 이웃 관계를 도시한 도면이다. 도 4에서 ‘경우 1’, ‘경우 2’와 ‘경우 3’은 새로운 멀티미디어 이미지 콘텐츠이며 다차원의 특징 벡터들로 표현되므로 특징 공간상에 점들로 나타내어진다. '경우 1'은 새로운 멀티미디어 이미지 콘텐츠 중에서 선택된 사용자에게 구매된 멀티미디어 이미지 콘텐츠를 나타내며, ‘경우 2'는 신상품 중에서 구매되지는 않았지만 선택된 사용자 군집 안에 포함된 멀티미디어 이미지 콘텐츠를 나타낸다. ‘경우 3'는 신상품 중에서 구매되지도 않았으며 선택된 사용자의 군집 안에 포함되지 않은 멀티미디어 이미지 콘텐츠를 나타낸다. 상기 단계 S205에서 새로운 멀티미디어 이미지 콘텐츠에 해당하는 경우, 본 발명에서 따르는 베이지안 분류방법을 사용하여 g개의 군집 C₁, …,C_g이 주어질 때 새로운 멀티미디어 이미지 콘텐츠 x_new가 포함될 군집을 결정한다(S210). 그 후, 해당 군집의 유효 반경(effective radius) 거리 내에 ‘경우 3’이 위치하는지 여부를 판단하여(S211), 유효 반경 내에 위치하는 경우 유사도 군집에 포함(S212)함으로써 새로운 멀티미디어 이미지 콘텐츠(신상품)의 추천이 가능하게 된다. 이때 군집 C_i의 베이지안 분류 함수는 다음 수학식 6과 같이 정의된다.

상기 수학식 6에서 w_i는 i번째 군집의 정규화된 가중치이며, 가중치는 사용자의 선호도의 합으로 구해진다.

d₁(x_new), d₂(x_new), , d_g(x_new) 중에 가장 큰 값을 갖는 군집 C_k를 선택한 후, x_new가 그 군집의 유효 반경 안에 위치하는지를 다음 수학식 7과 같이 검사한다.

즉, 상기 식을 만족하는 경우이면 새로운 상품을 추천하게 된다. 통계적으로, 군집의 유효반경은 자유도 p, n-p 신뢰수준 α인 F 분포를 따른다.

단계 S206 ~ S208은 새로운 멀티미디어 콘텐츠가 포함되지 않은 경우에 기존의 데이터베이스 상의 이미지를 기준으로 유사 군집을 설정하는 단계로서, 도 5를 중심으로 설명한다. 단계 S206은 각 군집 간의 거리를 계산하고, 단계 S207은 상기 단계 S206에서의 계산 결과에 따라 이웃 군집을 선택하는 역할을 한다. 단계 S208은, 이웃 군집을 바탕으로 대상 사용자를 위한 유사도 군집을 설정하는 역할을 한다. 이에 대하여는 도 5에 도시된 사용자가 선호하는 배경화면 이미지 콘텐츠의 집합에 의해 형성된 이웃 군집들을 나타낸 도면을 통하여 설명한다.

도 5는 본 발명의 일실시예에 따른 사용자가 선호하는 배경화면 이미지 콘텐츠의 집합에 의해 형성된 이웃 군집들을 나타낸 도면이다. 기존의 CF 알고리즘은 Cosine함수나 Person 계수 등을 사용하여 사용자 간 상관도를 계산하나, 이 방법은 목표 사용자와 선호도가 비슷한 유사군집을 찾기 어렵다. 본 발명에서는 기존의 구매정보나 웹로그 정보를 이용하여 상관관계에 의해 이웃을 찾아 추천하는 것과 다르게 멀티미디어 상품을 특징공간에서 표현하기 때문에 유사한 속성을 가진 상품들을 추천할 수 있는 장점을 가지고 있다. 여기서 사용자 ‘A’, ‘B’, ‘C’가 각각 선호하는 배경화면 이미지 상품들의 집합을 2차원 특징공간상에 군집 C₁, C₂, C₃로 각각 표현한 것으로서 특징 공간상에 구매 데이터베이스의 모든 이미지들의 영역들을 점들로 나타낼 수 있다. 이때 각 사용자가 구매한 배경화면 이미지들 집합은 군집(cluster)을 형성한다. 도 5에서 도시한 것과 같이, 사용자 ‘A’가 구매한 배경화면 이미지 집합은 5개의 이미지이며 16개의 영역으로 구성된다. 이들 중 사용자 ‘A’와 ‘B’가 함께 구매한 배경화면 이미지는 4개, 사용자 ‘A’와 ‘C’가 구매한 배경화면 이미지는 3개이며, ‘A’, ‘B’와 ‘C’가 함께 구매한 배경화면 이미지는 3개가 된다. 본 발명에 따르면 배경화면 이미지 상품들이 다차원 특징 공간에서 점들로 표현될 수 있기 때문에, 목표 사용자와 다른 사용자 간의 거리를 계산하여 실제 유사군집을 구할 수 있다. 군집 간 거리함수로 유클리디언 거리함수가 주로 사용된다. 이 함수는 단순하고 계산하기 쉬우며 군집이 균일하게 분포하며 군집의 형태가 원일 때 잘 동작한다. 그러나 각 사용자의 선호하는 정도는 같지 않으며 그들의 분포는 도 5에서 보여준 바와 같이 서로 다르다. 대상고객 c와 임의의 다른 사용자 a의 프로파일에 있는 상품들은 각각 군집을 형성한다. 이웃군집을 구하기 위하여 특징군집 트리를 이용한 k-최근접 질의를 수행한다. 기본적으로 유사 군집을 설정하는 경우, 대상고객 c와 다른 사용자 a의 군집 간 거리는 T² _ca를 이용하여 계산하며(S206), 대상고객 c를 위한 이웃 군집 H={h₁, h₂, …, h_L}, c￠H를 T² _ca 값의 오름차순으로 L개를 구한다(S207). 구해진 거리 값에 따라서 오름차순으로 유사도 군집을 정렬하여 L 유사도 군집을 선택할 수 있다. 최종적으로, 목표 사용자 c를 위한 유사도 군집 H={h₁, h₂, …, h_L}, c￠H를 결정한다(S208).

단계 S209는, 상기 단계 S208에서 설정된 유사도 군집을 기초로 배경화면 이미지 추천 목록을 생성하는 역할을 하며, 이를 위해 상기 설정된 유사도 군집으로부터 구매 빈도가 높은 상위 특정 개수의 멀티미디어 이미지 콘텐츠를 추출하여 추천 목록을 생성한다. 이는 상품 추천을 위한 마지막 단계로써 상기 단계 S208에서 설정된 유사도 군집으로부터 빈발 구매 상품 추천(Most-frequent Item Recommendation) 방법을 사용하여 구매빈도가 높은 상위 k개의 상품 R={x₁, x₂, …, x_k}를 추출한다. 상품 x에 대한 목표 사용자 c의 구매확률 (PLS: Purchase Likeness Score)은 다음 수학식 8과 같이 정의된다.

상기 수학식 8에서 사용자 a는 유사도 군집 H에서 구해지며, sim(c, a)는 유 사군집이 이미지 x를 구매한 빈도이며, 다음 수학식 9와 같이 구해질 수 있다.

상기 수학식 9는 목표 사용자 c와 이웃 사용자 a간의 유사한 정도를 구하는 함수이며, 군집 간 거리함수에서 구한 값의 역수를 취해 정규화하여 구한다. 사용자 u, w 는 각각 목표사용자의 유사군집 H에 속해 있다.

도 6은 본 발명의 일실시예에 따른 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 장치를 도시한 도면이다. 도 6에 도시된 바와 같이 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 장치는 고객 구매목록 데이터베이스 내의 모든 배경화면 이미지에 대하여 특징 벡터를 이용하여 여러 개의 의미 있는 영역들로 배경화면 이미지를 분할하는 이미지 분할부(601), 상기 이미지 분할부에서 분할된 이미지의 영역들로부터 특징을 추출하여 특징 공간상으로 사상하는 특징 추출부(602), 상기 고객 구매목록 데이터베이스를 분석하여 사용자가 구매한 배경화면 이미지를 사용자 선호도를 기반으로 한 특징군집들의 집합으로 표현하여 사용자 프로파일을 생성하는 사용자 프로파일 생성부(603), 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠들을 이용하여 유사군집을 설정 하는 유사군집 설정부(604), 및 상기 유사군집 설정부에서 설정된 유사군집을 기초로 배경화면 이미지 추천 목록을 생성하는 추천목록 생성부(605) 등을 포함하여 구성된다.

본 발명에 대한 실험은 SKT(SK Telecom)에서 제공한 실제 데이터를 사용하였다. 데이터의 구성은 구매 기록 데이터 25,680개, 배경화면 이미지 데이터 5,326개 및 구매자의 프로필 데이터 476개로 이루어져 있다. 구매목록 데이터는 구매한 고객 ID, 이미지를 구매한 날짜, 구매한 이미지 ID로 구성되며, 배경화면 이미지 데이터는 배경화면 이미지의 ID, 배경화면 이미지의 이름, 배경화면 이미지의 발매 날짜로 구성되며, 고객정보 데이터는 고객 ID, 고객이 배경화면 이미지를 첫 구매한 날짜, 마지막 구매날짜 및 배경화면 이미지의 총 구매 횟수로 구성된다. 영역 특징 데이터는 배경화면 이미지 ID와 배경화면의 이미지가 분할되어 영역별로 나뉘어져 있는 영역 ID, 색상을 특징으로 하는 6차원의 특징데이터, 모양을 특징으로 하는 6차원의 특징데이터, 질감을 특징으로 하는 8차원의 특징데이터로 구성된다. 실험에서는 2004년 6월부터 8월까지의 데이터로 한정하였다. 실험의 신뢰성을 높이고 양질의 추천을 하기 위해서는 학습데이터를 여과할 필요가 있기 때문에 고객 중 SKT로부터 배경화면 이미지를 40개 이상 구매한 고객들로만 한정하였다.

본 발명에 대한 실험에서는 핸드폰 배경이미지의 특징점을 Color, Shape 및 Texture를 이용한다. 실험의 평가를 위해서는 hit ratio를 사용한다. hit ratio 는 추천된 이미지의 수와 구매된 이미지의 수의 비율이다. 추천을 하였지만 구매를 하지 않으면 hit ratio는 올라가지 않는다. 즉 추천 시스템이 구매자에게 추천을 하여도 구매자가 구매를 하지 않으면 추천율(hit ratio)은 올라가지 않는다. 실험을 시행할 때에는 여러 가지 측면에서 hit ratio를 측정하였으며, 특징점을 Color, Shape 및 Texture로 하여 어떠한 성능상의 변화가 있는지 알아본다. 또한 이웃의 숫자를 다르게 설정하여 어떻게 설정된 이웃의 이웃이 가장 좋은 성능을 보여 주는지에 대한 실험을 시행하였다.

도 7은 본 발명의 일실시예에 따른 이웃 군집과 특징점의 효과를 나타낸 도면이다. 도 7과 같이 영역특징점을 색상, 모양 및 질감으로 하는 FBCF와 기존의 CF와의 추천율 성능평가를 한다. 이웃의 수와 특징점에 따른 추천율의 결과는 질감을 영역 특징점으로 하는 FBCF 기법이 기존의 CF 기법보다 최대 250% 향상된 성능을 보여준다. 또한 FBCF 기법은 이웃의 수가 10개에서 100개 증가하였을 때 추천의 성공률이 최대 700% 향상되었다. 특징별 성능은 영역특징점을 질감으로 하는 것이 영역 특징점을 모양으로 한 것보다 최대 157% 높은 성능을 보여준다. FBCF 기법은 이웃이 많아짐에 따라 성향이 비슷한 이웃들의 이미지들을 기반으로 추천을 함으로서 추천 성공률이 높게 나타났다. 이웃의 수가 증가하면 추천해 줄 수 있는 목록이 늘어나므로 추천 성공률이 높아진다. 추천율은 다음 수학식 10과 같이 구해진다.

Hit ratio= Metric hit/Metric Recommendation

도 8은 본 발명의 일실시예에 따른 학습 기간과 특징점의 효과를 나타낸 도면이다. 도 8은 배경화면 이미지 구매 기록을 군집으로 만드는 학습 기간을 변화함에 따른 추천율 변화량을 실험한 결과이다. 학습 기간이 늘어날수록 군집도 커지며 이웃의 군집도 커진다. 기존의 CF 기법의 결과와는 최대 400% 향상된 성능을 보여주었다. 신상품에 대한 실험은 기존의 CF방식의 신상품에 대한 추천 문제를 해결하기 위해 시행한다. 신상품 추천을 위한 실험은 아직 구매된 적이 없는 신상품에 가상 선호도를 부여하여 신상품도 기존의 상품과 같이 추천을 받을 수 있게 하는 방법을 이용한다. 본 실험에서는 가상의 선호도에 신상품이 속한 군집의 선호도 값들 중 최댓값을 부여하는 방법을 적용하였다. 상기 도 7과 도 8에서 CF 방식은 모두 비슷한 결과를 보였지만 FBCF 방식은 이웃 군집과 군집 자체의 리스트의 증가에 따라 급속한 hit ratio의 상승을 보였다. 이는 데이터가 많으면 많을수록 추천의 질은 상승하는 것을 유추할 수 있다. 추천 시스템의 지능화 요소는 데이터의 양이라 할 수 있으며, 이 데이터를 잘 골라낼 수 있는 데이터 마이닝 기술이라 할 수 있다.

도 9는 본 발명의 일실시예 따른 이웃의 수의 변화에 따른 특징점을 기반으로 한 신상품 추천율을 나타낸 도면이다. CF에서 추천될 수 있는 신상품은 선택된 사용자에게 이미 구매된 상품이거나 신상품 중에서 구매되지는 않았지만 선택된 사 용자 군집 안에 포함된 상품일 경우뿐이다. 반면에 FBCF는 앞의 경우를 포함하여 아직 선택된 사용자의 군집 안에 포함되지 않은 상품도 추천할 수 있다. 도 9는 이웃의 수의 변화에 따른 특징점을 기반으로 한 신상품 추천율을 나타내었고, 신상품 추천율(new item hit ratio)은 다음 수학식 11과 같이 계산한다.

New item hit ratio = Metric hit / Metric Recommendation

도 9에서는 신상품 추천율은 FBCF-TEXTURE가 가장 높고 FBCF-SHAPE와 CF가 같은 성능을 보여주고 FBCF-COLOR가 가장 낮은 성능을 보여준다. CF 방식보다 FBCF-TEXTURE는 80% 성능 향상을 보여준다. 하지만 도 9의 실험에서 CF의 신상품 추천은 신상품이라서 추천된 것이 아니라 우연히 추천된 결과이며 FBCF는 본 발명에서 제안한 세 가지의 경우를 적용한 것이다. 특히 ‘경우3’ 즉 어떠한 군집에도 속하지 않은 모바일 배경 화면을 군집에 편입시키는 과정에서 최대가상의 선호도 지정하여 실험을 시행하였다.

도 10은 본 발명의 일실시예에 따른 학습 기간의 변화에 따른 특징점을 기반으로 한 신상품 추천율의 변화를 나타낸 도면이다. FBCF는 학습 기간이 증가함에 따라 추천율은 증가하지만 CF 방식은 신상품 추천율이 불규칙적으로 변화하는 것을 알 수 있다. CF 방식에서는 신상품에 관한 정보가 부족하기 때문에 적절하게 신상품을 추천하지 못할 수도 있다. 이러한 CF 방식을 개선한 FBCF의 실험 결과는 학 습 기간이 증가할수록 신상품 추천율이 점차 증가함을 보여준다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 사용자 선호도를 고려한 멀티미디어 추천 알고리즘의 전체적인 개요를 도시한 도면.

도 2는 본 발명의 일실시예에 따른 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법을 도시한 도면.

도 3은 본 발명의 일실시예에 따른 Normalized cuts 세그먼테이션을 이용하여 추출된 영역들을 나타낸 도면.

도 4는 본 발명의 일실시예에 따른 사용자가 선호하는 배경화면 이미지 상품 이웃 관계를 도시한 도면.

도 5는 본 발명의 일실시예에 따른 사용자가 선호하는 배경화면 이미지 콘텐츠의 집합에 의해 형성된 이웃 군집들을 나타낸 도면.

도 6은 본 발명의 일실시예에 따른 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 장치를 도시한 도면.

도 7은 본 발명의 일실시예에 따른 이웃 군집과 특징점의 효과를 나타낸 도면.

도 8은 본 발명의 일실시예에 따른 학습 기간과 특징점의 효과를 나타낸 도면.

도 9는 본 발명의 일실시예 따른 이웃의 수의 변화에 따른 특징점을 기반으로 한 신상품 추천율을 나타낸 도면.

도 10은 본 발명의 일실시예에 따른 학습 기간의 변화에 따른 특징점을 기반 으로 한 신상픔 추천율의 변화를 나타낸 도면.

<도면 중 주요 부분에 대한 부호의 설명>

S201: DB 내의 모든 배경화면 이미지를 분할하는 단계

S202: 특징을 추출하여 특징 공간으로 사상하는 단계

S203: 사용자 선호도를 기반으로 한 사용자 프로파일 생성하는 단계

S204: 각 사용자의 멀티미디어 이미지 콘텐츠를 이용하여 각각의 군집을 형성하는 단계

S205: 새로운 멀티미디어 이미지 콘텐츠인지 판단하는 단계

S206: 각 군집간의 거리를 계산하는 단계

S207: 상기 계산 결과에 따라 유사도 군집을 선택하는 단계

S208: 대상 사용자를 위한 유사 군집을 설정하는 단계

S209: 설정된 유사 군집을 기초로 배경화면 이미지 추천 목록을 생성하는 단계

S210: 새로운 멀티미디어 이미지 콘텐츠가 포함될 군집을 결정하는 단계

S211: 군집의 유효 반경 거리 내에 위치하는지 여부를 판단하는 단계

S212: 유사도 군집에 포함하는 단계

601: 배경화면 이미지 분할부

602: 특징 추출부

603: 사용자 프로파일 생성부

604: 유사군집 설정부

605: 추천목록 생성부

Claims (11)

1. 내용기반 필터링과 협업 필터링을 혼합한 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법에 있어서,

   (a) 고객 구매목록 데이터베이스 내의 모든 이미지의 각 픽셀을 다차원 속성공간 내의 특징 벡터를 이용하여 특징 공간의 점으로 취급하고, 선택된 특징을 기준으로 Normalized Cuts를 이용하여 픽셀들을 묶음으로서 이미지를 분할하는 단계;

   (b) 상기 분할된 이미지의 영역들로부터 특징을 추출하여 특징 공간상으로 사상하는 단계;

   (c) 상기 구매목록 데이터베이스를 분석하여 사용자가 구매한 이미지를 사용자 선호도를 기반으로 한 특징군집들의 집합으로 표현하여 사용자 프로파일을 생성하는 단계;

   (d) 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠들을 이용하여 유사군집을 설정하는 단계; 및

   (e) 상기 설정된 유사군집을 기초로 이미지 추천 목록을 생성하는 단계를 포함하되,

   상기 단계(d)는,

   (d1) 대상 사용자와 임의의 다른 사용자의 프로파일에 있는 멀티미디어 이미지 콘텐츠를 이용하여 각각의 군집을 형성하는 단계;

   (d2) 질의를 통하여 상기 각각의 군집간의 거리를 계산하는 단계;

   (d3) 상기 계산 결과 구해진 거리에 따라 이웃 군집을 선택하는 단계;

   (d4) 상기 이웃 군집 중 대상 사용자를 위한 유사도 군집을 설정하는 단계;

   (d5) 이전에 구매되지도 않았고 각 사용자의 군집에도 포함되지 않은 새로운 멀티미디어 이미지 콘텐츠가 제공된 경우, 상기 새로운 멀티미디어 이미지 콘텐츠가 포함될 군집을 결정하는 단계; 및

   (d6) 상기 결정된 군집의 유효 반경 거리 내에 상기 새로운 멀티미디어 이미지 콘텐츠가 위치하는 경우, 상기 유사도 군집에 포함하는 단계를 포함하는 것을 특징으로 하는 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,

   상기 단계 (b)에서의 추출된 특징은, 상기 분할된 이미지의 영역들로부터 추출된 영역의 크기, 영역의 위치, 2차 모멘트, 영역의 색상, 및 질감 중의 적어도 하나를 포함하는 것을 특징으로 하는 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법.
5. 제1항에 있어서,

   상기 단계 (c)에서의 특징군집은, 임의의 사용자가 구매한 적이 있는 이미지들의 영역들로 나타낸 점, 군집의 중심, 분산, 유효반경, 및 군집의 이미지를 구매한 사용자에 대한 정보 중의 적어도 하나를 포함하는 것을 특징으로 하는 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법,
6. 삭제
7. 삭제
8. 삭제
9. 제1항에 있어서,

   상기 단계(e)는, 상기 설정된 유사군집으로부터 구매 빈도가 높은 상위 특정 개수의 멀티미디어 이미지 콘텐츠를 추출하여 추천 목록을 생성하는 것을 특징으로 하는 사용자 프로파일을 기반으로 한 멀티미디어 이미지 추천 방법.
10. 제1항, 제4항, 제5항 및 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
11. 삭제

Images