[go: up one dir, main page]

KR101896193B1 - 이미지를 음악으로 변환하는 방법 - Google Patents

이미지를 음악으로 변환하는 방법 Download PDF

Info

Publication number
KR101896193B1
KR101896193B1 KR1020170124760A KR20170124760A KR101896193B1 KR 101896193 B1 KR101896193 B1 KR 101896193B1 KR 1020170124760 A KR1020170124760 A KR 1020170124760A KR 20170124760 A KR20170124760 A KR 20170124760A KR 101896193 B1 KR101896193 B1 KR 101896193B1
Authority
KR
South Korea
Prior art keywords
image
music
determining
rhythm
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020170124760A
Other languages
English (en)
Inventor
정은주
황단하
이현호
박신희
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Application granted granted Critical
Publication of KR101896193B1 publication Critical patent/KR101896193B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/00—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

사용자가 이미지를 보며 느낄 수 있는 감정이 음악에 반영될 수 있는, 이미지를 음악으로 변환하는 방법이 개시된다. 개시된 이미지를 음악으로 변환하는 방법은 이미지의 색상 정보를 이용하여, 상기 이미지에 대한 음색 및 음역을 결정하는 단계; 상기 이미지의 휘도 정보를 이용하여, 상기 이미지에 대한 화성 및 리듬을 결정하는 단계; 및 상기 결정된 음색, 음역, 화성 및 리듬을 미리 설정된 멜로디와 결합하여, 상기 이미지에 대한 음악을 생성하는 단계를 포함한다.

Description

이미지를 음악으로 변환하는 방법{METHOD FOR CONVERTING IMAGE INTO MUSIC}
본 발명은 이미지를 음악으로 변환하는 방법 기부자가 기부할 수 있는 기부 장치에 관한 것으로서, 더욱 상세하게는 사용자가 이미지를 보며 느낄 수 있는 감정을 고려하여 이미지를 음악으로 변환하는 방법에 관한 것이다.
최근 경제 성장과, SNS 보급으로 인해, 20대를 중심으로 전시관 혹은 미술관을 찾는 관람객들이 증가하고 있다. 예술은 그 고유한 심미성을 갖고 있으며 일상을 풍요롭게 만들 수 있는 요소이다. 그리고 그 예술 작품들은 대부분 보는 예술이다. 하지만 인지 심리학적 관점에 따르면 시각적 정보는 빠르게 손실되며 변형되고 따라서 오래 기억하기 어려우며 일상으로 가져오기가 어렵다는 단점이 있다. 반면 소리 경험은 오래 기억되고, 인간의 정서와 보다 밀접하게 연관되어 있다. 이에 이미지를 음악, 소리 등으로 변환하는 방법에 대한 다양한 연구가 진행되고 있다.
종래의 이미지를 음악으로 변환하는 방법의 경우, 이미지의 물리적 특성만을 고려하여 이미지를 음악으로 변환하는 경우가 많았다. 예컨대, 이미지의 색상을 고려하여 음악을 생성할 때, 이미지에 포함된 색상의 파장과 대응되는 파장의 소리로 변환하는 식이다.
관련 선행문헌으로 대한민국 공개특허 제2007-0094207호가 있다.
본 발명은, 시각 예술 작품 등에 대한 이미지를 음악으로 변환하는 방법을 제공하기 위한 것이다.
특히, 본 발명은 사용자가 이미지를 보며 느낄 수 있는 감정이 음악에 반영될 수 있는, 이미지를 음악으로 변환하는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 이미지의 색상 정보를 이용하여, 상기 이미지에 대한 음색 및 음역을 결정하는 단계; 상기 이미지의 휘도 정보를 이용하여, 상기 이미지에 대한 화성 및 리듬을 결정하는 단계; 및상기 결정된 음색, 음역, 화성 및 리듬을 미리 설정된 멜로디와 결합하여, 상기 이미지에 대한 음악을 생성하는 단계를 포함하는 이미지를 음악으로 변환하는 방법이 제공된다.
본 발명에 따르면, 시각 예술 작품에 대한 이미지가 음악으로 변환될 수 있다.
또한 본 발명에 따르면, 이미지에 포함된 색상에서 느껴지는 정서에 기초하여 이미지에 대한 음색을 결정함으로써, 이미지로부터 변환된 음악에, 사용자가 이미지를 보며 느낄 수 있는 감정이 음악에 반영될 수 있다.
도 1은 본 발명의 일실시예에 따른 이미지를 음악으로 변환하는 변환 장치의 블록도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 이미지를 음악으로 변환하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 이미지에 대한 화성 및 리듬을 결정하는 방법의 흐름도이다.
도 4는 이미지에 대한 화성 및 리듬을 결정하기 위해 이용되는 이미지 패치의 일예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이미지에 대한 리듬을 결정하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 이미지를 음악으로 변환하는 변환 장치의 블록도를 도시하는 도면이다.
도 1을 참조하면 본 발명에 따른 변환 장치는 이미지 분석부(110) 및 음악 파일 생성부(120)를 포함한다.
이미지 분석부(110)는, 입력된 이미지의 색상(color) 및 휘도(brightness)를 분석하여, 색상 정보 및 휘도 정보를 생성한다. 이미지는, 변환 장치에 포함된 카메라로부터 획득된 이미지일 수 있으며 또는 미리 저장된 이미지이거나 외부로부터 제공된 이미지일 수 있다. 그리고 이미지는 예술 작품에 대한 이미지일 수 있으나 그에 한정되지는 않으며, 모든 이미지가 이미지 분석부(110)로 입력될 수 있다.
음악 파일 생성부(120)는 생성된 색상 정보 및 휘도 정보를 이용하여 이미지에 대한 음악을 생성한다. 일실시예로서, 음악 파일 생성부(120)는 이미지의 색상 정보를 이용하여, 이미지에 대한 음색 및 음역을 결정하고, 이미지의 휘도 정보를 이용하여 이미지에 대한 화성 및 리듬을 결정할 수 있다. 그리고 음악 파일 생성부(120)는 결정된 음색, 음역, 화성 및 리듬을 미리 설정된 멜로디와 결합하여, 이미지에 대한 음악 파일을 생성할 수 있다. 생성된 음악 파일은 스피커와 같은 출력 장치를 통해 출력될 수 있다.
멜로디는 사용자에 의해 선택될 수 있으며, 사용자는 미리 제공되는 멜로디 후보군으로부터 이미지에 적합한 하나의 멜로디를 선택할 수 있다. 음악 파일 생성부(120)는, 결정된 음색 및 음역의 멜로디에, 결정된 화성 및 리듬을 결합하여, 이미지에 대한 음악 파일을 생성할 수 있다. 음색, 음역, 화성 및 리듬을 자유롭게 제어하여 음악을 생성하는 다양한 공지된 방법들이 음악 파일 생성에 이용될 수 있다.
이하, 본 발명의 일실시예에 따른 이미지를 음악으로 변환하는 방법에 대해 보다 자세히 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 이미지를 음악으로 변환하는 방법을 설명하기 위한 도면으로서, 이미지에 대한 음색 및 음역을 결정하는 방법의 흐름도이다.
도 2에 도시된 이미지를 음악으로 변환하는 방법은 프로세서를 포함하는 컴퓨팅 장치나 전술된 별도의 변환 장치를 통해 수행될 수 있다. 본 발명에 따른 이미지를 음악으로 변환하는 방법은 스마트 폰, PC 등과 같은 컴퓨팅 장치, 그리고 변환 장치에 어플리케이션 형태로 저장되어 수행될 수 있다. 이하에서는, 변환 장치의 이미지를 음악으로 변환하는 방법이 일실시예로서 설명된다.
본 발명에 따른 변환 장치는 이미지의 색상 정보를 이용하여, 이미지에 대한 음색 및 음역을 결정하고, 이미지의 휘도 정보를 이용하여, 이미지에 대한 화성 및 리듬을 결정한다. 그리고 결정된 음색, 음역, 화성 및 리듬을 미리 설정된 멜로디와 결합하여, 이미지에 대한 음악을 생성한다.
본 발명에 따르면, 사용자는 스마트 폰을 이용해 예술 작품 등을 촬영해 이미지를 획득하고, 이미지에 대한 음악 파일을 획득할 수 있다. 또는 사용자는 스마트 폰에 미리 저장된 예술 작품에 대한 이미지 중 하나를 선택하여, 선택된 이미지에 대한 음악 파일을 획득할 수 있다.
본 발명에 따른 변환 장치는 음색 및 음역을 결정하기 위해, 이미지의 화소별 RGB 값을 이용하여, 이미지에 대한 레드 색상의 평균값, 그린 색상의 평균값, 블루 색상의 평균값을 계산(S210)한다. 이미지의 화소별 색상은, RGB 값이 혼합되어 결정되므로, 화소별로 RGB 값이 할당되어 있으며, 이러한 화소별 레드 색상의 값, 그린 색상의 값, 블루 색상의 값을 각각 평균 연산함으로써, 이미지에 대한 레드 색상의 평균값, 그린 색상의 평균값, 블루 색상의 평균값 각각을 계산할 수 있다.
본 발명에 따른 변환 장치는 평균값의 크기를 비교(S220)하고, 평균값의 크기 관계별로 서로 다른 음색 및 음역이 할당된 테이블과, 단계 S220의 비교 결과를 이용하여, 이미지에 대한 음색 및 음역을 결정한다.
일실시예로서 [표 1]과 같은 테이블이 이용될 수 있으며, 이러한 테이블은 색상에서 느껴지는 정서에 기초한 테이블일 수 있다. 즉, 이미지에 대한 색상에 따라 결정되는 음색 및 음역은, 이미지에 대한 색상에서 느껴지는 정서에 기초하여 결정될 수 있다. [표 1]에서, R은 레드 색상의 평균값, G는 그린 색상의 평균값, B는 블루 색상의 평균값을 나타낸다.
평균값의 크기 관계 음색 음역
R>G>B 금관악기 낮은 음역대
R>B>G 금관악기 높은 음역대
G>R>B 현악기 낮은 음역대
G>B>R 현악기 높은 음역대
B>R>G 목관악기 낮은 음역대
B>G>R 목관악기 높은 음역대
R=B=G 랜덤 결정
[표 1]을 참조하면, 이미지에 대한 레드 색상의 평균값이 가장 크고, 블루 색상의 평균값이 가장 작은 경우, 금관 악기의 음색이 결정되고, 상대적으로 낮은 음역대가 결정된다. 또한, 레드 색상의 평균값이 가장 크고, 그린 색상의 평균값이 가장 작은 경우, 상대적으로 높은 음역대가 결정된다. 반면, 이미지에 대한 블루 색상의 평균값이 가장 크고, 레드 색상의 평균값이 가장 작은 경우, 목관 악기의 음색이 결정되고, 상대적으로 높은 음역대가 결정된다. 또한 레드 색상, 그린 색상 및 블루 색상의 평균값이 모두 동일하거나 또는 3개지 색상중 2가지 색상의 평균값이 동일한 경우, [표 1]에 포함된 음색 및 음역 중 하나가 랜덤하게 결정될 수 있다.
레드 색상의 경우, 자극이나 흥분과 같은 정서가 느껴지는 색상이며, 블루나 그린은 안정감 등이 느껴지는 색상이기 때문에, 본 발명에 따르면, 그린 색상이나 블루 색상의 평균값이 높은 경우, 부드러운 음색을 나타내는 현악기나 목관 악기의 음색이 결정된다. 반대로 레드 색상의 평균값이 높은 경우, 강한 음색을 나타내는 금관 악기의 음색이 결정된다.
결국, 본 발명에 따르면, 이미지에 포함된 색상에서 느껴지는 정서에 기초하여 이미지에 대한 음색을 결정함으로써, 이미지로부터 변환된 음악에, 사용자가 이미지를 보며 느낄 수 있는 감정이 음악에 반영될 수 있다.
도 3은 본 발명의 일실시예에 따른 이미지에 대한 화성 및 리듬을 결정하는 방법의 흐름도이며, 도 4는 이미지에 대한 화성 및 리듬을 결정하기 위해 이용되는 이미지 패치의 일예를 도시한 도면이다. 그리고 도 5는 본 발명의 일실시예에 따른 이미지에 대한 리듬을 결정하는 방법을 설명하기 위한 도면이다.
본 발명에 따른 변환 장치는 이미지를 그레이 스케일 이미지로 변환(S310)하고, 그레이 스케일(gray scale) 이미지를 미리 설정된 해상도로 다운 샘플링하여 이미지 패치를 생성(S320)한다. 전술된 바와 같이, 본 발명에 따른 이미지를 음악으로 변환하는 방법은 휘도 정보를 이용하여 이미지에 대한 화성 및 리듬을 결정하기 때문에, 이미지의 색상이 제거되고 휘도 값만을 포함하는 그레이 스케일 이미지를 생성한다. 그리고 연산의 용이함을 위해, 그레이 스케일 이미지를 다운 샘플링하며, 일실시예로서 변환 장치는 도 4에 도시된 바와 같이 8X8 크기의 이미지 패치(410)로 다운 샘플링할 수 있다.
이미지 패치가 생성된 이후, 본 발명에 따른 변환 장치는 이미지 패치를 구성하는 화소를 행단위로 구분하고, 행각각에 대한 휘도 값을 이용하여 이미지에 대한 리듬을 결정(S330)한다. 그리고 이미지 패치를 구성하는 화소를 열단위로 구분하고, 열각각에 대한 휘도 값을 이용하여 화성을 결정(S340)한다. 예를 들어, 도 4를 참조하면, 행(420)을 구성하는 8개 화소의 휘도값으로부터 리듬 패턴이 결정될 수 있으며, 열(430)을 구성하는 8개 화소의 휘도값으로부터 화성이 결정될 수 있다. 도 4의 이미지 패치(410)는 총 8개의 행과 8개의 열로 이루어져 있으므로, 이미지 패치(410)로부터 총 8개의 리듬 패턴과 8개의 화성이 결정될 수 있다.
단계 S330에서 변환 장치는 타겟 행에 포함된 화소별 인덱스 순서에 따라서, 이전 인덱스 화소의 휘도 값을 현재 인덱스 화소의 휘도 값에 누적하여 더한다. 그리고 수직선 상에서 더한 값들이 나타내는 위치를 이용하여 타겟 행에 대한 리듬 패턴을 결정한다. 인덱스는 왼쪽 화소에서 오른쪽 화소의 순서로, 화소별로 할당될 수 있다.
예컨대, 타겟 행(420)의 이전 인덱스 화소인 제1화소(421)의 휘도값이 a이고 현재 인덱스 화소인 제2화소(422)의 휘도값이 b일 경우, 현재 인덱스 화소에 대한 누적된 휘도값 a+b가 계산된다. 현재 인덱스 화소가 제1화소(421)일 경우, 이전 인덱스 화소는 없으므로, 0이 현재 인덱스 화소의 휘도값에 더해진다. 따라서, a 값 및 a+b 값이 나타내는 위치가 도 5와 같은 수직선(510) 상에 표시될 수 있다. 도 5에서 수직선(510)의 길이는 타겟 행(420)에 포함된 화소의 휘도값을 모두 더한 값(N)에 대응된다.
그리고 이전 인덱스 화소인 제2화소(422)의 누적된 휘도값 a+b는 현재 인덱스 화소인 제3화소(423)의 휘도값 c에 누적하여 더해지고, 누적하여 더해진 a+b+c 값이 나타내는 위치가 수직선 상에 표시될 수 있다. 이와 같이, 제8화소(428)까지 진행되며, 현재 인덱스 화소인 제8화소(428)의 휘도값에 이전 인덱스 화소인 제7화소(427)까지의 누적된 화소값이 더해져, 수직선(510) 상에 표시될 수 있다.
도 5에 도시된 바와 같이, 수직선(510)은 미리 설정된 개수의 영역으로 등분될 수 있으며, 타겟 행(420)에 대해 누적하여 더해진 휘도 값을 나타내는 총 8개의 위치 포인트가 수직선(510) 상에 위치할 수 있다. 그리고 변환 장치는 수직선(510) 상에서 등분된 영역별로, 누적하여 더한 값들이 나타내는 위치 포인트의 개수를 카운팅하여 타겟 행에 대한 리듬 패턴을 결정할 수 있다.
이미지 패치의 타겟 행(420)에 대한 포인트가 도 5에 도시된 바와 같이, 총 8개의 등분 영역에 포함된 위치 포인트의 개수가 각각 0개, 2개, 0개, 2개, 1개, 0개, 0개, 3개이므로, 변환 장치는 등분 영역별로 포함된 위치 포인트의 개수를 카운팅하여 위치 포인트 개수에 따라서 등분 영역별로 리듬을 결정하고, 총 8개의 리듬으로 구성된 리듬 패턴을 결정할 수 있다.
에컨대, [표 2]와 같이 등분된 영역에 포함된 위치 포인트의 개수 별로 리듬이 할당된 경우, 수직선(510)의 두번째 등분 영역에 대해서는, 위치 포인트의 개수가 2개일 때 대응되는 리듬이 결정될 수 있다. 이와 같이 총 8개의 리듬이 결정되고, 타겟 행(420)에 대한 리듬 패턴이 결정될 수 있다.
Figure 112017094305834-pat00001
또한 본 발명의 다른 실시예에 따르면, 변환 장치는 누적하여 더한 값들이 나타내는 위치 포인트가 포함되는 등분 영역의 인덱스에 따라, 타겟 행에 대한 리듬을 결정할 수 있다. 예컨대, 수직선의 4개의 등분 영역에 타겟 행에 대한 위치 포인트가 포함되더라도, 위치 포인트가 포함될 수 있는 등분 영역은 서로 다를 수 있으며, 따라서 변환 장치는, 위치 포인트가 포함된 등분 영역의 인덱스의 조합에 따라 타겟 행에 대한 리듬을 결정할 수도 있다.
변환 장치는 타겟 행(420) 이외 나머지 행 각각의 휘도값으로부터 리듬 패턴을 결정할 수 있으며, 따라서 총 8개의 수직선을 이용해 8개의 리듬 패턴을 결정할 수 있다. 변환 장치는 이미지 패치의 상위 행부터 하위 행 순으로 리듬 패턴을 결정할 수 있으며, 리듬이 결정된 순서로 리듬 패턴을 나열하여 음악을 생성할 수 있다.
다시 도 3으로 돌아가, 변환 장치는 단계 S340에서 타겟 열에 포함된 화소의 휘도값을 이용하여 표준편차를 계산하고, 타겟 열에 포함된 화소 중에서 표준편차와 휘도 값의 차이가 가장 큰 화소의 휘도 값에 따라서, 타겟 열에 대한 화성을 결정할 수 있다.
도 4를 참조하면, 변환 장치는 타겟 열(430)에 포함된 모든 화소의 휘도값으로부터 표준 편차를 계산하고, 계산된 표준 편차와 휘도 값의 차이가 가장 큰 화소를 결정한다. 그리고 결정된 화소의 휘도값과, [표 3]과 같이 휘도 값과 화성이 매핑된 테이블을 이용하여, 타겟 열에 대한 화성을 결정한다. 예컨대, 타겟 열의 제8화소(438)가 표준 편차와 휘도값의 차이가 가장 큰 화소이며, 제8화소(438(의 휘도값이 210일 경우, "Major 7th chord"가 타겟 열(430)에 대한 화성으로 결정될 수 있다.
휘도 값 화성
0~51 diminished 7th chord
52~102 half diminished 7th chord
103~153 dominant 7th chord
154~204 Mystic chord
205~255 Major 7th chord
리듬과 마찬가지로 변환 장치는 타겟 열(430) 이외 나머지 열 각각의 휘도값으로부터 화성을 결정할 수 있다. 변환 장치는 이미지 패치의 왼쪽 열부터 오른쪽 열 순으로 화성을 결정할 수 있으며, 화성이 결정된 순서로 화성을 나열하여 음악을 생성할 수 있다.
이미지 패치의 크기나, 수직선의 등분 영역의 개수 그리고 등분 영역의 크기 등은 실시예에 따라서 다양하게 결정될 수 있다.
앞서 설명한 기술적 내용들은 프로세스적 관점에서 용이하게 접근할 수 있으며, 이 경우 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (9)

  1. 이미지의 색상 정보를 이용하여, 상기 이미지에 대한 음색 및 음역을 결정하는 단계;
    상기 이미지의 휘도 정보를 이용하여, 상기 이미지에 대한 화성 및 리듬을 결정하는 단계; 및
    상기 결정된 음색, 음역, 화성 및 리듬을 미리 설정된 멜로디와 결합하여, 상기 이미지에 대한 음악을 생성하는 단계를 포함하며,
    상기 화성 및 리듬을 결정하는 단계는
    상기 이미지를 그레이 스케일 이미지로 변환하는 단계;
    상기 그레이 스케일 이미지를 미리 설정된 해상도로 다운 샘플링하여 이미지 패치를 생성하는 단계;
    상기 이미지 패치를 구성하는 화소를 행단위로 구분하고, 행각각에 대한 휘도 값을 이용하여 상기 이미지에 대한 리듬을 결정하는 단계; 및
    상기 이미지 패치를 구성하는 화소를 열단위로 구분하고 열각각에 대한 휘도 값을 이용하여 상기 이미지에 대한 화성을 결정하는 단계를 포함하며,
    상기 행각각에 대한 휘도 값을 이용하여 상기 이미지에 대한 리듬을 결정하는 단계는
    타겟 행에 포함된 화소별 인덱스 순서에 따라서, 이전 인덱스 화소의 휘도 값을 현재 인덱스 화소의 휘도 값에 누적하여 합산값을 생성하는 단계; 및
    수직선 상에서 상기 합산값들이 나타내는 위치를 이용하여 상기 타겟 행에 대한 리듬 패턴을 결정하는 단계
    를 포함하는 이미지를 음악으로 변환하는 방법.
  2. 제 1항에 있어서,
    상기 음색 및 음역을 결정하는 단계는
    상기 이미지의 화소별 RGB 값을 이용하여, 상기 이미지에 대한 레드 색상의 평균값, 그린 색상의 평균값, 블루 색상의 평균값을 계산하는 단계;
    상기 평균값의 크기를 비교하는 단계; 및
    상기 평균값의 크기 관계별로 서로 다른 음색 및 음역이 할당된 테이블과, 상기 평균값의 크기를 비교한 결과를 이용하여, 상기 음색 및 음역을 결정하는 단계
    를 포함하는 이미지를 음악으로 변환하는 방법.
  3. 제 2항에 있어서,
    상기 테이블은
    색상에서 느껴지는 정서에 기초한 테이블인
    이미지를 음악으로 변환하는 방법.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 수직선은
    미리 설정된 개수의 영역으로 등분된 수직선이며,
    상기 타겟 행에 대한 리듬 패턴을 결정하는 단계는
    상기 등분된 영역별로, 상기 합산값들이 나타내는 위치 포인트의 개수를 카운팅하여 상기 타겟 행에 대한 리듬 패턴을 결정하는
    이미지를 음악으로 변환하는 방법.
  7. 제 1항에 있어서,
    상기 수직선은
    미리 설정된 개수의 영역으로 등분된 수직선이며,
    상기 타겟 행에 대한 리듬 패턴을 결정하는 단계는
    상기 합산값들이 나타내는 위치 포인트가 포함되는 등분된 영역의 인덱스에 따라, 상기 타겟 행에 대한 리듬 패턴을 결정하는
    이미지를 음악으로 변환하는 방법.
  8. 제 1항에 있어서,
    상기 열각각에 대한 휘도 값을 이용하여 상기 화성을 결정하는 단계는
    타겟 열에 포함된 화소의 휘도값을 이용하여 표준편차를 계산하는 단계; 및
    상기 타겟 열에 포함된 화소 중에서 상기 표준편차와 휘도 값의 차이가 가장 큰 화소의 휘도 값에 따라서, 상기 타겟 열에 대한 화성을 결정하는 단계
    를 포함하는 이미지를 음악으로 변환하는 방법.
  9. 제 1항에 있어서,
    상기 멜로디는
    사용자에 의해 선택된 멜로디인
    이미지를 음악으로 변환하는 방법.
KR1020170124760A 2017-08-28 2017-09-27 이미지를 음악으로 변환하는 방법 Expired - Fee Related KR101896193B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170108920 2017-08-28
KR20170108920 2017-08-28

Publications (1)

Publication Number Publication Date
KR101896193B1 true KR101896193B1 (ko) 2018-09-07

Family

ID=63595079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124760A Expired - Fee Related KR101896193B1 (ko) 2017-08-28 2017-09-27 이미지를 음악으로 변환하는 방법

Country Status (1)

Country Link
KR (1) KR101896193B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089207B1 (ko) * 2019-01-16 2020-03-13 김강욱 이미지에 기초한 음악 재생 방법 및 이를 수행하기 위한 프로그램을 제공하는 서버
KR102125406B1 (ko) 2019-11-22 2020-06-22 (주)뮤직플랫 영상 분석 기반 음원 분류 방법 및 시스템
KR20200124911A (ko) * 2019-04-25 2020-11-04 경북대학교 산학협력단 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법
US20210118416A1 (en) * 2018-09-14 2021-04-22 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid ai generated song
KR20250074548A (ko) 2023-11-20 2025-05-27 울산과학기술원 이미지 및 텍스트 기반으로 오디오를 생성하는 오디오 생성 모델을 트레이닝시키는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
KR20140104789A (ko) * 2013-02-21 2014-08-29 단국대학교 천안캠퍼스 산학협력단 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치
JP6058192B1 (ja) * 2016-06-08 2017-01-11 株式会社ビジョナリスト 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
KR20140104789A (ko) * 2013-02-21 2014-08-29 단국대학교 천안캠퍼스 산학협력단 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치
JP6058192B1 (ja) * 2016-06-08 2017-01-11 株式会社ビジョナリスト 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118416A1 (en) * 2018-09-14 2021-04-22 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid ai generated song
US11741922B2 (en) * 2018-09-14 2023-08-29 Bellevue Investments Gmbh & Co. Kgaa Method and system for template based variant generation of hybrid AI generated song
KR102089207B1 (ko) * 2019-01-16 2020-03-13 김강욱 이미지에 기초한 음악 재생 방법 및 이를 수행하기 위한 프로그램을 제공하는 서버
KR20200124911A (ko) * 2019-04-25 2020-11-04 경북대학교 산학협력단 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법
KR102241864B1 (ko) * 2019-04-25 2021-04-16 경북대학교 산학협력단 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법
KR102125406B1 (ko) 2019-11-22 2020-06-22 (주)뮤직플랫 영상 분석 기반 음원 분류 방법 및 시스템
KR20250074548A (ko) 2023-11-20 2025-05-27 울산과학기술원 이미지 및 텍스트 기반으로 오디오를 생성하는 오디오 생성 모델을 트레이닝시키는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101896193B1 (ko) 이미지를 음악으로 변환하는 방법
KR101657975B1 (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
Tominski et al. Task-driven color coding
CN110444185B (zh) 一种音乐生成方法及装置
US10795691B2 (en) System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20140270498A1 (en) Content based systems and methods for conducting spectrum color based image search
TWI408619B (zh) 影像對比提昇裝置及其方法
CN111465979B (zh) 信息处理方法、信息处理装置和信息处理程序
JP5173898B2 (ja) 画像処理方法、画像処理装置、及びプログラム
JP6058192B1 (ja) 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体
US20180144249A1 (en) Program generation apparatus and program generation method
JP2005228341A (ja) 画像データを領域へ編成するシステムおよび方法
WO2012133028A1 (ja) 電子機器、選択方法、取得方法、電子装置、合成方法および合成プログラム
CN103841401A (zh) 用于修正三维图像的深度图的装置和方法
CN108140251A (zh) 视频循环生成
CN114333744B (zh) 音频生成方法、装置、计算机设备和存储介质
CN112236800B (zh) 学习设备、图像生成设备及其对应的方法和计算机可读存储介质
CN106599010A (zh) 图码搜索法
CN113994379A (zh) 信息处理装置
CN109524022B (zh) 一种视觉、听觉、嗅觉的相互转化方法
CN107369185A (zh) 一种基于图像的油画风格化方法
JP5598185B2 (ja) 目立ち画像生成装置及び目立ち画像生成プログラム
Saito et al. Semi-automatic music piece creation based on impression words extracted from object and background in color image
JP7106144B2 (ja) 画像解析装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170927

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180206

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180831

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180831

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210817

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220701

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250611