[go: up one dir, main page]

KR20080080777A - 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 - Google Patents

촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR20080080777A
KR20080080777A KR1020070020930A KR20070020930A KR20080080777A KR 20080080777 A KR20080080777 A KR 20080080777A KR 1020070020930 A KR1020070020930 A KR 1020070020930A KR 20070020930 A KR20070020930 A KR 20070020930A KR 20080080777 A KR20080080777 A KR 20080080777A
Authority
KR
South Korea
Prior art keywords
tactile
video
information
authoring
tactile video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070020930A
Other languages
English (en)
Other versions
KR100860547B1 (ko
Inventor
차종은
김영미
서용원
류제하
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070020930A priority Critical patent/KR100860547B1/ko
Priority to EP08723237A priority patent/EP2132619A4/en
Priority to US12/303,367 priority patent/US20090309827A1/en
Priority to PCT/KR2008/001199 priority patent/WO2008108560A1/en
Publication of KR20080080777A publication Critical patent/KR20080080777A/ko
Application granted granted Critical
Publication of KR100860547B1 publication Critical patent/KR100860547B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 촉감 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 생성함으로써 촉감 정보를 저작하는 촉감 정보 저작 장치 및 방법에 관한 것이다. 더욱 상세하게는 시청각 미디어를 출력하여 참조하면서 촉감비디오 입력창에 그리기 방식으로 촉감 비디오의 픽셀의 인텐시티 값을 표현하는 촉감 정보 저작 장치 및 방법에 관한 것이다.
본 발명은, 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 장치에 있어서, 상기 촉감 비디오를 저작하기 위한 환경을 설정하는 환경 설정부; 및 상기 촉감 비디오 저작의 바탕이 되는 동영상 또는 텍스트와 같은 시청각 미디어 정보를 프레임 단위로 출력하는 동영상 재생창과, 상기 촉감 비디오의 각 픽셀에 대한 인텐시티 값을 그리기 형식으로 입력하는 촉감비디오 입력창을 구비하는 촉감 비디오 저작부를 포함하는 촉감 비디오 생성부를 구비하여 상기 촉감 비디오를 프레임 단위로 생성하는 촉감 정보 저작 장치를 제공한다.
햅틱, 촉감, 역감, 저작, 촉감 비디오, 가상 현실, UCC

Description

촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록 매체{Method and Apparatus for Authoring Tactile Information, and Computer Readable Medium Including the Method}
도 1은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 방법에 의해 생성된 촉감 정보를 재생하기 위한 촉감 제시 장치의 일례를 도시한 도면,
도 2는 도 1에 도시한 촉감 제시 장치의 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면,
도 3은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치의 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부의 구체적 구성을 도시한 블록도,
도 5는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부에 대한 인터페이스 구성도,
도 6은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부 인터페이스를 통해 촉감 정보를 입력한 상태를 도시한 도면,
도 7은 도 6에 따라 생성되는 촉감 비디오 프레임을 도시한 도면,
도 8은 MPEG-4에서 장면기술자의 MovieTexture 노드의 일례를 나타내는 도면,
도 9는 본 발명의 바람직한 실시예에 있어서 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면,
도 10은 본 발명의 바람직한 실시예에 있어서 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타내는 도면,
도 11은 본 발명의 바람직한 실시예에 있어서, 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면,
도 12는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 방법을 도시한 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : 촉감 제시 장치 12a, 12b : 촉감 제시부
14 : 구동자 16 : 로컬 제어부
18 : 로컬 송수신부 20 : 메인 제어부
22 : 메인 송수신부 24 : 구동자 어레이
30 : 촉감 비디오 100 : 촉감 정보 저작 장치
110 : 주제어부 120 : 미디어 저장부
130 : 촉감 비디오 생성부 140 : 촉감 비디오 저장부
150 : 장면기술자 생성부 160 : 파일 생성기
200 : 환경 설정부 210 : 촉감비디오 크기 설정부
220 : 입력수단 설정부 230 : 파일경로 설정부
240 : 동영상 설정부 250 : 촉감 비디오 저작부
260 : 동영상 재생창 270 : 촉감 비디오 입력창
280 : 서브 프레임 표시창 290 : 기능 버튼
300 : 촉감 비디오 생성 인터페이스
본 발명은 촉감 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 생성함으로써 촉감 정보를 저작하는 촉감 정보 저작 장치 및 방법에 관한 것이다. 더욱 상세하게는 시청각 미디어를 출력하여 참조하면서 촉감비디오 입력창에 그리기 방식으로 촉감 비디오의 픽셀의 인텐시티 값을 표현하는 촉감 정보 저작 장치 및 방법에 관한 것이다.
인간은 시각, 청각, 후각, 미각, 촉각의 오감을 이용하여 주변 환경을 감각한다. 이러한 오감 중에서도 시각과 청각은 인간이 주변 상황에 대한 정보 획득에 있어서 가장 크게 의지하는 감각 요소이다. 그러나 현실 세계에 있어서는 촉각 정보가 중요한 역할을 하는 경우가 많이 있다. 촉각에 의지하여 물체의 위치나 형상을 판단하기도 하며, 물체의 질감을 느끼기도 하고, 온도를 파악하기도 한다. 따라서 현실적인 감각을 전달하기 위해서는 시각이나 청각뿐만 아니라 촉각 정보의 제공이 필요하다고 할 수 있다. 이에 따라 최근에는 교육, 훈련, 오락 등에 있어서 시각 정보와 청각 정보와 함께 촉각 정보를 제공하여 사용자가 화면 속의 영상과 직접적인 상호작용이 가능하도록 하는 햅틱(Haptic) 기술이 많은 관심을 받고 있 다.
햅틱 기술은 사용자에게 촉감(Tactile)과 역감(Kinesthetic)을 통해 가상 또는 실제 환경의 다양한 정보를 제공하도록 하는 것과 관련된 것이다. 'Haptics'이라는 단어는 그리스어로 촉각을 뜻하는 것으로서, 촉감과 역감을 모두 포함하는 개념이다. 촉감은 피부 감각을 통하여 접촉 표면의 기하형상, 거칠기, 온도, 및 미끄러짐 등에 관한 정보를 제공하고, 역감은 근육과 뼈 및 관절의 수용감각을 통하여 전체 접촉력, 유연성, 및 무게감 등에 관한 정보를 제공한다.
이러한 촉각 정보를 사용자에게 제공하기 위해서는 촉각 정보를 획득하는 과정, 촉각 정보를 영상 정보 등과 편집 또는 합성하는 과정, 편집된 촉각 정보와 영상 정보를 전송하는 과정, 및 전송된 촉각 정보와 영상 정보를 재생하는 과정 등이 필요하다.
한편, 종래의 햅틱 정보의 제공에 있어서 가장 널리 쓰이는 장치는 미국 SensAble 사의 PHANToMTM과 같은 역감 제시 장치이다. 이러한 역감 제시 장치는 외골격(exo-skeletal) 같은 기계적 구조나 모터를 이용한 장치들을 통해 가상 객체의 표면 질감이나 마찰력, 모양 등을 제시할 수 있다. 그러나, 이들 장치는 사용자의 피부 표면에 직접적으로 정보를 제시하지 못하는 단점이 있고, 전형적으로 이러한 장치의 엔드-이펙트(end-effect)는 힘을 느끼기 위해 쥐어지는 펜 타입 또는 심블(thimble) 형태로 이루어지며, 가격이 비싸다는 단점이 있다.
상기와 같은 역감 제시 장치 외에 인체의 피부에 직접 작용하는 촉감 제시 장치가 사용되기도 한다. 촉감 제시 장치는 구동자(actuator)들의 조합으로 이루어지는데 각 구동자는 진동 촉감(vibrotactile stimulation) 방식 또는 공기 촉감(pneumatic tactile stimualation) 방식 등에 의해 이루어질 수 있다. 진동 촉감 방식 구동자의 경우에는 편심된 모터나 압전(piezoelectric) 소자로 이루어질 수 있다.
구동자들의 조합으로 이루어진 촉감 제시 장치의 경우에는 각 구동자의 구동을 위한 정보를 저작 또는 편집하는 과정이 필요한데 이러한 과정은 영상 정보와 동기화되도록 이루어져야 한다. 그러나 종전에는 촉감 제시 장치를 위한 촉감 컨텐츠 제작을 위한 툴이 제공되지 않아 촉감 정보의 저작 또는 편집이 어려운 문제점이 존재하였다.
한편, 사용자의 직접참여에 의해 만들어지는 컨텐츠(UCC : User Created Contents)에 대한 사회적 관심이 증가하고 있다. 일례로서 인터넷을 통해 자기를 표현하고 광고 효과 및 교육 등 다양한 UCC 서비스를 제공하는 Youtube(http://www.youtube.com)가 2006년 타임지가 선정한 올해의 발명품으로 선정되기도 하였다. 그러나 현재까지의 UCC는 시청각을 주로 한 동영상이나 텍스트 위주로 생산되고 있는 상태이다.
이에 따라 촉감 정보를 시청각 미디어 정보와 동기화된 상태로 저작 및 편집하고 이를 바탕으로 촉감 정보를 효과적으로 나타낼 수 있는 촉감 정보 편집 툴의 개발이 요구되고 있는 실정이다.
상기와 같은 문제점을 해결하기 위해 본 발명은, 시청각 미디어를 바탕으로 하여 그리기와 같은 방식으로 촉감 제시 장치의 구동자 어레이의 구동 강도를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 생성하는 촉감 정보 저작 장치를 제공함을 그 목적으로 한다.
또한, 본 발명은, 시청각 미디어를 출력하고 촉감 비디오를 입력하는 창을 생성하여 그리기와 같은 방식으로 촉감 비디오를 생성하는 촉감 정보 저작 방법 및 이를 기록한 컴퓨터로 판독 가능한 기록매체를 제공함을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위해 본 발명은, 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 장치에 있어서, 상기 촉감 비디오를 저작하기 위한 환경을 설정하는 환경 설정부; 및 상기 촉감 비디오 저작의 바탕이 되는 동영상 또는 텍스트와 같은 시청각 미디어 정보를 프레임 단위로 출력하는 동영상 재생창과, 상기 촉감 비디오의 각 픽셀에 대한 인텐시티 값을 그리기 형식으로 입력하는 촉감비디오 입력창을 구비하는 촉감 비디오 저작부를 포함하는 촉감 비디오 생성부를 구비하여 상기 촉감 비디오를 프레임 단위로 생성하는 촉감 정보 저작 장치를 제공한다.
상기 촉감 정보 저작 장치는, 촉감 비디오를 저장하는 촉감 비디오 저장부 및 상기 시청각 미디어와 상기 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성하는 장면기술자 생성부를 추가로 포함함을 또 다른 특징으로 한다.
또한, 상기 촉감 정보 저작 장치는, 상기 시청각 미디어와 상기 촉감 비디오 와 상기 장면기술자를 인코딩하여 하나의 파일로 생성하는 파일 생성기를 추가로 포함함을 또 다른 특징으로 한다.
본 발명의 또 다른 실시예에 의하면, 본 발명은 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 방법에 있어서, (a) 상기 촉감 비디오의 크기, 상기 촉감 비디오의 바탕이 되는 시청각 미디어, 촉감 비디오의 프레임 비율을 포함하는 상기 촉감 비디오를 저작하기 위한 환경을 설정하는 단계; (b) 동영상 재생창에 상기 시청각 미디어 정보를 프레임 단위로 출력하고 상기 촉감 비디오를 저작하기 위한 촉감 비디오 입력창을 생성하는 단계; 및 (c) 상기 촉감 비디오 입력창에 입력 수단을 이용하여 상기 촉감 비디오의 각 픽셀의 인텐시티 값을 그리기 방식으로 입력하는 단계를 포함하는 것을 특징으로 하는 촉감 정보 저작 방법을 제공한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에 따른 촉감 정보 저작 방법 및 장치는 어레이 형태의 구동자의 조 합으로 이루어진 촉감 제시 장치의 각 구동자에 대한 촉감 정보를 저작 및 편집한다. 상기 촉감 제시 장치의 각 구동자의 구동은 구동 시간 및 강도를 특정함으로서 제어할 수 있다. 본 발명에 있어서 구동자의 조합으로 이루어진 구동자 어레이의 구동 강도는 촉감 비디오로 생성됨을 특징으로 특징으로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 방법에 의해 생성된 촉감 정보를 재생하기 위한 촉감 제시 장치의 일례를 도시한 도면이고, 도 2는 도 1에 도시한 촉감 제시 장치의 구동자 어레이 및 이에 대응하는 촉감 비디오를 도시한 도면이다.
촉감 제시 장치(10)는 다수의 구동자(14)가 구비된 촉감 제시부(12a, 12b)와, 상기 구동자(14)를 제어하는 로컬 제어부(16) 및 상기 구동자(14)를 제어하는 제어 신호를 송수신하여 상기 로컬 제어부(16)로 전달하는 로컬 송수신부(18)를 포함한다. 또한 상기 촉감 제시 장치(10)의 상기 구동자(14)를 제어하기 위한 신호를 생성하는 메인 제어부(20)와 상기 촉감 제시 장치(10)의 로컬 송수신부(18)로 메인 제어부(20)의 제어 신호를 전송하는 메인 송수신부(22)가 구비된다.
메인 제어부(20)는 각각의 구동자(14)를 제어하기 위한 제어 신호를 생성하여 메인 송수신부(22)와 로컬 송수신부(18)를 통해 로컬 제어부(16)로 전송하고, 로컬 제어부(16)는 상기 제어 신호를 바탕으로 각각의 구동자(14)의 구동을 제어한다. 여기서 메인 송수신부(22)와 로컬 송수신부(18)는 케이블로 연결될 수 있으나, 블루투스(Bluetooth)와 같은 무선 통신 방식에 의해 연결될 수도 있다.
도 1에 있어서 촉감 제시부(12a, 12b)는 장갑 형태로 구현하여 사용자가 손 에 착용할 수 있는 것을 도시하였으나, 촉감 제시부(12a, 12b)는 다양한 형태로 구비될 수 있음은 물론이다. 촉감 제시를 위한 형태에 따라 촉감 제시부(12a, 12b)는 장갑 형태, 신발 형태 이외에도 모자 형태로 머리에 착용할 수 있도록 하거나 팔이나 다리 또는 등이나 허리 등에 부착할 수 있도록 구현될 수 있다.
촉감 제시부(12a, 12b)에 구비되는 구동자(14)는 진동 촉감(vibrotactile stimulation) 방식 또는 공기 촉감(pneumatic tactile stimualation) 방식 등에 의해 이루어질 수 있다. 구동자(14)는 진동 촉감 방식의 경우에는 편심된 모터나 압전(piezoelectric) 소자로 이루어질 수 있으며, 공기 촉감 방식의 경우에는 공기를 공급하는 노즐 형태로 이루어질 수 있다.
각 구동자(14)의 구동은 구동 강도를 특정함으로써 제어할 수 있다. 따라서 각 구동자(14)에 구동 강도에 대한 정보를 로컬 제어부(16)로 전송함으로써 사용자에게 촉감 정보를 나타낼 수 있다. 메인 제어부(20)에서는 로컬 제어부(16)로 각 구동자(14)의 구동 강도에 대한 정보를 전송하는데 본 발명에 있어서 각 구동자(14)의 구동에 대한 강도 정보는 촉감 비디오 형태로 메인 제어부(20)로 전달되는데 메인 제어부에서는 촉감 비디오의 각 프레임이 바뀔 때마다 각 픽셀 값을 구동 강도로 변환하여 로컬 제어부로 전송함을 특징으로 한다.
도 2를 참조하여 촉감 비디오에 대하여 설명한다.
도 1에서 좌측 촉감 제시부(12a)와 우측 촉감 제시부(12b)에는 각각 4×5의 구동자(14)가 구비되는데, 이를 모두 합하면 4×10의 구동자 어레이(24)로 표현할 수 있다. 즉, 도 2에서와 같이 구동자(14)들의 조합은 사각형의 어레 이(rectangular array) 형태로 나타낼 수 있는데, 촉감 비디오(30)는 각 구동자(14)에 대응하는 픽셀로 이루어진다.
촉감 비디오(30)의 각 픽셀에는 픽셀의 인텐시티 정보가 포함되고, 인텐시티 정보는 그 픽셀에 대응하는 구동자의 구동 강도에 대응한다. 촉감 비디오(30)를 그레이 스케일의 흑백 비디오로 나타낼 경우 각 픽셀은 0 내지 255의 인텐시티 정보를 갖게 되는데 이 정보를 바탕으로 구동자를 구동시킨다. 예를 들어 하얀색 픽셀에 해당하는 구동자는 강하게 구동시키고, 검은색 픽셀에 해당하는 구동자는 약하게 진동시킨다.
촉감 제시 장치(10)의 구동자 어레이(24)와 촉감 비디오(30)의 픽셀이 1:1로 대응하는 경우에는 각 픽셀의 인텐시티 정보와 각 구동자의 구동 세기를 1:1 대응시키면 된다. 그런데, 촉감 비디오(30)의 디멘젼(dimension)이 구동자 어레이(24)의 디멘젼보다 큰 경우라면 그 비율에 따라 매핑시키면 된다. 예컨대 촉감 비디오(30)가 320×240의 디멘젼을 갖고, 촉감 제시 장치(10)의 구동자 어레이(24)가 10×4의 디멘젼을 갖는 경우라면, 320×240 픽셀의 촉감 비디오(30)를 10×4 픽셀로 크기를 조정하여 구동자 어레이(24)와 1:1 대응시키도록 하며, 이 때 크기 조정된 촉감 비디오(30)의 인텐시티 정보는 크기 조정 전 픽셀의 인텐시티 정보를 평균하여 나타내도록 하면 된다.
이러한 촉감 비디오(30)는 일반적인 컬러 또는 흑백 비디오의 형식과 같으므로 일반적인 비디오 인코딩 및 디코딩 방법을 사용하여 전송할 수 있다. 또한 촉감 비디오(30)는 다수의 프레임으로 이루어지며 각각의 프레임에서의 픽셀의 인텐시티 정보는 촉감 제시 장치(10)의 각각의 구동자의 구동 강도에 대응한다.
도 3은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치의 블록도이다.
본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치(100)는, 각 구성요소의 기능을 전체적으로 제어하기 위한 주제어부(110)와, 동영상 또는 텍스트 등의 시청각 미디어를 저장하는 미디어 저장부(120)와, 촉감 비디오를 생성하는 촉감 비디오 생성부(130)와, 생성된 촉감 비디오를 저장하는 촉감 비디오 저장부(140)와, 비디오 또는 오디오 등의 미디어 정보와 촉감 비디오의 시간적 관계를 나타내는 장면기술자(scene descriptor)를 생성하는 장면기술자 생성부(150)를 포함한다.
또한, 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치(100)는, 상기 촉감 비디오 생성부(130)에서 생성된 촉감 비디오와, 상기 시청각 미디어 및 이들의 관계를 기술하는 장면 기술자를 각각 인코딩하여 MP4 파일과 같은 하나의 파일로 생성시키는 파일 생성기(160)를 포함할 수 있다. 특히, 본 발명에서 각 픽셀이 촉감 제시 장치(10)의 구동자 어레이(24)의 각 구동자(14)와 대응되도록 생성되는 촉감 비디오는 일반적인 흑백 또는 컬러 비디오와 같은 형태이므로 통상의 비디오 인코딩 방법에 의해 인코딩될 수 있다. 이에 따라 파일 생성기(160)에서 생성된 파일은 MPEG-4에서 사용되는 인코딩 방법 및 다중화 방법에 의해 생성될 수 있다.
촉감 비디오 생성부(130)는 상기 미디어 저장부(120)에 저장된 미디어 정보를 바탕으로 촉감 정보를 포함하는 촉감 비디오를 생성하는 기능을 수행한다. 촉감 비디오 생성부(130)는 미디어 저장부(120)로부터 미디어 정보를 프레임 단위로 불러들여 해당 프레임에 대한 촉감 정보를 생성하고 이를 촉감 비디오 형태로 저장하도록 하는 기능을 수행한다. 촉감 비디오 생성부(130)의 구체적인 구성은 후술하도록 한다.
촉감 비디오 저장부(140)는 촉감 비디오 생성부(130)에서 생성된 촉감 비디오를 저장하는 기능을 수행한다. 촉감 비디오는 일반적인 비디오 형태로 저장된다.
장면기술자 생성부(150)는 미디어 정보와 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성한다. 장면기술자는 MPEG-4에 있어서는 장면용 이진 포맷(BIFS : Binary Format for Scenes)으로 표현된다.
도 4는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부의 구체적 구성을 도시한 블록도이며, 도 5는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부에 대한 인터페이스 구성도이다.
도 5에 도시된 촉감 비디오 생성 인터페이스(300)는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치(100)의 촉감 비디오 생성부(130)의 실제 구현 상태를 예시한 것이다. 이하, 도 4 및 도 5를 참조하여 촉감 비디오 생성부(130)의 구성을 설명한다.
촉감 비디오 생성부(130)는, 환경 설정부(200)와 촉감 비디오 저작부(250)를 포함한다.
환경 설정부(200)는 촉감 비디오의 크기, 촉감 비디오를 생성할 입력 수단, 촉감 비디오를 생성할 대상이 되는 동영상, 촉감 비디오의 프레임 수 등을 설정하는 기능을 수행한다. 한편, 촉감 비디오 저작부(250)는 환경 설정부(200)에서 설정된 환경에 따라 동영상 재생창(260)에 동영상을 프레임별로 출력시키고, 촉감 비디오 입력창(270)을 통해 촉감 정보를 입력 또는 편집할 수 있도록 한다. 이를 구체적으로 설명하면 다음과 같다.
환경 설정부(200)는, 촉감비디오 크기 설정부(210), 입력수단 설정부(220), 파일경로 설정부(230), 및 동영상 설정부(240)를 포함한다.
촉감비디오 크기 설정부(210)는 촉감 비디오의 크기를 설정하는 기능을 수행한다. 촉감 비디오의 크기는 가로 픽셀 및 세로 픽셀의 수를 입력함으로써 설정된다. 촉감 비디오의 각 픽셀은 촉감 제시 장치(10)의 각 구동자에 대응하므로 촉감 비디오의 크기는 촉감 제시 장치(10)의 구동자 어레이의 디멘젼에 따라 설정하면 된다. 다만 촉감 비디오의 픽셀은 촉감 제시 장치(10)의 구동자와 1:1로 반드시 대응될 필요는 없다. 촉감 비디오의 픽셀수가 촉감 제시 장치(10)의 구동자의 수보다 많은 경우에는 비율에 따라 서로 매칭시키면 된다.
입력수단 설정부(220)는 촉감 정보를 입력하기 위한 입력수단(222)을 설정하는 기능을 수행한다. 촉감 정보는 각 촉감 비디오의 각 픽셀의 인텐시티(즉, 그레이 레벨)로 나타내어지므로 촉감 비디오는 일종의 그림 그리기 툴을 이용하여 그림을 그리는 것과 같은 방식으로 생성될 수 있다. 따라서 입력수단(222)은 키보드, 마우스, 또는 타블렛 펜(tablet pen) 등이 될 수 있다. 마우스나 키보드를 이용할 경우 각 픽셀에 정해진 인텐시티 값에 따른 그리기 기능 또는 채우기 기능을 이용 하여 촉감 정보를 입력할 수 있다. 만약 그레이 레벨을 128로 설정한 후 특정 픽셀을 해당 색상으로 채우거나 또는 선그리기를 하면 특정 픽셀의 인텐시티 값이 128로 설정한다. 한편, 또 다른 입력 수단으로서 타블렛 펜(tablet pen)을 이용할 수 있다. 이 경우에는 타블렛 펜의 입력 압력에 따라 각 픽셀의 인텐시티 값을 설정할 수 있다. 도 5의 입력수단 설정부(220)는 마우스를 이용하여 픽셀의 인텐시티 값을 입력할 수 있도록 하고, 입력시 마우스에 따른 브러쉬의 굵기 및 그레이 레벨을 설정할 수 있도록 한 예를 도시하였다.
파일경로 설정부(230)는 촉감 비디오를 생성할 동영상이 저장된 경로를 설정하고 생성된 촉감 비디오를 저장하거나 기생성된 촉감 비디오가 저장된 경로를 설정하여 동영상이나 기생성된 촉감 비디오를 읽어들이거나 생성된 촉감 비디오를 저장하도록 하는 기능을 수행한다. 이에 따라 사용자는 동영상을 바탕으로 새로운 촉감 비디오를 저작하거나, 기 생성된 촉감 비디오를 불러 들여 편집할 수 있다.
동영상 설정부(240)는 촉감 비디오의 프레임 비율(time resolution)을 결정하는 기능을 수행한다. 동영상을 일반적으로 초당 30 프레임씩 재생되는데, 촉감 비디오는 동영상의 모든 프레임마다 생성하는 것도 가능하나 몇 개의 동영상 프레임마다 하나의 촉각 비디오 프레임을 생성하는 것도 가능하다. 이를 위해 동영상 설정부(240)는 몇 개의 동영상 프레임마다 하나의 촉각 비디오 프레임을 생성할 것인지를 결정한다. 한편, 추가적으로 서브 프레임 설정부(242)는 현재 촉감 비디오를 생성하고 있는 동영상 프레임의 전후에 위치하는 동영상을 몇 개까지 나타낼 것인지를 설정한다.
한편, 촉감 비디오 생성부(130)는 촉감 재생 버튼(244)을 추가로 구비할 수 있다. 촉감 재생 버튼(244)은 생성된 촉감 비디오가 촉감 제시 장치(10)에서 프레임 단위 또는 일정 시간 단위로 재생하도록 하는 기능을 수행한다. 이에 따라 사용자는 편집 또는 저작이 완료된 촉감 비디오를 촉감 제시 장치(10)를 통해 실제로 느껴본 후 용이하게 수정할 수 있게 된다. 사용자가 촉감 재생 버튼(244)을 동작시키는 경우 주제어부(110)는 촉감 비디오를 촉감 제시 장치(10)의 메인 제어부(20)로 전달하여 메인 제어부(20)가 촉감 비디오 프레임의 픽셀 정보를 바탕으로 구동자(14)를 제어함으로써 사용자에게 촉감을 제시하도록 한다.
다음으로 촉감 비디오 생성부(130)의 촉감비디오 저작부(250)의 구체적 구성을 설명한다.
촉감비디오 저작부(250)는 동영상 재생창(260), 촉감 비디오 입력창(270) 및 각종 기능 버튼(290)을 포함한다.
동영상 재생창(260)은 동영상이 재생되는 윈도우로서, 동영상은 프레임 단위로 재생된다.
촉감비디오 입력창(270)은 촉감 비디오의 각 픽셀에 대한 인텐시티 정보를 입력하기 위한 창이다. 각 픽셀의 인텐시티 정보, 예컨대 그레이 레벨에 대한 정보는 전술한 바와 같이 마우스나 키보드를 이용한 그리기 기능 또는 채우기 기능으로 입력될 수 있으며, 타블렛 펜의 입력 압력에 의해 입력될 수도 있다. 또한, 촉감 비디오 입력창(270)에는 촉감 비디오의 각 픽셀을 구분하기 위한 그리드 선(272)을 표시 또는 생략할 수 있도록 함이 바람직하다.
동영상 재생창(260)과 촉감비디오 입력창(270)은 각각 별개의 윈도우로 구성될 수도 있으나 동영상 재생창(260)과 촉감 비디오 입력창(270)을 하나의 윈도우로 겹쳐서 표현하는 것도 가능하다. 도 5에서는 동영상 재생창(260)과 촉감비디오 입력창(270)을 하나의 윈도우로 표현하였으며, 이때 촉감비디오 입력창을 투명하게 하여 동영상과 겹쳐 보이도록 하였다. 한편, 동영상 재생창(260)의 프레임을 다른 프레임으로 변경하거나 일정한 범위를 지정하는 등 사용자의 편리성을 위해 슬라이드바(274)가 구비될 수 있다.
서브 프레임 표시창(280)은 촉감 비디오를 생성하는 참조 화면이 되는 동영상 프레임을 작은 화면으로 표시한다. 이에 따라 사용자는 현재 편집하고 있는 프레임의 위치를 확인할 수 있다.
다음으로 촉감 비디오 저작부(250)의 각종 기능 버튼(290)을 설명한다.
조작 버튼(292)은 프레임을 순차적으로 재생(play), 일시 멈춤(pause), 정지(stop), 다음 프레임 표시(next), 이전 프레임 표시(prev) 등을 조작하기 위한 버튼을 제공한다.
그리기 설정 버튼(294)은 촉감 비디오 입력창(270)에 마우스 등을 이용하여 그리기를 수행하기 위한 옵션을 선택하도록 하는 기능을 수행한다. 자유 곡선의 생성(Draw Free Line) 또는 직선 생성(Draw Line)을 입력할 수 있다. 도시하지는 않았으나 픽셀 채우기 또는 점으로 입력할 수 있는 옵션을 추가하는 것도 가능하다.
확인 버튼(296)은 한 프레임에 대한 촉감 비디오 입력이 완료될 경우 해당 촉감 비디오 프레임을 버퍼에 저장하도록 하는 기능을 수행한다.
입력 보조 버튼(298)은 입력 해제(Undo), 삭제 사항 복구(Redo), 모두 지우기(Erase All), 입력 지우기(Erase) 등의 기능을 제공하여 마우스 등으로 입력한 사항을 삭제나 복구 등이 가능하도록 한다.
저장 버튼(299)는 완성된 촉감 비디오를 최종적으로 저장하도록 하는 기능을 수행한다.
저장 버튼(299)의 조작에 따라 촉감 비디오 생성부(130)에서 생성된 촉감 비디오는 촉감 비디오 저장부(140)에 저장된다. 한편, 장면기술자 생성부(150)는 촉감 비디오와 동영상의 동기화 출력을 위한 정보를 생성하여 장면기술자 정보로 저장한다.
이상에서 설명한 촉감 비디오 생성부(130)를 이용하여 촉감 비디오를 생성하는 일례를 설명한다.
도 6은 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 장치에 있어서 촉감 비디오 생성부 인터페이스를 통해 촉감 정보를 입력한 상태를 도시한 도면이고, 도 7은 도 6에 따라 생성되는 촉감 비디오 프레임을 도시한 도면이다.
도 6을 참조하면, 촉감 비디오 크기 설정부(210)에 가로 10, 세로 8의 크기를 입력하여 10×8 크기의 촉감 비디오 입력창(270)이 생성되었다. 또한 입력수단 설정부(220)에서 브러쉬 굵기를 5로 설정하고, 그레이 레벨을 128로 설정하여 마우스를 이용하여 촉감 비디오 입력창(270)에 라인을 그렸다. 동영상 설정부(240)에 촉각 비디오의 프레임 비율을 5로 입력함에 따라 동영상의 매 5프레임마다 촉각 비디오를 1 프레임 작성하도록 하고, 서브 프레임 설정을 7로 입력하여 서브 프레임 표시창(280)에 7개의 프레임이 나타나도록 하였다.
이에 따라 도 7에 도시된 바와 같은 촉감 비디오(30)가 생성되었다. 생성된 촉감 비디오(30)에 따르면 도 6에서 촉감 비디오 입력창(270)에 128의 그레이 레벨로 그림을 그린 결과로서 그림이 그려진 픽셀은 128의 그레이 레벨을 갖게 된다.
이상에서 설명한 본 발명의 촉감 저작 장치(100)의 촉감 생성부(130)를 이용하면 사용자는 통상적인 그림 그리기 툴을 이용하는 것과 같은 손쉬운 방법으로 촉감 비디오의 프레임을 생성 또는 편집할 수 있게 된다.
한편, 생성된 촉감 비디오는 다시 불러들어 편집하는 것도 가능하며, 다른 동영상 비디오에 대한 촉감 비디오 생성시 기생성된 촉감 비디오를 활용할 수 있다. 특히 특정한 영상 또는 음향에 대응하여 생성된 촉감 비디오는 패턴별로 저장되도록 하여 이후에 다시 사용되도록 함으로써 촉감 비디오 저작의 편리성을 극대화시킬 수 있다.
다음으로 촉감 비디오 생성부(130)에서 생성된 촉감 비디오를 동영상 등 미디어와 동기화시키기 위한 장면기술자의 생성에 대해 구체적으로 설명한다. 전술한 바와 같이 장면기술자 생성부(150)는 촉감 비디오와 미디어의 시간적 관계를 기술하는 장면기술자를 생성하는데, 촉감 비디오에 대한 기술을 위한 장면기술자의 노드 구조를 새롭게 정의함으로써 촉감 비디오를 미디어 정보와 함께 하나의 파일로 인코딩할 수 있다.
MPEG-4에서는 객체의 표현을 위한 정보들은 복수개의 기초스트림(ES : Elementary Stream)을 통하여 전송한다. 그리고, 이러한 각 기초스트림(ES)간의 상 호관계 및 링크의 구성 정보는 MPEG-4에서 정의하고 있는 객체기술자에 의해 전송되어진다. MPEG-4 기반으로 장면을 구성하기 위해서는 일반적으로 초기객체기술자(IOD: Initial Object Descriptor), 장면기술자(BIFS : Binary Format for Scenes), 객체기술자 및 미디어 데이터들이 필요하다. 초기객체기술자(IOD)는 MPEG-4 장면을 구성하기 위해 가장 먼저 전송되어야 하는 정보로, 각 미디어의 프로파일과 레벨을 기술하고, 장면기술자(BIFS) 스트림과 객체기술자 스트림에 대한 기초스트림기술자(ES-Descriptor)를 포함한다.
객체기술자는 장면을 구성하는 각 미디어 데이터에 대한 정보를 기술하는 기초스트림기술자들의 집합으로써, 각 미디어 데이터의 기초스트림(ES)과 장면기술과의 연결을 제공한다. 여기서 장면기술자(BIFS)는 각각의 객체들이 시공간적으로 어떠한 관계를 갖는지 기술하는 정보이다.
MPEG-4에 있어서 장면기술자(BIFS)에는 비디오 객체를 정의하는 MovieTexture 노드가 구비된다.
도 8은 MPEG-4에서 장면기술자의 MovieTexture 노드의 일례를 나타내는 도면이다.
도 8의 MovieTexture 노드에서 stratTime은 비디오가 플레이되는 시작 시각을 나타내고, stopTime은 비디오의 플레이가 정지되는 시각을 나타낸다. 이에 따라 비디오를 다른 객체와 동기화시킬 수 있다. 또한 url은 비디오의 위치를 설정한다.
이러한 장면기술자의 MovieTexture 노드를 이용하여 촉감 비디오를 전송하기 위하여 본 발명에서는 TactileDisplay 노드를 정의한다.
도 9는 본 발명의 바람직한 실시예에 있어서 촉감 정보 표현을 위한 TactileDisplay 노드를 나타낸 도면이고, 도 10은 본 발명의 바람직한 실시예에 있어서 TactileDisplay 노드를 MovieTexture 노드와 연결하여 촉감 비디오 객체를 정의하는 것을 나타내는 도면이다.
도 9에 따르면 TactileDisplay 노드는 texture 노드의 일종임을 표시한다. 도 10에 있어서, "url" 필드는 촉감 비디오의 위치를 나타내며, "stratTime" 필드는 시작 시각을, "stopTime" 필드는 종료 시각을 나타낸다. 즉, TactileDisplay 노드의 texture 필드에 MovieTexture 노드를 연결하여 하나의 촉감 비디오 객체를 정의한다. 도 10의 예에 있어서, "tatile_video.avi"로 설정된 촉감 비디오는 플레이 된 후 3초후부터 7초까지 촉감 제시 장치에서 플레이된다.
상기의 도 9 및 도 10에 있어서는 TactileDisplay 노드를 texture 노드의 일종으로 정의하고 기존의 MovieTexture 노드를 이용하여 촉감 비디오 객체를 표현하도록 하였으나, TactileDisplay 노드를 다음과 같이 새로운 texture 노드로서 정의하는 것도 바람직하다.
도 11은 본 발명의 바람직한 실시예에 있어서, 촉감 정보 표현을 위한 TactileDisplayTexture 노드를 나타낸 도면이다.
도 11에 따르면 MPEG-4의 장면기술자(BIFS)에 있어서 촉감 비디오의 전송을 위한 TactileDisplayTexture를 새롭게 정의하였다. TactileDisplayTexture는 촉감 비디오 파일의 플레이 시작 시각과 정지 시각을 정의하며, "url" 필드는 촉감 비디오 파일의 위치를 나타낸다.
다음으로 촉감 정보 저작 방법을 설명하도록 한다.
도 12는 본 발명의 바람직한 실시예에 따른 촉감 정보 저작 방법을 도시한 순서도이다.
촉감 정보를 저작하기 위해 사용자는 촉감 비디오를 생성할 환경을 설정한다(S400). 촉감 비디오 생성 환경을 위해서는, 촉감 비디오의 크기, 촉감 비디오를 생성할 대상이 되는 동영상과 같은 미디어 정보의 경로, 촉감 비디오를 생성하기 위한 입력수단, 촉감 비디오의 프레임 비율 등을 환경 설정부(200)를 통해 설정하는 것이 필요하다.
환경 설정부(200)의 설정에 따라 촉감 비디오 저작부(250)의 동영상 재생창(260)에 미디어 정보가 프레임 단위로 출력되고, 촉감 비디오 입력창(270)이 생성된다(S402). 만약, 환경 설정부(200)에서 기 생성된 촉감 비디오를 불러오기할 경우에는 촉감 비디오 입력창(270)에 기 생성된 촉감 비디오의 프레임이 출력된다.
입력 수단을 통해 입력된 정보에 따라 촉감 비디오 입력창(270)의 픽셀에 인텐시티 값이 생성 또는 수정된다(S404).
해당 촉감 비디오 프레임에 대한 촉감 정보(즉, 각 픽셀에 대한 인텐시티 값)의 입력이 완료되면 촉감 비디오의 프레임을 버퍼에 임시 저장하고, 작업이 완료되면 촉감 비디오를 촉감 비디오 저장부(140)에 저장한다(S406).
한편, 장면기술자 생성부(150)는 촉감 비디오와 미디어 정보와의 시간적 관계에 따른 장면기술자를 생성한다(S408). 이 장면기술자에는 전술한 바와 같이 촉 감 비디오의 위치 필드와 플레이 시작 시각 및 종료 시각을 나타내는 필드를 포함하는 텍스쳐 노드가 포함되어 생성된다.
마지막으로 파일 생성부(160)는 촉감 비디오와 미디어 정보 및 장면 기술자 정보를 인코딩하여 다중화함으로써 MP4 파일과 같은 하나의 파일로 생성한다(S410).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 의하면, 시청각 미디어를 바탕으로 하여 그림을 그리는 것과 동일한 방식으로 촉감 제시 장치의 구동자 어레이의 구동 강도를 표현하는 촉감 비디오를 생성할 수 있는 장점이 있다.
또한 본 발명에 의하면, 사용자에게 촉감 비디오 생성을 위한 편리한 인터페이스를 제공하고 그 입력방식과 촉감 비디오의 저장 등이 용이하여 개별적인 사용자도 간단한 방식으로 직접 촉감 정보를 저작할 수 있는 장점이 있다.

Claims (18)

  1. 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 장치에 있어서,
    상기 촉감 비디오를 저작하기 위한 환경을 설정하는 환경 설정부; 및
    상기 촉감 비디오 저작의 바탕이 되는 동영상 또는 텍스트와 같은 시청각 미디어 정보를 프레임 단위로 출력하는 동영상 재생창과, 상기 촉감 비디오의 각 픽셀에 대한 인텐시티 값을 그리기 형식으로 입력하는 촉감비디오 입력창을 구비하는 촉감 비디오 저작부
    를 포함하는 촉감 비디오 생성부를 구비하여 상기 촉감 비디오를 프레임 단위로 생성하는 촉감 정보 저작 장치.
  2. 제 1 항에 있어서,
    상기 환경 설정부는,
    상기 촉감 비디오 입력창에 표시되는 상기 촉감 비디오의 프레임 크기를 설정하는 촉감 비디오 크기 설정부와,
    상기 촉감 비디오 입력창에 촉감 정보를 입력하기 위한 입력 수단을 설정하는 입력수단 설정부, 및
    상기 촉감 비디오의 프레임 비율을 결정하는 동영상 설정부
    를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
  3. 제 2 항에 있어서,
    상기 입력 수단 설정부는, 상기 픽셀의 인텐시티 값을 설정하여 마우스 또는 키보드로 입력하도록 설정하거나, 타블렛 펜의 입력 압력에 따라 상기 픽셀의 인텐시티 값을 입력하도록 설정하는 것을 특징으로 하는 촉감 정보 저작 장치.
  4. 제 2 항에 있어서,
    상기 환경 설정부는,
    상기 시청각 미디어의 경로 정보 및 상기 촉감 미디어의 경로 정보를 설정하는 파일 경로 설정부를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
  5. 제 1 항에 있어서,
    상기 동영상 재생창과 상기 촉감비디오 입력창은 겹쳐지는 형태로 출력됨을 특징으로 하는 촉감 정보 저작 장치.
  6. 제 1 항에 있어서,
    상기 촉감 비디오 저작부에는 상기 동영상 재생창에 출력된 프레임의 전후 프레임을 표시하는 서브 프레임 표시창을 추가로 포함하며, 상기 동영상 설정부에는 상기 서브 프레임 표시창에 출력되는 프레임의 수를 설정하는 서브 프레임 설정부가 구비되는 것을 특징으로 하는 촉감 정보 저작 장치.
  7. 제 1 항에 있어서,
    상기 촉감 비디오 생성부에는 촉감 재생 버튼이 구비되어 상기 촉감 재생 버튼을 작동시킬 경우 상기 촉감 비디오를 상기 촉감 제시 장치로 전달하여 촉감을 재생하는 것을 특징으로 하는 촉감 정보 저작 장치.
  8. 제 1 항에 있어서,
    상기 촉감 비디오 저작부에는,
    상기 동영상 재생창에 표시되는 프레임의 출력을 제어하기 위한 조작 버튼과, 상기 입력 수단을 이용하여 상기 촉감 비디오 입력창에 입력하는 그리기 기능을 설정하는 그리기 설정 버튼과, 상기 입력 수단의 입력 상태를 변경하는 입력 보조 버튼, 및 촉감 비디오 입력을 확인하는 확인 버튼을 포함하는 기능 버튼이 구비된 것을 특징으로 하는 촉감 정보 저작 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 시청각 미디어를 저장하는 미디어 저장부;
    상기 촉감비디오 생성부에서 생성된 촉감 비디오를 저장하는 촉감 비디오 저장부; 및
    상기 시청각 미디어와 이를 바탕으로 생성된 상기 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성하는 장면기술자 생성부
    를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
  10. 제 9 항에 있어서,
    상기 장면기술자는,
    상기 촉감 비디오의 위치를 나타내는 url 필드와, 상기 촉감 비디오의 플레이 시작을 나타내는 시작 시각 필드, 및 상기 촉감 비디오의 플레이 종료를 나타내는 종료 시각 필드를 포함하는 노드를 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
  11. 제 9 항에 있어서,
    상기 시청각 미디어와 상기 촉감 비디오와 상기 장면기술자를 인코딩하여 하나의 파일로 생성하는 파일 생성기를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 장치.
  12. 촉감 제시 장치의 구동자 어레이의 구동 강도 정보를 픽셀의 인텐시티 값으로 표현하는 촉감 비디오를 저작하는 방법에 있어서,
    (a) 상기 촉감 비디오의 크기, 상기 촉감 비디오의 바탕이 되는 시청각 미디어, 촉감 비디오의 프레임 비율을 포함하는 상기 촉감 비디오를 저작하기 위한 환경을 설정하는 단계;
    (b) 동영상 재생창에 상기 시청각 미디어 정보를 프레임 단위로 출력하고 상 기 촉감 비디오를 저작하기 위한 촉감 비디오 입력창을 생성하는 단계; 및
    (c) 상기 촉감 비디오 입력창에 입력 수단을 이용하여 상기 촉감 비디오의 각 픽셀의 인텐시티 값을 그리기 방식으로 입력하는 단계
    를 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
  13. 제 12 항에 있어서,
    상기 (c) 단계는,
    소정의 인텐시티 값을 지닌 점, 라인 또는 면의 형태로 상기 촉감비디오 입력창에 마우스 또는 키보드를 이용하여 입력하거나, 타블렛 펜의 입력 압력에 따라 인텐시티 값을 입력하는 것을 특징으로 하는 촉감 정보 저작 방법.
  14. 제 12 항에 있어서,
    상기 (b)단계에서, 상기 동영상 재생창과 상기 촉감비디오 입력창은 겹쳐진 형태로 출력됨을 특징으로 하는 촉감 정보 저작 방법.
  15. 제 12 항에 있어서,
    (d) 저작이 완료된 상기 촉감 비디오를 저장하는 단계; 및
    (e) 상기 시청각 미디어와 상기 촉감 비디오의 시간적 관계를 기술하는 장면기술자를 생성하는 단계
    를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
  16. 제 15 항에 있어서,
    장기 장면기술자는 상기 촉감 비디오의 위치를 나타내는 url 필드와, 상기 촉감 비디오의 플레이 시작을 나타내는 시작 시각 필드, 및 상기 촉감 비디오의 플레이 종료를 나타내는 종료 시각 필드를 포함하는 노드를 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
  17. 제 15 항에 있어서,
    (f) 상기 촉감 비디오와 상기 시청각 미디어 및 상기 장면기술자를 인코딩하여 다중화하여 하나의 파일로 생성하는 단계
    를 추가로 포함하는 것을 특징으로 하는 촉감 정보 저작 방법.
  18. 제 11 항 내지 제 17 항 중 어느 하나의 방법을 이용하여 촉감 정보를 저작하는 프로그램을 저장하는 컴퓨터로 판독가능한 기록 매체.
KR1020070020930A 2007-03-02 2007-03-02 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 Expired - Fee Related KR100860547B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070020930A KR100860547B1 (ko) 2007-03-02 2007-03-02 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
EP08723237A EP2132619A4 (en) 2007-03-02 2008-02-29 METHOD AND APPARATUS FOR CREATING TOUCH INFORMATION, AND COMPUTER READABLE MEDIUM COMPRISING THE METHOD.
US12/303,367 US20090309827A1 (en) 2007-03-02 2008-02-29 Method and apparatus for authoring tactile information, and computer readable medium including the method
PCT/KR2008/001199 WO2008108560A1 (en) 2007-03-02 2008-02-29 Method and apparatus for authoring tactile information, and computer readable medium including the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070020930A KR100860547B1 (ko) 2007-03-02 2007-03-02 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20080080777A true KR20080080777A (ko) 2008-09-05
KR100860547B1 KR100860547B1 (ko) 2008-09-26

Family

ID=39738404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070020930A Expired - Fee Related KR100860547B1 (ko) 2007-03-02 2007-03-02 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체

Country Status (4)

Country Link
US (1) US20090309827A1 (ko)
EP (1) EP2132619A4 (ko)
KR (1) KR100860547B1 (ko)
WO (1) WO2008108560A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011071275A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071351A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071352A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2945642A1 (fr) * 2009-05-15 2010-11-19 Alcatel Lucent Gant et ecran tactile permettant de lire des informations par le toucher
WO2011083442A1 (en) * 2010-01-08 2011-07-14 Dayton Technologies Limited Hand wearable control apparatus
KR20170139508A (ko) * 2015-04-21 2017-12-19 임머숀 코퍼레이션 에칭 입력의 동적 렌더링
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
CN106993231B (zh) * 2017-04-01 2020-02-18 锐达互动科技股份有限公司 一种视频选段播放的方法以及系统
US10194128B2 (en) 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06161348A (ja) * 1992-09-22 1994-06-07 Sony Corp アミューズメント装置および記録媒体
JPH10504920A (ja) * 1994-08-18 1998-05-12 インターヴァル リサーチ コーポレイション ビデオ用の内容に基づく感覚入力装置
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6167350A (en) * 1996-04-12 2000-12-26 Sony Corporation Method and apparatus for selecting information signal range and editing apparatus for information signal
DE69925813T2 (de) * 1998-02-06 2006-05-04 Wisconsin Alumni Research Foundation, Madison Auf der zunge gelegt tastausgabevorrichtung
US6659773B2 (en) * 1998-03-04 2003-12-09 D-Box Technology Inc. Motion transducer system
KR100324824B1 (ko) * 1999-12-22 2002-02-28 장긍덕 맹인용 영상정보 인식 시스템 및 그 제어방법
DE10021452A1 (de) * 2000-05-03 2002-03-07 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Übertragung, Aufzeichnung und Wiedergabe von Videosignalen sowie Imformationsträger für Videosignale
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
WO2003089100A1 (en) * 2002-04-22 2003-10-30 Intellocity Usa, Inc. Method and apparatus for data receiver and controller
US6930590B2 (en) * 2002-06-10 2005-08-16 Ownway Biotronics, Inc. Modular electrotactile system and method
US7073127B2 (en) * 2002-07-01 2006-07-04 Arcsoft, Inc. Video editing GUI with layer view
JP2006509289A (ja) * 2002-12-04 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 接触検知能を有するグラフィカル・ユーザー・インターフェイス
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
KR20060079813A (ko) * 2005-01-03 2006-07-06 삼성전자주식회사 감각데이터 구현기능을 갖는 전자기기
KR20060092416A (ko) * 2005-02-17 2006-08-23 홍광석 촉감정보를 표현하는 방법 및 이를 부호화하는 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011071275A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071351A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071352A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071275A3 (ko) * 2009-12-11 2011-11-10 광주과학기술원 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071352A3 (ko) * 2009-12-11 2011-11-10 광주과학기술원 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
WO2011071351A3 (ko) * 2009-12-11 2011-11-10 광주과학기술원 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
US20120092146A1 (en) * 2009-12-11 2012-04-19 Gwangju Institute Of Science And Technology Method for expressing haptic information using control information, and system for transmitting haptic information
US9030305B2 (en) * 2009-12-11 2015-05-12 Gwangju Institute Of Science And Technology Method for expressing haptic information using control information, and system for transmitting haptic information

Also Published As

Publication number Publication date
WO2008108560A1 (en) 2008-09-12
KR100860547B1 (ko) 2008-09-26
EP2132619A4 (en) 2010-08-18
EP2132619A1 (en) 2009-12-16
US20090309827A1 (en) 2009-12-17

Similar Documents

Publication Publication Date Title
KR100860547B1 (ko) 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
KR100835297B1 (ko) 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
Danieau et al. Enhancing audiovisual experience with haptic feedback: a survey on HAV
Danieau et al. Framework for enhancing video viewing experience with haptic effects of motion
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
KR20180030515A (ko) 사용자 햅틱 공간(ＨａｐＳｐａｃｅ)에 기초하여 햅틱 피드백 및 인터액티비티를 제공하는 방법 및 장치
Cha et al. A Framework for Haptic Broadcasting.
US20120113104A1 (en) Table type interactive 3d system
KR20210028198A (ko) 아바타 애니메이션
JP2021006977A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Kim et al. A tactile glove design and authoring system for immersive multimedia
US20240104870A1 (en) AR Interactions and Experiences
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
Cha et al. An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS
WO2017037952A1 (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
KR101239830B1 (ko) 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
KR101731476B1 (ko) 가상 인체를 통한 촉각 상호작용 방법과 장치
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Cha et al. Haptic interaction in realistic multimedia broadcasting
KR20180098936A (ko) 위치센서 기반 hmd 워킹 가상현실 콘텐츠 체험시스템
Rahman et al. A prototype haptic e-book system to support immersive remote reading in a smart space
KR101239368B1 (ko) 감각 정보의 구분을 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
JP7014913B2 (ja) メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム
KR20100052023A (ko) 교습용 디지털 스케치북

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070302

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080430

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20080730

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20080430

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20080801

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20080730

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20080911

Appeal identifier: 2008101007654

Request date: 20080801

PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20080801

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20080801

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20080523

Patent event code: PB09011R02I

PG1501 Laying open of application
B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20080911

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20080902

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080922

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080922

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110621

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120710

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130710

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130710

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140703

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20150730

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160912

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160912

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170825

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170825

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180625

Start annual number: 11

End annual number: 11

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200703