[go: up one dir, main page]

KR101731476B1 - 가상 인체를 통한 촉각 상호작용 방법과 장치 - Google Patents

가상 인체를 통한 촉각 상호작용 방법과 장치 Download PDF

Info

Publication number
KR101731476B1
KR101731476B1 KR1020100125982A KR20100125982A KR101731476B1 KR 101731476 B1 KR101731476 B1 KR 101731476B1 KR 1020100125982 A KR1020100125982 A KR 1020100125982A KR 20100125982 A KR20100125982 A KR 20100125982A KR 101731476 B1 KR101731476 B1 KR 101731476B1
Authority
KR
South Korea
Prior art keywords
haptic
information
human body
model
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020100125982A
Other languages
English (en)
Other versions
KR20120064789A (ko
Inventor
류제하
이창규
김재하
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100125982A priority Critical patent/KR101731476B1/ko
Publication of KR20120064789A publication Critical patent/KR20120064789A/ko
Application granted granted Critical
Publication of KR101731476B1 publication Critical patent/KR101731476B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 영상 정보와 함께 영상 정보에 포함된 인체에 대하여 모델링된 가상 인체 정보를 제공하여 가상 인체와의 햅틱 상호작용을 가능하게 하는 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다.
본 발명은, 영상 정보를 저장하는 영상 저장부; 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부; 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부; 상기 영상 정보를 출력하는 영상 출력부; 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 촉각 상호작용 장치를 제공한다.

Description

가상 인체를 통한 촉각 상호작용 방법과 장치{Method and Device for Haptic Interaction using Virtual Human}
본 발명은 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다. 더욱 상세하게는, 본 발명은 영상 정보와 함께 영상 정보에 포함된 인체에 대하여 모델링된 가상 인체 정보를 제공하여 가상 인체와의 햅틱 상호작용을 가능하게 하는 가상 인체를 통한 촉각 상호작용 방법 및 장치에 대한 것이다.
최근 디지털 미디어 및 전송 기술의 발전에 따라 기존의 2차원 영상을 기반으로 한 시청각 미디어의 한계를 뛰어넘는 실감 방송이 차세대 방송기술로 등장하고 있다. 이러한 실감 방송을 구현하기 위한 기술로서 3차원 영상을 기반으로 한 실감 미디어에 대한 연구와 더불어 촉감(Tactile Sense)과 역감(Kinesthetic Sense)를 포함하는 촉각 정보를 제공하는 것에 대한 연구가 진행중이다.
종래 촉각(Haptic) 정보를 제시하는 기술은 교육, 훈련, 오락 등에 적용되어 왔다. 촉각 정보를 이용하여 교육 효과를 증대시키는 기술, 의료 훈련이나 의료 장비에 촉각 정보를 활용하는 기술, 게임이나 오락 기구에 촉각 정보를 제시하도록 하는 기술, 메시지 전달시 촉각 정보를 함께 전달하는 기술, 시각 또는 청각 장애자 등에게 촉각 정보를 이용하여 정보 전달을 하는 기술 등 다양한 분야에 촉각 정보가 적용될 수 있음이 기존에 다양한 연구 결과 및 특허로부터 알려져 왔다.
그러나, 현재까지는 영상 정보에 포함된 인체와의 촉각 상호작용을 가능하게 하는 방법 및 장치가 제시되고 있지 않은 상황이다. 영상 정보에 포함된 실제 사람 또는 애니메이션 등에 포함된 가상의 사람에 대한 햅틱 모델 및 영상 정보의 장면마다 화면상의 동적인 인간과 햅틱 모델을 합치시키는 기술이 제시되지 않아 영상 정보에 포함된 인체와의 촉각 상호작용이 가능하지 않은 문제점이 존재하였다.
본 발명은 상기와 같은 문제점을 해결하기 위하여, 영상 정보에 포함된 인간 및 가상 세계에 존재하는 가상의 인간에 대하여 실제와 같은 신체 접촉을 가능하게 하는 촉각 상호작용 방법 및 장치를 제공함을 그 목적으로 한다.
본 발명은, 영상 정보를 저장하는 영상 저장부; 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부; 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부; 상기 영상 정보를 출력하는 영상 출력부; 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 촉각 상호작용 장치를 제공한다.
바람직하게는, 상기 영상 동기화부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 한다.
또한 본 발명은, 콘텐츠 전송장치와, 콘텐츠 수신장치를 포함하고, 상기 콘텐츠 전송장치는, 영상 정보를 저장하는 영상 저장부와, 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부, 및 상기 영상 정보와 상기 가상 인체 정보를 동기화시켜 전송하는 콘텐츠 전송부를 포함하고, 상기 콘텐츠 수신장치는, 상기 콘텐츠 전송부로부터 전송된 상기 영상 정보와 상기 가상 인체 정보를 수신하는 콘텐츠 수신부와, 상기 영상 정보를 출력하는 영상 출력부와, 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스, 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하는 것을 특징으로 하는 촉각 상호작용 시스템을 제공한다.
또한, 본 발명은, 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계; 햅틱 모델을 상기 영상 정보에 정합시키는 단계; 상기 영상 정보를 영상 출력부를 통해 출력하는 단계; 및 상기 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계를 포함하는 촉각 상호작용 방법을 제공한다.
또한, 본 발명은, 영상 정보에 포함된 인체에 대한 기하 모델을 획득하는 단계; 상기 기하 모델에 햅틱 속성을 부가하여 햅틱 모델을 생성하는 단계; 상기 햅틱 모델을 상기 영상 정보에 비가시적으로 증강시키는 단계; 상기 햅틱 모델과 상기 영상 정보를 포함한 콘텐츠를 전송하는 단계; 및 상기 영상 정보를 영상 출력부를 통해 출력하고 비가시적인 상기 햅틱 모델과 햅틱 디바이스와의 상호 작용에 따라 햅틱 렌더링을 수행하고 햅틱 정보를 제시하는 단계를 포함하는 촉각 상호작용 방법을 제공한다.
본 발명에 따르면, 영상 정보와 더불어 영상 정보에 포함된 인간에 대응하여 모델링된 가상 인간에 대한 정보를 함께 제공함으로써 시청자가 촉각 장치를 이용하여 가상 인간과의 촉각 상호작용을 가능하게 하는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치의 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템에 대한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
도 5는 3D 스캐닝을 통한 기하 모델을 획득하는 일례를 도시한 도면이다.
도 6은 기하 모델에 햅틱 속성을 부여한 햅틱 모델의 일례를 도시한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치의 블록도이다.
본 발명의 바람직한 실시예에 따른 촉각 상호작용 장치(10)는, 영상 정보를 저장하는 영상 저장부(12), 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부(14), 상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부(16), 상기 영상 정보를 출력하는 영상 출력부(22), 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스(20), 및 상기 햅틱 디바이스(20)와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부(18)를 포함한다.
영상 저장부(12)는 영화, 드라마, 애니메이션, 다큐멘터리 등과 같은 영상 정보를 저장한다. 영상 정보에는 음성 또는 음향 정보가 포함될 수 있으며, 음성 또는 음향 정보는 스피커 등과 같은 오디오 출력장치를 통해 영상과 함께 출력될 수 있다. 영상 정보는 2D 영상일 수 있으나, 바람직하게는 3D 영상으로 제작되는 것이 보다 사실적인 영상을 제공할 수 있다.
햅틱 모델 저장부(14)는 상기 영상 정보에 포함된 인체에 대응하여 생성된 햅틱 모델에 대한 정보를 저장한다. 햅틱 모델을 생성하는 방법에 대해서는 후술하도록 한다. 햅틱 모델은 상기 영상 정보의 각 프레임마다 생성될 수 있다.
영상 동기화부(16)는 영상 정보와 상기 영상 정보에 포함된 인체에 대응되어 모델링된 햅틱 모델을 동기화시키는 기능을 수행한다. 이는 영상 출력부(22)를 통해 출력되는 영상과 햅틱 디바이스(20)를 통한 촉각 상호작용이 일치되어 수행될 수 있도록 하기 위함이다. 일 실시예로서, 햅틱 모델은 각 영상 정보의 프레임에 대응하여 생성되고, 비가시적으로 영상 정보에 포함되도록 할 수 있다. 또한, 영상 정보에 대응되는 햅틱 모델에 대하여 영상 정보의 프레임 단위로 햅틱 모델을 생성하고 햅틱 모델을 포함한 영상을 프레임 단위로 생성한 후, 영상 정보의 프레임과 햅틱 모델을 포함한 프레임에 동기화를 위한 정보를 포함시키는 것도 가능하다. 또한 다른 실시예로서, 영상 동기화부(16)는 영상 정보에 상기 햅틱 모델을 비가시적으로 증강시키는 것도 가능하다.
영상 출력부(22)는, TV, LCD 모니터, 프로젝터 등 영상을 시각적으로 출력하는 다양한 장치를 포함한다.
햅틱 디바이스(20)는, 영상을 시청하는 시청자가 인체에 대응하는 햅틱 모델과 촉각 상호작용을 가능하게 하는 장치이다.
햅틱 제어부(20)는 상기 햅틱 디바이스(20)의 촉각 상호작용 포인트와 상기 햅틱 모델과의 충돌 여부를 검출하고, 충돌 여부에 따른 반력을 계산하여 햅틱 디바이스(20)로 제공함으로써 햅틱 디바이스(20)를 통한 촉각 상호작용이 가능하도록 제어한다.
도 2는 본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템에 대한 블록도이다.
도 2에 도시된 촉각 상호작용 시스템은 실질적으로는 도 2에 도시된 촉각 상호작용 장치와 동일한 기능을 수행한다. 다만, 도 1에 도시된 촉각 상호작용 시스템에 있어서는, 영상 정보와 햅틱 모델에 대한 정보가 유선 또는 무선을 통해 전송되고 사용자는 원격에 위치한 상태에서 영상 정보를 시청하면서 촉각 상호작용을 한다는 점에서 차이가 있다.
본 발명의 바람직한 실시예에 따른 촉각 상호작용 시스템(30)은, 콘텐츠 전송장치(32)와 콘텐츠 수신장치(36)를 포함한다.
콘텐츠 전송장치(32)는, 영상 저장부(12), 햅틱 모델 저장부(14) 및 콘텐츠 전송부(34)를 포함한다. 콘텐츠 수신장치(36)는 콘텐츠 수신부(38), 영상 출력부(22), 햅틱 제어부(18) 및 햅틱 디바이스(20)를 포함한다.
영상 저장부(12)는 영화, 드라마, 애니메이션, 다큐멘터리 등과 같은 영상 정보를 저장한다. 영상 정보에는 음성 또는 음향 정보가 포함될 수 있으며, 음성 또는 음향 정보는 스피커 등과 같은 오디오 출력장치를 통해 영상과 함께 출력될 수 있다. 영상 정보는 2D 영상일 수 있으나, 바람직하게는 3D 영상으로 제작되는 것이 보다 사실적인 영상을 제공할 수 있다.
햅틱 모델 저장부(14)는 상기 영상 정보에 포함된 인체에 대응하여 생성된 햅틱 모델에 대한 정보를 저장한다. 햅틱 모델을 생성하는 방법에 대해서는 후술하도록 한다. 햅틱 모델은 상기 영상 정보의 각 프레임마다 생성될 수 있다.
콘텐츠 전송부(34)는 영상 저장부(12)에 저장된 영상 정보와 햅틱 모델 저장부(14)에 저장된 햅틱 모델 정보를 전송하는 기능을 수행한다. 콘텐츠 전송부(34)는 상기 영상 정보와 상기 햅틱 모델 정보를 동기화시켜 전송함이 바람직하다. 콘텐츠 전송부(34)는 상기 영상 정보와 햅틱 모델을 비가시적으로 증강시켜 전송하는 것도 가능하다. 콘텐츠 전송부(34)는 유선, 무선 등의 다양한 방식으로 상기 영상 정보와 햅틱 모델 정보를 전송할 수 있다.
콘텐츠 수신부(38)는 콘텐츠 전송부(34)로부터 전송된 영상 정보와 햅틱 모델 정보를 수신한다.
영상 출력부(22)는, TV, LCD 모니터, 프로젝터 등 영상을 시각적으로 출력하는 다양한 장치를 포함한다.
햅틱 디바이스(20)는, 영상을 시청하는 시청자가 인체에 대응하는 햅틱 모델과 촉각 상호작용을 가능하게 하는 장치이다.
햅틱 제어부(20)는 상기 햅틱 디바이스(20)의 촉각 상호작용 포인트와 상기 햅틱 모델과의 충돌 여부를 검출하고, 충돌 여부에 따른 반력을 계산하여 햅틱 디바이스(20)로 제공함으로써 햅틱 디바이스(20)를 통한 촉각 상호작용이 가능하도록 제어한다.
다음으로 본 발명에 따른 촉각 상호작용 방법을 설명한다.
도 3은 본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
본 발명의 바람직한 실시예에 따른 촉각 상호작용 방법은, 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계(S300), 햅틱 모델을 영상 정보에 정합시키는 단계(S302), 영상 정보를 영상 출력부를 통해 출력하는 단계(S304), 및 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계(S306)를 포함한다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법을 도시한 도면이다.
본 발명의 바람직한 다른 실시예에 따른 촉각 상호작용 방법은, 영상 정보에 포함된 인체에 대한 기하 모델을 획득하는 단계(S400), 상기 기하 모델에 뼈, 근육, 살 등의 내부 정보를 모델링하여 햅틱 모델을 생성하는 단계(S402), 상기 햅틱 모델을 영상 정보에 비가시적으로 증강시키는 단계(S404), 햅틱 모델이 포함된 영상 정보를 포함한 콘텐츠를 전송하는 단계(S406), 영상 정보를 영상 출력부를 통해 출력하고 비가시적인 햅틱 모델과 햅틱 디바이스와의 상호 작용에 따라 햅틱 렌더링을 수행하고 햅틱 정보를 제시하는 단계(S408)를 포함한다.
S300 단계 및 S400 단계와 S402 단계를 구체적으로 설명하면 다음과 같다.
영상 정보에 포함된 인체에 대한 햅틱 모델링을 위하여, 실제 출연자의 인체에 대한 전신 기하모델을 획득한다. 또는 인체에 대한 아바타 정보를 생성한다. 인체에 대한 전신 기하모델은 3D 스캐너를 이용하여 수행될 수 있다. 이는 시각정보와 촉각정보 사이의 기하학적 일치율을 높임으로써 촉각 정보의 투명성을 높이기 위한 단계이다. 화면을 통해서 제공되는 배우의 기하학적 특성과 햅틱 상호작용을 통해 느껴지는 배우의 기하학적 특성이 일치하지 않을 경우, 시청자는 그 차이를 알아차리게 된다. 예를 들어 키가 크고 마른 체격의 화면에 키가 작고 뚱뚱한 체격의 기하학적 정보를 삽입했다면, 시청자는 그 차이를 명확하게 알아차리게 될 것이다. 더불어 가상세계에서 사용자의 아바타를 생성할 때, 한정된 특성으로 제공되는 아바타보다는 자신의 신체 특성을 모두 반영하는 아바타를 생성하게 되면 가상세계에 대한 몰입도가 더욱 증가될 것이다. 때문에 햅틱 상호작용의 투명성을 높이거나 가상세계로의 몰입도를 높이기 위해서, 화면에 등장하는 주요 인물들, 혹은 소비자 자신에 대한 보다 정확한 기하학적 정보를 3D 스캐닝을 통해서 획득할 필요가 있다. 도 5는 3D 스캐닝을 통한 기하 모델을 획득하는 일례를 도시한 도면이다.
기하 모델을 근거로 햅틱 모델을 생성하기 위하여, 기하 모델에 뼈, 근육, 살 등을 덧입히고 햅틱 피드백을 위한 햅틱 속성을 부여한다. 다시 말하면, 획득된 기하모델 혹은 가상으로 제작된 가상 기하 모델에 실제 사람과 같이 내부적인 뼈, 근육, 살을 모델링한다. 화면에 등장하는 배우들과 혹은 가상세계 속의 다른 아바타와 햅틱 상호작용을 할 때 제공되는 햅틱 피드백의 실감도를 높이기 위해 피부, 뼈, 근육, 살 등의 모델들에 햅틱 특성들(강성, 댐핑, 정지마찰력, 운동마찰력 등)을 부여하고, 더불어서, 햅틱 특성들이 부여된 각 신체부위들을 획득된 전신 기하모델 내부의 적절한 위치에 배치하여 실제 사람과 상호작용 하는 듯한 실감도를 제공할 수 있게 한다. 피부와 햅틱 상호작용을 하다가 뼈와 맞닿게 되었을 때 갑자기 증가하는 강성을 느끼게 해주는 것이 그 예이다. 각 신체부위 및 기하 모델에 햅틱 특성을 부여하는 것은 이미 개발되어 있는 햅틱 모델러를 이용하는 것도 가능하다. 도 6은 기하 모델에 햅틱 속성을 부여한 햅틱 모델의 일례를 도시한 도면이다.
S302 단계는 영상 정보와 햅틱 모델을 동기화시켜 전송하는 단계이다. S404 단계는 S302 단계에 대한 다른 실시 형태로서, 인체에 대해 모델링된 햅틱 모델을 영상 정보에 비가시적으로 증강시켜 전송하는 단계이다.
S404 단계에 따를 경우, 햅틱 제어부(18)는 비가시적으로 증강된 햅틱 모델과 햅틱 디바이스(20) 간의 촉각 상호작용에 따른 햅틱 렌더링을 수행하여 햅틱 디바이스(20)에 햅틱 정보를 제시한다. 다시 말하면, 햅틱 속성들이 부여된 각각의 신체 부위들을 텔레비전 화면 혹은 가상세계의 화면의 적절한 위치에 비가시적으로 증강하여 화면을 보는 사용자가 증강된 기하모델들과 햅틱 상호작용을 가능하게 하게 한다. 즉, 시각적으로는 화면상의 장면들을 보게 되고, 실제 햅틱 상호작용은 비가시적으로 증강된 기하모델과 하게 되는 것이다. 이러한 저작 과정을 모든 비쥬얼 프레임에 대해서 수행할 수도 있고, 변화하는 화면의 장면들을 실시간으로 이미지 처리하여 키 프레임(keyframe)을 추출, 기하모델이 자동으로 추적해가게 할 수도 있을 것이다. 이 단계에서는 화면상에서 등장하는 인물과 비가시적으로 증강된 햅틱 기하모델 사이의 오차를 최대한 줄여야 한다. 그렇지 않을 경우, 시청자가 자유공간상에서 움직임에도 불구하고 충돌 검출이 되어 햅틱 피드백이 제공될 수도 있을 것이다. 이는 원치 않는 햅틱 피드백으로, 투명성을 낮추는 결과를 도출하게 된다. 이 작업을 위해서는 햅틱 저작 도구를 사용할 수 있다.
S406 단계는, 제작된 시청촉각 컨텐츠를 여러 다양한 전송방법을 통해 단말기로 전송하는 단계이다. 햅틱 기하모델이 증강되어 있는 시청촉각 컨텐츠를 각 가정 혹은 각 컴퓨터로 전송하는 단계이다. 전송방법은 두 가지로 생각해 볼 수 있다. 첫째는, 시청자 혹은 가상세계 사용자가 경험하고 있는 컨텐츠에 맞추어서 실시간 전송을 해주는 것이다. 하지만 주요 등장인물이 많아지면 전송해야 할 기하모델 및 햅틱 정보도 많아지게 되고, 그로인해 전체 정보의 실시간 전송이 어려워지게 된다. 이런 경우에는 햅틱 컨텐츠는 미리 다운로드하고, 실시간으로 전송되는 영상과 햅틱 컨텐츠의 sync를 맞추어 재생하는 방법이 있다. 영상과 햅틱 컨텐츠 사이의 sync가 맞지 않을 경우 역시 햅틱 피드백의 투명성을 낮추는 결과를 도출하기 때문에 sync를 맞추는 작업은 정확하게 이루어져야 한다.
S306 단계 및 S408 단계는, 전송된 시청촉각 컨텐츠 중 비가시적인 촉각모델과의 햅틱렌더링을 수행하여 햅틱장치를 통하여 사용자가 가상 인체를 만질 때 촉감을 느끼게 해주는 단계이다. 최종 사용자가 전송된 영상, 음성, 촉각 정보를 텔레비전 혹은 모니터, 동역학적 햅틱 장비를 이용하여 체험하게 된다. 실시간 햅틱 렌더링 및 안정한 햅틱 피드백을 위해서는 각각 햅틱 렌더링 알고리즘과 안정화 알고리즘을 적용할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 촉각 상호작용 장치 12 : 영상 저장부
14 : 햅틱 모델 저장부 16 : 영상 동기화부
18 : 햅틱 제어부 20 : 햅틱 디바이스
30 : 촉각 상호작용 시스템 32 : 콘텐츠 전송장치
34 : 콘텐츠 전송부 36 : 콘텐츠 수신장치
38 : 콘텐츠 수신부

Claims (5)

  1. 영상 정보를 저장하는 영상 저장부;
    상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부;
    상기 영상 정보와 상기 가상 인체 정보를 동기화시키는 영상 동기화부;
    상기 영상 정보를 출력하는 영상 출력부;
    상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스; 및
    상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하고,
    상기 가상 인체 정보는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고, 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 생성되고,
    상기 영상 동기화부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 하는 촉각 상호작용 장치.
  2. 제 1 항에 있어서,
    상기 가상 인체 정보는 상기 영상 정보의 프레임 단위로 생성되는 것을 특징으로 하는 촉각 상호작용 장치.
  3. 콘텐츠 전송장치와, 콘텐츠 수신장치를 포함하고,
    상기 콘텐츠 전송장치는, 영상 정보를 저장하는 영상 저장부와, 상기 영상 정보에 포함된 인체에 대하여 햅틱 모델링된 가상 인체 정보를 저장하는 햅틱 모델 저장부, 및 상기 영상 정보와 상기 가상 인체 정보를 동기화시켜 전송하는 콘텐츠 전송부를 포함하고,
    상기 콘텐츠 수신장치는, 상기 콘텐츠 전송부로부터 전송된 상기 영상 정보와 상기 가상 인체 정보를 수신하는 콘텐츠 수신부와, 상기 영상 정보를 출력하는 영상 출력부와, 상기 가상 인체 정보와 촉각 상호작용을 수행하는 햅틱 디바이스, 및 상기 햅틱 디바이스와 상기 가상 인체와의 촉각 상호작용을 제어하는 햅틱 제어부를 포함하고,
    상기 가상 인체 정보는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고, 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 생성되고,
    상기 콘텐츠 전송부는 상기 영상 정보에 상기 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시켜 전송하는 것을 특징으로 하는 촉각 상호작용 시스템.
  4. 영상 정보에 포함된 인체에 대한 햅틱 모델을 생성하는 단계;
    상기 햅틱 모델을 상기 영상 정보에 정합시키는 단계;
    상기 영상 정보를 영상 출력부를 통해 출력하는 단계; 및
    상기 햅틱 모델에 대한 햅틱 디바이스의 상호작용에 따른 햅틱 정보를 제시하는 단계를 포함하고,
    상기 햅틱 모델을 생성하는 단계는, 상기 영상 정보에 포함된 상기 인체의 기하 모델을 획득하고 상기 기하 모델에 햅틱 피드백을 위한 햅틱 속성을 부여함으로써 수행되고,
    상기 햅틱 모델을 상기 영상 정보에 정합시키는 단계는, 상기 영상 정보에 가상 인체 정보에 따른 햅틱 모델을 비가시적으로 증강시키는 것을 특징으로 하는 촉각 상호작용 방법.
  5. 삭제
KR1020100125982A 2010-12-10 2010-12-10 가상 인체를 통한 촉각 상호작용 방법과 장치 Expired - Fee Related KR101731476B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100125982A KR101731476B1 (ko) 2010-12-10 2010-12-10 가상 인체를 통한 촉각 상호작용 방법과 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100125982A KR101731476B1 (ko) 2010-12-10 2010-12-10 가상 인체를 통한 촉각 상호작용 방법과 장치

Publications (2)

Publication Number Publication Date
KR20120064789A KR20120064789A (ko) 2012-06-20
KR101731476B1 true KR101731476B1 (ko) 2017-05-11

Family

ID=46684738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125982A Expired - Fee Related KR101731476B1 (ko) 2010-12-10 2010-12-10 가상 인체를 통한 촉각 상호작용 방법과 장치

Country Status (1)

Country Link
KR (1) KR101731476B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082875B1 (en) 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112987A1 (en) 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
KR102001012B1 (ko) * 2017-11-17 2019-10-01 고려대학교산학협력단 가상현실 기반의 낙상 사고 예방용 환자 교육 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082875B1 (en) 2017-06-05 2018-09-25 Korea Institute Of Science And Technology Vibrating apparatus, system and method for generating tactile stimulation

Also Published As

Publication number Publication date
KR20120064789A (ko) 2012-06-20

Similar Documents

Publication Publication Date Title
US11964200B2 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (HapSpace)
US8294557B1 (en) Synchronous interpersonal haptic communication system
CN106648083B (zh) 增强演奏场景合成控制方法及装置
KR100835297B1 (ko) 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
JP2020191642A (ja) セカンドスクリーン触覚
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
TW201935924A (zh) 虛擬實境ｖｒ直播中的視角同步方法及裝置
Cha et al. A Framework for Haptic Broadcasting.
KR20090065735A (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
CN115428032A (zh) 信息处理装置、信息处理方法和程序
KR100860547B1 (ko) 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체
KR101239370B1 (ko) 가상 환경의 햅틱 속성의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
Kim et al. Construction of a haptic-enabled broadcasting system based on the MPEG-V standard
KR101731476B1 (ko) 가상 인체를 통한 촉각 상호작용 방법과 장치
KR20110077672A (ko) 가상 현실 캡슐 시스템
Cha et al. An authoring/editing framework for haptic broadcasting: passive haptic interactions using MPEG-4 BIFS
JP6807744B2 (ja) 画像表示方法及び装置
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
JP2016513991A (ja) ハプティックアクチュエータ制御パラメータを有するオーディオビジュアルコンテンツのアイテムを再生するための方法、および方法を実施するデバイス
Gunkel et al. Immersive Experiences and XR: A Game Engine or Multimedia Streaming Problem?
US11328488B2 (en) Content generation system and method
KR100761022B1 (ko) 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
Guillotel et al. Introducing Basic Principles of Haptic Cinematography and Editing.
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
Cha et al. Haptic interaction in realistic multimedia broadcasting

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20101210

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20151124

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20101210

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170418

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170424

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170424

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200402

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210629

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220330

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230508

Start annual number: 7

End annual number: 7

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250205