KR102254385B1

KR102254385B1 - 햅틱 와핑 시스템

Info

Publication number: KR102254385B1
Application number: KR1020140116715A
Authority: KR
Inventors: 후안 마누엘 크루즈-헤르난데즈; 자말 사본
Original assignee: 임머숀 코퍼레이션
Priority date: 2013-09-06
Filing date: 2014-09-03
Publication date: 2021-05-24
Anticipated expiration: 2034-09-03
Also published as: JP2018136976A; EP2846221B1; CN104423589A; US9454881B2; US20150070149A1; JP2015053043A; KR20150028731A; EP2846221A1; JP6698131B2; JP6412285B2; JP6324847B2; US20160104356A1; US9245429B2; JP2019016384A; CN109407837A; CN104423589B

Abstract

햅틱 신호들을 변환하는 시스템이 제공된다. 시스템은 오리지널 햅틱 신호를 제공하며, 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함한다. 시스템은 오리지널 햅틱 신호를 새로운 햅틱 신호로 추가로 변환하고, 새로운 햅틱 신호는 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초한다. 시스템은 추가로 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성한다.

Description

햅틱 와핑 시스템{HAPTIC WARPING SYSTEM}

관련 출원들에 대한 교차-참조

이 출원은 2013년 9월 6일에 출원된 미국 가특허 출원 일련 번호 제61/874,920호의 우선권을 주장한다(그 개시내용은 본원에 인용에 의해 포함된다).

일 실시예는 일반적으로 디바이스에 관한 것이며, 더 구체적으로는 햅틱 효과를 생성하는 디바이스에 관한 것이다.

햅틱은 힘, 진동 및 모션과 같은 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 적용함으로써 사용자의 촉감을 사용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터와 같은 디바이스는 햅틱 효과를 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과를 생성할 수 있는 내장 하드웨어(예를 들어, 액츄에이터)에 대한 호출은 디바이스의 운영 체제("OS") 내에서 프로그래밍될 수 있다. 이들 호출은 어느 햅틱 효과를 재생할지를 특정한다. 예를 들어, 사용자가 예를 들어, 버튼, 터치스크린, 손잡이, 조이스틱, 휠, 또는 일부 다른 제어를 사용하여 디바이스와 상호작용할 때, 디바이스의 OS는 내장 하드웨어에 제어 회로를 통해 재생 커맨드를 송신할 수 있다. 내장 하드웨어는 이후 적절한 햅틱 효과를 생성한다.

햅틱 효과 개발자는 디바이스에 대한 햅틱 효과를 만들(author) 수 있고, 디바이스는 햅틱 효과를 출력하도록 구성될 수 있다. 대안적으로, 디바이스는 오디오 입력, 비디오 입력, 또는 임의의 다른 타입의 센서 입력과 같은 입력을 수신할 수 있고, 입력을 햅틱 효과로 전환할 수 있고, 햅틱 효과를 출력할 수 있다(또는 입력을 햅틱 컨텐츠로 전환할 수 있고, 믹싱 또는 스트리밍을 통해, 다른 오디오 및/또는 비디오 컨텐츠와 함께 햅틱 컨텐츠를 수신할 수 있다). 어느 시나리오에서든, 상이한 타입의 하드웨어는 상이한 하드웨어 특성들로 인해 상이한 타입들의 햅틱 효과들을 생성할 수 있다. 예를 들어, 상이한 타입의 액츄에이터(예를 들어, ERM(eccentric rotating mass motor) 액츄에이터, 선형 공진 액츄에이터, 및 압전 액츄에이터)는 상이한 액츄에이터의 상이한 전자기 특성들로 인한 상이한 타입의 햅틱 효과를 생성할 수 있다. 일반적으로, 특정 타입의 하드웨어에 대한 햅틱 효과를 만들기를 원하는 햅틱 효과 개발자는 특정 하드웨어에 대해 햅틱 효과를 조정(tailor)하도록 요구된다. 햅틱 효과 개발자가 다수의 하드웨어 타입을 지원하기를 원하는 경우, 햅틱 효과 개발자는 일반적으로, 각각의 하드웨어 타입에 대한 최적의 햅틱 경험을 제공하기 위해, 상이한 햅틱 효과를 만들어야 한다. 이것은 햅틱 효과를 생성하는 것과 관련된 추가적인 설계 시간과 노력을 초래할 수 있다.

일 실시예는 햅틱 신호를 변환하는 시스템이다. 시스템은 오리지널 햅틱 신호를 수신하고, 여기서 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과를 포함한다. 시스템은 추가로 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하고, 여기서, 새로운 햅틱 신호는 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과를 포함하고, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초한다. 시스템은 추가로 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 새로운 햅틱 효과를 생성한다.

추가적인 실시예에서, 상세항목, 장점 및 수정은, 첨부 도면들과 함께 취해질 바람직한 실시예의 후속하는 상세한 설명으로부터 명백해질 것이다.
도 1은 발명의 일 실시예에 따른 시스템의 블록도를 예시한다.
도 2는 발명의 실시예에 따라, 햅틱 신호를 변환하거나 "와핑(warp)"하는 시스템의 흐름도이다.
도 3은 발명의 실시예에 따라, 햅틱 효과 공간 매핑의 예시적인 차트와 그래프를 예시하는 도면이다.
도 4는 발명의 실시예에 따라, 제1 햅틱 효과 공간과 연관된 제1 햅틱 신호의 제2 햅틱 효과 공간과 연관된 제2 햅틱 신호로의 예시적인 변환 또는 "와핑"을 예시하는 도면이다.
도 5는 발명의 실시예에 따라, 햅틱 신호에 과도(transient)를 추가함으로써 제1 햅틱 효과 공간과 연관된 햅틱 신호의 예시적인 변환 또는 "와핑"을 예시하며, 여기서, 과도는 제2 햅틱 효과 공간과 연관된, 도면이다.
도 6은 발명의 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.
도 7은 발명의 또 다른 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.
도 8은 발명의 또 다른 실시예에 따른, 햅틱 와핑 모듈의 기능성의 흐름도를 예시한다.

일 실시예는 특정 타입의 햅틱 출력 디바이스를 위해 설계된 입력 햅틱 신호를 또 다른 특정 타입의 햅틱 출력 디바이스에 대해 설계된 또 다른 햅틱 신호로 변환하거나 "와핑"하는 시스템이다. 입력 햅틱 신호는 자동으로(예를 들어, 오디오 입력, 비디오 입력 및/또는 센서 입력으로부터) 생성된, 또는 수동으로(예를 들어, 햅틱 효과 설계자에 의해 햅틱 효과 개발 플랫폼을 사용하여) 생성된 햅틱 신호일 수 있다. 입력 햅틱 신호는 임의의 타입의 액츄에이터(예를 들어, ERM(eccentric rotating mass) 모터 액츄에이터, 선형 공진 액츄에이터, 및 압전 액츄에이터), 또는 다른 타입의 햅틱 출력 디바이스에 대해 생성될 수 있다. 입력 햅틱 신호는 출력 햅틱 신호가 상이한 타입의 액츄에이터 또는 다른 타입의 햅틱 출력 디바이스 상에서 재생될 때 최적의 햅틱 경험을 생성할 수 있도록 출력 햅틱 신호로 변환될 수 있다. 입력 햅틱 신호를 변환할 시에, 타겟 햅틱 출력 디바이스의 특성들(예를 들어, 스펙트럼 특성들 및 시간 특성들)이 고려될 수 있고, 입력 햅틱 신호는 타겟 햅틱 출력 디바이스의 특성들에 기초하여 출력 햅틱 신호로 변환될 수 있다. 예를 들어, 고-해상도 액츄에이터에 대해 생성된 햅틱 신호는 표준-해상도 액츄에이터에 대해 생성된 햅틱 신호로 변환될 수 있다. 표준-해상도 액츄에이터는 베이스라인 범위의 진동 강도를 베이스라인 범위의 상이한 진동 효과에 제공할 수 있는 액츄에이터이다. 고-해상도 액츄에이터는 증가한 범위의 진동 강도를 증가한 범위의 상이한 진동 효과에 제공할 수 있는 액츄에이터이다. 또한, 고-해상도 액츄에이터는 빠르게 변경하는 동적 햅틱 효과의 제공(render)을 강제하게 하기에 충분한 속도로 자신의 강도 레벨을 증가시키거나 감소시킬 수 있다. 따라서, 표준-해상도 액츄에이터에 비해, 고-해상도 액츄에이터는 고속 응답 시간, 높은 동적 범위, 및 또한 넓은 주파수 응답을 가진다. 고-해상도 액츄에이터는 다수의 주파수(예를 들어, 100 헤르츠("Hz") 내지 400 Hz)에서 햅틱 효과를 생성할 수 있다. 그에 비해, 표준-해상도 액츄에이터는 제한된 범위의 크기, 또는 제한된 범위의 주파수를 생성할 수 있는 액츄에이터이다.

도 1은 발명의 실시예에 따르는 시스템(10)의 블록도를 예시한다. 일 실시예에서, 시스템(10)은 모바일 디바이스의 일부분이고, 시스템(10)은 모바일 디바이스에 대한 햅틱 와핑 기능성을 제공한다. 또 다른 실시예에서, 시스템(10)은 웨어러블 디바이스의 일부분이고, 시스템(10)은 웨어러블 디바이스에 대한 햅틱 와핑 기능성을 제공한다. 웨어러블 디바이스의 예는 손목 밴드, 헤드밴드, 안경, 반지, 다리 밴드, 의복에 통합된 어레이, 또는 사용자가 신체에 착용할 수 있거나 사용자에 의해 쥐일 수 있는 임의의 다른 타입의 디바이스를 포함한다. 일부 웨어러블 디바이스는 "햅틱 인에이블(haptically enabled)"일 수 있는데, 이는 웨어러블 디바이스가 햅틱 효과를 생성하기 위한 메커니즘을 포함함을 의미한다. 또 다른 실시예에서, 시스템(10)은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)로부터 분리되며, 디바이스에 대한 햅틱 와핑 기능성을 원격으로 제공한다. 단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능성은 분산 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 통신하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스(12)에 커플링된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 범용 또는 특정 목적 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보와 명령어들을 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크와 같은 정적 스토리지, 또는 임의의 다른 타입의 컴퓨터-판독가능한 매체의 임의의 결합으로 구성될 수 있다. 시스템(10)은 또한 별도의 트랙 또는 파일에서 햅틱 파형을 수신할 수 있거나, 또는 파일 내에 저장된 다른 타입의 오디오 및/또는 비디오 컨텐츠와 믹싱된 햅틱 파형을 수신할 수 있다.

컴퓨터-판독가능한 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 탈착가능 및 탈착 불가능한 매체, 및 저장 매체 모두를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능 프로그래밍 가능한 판독-전용 메모리("EPROM"), 전기적으로 소거가능 프로그램 가능한 판독-전용 메모리("EEPROM"), 레지스터, 하드 디스크, 탈착가능한 디스크, 컴팩트 디스크 판독-전용 메모리("CD-ROM"), 또는 당해 기술분야에 공지되어 있는 임의의 다른 형태의 저장 매체를 포함할 수 있다.

일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 일 실시예에서 시스템(10)에 대한 운영 체제 기능성을 제공하는 운영 체제(15), 뿐만 아니라 모바일 디바이스의 나머지를 포함한다. 모듈은, 하기에 더 상세하게 개시된 바와 같이, 햅틱 신호를 변환하거나 "와핑"하는 햅틱 와핑 모듈(16)을 더 포함한다. 특정 실시예에서, 햅틱 와핑 모듈(16)은 복수의 모듈을 포함할 수 있고, 각각의 모듈은 햅틱 신호를 변환하거나 "와핑"하기 위한 특정 개별 기능성을 제공한다. 시스템(10)은 통상적으로, Immersion Corporation에 의한 Integrator™ 소프트웨어와 같은, 추가적인 기능성을 제공하기 위한 하나 이상의 추가적인 애플리케이션 모듈(18)을 포함할 것이다.

실시예에서 원격 소스로부터 데이터를 전송하고 그리고/또는 수신하는 시스템(10)은, 적외선, 라디오, Wi-Fi와 같은 모바일 무선 네트워크 통신, 또는 셀룰러 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 디바이스(20)를 더 포함한다. 다른 실시예에서, 통신 디바이스(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.

프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위한, 액정 디스플레이("LCD")와 같은 디스플레이(24)에 버스(12)를 통해 추가로 커플링된다. 디스플레이(24)는, 프로세서(22)로부터 신호를 송신하고 수신하도록 구성된, 터치 스크린과 같은 터치-감지 입력 디바이스일 수 있고, 다중-터치 터치스크린일 수 있다.

시스템(10)은, 일 실시예에서, 액츄에이터(26)를 더 포함한다. 프로세서(22)는 생성된 햅틱 효과와 연관된 햅틱 신호를 액츄에이터(26)에 전송할 수 있고, 액츄에이터(26)는 차례로, 진동촉각(vibrotactile) 햅틱 효과, 정전 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은 햅틱 효과를 출력한다. 액츄에이터(26)는 액츄에이터 구동 회로를 포함한다. 액츄에이터(26)는 예를 들어, 전기 모터, 전자기 액츄에이터, 음성 코일, 형상 기억 합금, 전자-활성 폴리머, 솔레노이드, ERM(eccentric rotating mass) 모터, 선형 공진 액츄에이터("LRA"), 압전 액츄에이터, 고 대역폭 애츄에이터, 전자활성 폴리머("EAP") 액츄에이터, 정전 마찰 디스플레이, 또는 초음파 진동 생성기일 수 있다. 대안적인 실시예에서, 시스템(10)은 액츄에이터(26)(도 1에 도시되지 않음)에 부가하여, 하나 이상의 추가적인 액츄에이터를 포함할 수 있다. 액츄에이터(26)는 햅틱 출력 디바이스의 예이며, 구동 신호에 응답하여, 햅틱 출력 디바이스는 진동촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은 햅틱 효과를 출력하도록 구성된 디바이스이다. 대안적인 실시예에서, 액츄에이터(26)는 일부 다른 타입의 햅틱 출력 디바이스로 대체될 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 액츄에이터(26)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스는, 햅틱 효과를 생성하는 액츄에이터 또는 다른 햅틱 출력 디바이스를 포함하고, 시스템(10)은 생성된 햅틱 신호를 통신 디바이스(20)를 통해 그 디바이스에 송신한다.

시스템(10)은, 일 실시예에서 스피커(28)를 더 포함한다. 프로세서(22)는 차례로 오디오 효과를 출력하는 스피커(28)에 오디오 신호를 전송할 수 있다. 스피커(28)는, 예를 들어, 동적 라우드스피커, 전기역학 라우드스피커, 압전 라우드스피커, 자왜식 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡파(bending wave) 라우드스피커, 평판 라우드스피커, 헤일 에어 모션(heil air motion) 트랜스듀서, 플라즈마 아크 라우드스피커 및 디지털 라우드스피커일 수 있다. 대안적인 실시예에서, 시스템(10)은, 스피커(28)에 더하여, 하나 이상의 추가적인 스피커를 포함할 수 있다(도 1에 예시되지 않음). 또한, 다른 대안적인 실시예에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)과는 별도의 디바이스는 오디오 효과를 출력하는 스피커를 포함하고, 시스템(10)은 통신 디바이스(20)를 통해 그 디바이스에 오디오 신호를 송신한다.

시스템(10)은, 일 실시예에서, 센서(30)를 더 포함한다. 센서(30)는 사운드, 움직임, 가속, 생체 신호, 거리, 흐름, 힘/압력/변형/구부림, 습도, 선형 위치, 배향/경사, 라디오 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도와 같은, 그러나 이에 제한되지 않는, 에너지 또는 다른 물리적 특징의 형태를 검출하도록 구성될 수 있다. 센서(30)는 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 임의의 신호로 전환하도록 추가로 구성될 수 있다. 센서(30)는, 가속계, 심전도계, 뇌파계, 근전도계, 안구 전도계, EPG(electropalatograph), 전기 피부 반응 센서, 용량성 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 구부림 센서(또는 굴곡 센서), 힘-감지 저항기, 로드 셀, LuSense CPS² 155, 소형 압력 트랜스듀서, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변환기, 나침반, 경사계, 자기 태그(또는 라디오 주파수 식별 태그), 회전 인코더, 회전 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(예를 들어, 온도계, 서모커플(thermocouple), 저항 온도 검출기, 서미스터(thermistor), 또는 온도-트랜스듀싱 집적 회로), 마이크로폰, 광도계, 고도계, 생체 모니터, 카메라, 또는 광-종속 저항기와 같은, 그러나 이에 제한되지 않는, 임의의 디바이스일 수 있다. 대안적인 실시예에서, 시스템(10)은, 센서(30)에 더하여, 하나 이상의 추가적인 센서를 포함할 수 있다(도 1에 예시되지 않음). 이들 중 일부 실시예에서, 센서(30) 및 하나 이상의 추가적인 센서는 센서 어레이의 일부, 또는 일부 다른 타입의 센서 컬렉션일 수 있다. 또한, 다른 대안적인 실시예에서, 시스템(10)은 센서(30)를 포함하지 않을 수 있고, 시스템(10)과는 별개의 디바이스가 에너지 또는 다른 물리적 특징의 형태를 검출하는 센서를 포함하고, 검출된 에너지 또는 다른 물리적 특징을 전기 신호, 또는 가상 센서 정보를 나타내는 다른 타입의 신호로 전환한다. 디바이스는 통신 디바이스(20)를 통해 시스템(10)에 전환된 신호를 송신할 수 있다. 대안적으로, 디바이스는 센서(30)의 센서 신호를 햅틱 효과 트랙 또는 파일로 전환할 수 있다.

발명의 실시예에 따르면, 도 2는 햅틱 신호를 변환하거나 "와핑"하는 시스템의 흐름도를 예시한다. 일 실시예에서, 도 2의 기능성, 뿐만 아니라, 도 6, 7 및 8의 기능성은 메모리 또는 다른 컴퓨터-판독가능한 또는 유형의 매체에 저장되고 소프트웨어에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 각각의 기능성은 하드웨어에 의해(예를 들어, 주문형 집적 회로("ASIC"), 프로그래밍가능한 게이트 어레이("PGA"), 필드 프로그래밍가능한 게이트 어레이("FPGA") 등의 사용을 통해), 또는 하드웨어와 소프트웨어의 임의의 결합에 의해 수행될 수 있다.

실시예에 따르면, 흐름은 210에서 시작한다. 210에서, 햅틱 신호가 수신되고, 여기서 햅틱 신호는 파형과 같은 데이터를 포함하고, 파형은 펄스-코딩 변조("PCM") 포맷인 하나 이상의 신호 값들의 세트이다. 햅틱 신호는 햅틱 효과와 연관될 수 있고, 햅틱 신호는 액츄에이터와 같은 햅틱 출력 디바이스에 송신될 수 있고, 햅틱 출력 디바이스는 햅틱 신호에 기초하여 햅틱 효과를 출력할 수 있다. 햅틱 효과의 예는 햅틱 출력 디바이스의 사용자에 의해 느껴지는 진동을 생성할 수 있는 진동촉각 햅틱 효과이다. 햅틱 효과의 다른 예는 정전기 마찰, 햅틱 효과, 또는 변형 햅틱 효과를 포함할 수 있다.

220에 따르면, 햅틱 신호는 입력 신호로부터 자동으로 생성되거나, 또는 햅틱 효과 개발 플랫폼을 사용하여 수동으로 생성될 수 있다. 더 구체적으로, 입력 신호가 수신될 수 있고, 햅틱 신호는 입력 신호에 기초하여 자동으로 생성될 수 있다. 입력 신호의 예는 오디오 신호, 비디오 신호, 가속 신호, 배향 신호, 주변광 신호, 움직임 신호, 온도 신호, 또는 다른 유사한 타입의 신호를 포함한다. 대안적인 실시예에서, 입력 신호에 기초하여 자동으로 생성된다기보다는, 햅틱 신호는 Immersion Corporation의 Haptic Studio™과 같은 햅틱 효과 개발 플랫폼을 사용하여 수동으로 생성될 수 있다. 햅틱 효과 개발 플랫폼을 사용하여, 햅틱 효과 개발자는 원하는 햅틱 효과를 생성하기 위해 사용될 수 있는 햅틱 신호의 하나 이상의 특성들을 정의할 수 있고, 햅틱 효과 개발 플랫폼은 하나 이상의 정의된 특성에 기초하여 햅틱 신호를 생성할 수 있다. 또한, 햅틱 신호는 특정 타입의 햅틱 출력 신호에 대해 설계될 수 있다. 더 구체적으로, 햅틱 신호는 햅틱 효과 공간과 연관될 수 있고, 햅틱 효과 공간은 가능하게는 햅틱 출력 디바이스에 의해 생성될 수 있는 햅틱 효과의 세트를 포함한다. 햅틱 효과 공간은 도 3과 함께 더 상세하게 하기에 기술되어 있다. 흐름은 이후 230으로 진행한다.

230에서, 햅틱 신호는 새로운 햅틱 신호로 변환되거나 와핑(도 2에서 "적응된" 것으로 식별됨)될 수 있다. 더 구체적으로, 새로운 햅틱 신호가 생성될 수 있고, 여기서 새로운 햅틱 신호는 파형과 같은 데이터를 포함하고, 데이터는 오리지널 신호의 데이터에 기초한다. 이러한 변환 또는 "와핑"은 추가로 도 4-8과 함께 더 상세히 하기에 기술되어 있다. 추가로, 새로운 햅틱 신호는 새로운 햅틱 효과 공간과 연관될 수 있고, 새로운 햅틱 효과 공간은 오리지널 햅틱 신호의 오리지널 햅틱 효과 공간과는 상이하다. 240에 따르면, 햅틱 신호의 변환은 타겟 햅틱 출력 디바이스의 하나 이상의 특성에 기초할 수 있다. 예를 들어, 새로운 햅틱 신호가 높은 주파수를 가지는 햅틱 효과를 생성하도록 구성되는 햅틱 출력 디바이스에 송신될 경우, 햅틱 신호는 높은 값을 가지는 햅틱 주파수 파라미터를 가지고 생성될 수 있다. 이들 실시예에서, 새로운 햅틱 신호의 새로운 햅틱 효과 공간은 타겟 햅틱 출력 디바이스의 햅틱 효과 공간일 수 있다. 새로운 햅틱 신호는 이후 ("재생 디바이스"로서 도 2에 식별된) 타겟 햅틱 출력 디바이스에 송신될 수 있고, 여기서 새로운 햅틱 신호가 재생되어 햅틱 효과를 생성한다. 특정 실시예에서, 오리지널 햅틱 신호는 또한 (도 2에 예시되지 않은) 상이한 타겟 햅틱 출력 디바이스에 송신되어 타겟 햅틱 출력 디바이스에 의해 생성된 햅틱 효과를 보완하는 상보적 햅틱 효과를 생성할 수 있다. 이후 흐름이 종료한다.

특정 실시예에서, 생성된 새로운 햅틱 신호는 사용자의 멀티미디어 시청 경험을 향상시키기 위해 하나 이상의 오디오 신호 및/또는 비디오 신호와 함께 재생될 수 있다. 이들 중 일부 실시예에서, 햅틱 출력 디바이스는 오디오/비디오 출력 디바이스(예를 들어, 모바일 디바이스)와 동일할 수 있다. 이들 중 일부 다른 실시예에서, 햅틱 출력 디바이스는 오디오/비디오 출력 디바이스(예를 들어, 햅틱 의자, 웨어러블 햅틱 디바이스 등)와는 별개일 수 있다.

또한, 특정 실시예에서, 입력 햅틱 신호의 새로운 햅틱 신호로의 변환 또는 "와핑"은 서버와 같은, 입력 햅틱 신호를 수신하는 디바이스와는 별개인 디바이스에 의해 "오프라인"으로 수행될 수 있다. 변환이 "오프라인"일 때, 전체 입력 햅틱 신호의 데이터는 입력 햅틱 신호를 새로운 햅틱 신호로 변환하기 위해 사용될 수 있다. 새로운 햅틱 신호는 이후 오리지널 디바이스에 역 스트리밍될 수 있고, 오리지널 디바이스는 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신할 수 있다. 대안적인 실시예에서, 입력 햅틱 신호의 새로운 햅틱 신호로의 변환 또는 "와핑"은 입력 햅틱 신호를 수신하는 동일한 디바이스에 의해 "온라인"으로 수행될 수 있고, 여기서 변환은 실시간 또는 거의 실시간으로 수행될 수 있다. 이들 실시예에서, 입력 햅틱 신호의 상이한 부분은 입력 햅틱 신호를 새로운 햅틱 신호로 순차적으로 변환하기 위해 사용될 수 있고, 전체 입력 햅틱 신호는 임의의 특정 시간에서 사용가능하지 않다. 또한, 특정 실시예에서, 새로운 햅틱 신호는 햅틱 출력 디바이스에 즉시 송신된다기 보다는, 컴퓨터 파일, 또는 다수의 컴퓨터 파일에 저장될 수 있다. 이들 실시예에서, 새로운 햅틱 신호는 컴퓨터 파일 또는 다수의 컴퓨터 파일로부터 순차적으로 검색될 수 있고, 새로운 햅틱 신호는 햅틱 출력 디바이스에 송신될 수 있거나, 또는 하나 이상의 오디오 신호 및/또는 비디오 신호와 믹싱될 수 있다.

도 3은, 발명의 실시예에 따라, 햅틱 효과 공간 매핑의 예시적인 차트 및 그래프를 예시한다. 이전에 기술된 바와 같이, 특정 타입의 액츄에이터에 대해 설계되고 특정 햅틱 효과 공간과 연관된 햅틱 신호는 상이한 타입의 액츄에이터에 대해 설계되고 상이한 햅틱 효과 공간과 연관된 새로운 햅틱 신호로 변환되거나 "와핑"될 수 있다. 또한 전술된 바와 같이, 햅틱 효과 공간은 가능하게는 액츄에이터와 같은 햅틱 출력 디바이스에 의해 생성될 수 있는 햅틱 효과의 세트를 포함한다. 도 3의 예시된 실시예에서, 예시적인 진동촉각 햅틱 효과 공간이 예시되어 있다. 그러나, 당업자는 진동촉각 햅틱 효과 공간이 햅틱 효과 공간의 일 예이며, 대안적인 실시예에서, 정전기 마찰 햅틱 효과 공간 또는 변형 햅틱 효과 공간과 같은 다른 타입의 햅틱 효과 공간이 활용될 수 있음을 쉽게 이해할 것이다.

예시된 실시예에 따르면, 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)은 이상적 환경(예를 들어, 진동촉각 액츄에이터의 사이즈 또는 전력 요건에서의 제약이 없는)에서 실제 진동촉각 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)의 서브세트는 실제적인 고-해상도 진동촉각 햅틱 효과 공간(320)이다. 실제적인 고-해상도 진동촉각 햅틱 효과 공간(320)은 실제 환경(예를 들어, 진동촉각 액츄에이터의 사이즈 및 전력 요건에서의 실제 제약이 있는)에서 실제 진동 촉각 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다.

실제 고-해상도 진동촉각 햅틱 효과 공간(320)의 4개의 서브세트는: 현재 고-해상도 압전 액츄에이터 진동촉각 햅틱 효과 공간(330); 현재 고-해상도 EAP 액츄에이터 진동촉각 햅틱 효과 공간(340); LRA 진동촉각 햅틱 효과 공간(350); 및 ERM 진동촉각 햅틱 효과 공간(360)이다. 현재 고-해상도 압전 액츄에이터 진동촉각 햅틱 효과 공간(330)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 고-해상도 압전 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. 현재 고-해상도 EAP 액츄에이터 진동촉각 햅틱 효과 공간(340)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 고-해상도 EAP 액츄에이터를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. LRA 진동촉각 햅틱 효과 공간(350)은 이러한 액츄에이터의 전자기계 특성에 기초하여 현재 LRA를 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. ERM 진동촉각 햅틱 효과 공간(360)은 이러한 액츄에이터의 전자 기계 특성에 기초하여 현재 ERM을 이용하여 생성될 수 있는 모든 진동촉각 햅틱 효과를 포함한다. LRA 및 ERM 햅틱 효과 공간은 때때로 고-해상도 액츄에이터를 이용하여 생성될 수 있지만, 일부 고-해상도 액츄에이터는 일부 LRA 및 ERM 햅틱 효과 공간을 완전히 재생성할 수는 없다.

예시된 실시예에 따르면, 변환 또는 "와핑" 알고리즘은 도 3에 예시된 진동촉각 햅틱 효과 공간 중 하나와 연관된 오리지널 햅틱 신호에 적용될 수 있고, 따라서, 오리지널 햅틱 신호는 도 3에 예시된 상이한 진동촉각 햅틱 효과 공간과 연관된 새로운 햅틱 신호로 변환된다. 예를 들어, 오리지널 햅틱 신호는 이상적인 고-해상도 진동촉각 햅틱 효과 공간(310)과 연관될 수 있다. 오리지널 햅틱 효과는 ERM 진동촉각 햅틱 효과 공간(360)과 연관된 새로운 햅틱 신호로 변환될 수 있다. 또 다른 예로서, 오리지널 햅틱 신호는 LRA 진동촉각 햅틱 효과 공간(350)과 연관된 새로운 햅틱 신호로 변환될 수 있다.

따라서, 와핑 알고리즘의 목적은 특정 햅틱 출력 디바이스의 타입에 대해 설계된 햅틱 효과가 상이한 타입의 팹칙 출력 디바이스 상에서 재생되도록 하는 동시에 햅틱 효과에 의해 제공되는 햅틱 경험을 보존하는 것이다. 특정 실시예에서, 고-해상도 압전 액츄에이터에 대해 설계된 햅틱 신호로부터 더 낮은 품질의 액츄에이터(예를 들어, LRA 또는 ERM)에 대해 설계된 햅틱 신호로의 변환이 와핑 알고리즘에 의해 제공될 수 있다. 그러나, 대안적인 실시예에서, 와핑 알고리즘은, 더 낮은 품질의 액츄에이터로부터 더 높은 품질의 액츄에이터로의 변환을 포함한, 다른 타입의 변환을 제공할 수 있다.

특정 실시에에서, 와핑 알고리즘은 제1 햅틱 신호 내에 포함된 데이터의 하나 이상의 주파수(또는 "피치")를 시프트시킴으로써 제1 햅틱 신호를 제2 햅틱 신호로 변환할 수 있다. 이러한 주파수-시프팅 기법(또는 "피치-시프트" 기법)은 추가로 도 4 및 5와 함께 더 상세하게 하기에 기술되어 있다. 대안적인 실시예에서, 와핑 알고리즘은 다른 타입의 데이터 변환 기법에 의해 제1 햅틱 신호를 제2 햅틱 신호로 변환할 수 있다. 다른 타입의 데이터 변환 기법은 추가로 도 6, 7 및 8과 함께 더 상세하게 하기에 기술되어 있다.

특정 실시예들에서, 햅틱 신호는 이벤트-기반 햅틱 신호일 수 있고, 이벤트는 대응하는 오디오 신호 및/또는 비디오 신호 내에서 마킹되고, 햅틱 효과는 인코딩된 오디오 신호 및/또는 비디오 신호에 기초하여 출력될 수 있다. 대안적인 실시예에서, 햅틱 신호는 파라미터 햅틱 신호일 수 있고, 하나 이상의 파라미터화된 햅틱 효과는 특정 시점에서 재생된다. 이들 중 일부 실시예에서, 파라미터화된 햅틱 효과는 별도의 햅틱 신호 내에서 인코딩되고, 파라미터화된 햅틱 효과는 특정 시점에서 기술된다. 대안적인 실시예에서, 햅틱 신호는 PCM 햅틱 신호일 수 있고, PCM 오디오 신호는 PCM 햅틱 신호로 전환될 수 있다. 또한, 일부 실시예에서, 일단 햅틱 신호가 생성되면, 햅틱 신호는 상이한 특정 윈도우에서 대역-통과 필터링될 수 있고, 이후, 특정 윈도우의 크기가 결정되어 전송되거나 저장될 수 있다. 햅틱 신호가 디코딩될 시에, 포락선 크기가 햅틱 신호를 재구성하기 위해 사용될 수 있을 때 역 프로세스가 적용될 수 있다.

도 4는 발명의 실시예에 따라, 제1 햅틱 효과 공간과 연관된 제1 햅틱 신호(410)의 제2 햅틱 효과 공간과 연관된 제2 햅틱 신호(420)로의 예시적인 변환 또는 "와핑"을 예시한다. 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스 타입에 대응하고, 제2 햅틱 효과 공간은 제2 햅틱 출력 디바이스 타입에 대응한다. 예시된 실시예에 따르면, 변환은 제1 햅틱 신호(410)의 하나 이상의 공진 주파수(즉, 주파수 f_rs1)를 제2 햅틱 신호(420)의 하나 이상의 공진 주파수(즉, 주파수 f_rs2)로 시프트하는 것을 수반한다. 따라서, 제1 햅틱 신호(410)의 제1 주파수 대역폭은 제2 햅틱 신호(420)의 제2 주파수 대역폭으로 변환될 수 있다. 특정 실시예에서, 이것은: (a) 주파수 대역폭의 공진을 식별하는 것; (b) 하위 인지 제한을 나타내는 주파수를 식별하는 것, 여기서 인지 제한은 사람이 햅틱 신호에 의해 생성된 진동촉각 햅틱 효과를 인지할 수 있는 주파수 제한임; 및 (c) 상위 인지 제한을 나타내는 주파수를 식별하는 것을 수반한다.

예시된 실시예에 따르면, 제1 햅틱 신호(410)는 실제 고-해상도 햅틱 효과 공간과 연관되고, 제2 햅틱 신호(420)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관된다. 그러나, 이것은 단지 예시적인 실시예이며, 다른 실시예에서: (a) 제1 햅틱 신호(410)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 LRA 햅틱 효과 공간과 연관될 수 있고; (b) 제1 햅틱 신호(410)는 고-해상도 압전 액츄에이터 햅틱 효과 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 ERM 햅틱 효과 공간과 연관될 수 있고; 또는 (c) 제1 햅틱 신호(410)는 LRA 햅틱 공간과 연관될 수 있고, 제2 햅틱 신호(420)는 ERM 햅틱 효과 공간과 연관될 수 있다.

예시된 실시예에 따르면, 햅틱 신호(410)의 주파수는 햅틱 신호(420)의 주파수로 시프트된다. 햅틱 신호(410 및 420)가 이벤트-기반 햅틱 신호인 실시예에서, 햅틱 신호(410)의 주파수는 미리-정의된 매핑에 기초하여 햅틱 신호(420)의 주파수에 매핑될 수 있다(즉, 햅틱 효과를 트리거링하는 각각의 공진 주파수 값이 또 다른 공진 주파수에 매핑될 수 있다). 햅틱 신호(410 및 420)가 파라미터화된 신호인 실시예에서, 햅틱 신호(410)의 각각의 공진 주파수는 햅틱 신호(420)의 또 다른 공진 주파수에 매핑될 수 있고, 햅틱 신호(410)의 크기, 듀레이션 및 포락선 정보는 햅틱 신호(420) 내에 일정하게 유지된다. 햅틱 신호(410 및 420)가 PCM 햅틱 신호인 실시예에서, 햅틱 신호(410)의 각각의 크기는 햅틱 신호(420)의 크기에 먼저 매핑될 수 있고, 후속적으로, 햅틱 신호(410)의 각각의 주파수는 햅틱 신호(420)의 주파수에 매핑될 수 있다.

도 4에서 알 수 있는 바와 같이, 햅틱 신호(410 및 420)의 공진은 250Hz의 주파수에서 식별된다. 추가로, 햅틱 신호(410 및 420)의 인지 범위는 100Hz 내지 500Hz의 범위를 가지는 주파수 대역폭에서 식별되며, 하위 인지 제한은 100Hz에 있고, 상위 인지 제한은 500Hz의 주파수에 있다. 또한 도 4에서 알 수 있는 바와 같이, 햅틱 신호(410)의 주파수 대역폭 내의 주파수는 햅틱 신호(420)의 주파수 대역폭 내의 주파수로 시프트된다.

도 5는 발명의 실시예에 따라, 햅틱 신호(510)에 과도(520)를 추가함으로써 제1 햅틱 효과 공간과 연관된 햅틱 신호(510)의 예시적인 변환 또는 "와핑"을 예시하며, 여기서 과도(520)는 제2 햅틱 효과 공간과 연관된다. 실시예에 따르면, 햅틱 신호(510)는 더 낮은 주파수(예를 들어, 60 Hz보다 더 작거나 같은 주파수)만을 포함하는 햅틱 신호이다. 과도(520)와 같은 과도는 상태의 변경에 의해 야기되는 짧은 듀레이션의 햅틱 신호이다. 실시예에 따르면, 햅틱 신호(510)가 더 낮은 주파수만을 포함할 때, 하나 이상의 과도(예를 들어, 과도(520))는 햅틱 신호(510)에 추가될 수 있다. 햅틱 신호(510) 및 과도(520)는 하나 이상의 햅틱 출력 디바이스에서 재생될 수 있다. 따라서, 햅틱 신호(510)와 과도(520)의 결합은 새로운 햅틱 신호를 구성한다.

도 6은 발명의 일 실시예에 따라, 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부는 생략될 수 있다. 흐름이 시작하여 610으로 진행한다. 610에서, 오리지널 햅틱 신호가 수신된다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로는, 오리지널 햅틱 신호는 프라이머리 햅틱 출력 디바이스에서 재생될 때 하나 이상의 프라이머리 햅틱 효과를 생성할 수 있고, 프라이머리 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 프라이머리 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 프라이머리 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 620으로 진행한다.

620에서, 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스에서 재생될 때 하나 이상의 세컨더리 햅틱 효과를 생성할 수 있고, 제2 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 세컨더리 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와는 상이할 수 있음을 의미한다.

특정 실시예에서, 새로운 햅틱 신호 내에 포함된 데이터는 오리지널 햅틱 신호 내에 포함된 데이터에 기초할 수 있다. 이들 중 일부 실시예에서, 새로운 햅틱 신호 내에 포함된 데이터는 다음과 같도록 존재할 수 있다: (a) 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스가, 오리지널 햅틱 신호 내에 포함된 데이터의 절댓 값이 미리-정의된 임계보다 더 크거나 같은 오리지널 햅틱 신호의 듀레이션 동안 하나 이상의 세컨더리 햅틱 효과를 생성하게 한다; 그리고 (b) 새로운 햅틱 신호는 세컨더리 햅틱 출력 디바이스가, 오리지널 햅틱 신호 내에 포함된 데이터의 절댓값이 미리-정의된 임계보다 더 작은 오리지널 햅틱 신호의 듀레이션 동안 어떠한 세컨더리 햅틱 효과도 생성하지 않게 한다. 특정 실시예에서, 세컨더리 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 LRA 또는 ERM과 같은 표준-해상도 액츄에이터일 수 있다. 흐름은 이후 630으로 진행한다.

630에서, 오리지널 햅틱 신호가 프라이머리 햅틱 출력 디바이스에 송신되어 하나 이상의 프라이머리 햅틱 효과를 생성한다. 특정 실시예에서, 630은 생략될 수 있고, 오리지널 햅틱 신호는 어떠한 햅틱 출력 디바이스에도 송신되지 않는다. 흐름은 이후 640으로 진행한다.

640에서, 새로운 햅틱 출력 신호가 세컨더리 햅틱 출력 디바이스에 송신되어 하나 이상의 세컨더리 햅틱 효과를 생성한다. 흐름은 이후 종료한다.

도 7은, 발명의 또 다른 실시예에 따르면, 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부가 생략될 수 있다. 흐름이 시작하여 710으로 진행한다. 710에서, 오리지널 햅틱 신호가 수신될 수 있다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 전술된 바와 같이, 오리지널 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 대안적인 실시예에서, 액츄에이터는 LRA 또는 ERM와 같은 표준-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 720으로 진행한다.

720에서, 오리지널 햅틱 신호에 포함된 데이터는 복수의 시간-윈도우로 분할된다. 각각의 시간-윈도우는 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함한다. 흐름은 이후 730으로 진행한다.

730에서, 레벨은 복수의 시간 윈도우 중 하나의 시간-윈도우에 할당된다. 레벨은 수치 값에 의해 표현될 수 있다. 예를 들어, 1, 2, 3, 4, 5, 또는 6의 수치 값이 시간-윈도우에 할당될 수 있다. 따라서, 다시 말하자면, 시간-윈도우는 양자화된다. 또한, 일부 실시예에서, 레벨은 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여 시간-윈도우에 할당될 수 있다. 대안적인 실시예들에서, 레벨은 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여 시간-윈도우에 할당될 수 있다. 특정 실시예에서, 레벨은 복수의 시간-윈도우의 각각의 시간-윈도우에 할당될 수 있다. 흐름은 이후 740으로 진행한다.

740에서, 시간-윈도우의 레벨은 햅틱 효과 패턴을 나타내는 데이터로 번역된다. 특정 실시예에서, 번역은 햅틱 효과 패턴의 듀레이션을 설정하는 것을 포함하고, 햅틱 효과 패턴의 듀레이션 대 시간-윈도우의 듀레이션의 비는 시간-윈도우의 레벨 대 최대 레벨의 비에 비례한다. 예를 들어, 시간-윈도우의 듀레이션이 30 밀리초("ms")이고, 시간-윈도우의 레벨이 4(6의 최대 레벨을 가짐)인 경우, 햅틱 효과 패턴의 대응하는 듀레이션은 20ms이다. 이 예에서, 햅틱 효과 패턴은 후속적으로, 햅틱 효과 패턴이 존재하지 않는 10 ms(즉, 시간-윈도우의 나머지 듀레이션)의 듀레이션만큼 선행한다. 특정 실시예에서, 햅틱 효과 패턴은 진동촉각 햅틱 효과를 나타내는 진동촉각 햅틱 효과 패턴이다. 또한, 일부 실시예에서, 각각의 시간-윈도우의 각각의 레벨은 별도의 햅틱 효과 패턴을 나타내는 별도의 데이터 부분으로 번역될 수 있다. 흐름은 이후 750으로 진행한다.

750에서, 햅틱 효과 패턴을 나타내는 데이터를 포함하는 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은, 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와 상이할 수 있음을 의미한다. 특정 실시예에서, 새로운 햅틱 신호는 별도의 햅틱 효과 패턴을 나타내는 데이터의 별도의 부분을 포함할 수 있다. 흐름은 760으로 진행한다.

760에서, 새로운 햅틱 신호가 햅틱 출력 디바이스에 송신되어 하나 이상의 햅틱 효과를 생성한다. 흐름은 이후 종료한다.

방법의 또 다른 실시예에 따르면, 도 8은 햅틱 와핑 모듈(예를 들어, 도 1의 햅틱 와핑 모듈(16))의 기능성의 흐름도를 예시한다. 특정 실시예에서, 기능성의 일부는 생략될 수 있다. 흐름이 시작하여 810으로 진행한다. 810에서, 오리지널 햅틱 신호가 수신된다. 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함할 수 있다. 전술된 바와 같이, 오리지널 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 특정 실시예에서, 햅틱 출력 디바이스는 액츄에이터일 수 있다. 이들 중 일부 실시예에서, 액츄에이터는 압전 액츄에이터 또는 EAP 액츄에이터와 같은 고-해상도 액츄에이터일 수 있다. 대안적인 실시예에서, 액츄에이터는 LRA 또는 ERM과 같은 표준-해상도 액츄에이터일 수 있다. 또한, 이들 중 일부 실시예에서, 햅틱 효과는 진동촉각 햅틱 효과일 수 있고, 제1 햅틱 효과 공간은 진동촉각 햅틱 효과 공간일 수 있다. 흐름은 이후 820으로 진행된다.

820에서, 오리지널 햅틱 신호 내에 포함된 데이터는 복수의 시간-윈도우로 분할된다. 각각의 시간-윈도우는 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함한다. 흐름은 이후 830으로 진행한다.

830에서, 제1 레벨이 복수의 시간 윈도우 중 제1 시간-윈도우에 할당되고, 제2 레벨이 복수의 시간 윈도우 중 제2 시간-윈도우에 할당된다. 특정 실시예에서, 제1 및 제2 시간 윈도우는 시간 상 인접한다(즉, 연속적이다). 전술된 바와 같이, 레벨은 수치 값에 의해 표현될 수 있다. 예를 들어, 1, 2, 3, 4, 5, 또는 6의 수치 값은 제1 시간-윈도우에 할당될 수 있고, 1, 2, 3, 4, 5, 또는 6의 별도의 수치 값은 제2 시간-윈도우에 할당될 수 있다. 따라서, 다시 말해, 제1 시간-윈도우 및 제2 시간 윈도우는 각각 양자화된다. 또한, 일부 실시예에서, 제1 레벨 및 제2 레벨 각각은, 각자 제1 시간-윈도우 및 제2 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여, 각자 제1 시간-윈도우 및 제2 시간-윈도우에 할당될 수 있다. 대안적인 실시예에서, 제1 레벨 및 제2 레벨 각각은, 각자 제1 시간-윈도우 및 제2 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여, 각자 제1 시간-윈도우 및 제2 시간-윈도우에 할당될 수 있다. 특정 실시예에서, 레벨은 복수의 시간-윈도우의 각자의 시간-윈도우에 할당될 수 있다. 흐름은 이후 840으로 진행한다.

840에서, 제1 레벨과 제2 레벨 사이의 레벨 트랜지션이 결정된다. 레벨 트랜지션은 제1 레벨로부터 제2 레벨로의 트랜지션이다. 레벨 트랜지션은 복수의 수치 값에 의해 표현될 수 있다. 예를 들어, 4의 수치값이 제1 시간-윈도우에 할당되고, 6의 수치 값이 제2 시간-윈도우에 할당되는 경우, 레벨 트랜지션은 (4,6)에 의해 표현될 수 있다. 또 다른 예로서, 6의 수치값이 제1 시간-윈도우에 할당되고, 4의 수치 값이 제2 시간-윈도우에 할당되는 경우, 레벨 트랜지션은 (6,4)에 의해 표현될 수 있다. 특정 실시예에서, 각각의 레벨과 그것의 다음(succeeding) 레벨 사이의 레벨 트랜지션이 결정될 수 있다. 흐름은 이후 850으로 진행한다.

850에서, 햅틱 효과 패턴은 결정된 레벨 트랜지션에 기초한 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 선택된다. 테이블은 레벨 트랜지션에 대응하는 햅틱 효과 패턴의 미리-정의된 테이블일 수 있고, 미리-정의된 테이블은 햅틱 출력 디바이스 또는 햅틱 출력 디바이스 타입에 대해 구체적으로 미리 정의될 수 있다. 또한, 하나 이상의 햅틱 효과 패턴이 햅틱 출력 디바이스 또는 햅틱 출력 디바이스 타입에 대해 구체적으로 미리 정의될 수 있다. 특정 실시예에서, 제1 레벨과 제2 레벨 간의 트랜지션이 기술적으로 구현가능하지 않을 때(예를 들어, 결정된 레벨 트랜지션이 테이블 내에 존재하지 않을 때, 또는 제1 시간-윈도우의 듀레이션이 선택된 햅틱 효과 패턴을 수용하기에는 너무 짧을 때), 다음이 발생할 수 있다: (a) 제1 레벨 또는 제2 레벨 중 적어도 하나가 수정될 수 있다(예를 들어, 위 또는 아래로 조정됨); (b) 새로운 레벨 트랜지션은 제1 레벨 또는 제2 레벨 중 적어도 하나로의 수정에 기초하여 결정될 수 있다; 그리고 (c) 햅틱 효과 패턴은 새로운 레벨 결정에 기초하여 테이블로부터 선택될 수 있다. 또한, 일부 실시예에서, 별도의 햅틱 효과 패턴은 각각의 결정된 레벨 트랜지션에 대한 테이블로부터 선택될 수 있다. 흐름은 이후 860으로 진행한다.

860에서, 선택된 햅틱 효과 패턴을 나타내는 데이터를 포함하는 새로운 햅틱 신호가 생성된다. 새로운 햅틱 신호는 제2 햅틱 효과 공간을 포함할 수 있다. 더 구체적으로, 새로운 햅틱 신호는 햅틱 출력 디바이스에서 재생될 때 하나 이상의 햅틱 효과를 생성할 수 있고, 햅틱 효과는 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트의 일부분일 수 있고, 햅틱 효과의 세트는 햅틱 출력 디바이스에 의해 생성될 수 있는 모든 가능한 햅틱 효과를 포함할 수 있다. 또한, 제2 햅틱 효과 공간은 제1 햅틱 효과 공간과는 상이할 수 있다. 이것은 제1 햅틱 효과 공간을 구성하는 햅틱 효과의 세트가 제2 햅틱 효과 공간을 구성하는 햅틱 효과의 세트와는 상이할 수 있음을 의미한다. 특정 실시예에서, 새로운 햅틱 신호는 별도로 선택된 햅틱 효과 패턴을 나타내는 데이터의 별도 부분들을 포함할 수 있다. 흐름은 870으로 진행한다.

870에서, 새로운 햅틱 신호가 햅틱 출력 디바이스에 송신되어 하나 이상의 햅틱 효과를 생성한다. 흐름은 이후 종료한다.

따라서, 일 실시예에서, 시스템은 제1 타입의 햅틱 출력 디바이스에 대한 입력 햅틱 신호를 제2 타입의 햅틱 출력 디바이스에 대한 출력 햅틱 신호로 변환할 수 있다. 따라서, 시스템은 자동으로 또는 수동으로 생성된 임의의 햅틱 컨텐츠를 관련된 방식으로 더 낮은 품질의 햅틱 출력 디바이스(또는 일부 경우에서, 더 높은 품질의 햅틱 출력 디바이스)로 적응시킬 수 있다. 예로서, 햅틱 효과 설계는 햅틱 효과를 한번(주로 고-해상도 햅틱 출력 디바이스에 대해) 설계하고, 모든 타입의 햅틱 출력 디바이스에 대해 적절하게 재생된 햅틱 효과를 가질 수 있다. 또한, 표준-해상도 햅틱 출력 디바이스를 사용하여 고-해상도 햅틱 신호를 재생할 때, 시스템은, 햅틱 효과 설계가 의도한 바와 같이 햅틱 효과가 표준-해상도 햅틱 출력 디바이스에 대해 경험되도록 고-해상도 햅틱 신호를 적절하게 변환할 수 있다. 이것은 시스템이 시중에서 이용가능한 임의의 상업적 햅틱 출력 디바이스에 대한 임의의 생성된 햅틱 컨텐츠를 재생하게 한다.

이 명세서 전반에 걸쳐 기술된 발명의 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 예를 들어, "일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들" 또는 다른 유사한 언어의 사용은, 이 명세서 전반에 걸쳐, 실시예와 관련되어 기술된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 지칭한다. 따라서, 이 명세서 전반에 걸쳐 구문 일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들" 또는 다른 유사한 언어의 출현은, 반드시 모두 동일한 실시예의 그룹을 지칭하지는 않으며, 기술된 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다.

당업자는 위에서 논의된 바와 같은 발명이 상이한 순서의 단계들을 이용하여, 그리고/또는 개시된 것과는 상이한 구성의 엘리먼트를 이용하여 구현될 수 있음을 쉽게 이해할 것이다. 따라서, 발명이 이들 바람직한 실시예에 기초하여 기술되었지만, 특정 수정, 변형 또는 대안적 구성이 명백하면서도 발명의 사상 및 범위 내에서 유지된다는 점이 당업자에게 명백할 것이다. 따라서, 발명의 한계와 경계를 결정하기 위해, 첨부된 청구항에 대한 참조가 이루어져야 한다.

Claims

햅틱 신호들을 변환하기 위한 방법으로서,
오리지널 햅틱 신호를 수신하는 단계 ― 상기 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 상기 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함함 ― ;
상기 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하는 단계 ― 상기 새로운 햅틱 신호는 상기 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 상기 제2 햅틱 효과 공간은 제2 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 상기 새로운 햅틱 신호 내에 포함된 데이터는 상기 오리지널 햅틱 신호 내에 포함된 데이터에 기초함 ― ; 및
상기 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
상기 제2 햅틱 공간을 포함하는 상기 새로운 햅틱 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 오리지널 햅틱 신호에 맞춰 동기화됨 ― ;
상기 오리지널 햅틱 신호를 프라이머리 햅틱 출력 디바이스에 송신하여 하나 이상의 프라이머리 햅틱 효과들을 생성하는 단계; 및
상기 새로운 햅틱 신호를 세컨더리 햅틱 출력 디바이스에 송신하여 하나 이상의 세컨더리 햅틱 효과들을 생성하는 단계
를 더 포함하는 방법.
제2항에 있어서,
상기 새로운 햅틱 신호는 상기 세컨더리 햅틱 출력 디바이스가, 상기 오리지널 햅틱 신호 내에 포함된 데이터의 하나 이상의 절댓값들이 임계보다 더 크거나 같은 오리지널 햅틱 신호의 듀레이션 동안 상기 하나 이상의 세컨더리 햅틱 효과들을 생성하게 하고;
상기 새로운 햅틱 신호는 상기 세컨더리 햅틱 출력 디바이스가, 상기 오리지널 햅틱 신호 내에 포함된 데이터의 하나 이상의 절댓값들이 상기 임계보다 더 작은 오리지널 햅틱 신호의 듀레이션 동안 어떠한 세컨더리 햅틱 효과들도 생성하지 않게 하는 방법.
제1항에 있어서,
상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하는 단계 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 상기 데이터의 일부분을 포함함 ― ;
상기 복수의 시간 윈도우들 중 하나의 시간-윈도우에 레벨을 할당하는 단계;
상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하는 단계; 및
상기 새로운 햅틱 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 더 포함하는 방법.
제4항에 있어서,
상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하는 단계는:
상기 햅틱 효과 패턴의 듀레이션을 설정하는 단계 ― 상기 햅틱 효과 패턴의 듀레이션 대 상기 시간-윈도우의 듀레이션의 비는 상기 시간-윈도우의 레벨과 최대 레벨의 비에 비례함 ― 를 더 포함하는 방법.
제4항에 있어서,
상기 레벨은 상기 시간-윈도우 내에 포함된 데이터의 최대 절댓값에 기초하여 상기 시간-윈도우에 할당되는 방법.
제4항에 있어서,
상기 레벨은 상기 시간-윈도우 내에 포함된 데이터의 평균 절댓값에 기초하여 상기 시간-윈도우에 할당되는 방법.
제1항에 있어서,
상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하는 단계 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함함 ― ;
제1 레벨을 상기 복수의 시간-윈도우들 중 제1 시간-윈도우에 그리고 제2 레벨을 상기 복수의 시간-윈도우들 중 제2 시간-윈도우에 할당하는 단계;
상기 제1 레벨과 상기 제2 레벨 사이의 레벨 트랜지션을 결정하는 단계;
상기 결정된 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하는 단계; 및
상기 새로운 햅틱 신호를 생성하는 단계 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 더 포함하는 방법.
제8항에 있어서,
상기 오리지널 햅틱 신호를 상기 새로운 햅틱 신호로 변환하는 단계는:
상기 결정된 레벨 트랜지션이 상기 테이블 내에 존재하지 않는 상기 제1 레벨 또는 상기 제2 레벨 중 적어도 하나를 수정하는 단계;
상기 제1 레벨 또는 상기 제2 레벨 중 적어도 하나로의 수정에 기초하여 새로운 레벨 트랜지션을 결정하는 단계; 및
상기 결정된 새로운 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 햅틱 출력 디바이스는 액츄에이터를 포함하는 방법.
햅틱 신호들을 변환하기 위한 시스템으로서,
햅틱 와핑(warping) 모듈을 저장하도록 구성되는 메모리; 및
상기 메모리에 저장된 상기 햅틱 와핑 모듈을 실행하도록 구성되는 프로세서
를 포함하고,
상기 햅틱 와핑 모듈은 오리지널 햅틱 신호를 수신하도록 구성되고 ― 상기 오리지널 햅틱 신호는 제1 햅틱 효과 공간을 포함하고, 상기 제1 햅틱 효과 공간은 제1 햅틱 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함함 ― ;
상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호를 새로운 햅틱 신호로 변환하도록 추가로 구성되고 ― 상기 새로운 햅틱 신호는 상기 제1 햅틱 효과 공간과는 상이한 제2 햅틱 효과 공간을 포함하고, 상기 제2 햅틱 효과 공간은 제2 출력 디바이스에 의해 생성될 수 있는 하나 이상의 햅틱 효과들을 포함하고, 상기 새로운 햅틱 신호 내에 포함된 데이터는 상기 오리지널 햅틱 신호 내에 포함된 데이터에 기초함 ― ; 및
상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호를 햅틱 출력 디바이스에 송신하여 하나 이상의 햅틱 효과들을 생성하도록 추가로 구성되는 시스템.
제11항에 있어서,
상기 햅틱 와핑 모듈은 상기 제2 햅틱 공간을 포함하는 상기 새로운 햅틱 신호를 생성하도록 추가로 구성되고 ― 상기 새로운 햅틱 신호는 상기 오리지널 햅틱 신호에 맞춰 동기화됨 ― ;
상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호를 프라이머리 햅틱 출력 디바이스에 송신하여 하나 이상의 프라이머리 햅틱 효과들을 생성하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호를 세컨더리 햅틱 출력 디바이스에 송신하여 하나 이상의 세컨더리 햅틱 효과들을 생성하도록 추가로 구성되는 시스템.
제11항에 있어서,
상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하도록 추가로 구성되고 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 상기 데이터의 일부분을 포함함 ― ;
상기 햅틱 와핑 모듈은 상기 복수의 시간-윈도우들 중 하나의 시간-윈도우에 레벨을 할당하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 시간-윈도우의 레벨을 햅틱 효과 패턴을 나타내는 데이터로 번역하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 생성하도록 추가로 구성되는 시스템.
제11항에 있어서,
상기 햅틱 와핑 모듈은 상기 오리지널 햅틱 신호 내에 포함된 데이터를 복수의 시간-윈도우들로 분할하도록 추가로 구성되고 ― 각각의 시간-윈도우는 상기 오리지널 햅틱 신호 내에 포함된 데이터의 일부분을 포함함 ― ;
상기 햅틱 와핑 모듈은 제1 레벨을 상기 복수의 시간-윈도우들 중 제1 시간-윈도우에 그리고 제2 레벨을 상기 복수의 시간-윈도우들 중 제2 시간-윈도우에 할당하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 제1 레벨과 상기 제2 레벨 사이의 레벨 트랜지션을 결정하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 결정된 레벨 트랜지션에 기초하여 하나 이상의 햅틱 효과 패턴들을 포함하는 테이블로부터 햅틱 효과 패턴을 선택하도록 추가로 구성되고;
상기 햅틱 와핑 모듈은 상기 새로운 햅틱 신호 ― 상기 새로운 햅틱 신호는 상기 햅틱 효과 패턴을 나타내는 데이터를 포함함 ― 를 생성하도록 추가로 구성되는 시스템.
저장된 명령어들을 가지는 컴퓨터-판독가능한 저장 매체로서,
상기 명령어들은 프로세서에 의해 실행될 때, 상기 프로세서가 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하게 하는 컴퓨터-판독가능한 저장 매체.