KR20170007966A

KR20170007966A - 측면 터치 조합을 이용한 스마트 디바이스 조작 방법 및 장치

Info

Publication number: KR20170007966A
Application number: KR1020150099082A
Authority: KR
Inventors: 이기혁; 안성근
Original assignee: 한국과학기술원
Priority date: 2015-07-13
Filing date: 2015-07-13
Publication date: 2017-01-23
Also published as: US20170017389A1

Abstract

스마트 디바이스는 상기 스마트 디바이스의 조작을 위한 입력 장치로서, 상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및 상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단을 포함하고, 상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과가 상기 조작을 위한 입력 신호로 인식될 수 있다.

Description

측면 터치 조합을 이용한 스마트 디바이스 조작 방법 및 장치{METHOD AND APPARATUS FOR SMART DEVICE MANIPULATION UTILIZING SIDES OF DEVICE}

본 발명의 실시예들은 스마트 디바이스의 조작을 위한 입력 장치 및 이를 이용한 상호작용 방법에 관한 것이다.

기술의 발전에 따라, 웨어러블 컴퓨터(wearable computer)에 대한 개발이 가속화되고 있다. 일반적으로 웨어러블 컴퓨터는 옷이나 시계, 안경, 액세서리처럼 자연스럽게 몸에 착용하고 다닐 수 있는 컴퓨팅 장치를 나타낸다.

스마트폰과 태블릿 PC는 손가락이나 터치팬 하나로 편리하게 사용할 수 있으나, 주머니 또는 가방에 넣어 다니거나 손에 들고 다녀야 하는 불편함이 존재할 수 있다. 이에 반해, 웨어러블 컴퓨터는 시계, 안경, 목걸이 등과 같이 몸에 착용한 상태로 다닐 수 있기 때문에 스마트폰이나 태블릿 PC에 비해 휴대성이 보다 용이할 수 있다.

근래에는 손목에 착용하는 형태의 컴퓨팅 장치로서 여러 종류의 스마트워치(smart watch)가 등장하고 있다.

스마트워치는 다양한 기능을 내장할 수 있다. 예컨대 전화, 이메일, 문자(SMS, MMS), SNS(social network service), 음악, 사진, 카메라, 동영상, 근거리 무선 통신(NFC, near field communication), GPS(global positioning system), Wi-Fi, FM 라디오, 이동거리나 속도 체크, 스마트폰이나 타블렛 또는 랩탑 컴퓨터 등의 타 기기와의 연동 등의 기능을 내장할 수 있다.

스마트워치는 손목에 착용하여 사용되는 기기이므로 터치스크린의 크기가 임의로 커질 수 없다. 작은 터치스크린으로 인해 발생하는 사용성의 문제는 크게 두 가지이다. 첫 번째는 큰 터치스크린에 비해 손가락에 의한 화면 가림의 문제가 부각된다는 점이고, 두 번째는 터치스크린 입력을 풍부하게 만들어주는 멀티-핑거 조작(multi-finger manipulation)을 사용하는데 제약이 있다는 점이다.

터치스크린은 손가락이 화면을 가리게 되는 원천적인 문제가 있는데, 특히 크기가 터치스크린이 작은 경우에는 전체 화면에 비해 손가락으로 가려지는 화면의 비율이 커지게 되므로 화면 가림의 문제가 상대적으로 더 심각해 진다. 또한, 화면이 작아지면 두 개 이상의 손가락으로 화면 위에서 조작하는 것이 어려워진다. 작은 사이즈로 인해 한 화면에 보여줄 수 있는 정보의 양이 적기 때문에 원하는 정보에 접근하기 위해서 더 많은 조작을 요구하게 되는데 입력 방식을 풍부하게 만들어주는 멀티-핑거 조작이 쉽지 않다는 것은 스마트워치에서 원하는 정보에 접근하기 어렵다는 것을 의미한다.

터치스크린을 이용하는 스마트 디바이스에서 사용성 문제를 해결하기 위한 스마트 디바이스 조작 방법 및 장치를 제공한다.

스마트 디바이스의 입력 방식을 풍부하게 만들어 줄 수 있는 스마트 디바이스 조작 방법 및 장치를 제공한다.

스마트 디바이스에 있어서, 상기 스마트 디바이스의 조작을 위한 입력 장치로서, 상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및 상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단을 포함하고, 상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과가 상기 조작을 위한 입력 신호로 인식되는 것을 특징으로 하는 스마트 디바이스를 제공한다.

일 측면에 따르면, 상기 스마트 디바이스는 사각형 형태로 상/하/좌/우 4개의 측면을 구분하는 디바이스이며, 상기 보조 입력 수단은 상기 4개의 측면에 각각 구성되어 상기 측면 각각에 대한 터치를 감지할 수 있다.

다른 측면에 따르면, 상기 보조 입력 수단에 의해 디텍트 된 터치 결과가 상기 4개의 측면에 대응되는 직교 좌표계의 좌표 값으로 입력될 수 있다.

또 다른 측면에 따르면, 상기 스마트 디바이스는 상기 터치스크린과 적어도 하나의 보조 입력 수단에 의해 디텍트 된 터치 조합, 혹은 둘 이상의 보조 입력 수단에 의해 디텍트 된 터치 조합을 상기 입력 신호로 인식할 수 있다.

또 다른 측면에 따르면, 상기 보조 입력 수단은 상기 디스플레이에 표시된 화면에 대한 x축 좌표 값과 y축 좌표 값 중 적어도 하나를 선택하기 위한 수단으로 이용될 수 있다.

또 다른 측면에 따르면, 상기 보조 입력 수단은 상기 디스플레이에 표시된 대상을 x축 방향과 y축 방향 중 적어도 하나로 이동(panning)하기 위한 수단으로 이용될 수 있다.

또 다른 측면에 따르면, 상기 보조 입력 수단은 상기 디스플레이에 표시된 대상의 확대(zoom in)와 축소(zoom out) 중 적어도 하나를 제어하기 위한 수단으로 이용될 수 있다.

또 다른 측면에 따르면, 상기 보조 입력 수단은 상기 터치스크린을 통한 입력을 변경하기 위한 변경자 키(modifier key)로 이용될 수 있다.

또 다른 측면에 따르면, 상기 보조 입력 수단은 상기 디스플레이에 메뉴 목록을 표시하기 위한 수단 또는 상기 메뉴 목록 중 상기 측면에 대응되어 배치된 메뉴를 선택하기 위한 수단으로 이용될 수 있다.

스마트 디바이스의 조작 방법에 있어서, 상기 스마트 디바이스는, 상기 스마트 디바이스의 조작을 위한 입력 장치로서, 상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및 상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단을 포함하고, 상기 조작 방법은, 상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과를 상기 조작을 위한 입력 신호로 인식하는 단계; 및 상기 입력 신호에 따라 상기 터치 결과에 대응되는 동작을 수행하는 단계를 포함하는 스마트 디바이스의 조작 방법을 제공한다.

스마트 디바이스에서 동작하는 프로그램에 있어서, 상기 스마트 디바이스는, 상기 스마트 디바이스의 조작을 위한 입력 장치로서, 상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및 상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단을 포함하고, 상기 프로그램은, 상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과를 상기 조작을 위한 입력 신호로 인식하는 단계; 및 상기 입력 신호에 따라 상기 터치 결과에 대응되는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 프로그램을 제공한다.

본 발명의 실시예에 따르면, 터치스크린을 이용하는 스마트 디바이스에서 측면에서의 터치 조작을 보조적인 입력으로 활용함으로써 화면이 작은 스마트 디바이스의 사용성 문제를 효과적으로 해소할 수 있다.

도 1은 본 발명의 일 실시예에 있어서, 스마트워치의 내부 구성을 설명하기 위한 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 있어서, 스마트워치의 측면 조작이 가능한 입력 수단을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서, 스마트워치의 측면 터치 감지를 위한 광학식 센서를 간소화 한 회로도를 도시한 것이다.
도 4 내지 도 6은 본 발명의 일 실시예에 있어서, 스마트워치의 터치스크린과 측면을 이용한 입력 방법을 설명하기 위한 예시 도면이다.
도 7 내지 도 10은 본 발명의 일 실시예에 있어서, 스마트워치의 측면 조작을 이용한 대상 제어 방법의 일 예를 설명하기 위한 예시 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시예들은 스마트 디바이스의 조작을 위한 입력 기술에 관한 것으로, 보다 구체적으로는 스마트 디바이스의 작은 화면 크기로 인한 사용성 문제를 보완하기 위한 보조적인 입력 장치 및 이를 이용한 상호작용 방법에 관한 것이다.

본 명세서에서, '스마트 디바이스'는 웨어러블 컴퓨터(wearable computer), 스마트폰(smart phone), 태블릿(tablet) 등을 포함할 수 있으며, 이하에서는 스마트워치를 스마트 디바이스의 대표적인 예로 하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 있어서, 스마트워치의 내부 구성을 설명하기 위한 블록도를 도시한 것이다.

도 1을 참조하면, 스마트워치(100)는 디스플레이(110), 센서(120), 통신 모듈(130), 프로세서(140), 전력 모듈(150) 및 스토리지(160)을 포함할 수 있다.

디스플레이(110)는 디스플레이 화면에 이미지를 출력할 수 있다. 또한, 디스플레이(110)는 프로세서(140)에서 실행되는 컨텐츠 또는 프로세서(140)의 제어 명령에 기초하여 이미지를 출력할 수 있다. 예를 들어, 컨텐츠는 각종 동영상, 이미지 등을 포함할 수 있다.

센서(120)는 스마트워치(100)에 장착된 적어도 하나의 센서를 사용하여 입력 신호를 디텍트하고, 디텍트 된 결과에 따른 입력 신호를 프로세서(140)에 전달할 수 있다. 이때, 센서(120)은 복수의 센싱 수단을 포함할 수 있다. 일 예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 그립 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서(120)는 상술한 다양한 센싱 수단을 통칭할 수 있다.

또한, 센서(120)는 유저의 다양한 입력 및 유저의 환경을 센싱하여 프로세서(130)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 스마트워치(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.

센서(120)는 디스플레이(110)와 결합된 터치스크린을 포함할 수 있으며, 스마트워치(100)에 대한 입력 신호는 터치스크린에 대한 터치 입력을 기본으로 할 수 있으며, 이외에도 스마트워치(100)에 장착된 센서에 따라 시선 입력, 음성 입력, 제스처 입력 등을 포함할 수 있다.

특히, 센서(120)는 스마트워치(100)의 측면을 구성하는 변에 구비된 적어도 하나의 센서를 사용하여 입력 신호를 디텍트하고, 디텍트 된 결과에 따른 입력 신호를 프로세서(140)에 전달할 수 있다. 이와 관련해서는 이하에서 다시 상세히 설명하도록 한다.

통신 모듈(130)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 또한, 통신 모듈(130)은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 스마트워치(100)는 통신 모듈(130)을 사용하여 외부 디지털 디바이스와 페어링을 수행할 수 있다. 또한, 스마트워치(100)는 페어링을 통하여, 외부 디지털 디바이스와 통신 접속을 수행할 수 있다.

프로세서(140)는 데이터 통신을 통해 수신된 컨텐츠, 또는 스토리지(160)에 저장된 컨텐츠 등을 실행할 수 있다. 또한, 프로세서(140)는 스마트워치(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수 있다. 그리고, 프로세서(140)는 스마트워치(100)와 페어링된 외부 디지털 디바이스를 디텍트할 수 있다. 특히, 프로세서(140)는 스마트워치(100)의 터치스크린 및 측면 중 적어도 하나를 통해서 디텍트한 입력 신호에 기초하여 스마트워치(100)의 동작을 제어할 수 있다.

전력 모듈(150)은 스마트워치(100) 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, 스마트워치(100)에 파워를 공급할 수 있다. 전력 모듈(150)은 스마트워치(100)의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 모듈(150)은 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

스토리지(160)는 동영상, 오디오, 사진, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지(160)는 프로세서(140)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 스토리지(160)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다.

스토리지(160)는 스마트워치(100)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(140)나 다른 컴포넌트에서 스토리지(160)에 액세스하는 것은 프로세서(140)에 의해 제어될 수 있다.

또한, 도 1에는 도시되지 않았으나, 스마트워치(100)는 오디오 유닛을 더 포함할 수 있다. 오디오 유닛은 프로세서(140)에서 실행되는 컨텐츠 또는 프로세서(140)의 제어 명령에 기초한 정보를 음성으로 제공할 수 있다.

스마트워치(100)가 수행하는 다양한 동작들은 프로세서(140)에 의해 제어될 수 있다. 또한, 스마트워치(100)의 동작들은 스토리지(160)에 저장되어 프로세서(140)에 의해 구동되는 애플리케이션에 의해 제어될 수도 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 스마트워치(100)가 수행/제어하는 것으로 도시 및 설명하도록 한다.

이러한 도 1의 실시예는, 스마트워치(100)의 일례일 뿐이고, 스마트워치(100)는 도 1에 도시된 일부 컴포넌트가 생략되거나, 도 1에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 스마트워치(100)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

도 1에 도시된 스마트워치(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 스마트워치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 스마트워치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.

본 발명의 실시예에서는 터치스크린을 이용하는 스마트워치에서 사용성 문제를 해결하기 위해서 1) 화면 가림 문제를 해결하고, 2) 입력 방식을 풍부하게 만들어 줄 수 있는 보조적인 입력 수단이 필요하다.

스마트워치의 화면 가림 문제는 조작 공간을 화면 위에서 측면으로 이동함으로써 해결 가능하다. 하지만, 측면에서의 조작은 터치스크린 위의 조작에 비하여 직관성이 떨어질 수 있다. 그러므로, 스마트워치의 측면을 이용한 조작은 화면 가림 문제가 주요한 영향을 미치는 경우에 보조적으로 활용될 수 있다. 다시 말해, 스마트워치에서 터치스크린으로 선택하기 어려운 작은 크기의 대상을 선택하고자 하는 경우에 스마트워치의 측면을 이용한 조작이 사용될 수 있다.

본 실시예에서는 대상에 대한 선택을 직교 좌표계를 기반으로 하여 수행하고 명확하게 구분된 다각면을 가지는 사각형의 스마트워치에서 네 개의 측면을 이용하여 가능한 조작 방법을 제공한다.

도 2는 본 발명의 일 실시예에 있어서, 스마트워치의 측면 조작이 가능한 입력 수단을 설명하기 위한 예시 도면이다.

도 2를 참조하면, 스마트워치(100)의 입력 수단으로는 디스플레이와 결합된 터치스크린(210)을 포함하며, 특히 스마트워치(100)의 측면 공간(230)을 보조적인 입력 수단으로 구성할 수 있다. 이때, 스마트워치(100)는 4개의 측면 공간(230)을 보조적인 입력 수단으로 활용할 수 있다.

도 2는 측면 공간(230)이 4개의 영역으로 구분되는 사각형의 스마트워치(100)를 도시하고 있으나, 이러한 것으로만 한정되는 것은 아니며 원형, 삼각형 등 적어도 한 개 이상의 측면 공간(230)을 가진 형태라면 모두 적용 가능하다. 예를 들어, 스마트워치(100)의 본체가 원형으로 구성되더라도 원형의 측면 공간을 그대로 입력 수단으로 이용하는 것은 물론, 원형의 측면 공간을 상/하, 좌/우, 상/하/좌/우 등으로 구획된 다수의 영역으로 정의하여 이용하는 것 또한 가능하다.

스마트워치(100)의 측면 공간(230)은 터치를 감지하기 위한 수단을 포함할 수 있으며, 일 예로 광학식 센서(231)를 이용할 수 있다. 이때, 광학식 센서(231)는 LED(light emitting diode)와 포토 센서(photo sensor)가 쌍을 이루어 구성되며, 예컨대 측면 공간(230)의 각 변마다 8개씩의 광학식 센서(231)가 구성될 수 있다.

스마트워치(100)의 측면 공간(230)에 포함된 광학식 센서(231)는 LED에서 나온 적외선이 손가락에서 반사되어 돌아오는 것을 포토 센서가 감지하는 방식으로 구성된다. 이러한 원리를 이용하여 광학식 센서(231)와 손가락 사이의 거리를 측정할 수 있으므로 이를 통해 스마트워치(100)의 측면 공간(230)에 대한 터치 여부를 확인할 수 있다.

스마트워치(100)에서는 광학식 센서(231)를 통해 해당 측면에 대한 터치 여부, 터치 면적, 터치 방향, 및 터치 위치 등을 감지할 수 있다.

8개의 센서 값 중 가장 큰 값을 가지는 부분과 양 옆에 인접한 두 개의 센서에 대해서, (1) 현재 측정된 값과 (2) 이전 측정 값과의 차이 값(시간에 따른 변화량)을 더하여 터치 여부에 대한 매개 변수로 사용하여 특정 기준을 넘을 경우 터치된 상태로 인식할 수 있다.

더 나아가, 각 측면에 여러 개가 배열된 센서들의 측정 값을 이용하여 측면 내에서 터치된 손가락의 위치를 추정하는 것 또한 가능하다. 손가락의 위치 추정은 측정 값들의 무게 중심을 이용하며, 이때 센서들의 기저 값으로 인한 무게 중심 이동을 방지하기 위해 모든 센서의 값들은 기저 값이 0을 가지도록 정규화 할 수 있다.

도 3은 도 2를 통해 설명한 측면 공간(230)의 터치 인식을 위해 구성된 광학식 센서(231)에 대한 간소화 된 회로도를 도시한 것이다.

도 2와 도 3에서는 측면 공간(230)의 터치 인식을 위해 광학식 구현만을 설명하고 있으나, 이러한 것으로만 한정되지 않으며 정전식, 감압식 등 얼마든지 기존 터치 입력 기술을 활용할 수 있다. 예를 들어, 측면 조작을 감지하기 위해 별도의 보조 입력 수단(예컨대, 광학식 센서 등)을 구성하지 않더라도 터치스크린을 전면에서 상/하/좌/우(또는 상/하 또는 좌/우) 측면까지 연장하는 형태로 확장함으로써 터치스크린을 통해 측면 터치를 감지하는 것 또한 가능하다.

도 4 내지 도 6은 본 발명의 일 실시예에 있어서, 스마트워치(100)의 터치스크린과 측면을 입력 장치로서 이용할 때 가능한 기본적인 입력 방법을 설명하기 위한 예시 도면이다.

도 4를 참조하면, (10)은 기본적인 입력으로 먼저 측면의 특정 지점을 터치하는 동작이며 조작 방식은 터치스크린에서 터치하는 방식과 동일하고 4개 면 중 적어도 한 면에서 한 손가락으로 터치하거나 둘 이상의 손가락으로 동시에 터치할 수 있다. (20)은 마찬가지로 터치 동작인데 (10)과 달리 접촉 면적을 넓게 한 터치 동작이다.

도 5를 참조하면, (30)은 측면 터치 조작과 터치스크린 터치 조작을 함께 사용할 수 있으며, 이러한 경우 측면을 변경자 버튼(modifier key)(shift, alt, ctrl 키 등)으로서 사용할 수 있다.

도 6을 참조하면, (40)의 측면 터치 조작은 터치스크린과 마찬가지로, 연속적인 터치 드래그 동작이다. (50)은 둘 이상의 측면에서 동시에 드래그 하는 터치 동작이고, (60)은 적어도 하나 이상의 측면과 터치스크린을 동시에 드래그 하는 터치 동작이다.

상기한 바와 같이, 스마트워치(100)의 측면 터치 조작은 단독 입력으로 사용되는 것은 물론, 터치스크린의 터치 조작과 조합 형태로 사용되는 것 또한 가능하다.

도 4 내지 도 6은 예시적인 터치 동작을 설명하고 있으며, 이러한 것으로만 한정되지 않으며 스마트워치(100)의 측면에 대한 입력 방식이나 조합 등은 얼마든지 변경 내지 확대 가능하다.

도 7 내지 도 10은 본 발명의 일 실시예에 있어서, 스마트워치의 측면 조작을 이용한 대상 제어 방법의 일 예를 설명하기 위한 예시 도면이다.

도 7을 참조하면, (710)에서는 일 차원 슬라이더를 이용한 영상 재생위치 조작으로, 스마트워치(100)에서 동영상이 재생 중인 경우 본체의 측면 중 아래 면의 터치를 통해 영상이 재생되는 위치를 선택할 수 있다. 스마트워치(100)의 아래 측면을 터치하면 동영상의 재생 위치를 조작하기 위한 메뉴 바(bar)가 활성화 될 수 있고, 이때 사용자가 해당 측면의 변을 따라 이동하는 경우 메뉴 바가 따라 이동하면서 재생하고자 하는 영상의 위치를 선택할 수 있다.

(720)에서는 스마트워치(100)의 디스플레이에 표시된 지도에서 특정 위치를 선택하는 경우이며, 본체의 측면 중 아래 면과 우측 면의 동시 터치 조합을 통해 x축과 y축의 좌표를 선택할 수 있다. 이때, 직교 좌표계를 사용하게 되며, 오른쪽 측면(또는 왼쪽 측면)은 2차원 공간 상에서 y좌표를, 아래 측면(또는 위 측면)은 x좌표를 입력하기 위하여 동시에 이용될 수 있다. 두 개의 손가락으로 스마트워치(100)의 오른쪽 측면과 아래 측면을 모두 터치하면 선택이 시작되며 해당 위치에 커서가 생긴다. 이 상태로 손가락을 이동하여 커서를 원하는 (x, y) 위치로 이동한 후 한 개 이상의 손가락을 터치 면에서 떼어내어 선택을 완료할 수 있다. 이 경우 화면을 손가락으로 가리는 일 없이 원하는 위치를 정확하게 선택할 수 있다.

(730)에서는 주소록 검색 상황에 적용한 예시를 보여준다. 스마트워치(100)의 디스플레이에 표시된 전화번호부에서 초성을 이용하여 이름을 검색하는 경우 측면 조작이 사용될 수 있다. 스마트폰에서 초성 검색의 경우 화면 오른쪽 측면에 초성 항목을 표기해둔 버튼들이 일렬로 표시가 되고 그 중 하나의 버튼을 선택하면 해당 초성을 가지는 첫 번째 연락처가 있는 위치로 이동한다. 그런데, 스마트워치(100)와 같이 화면이 작은 경우 버튼들의 크기가 작아지고 특정 버튼을 선택하기가 쉽지 않다. 이 경우, 스마트워치(100)의 측면 터치 조작을 이용해 원하는 버튼을 쉽게 선택할 수 있다. 예를 들어, 스마트워치(100)의 오른쪽 측면을 이용하여 변을 따라 이동하면서 찾고자 하는 초성의 위치로 이동할 수 있다.

도 8을 참조하면, (810)에서는 스마트워치(100)의 수직적인 측면(예컨대, 오른쪽 측면)에 접촉한 상태로 변을 따라 이동하면서 스마트워치(100)의 디스플레이에 표시된 대상을 y축 방향으로 이동하는 방법(panning)이다. 마찬가지로, 스마트워치(100)의 수평적인 측면(예컨대, 아래 측면)에 접촉한 상태로 변을 따라 이동하면서 스마트워치(100)의 디스플레이에 표시된 대상을 x축 방향으로 이동하는 것 또한 가능하다.

(820)에서는 스마트워치(100)의 디스플레이에 표시된 대상을 확대하거나(zoom in) 혹은 축소하는(zoom out) 방법으로, 일 예로 오른쪽 측면과 아래 측면의 동시 조작을 통해 이루어질 수 있다. 예를 들어, 스마트워치(100)의 우측 아래 모서리를 중심으로 두 개의 손가락이 멀어지는 방향으로 움직이면 디스플레이에 표시된 대상이 확대되고, 두 개의 손가락이 가까워지는 방향으로 움직이면 디스플레이에 표시된 대상이 축소된다.

(830)에서는 스마트워치(100)의 디스플레이에 표시된 대상을 회전시키는(rotating) 방법이며, 물리적으로 사물을 돌리는 것과 같이 서로 마주보고 있는 두 개의 측면을 접촉한 상태에서 서로 반대 방향으로 움직이면 대상이 회전할 수 있다. 예를 들어, 스마트워치(100)의 상측과 하측 측면에 손가락을 동시에 접촉한 상태에서 상측 손가락은 오른쪽에서 왼쪽 방향으로 움직이고 하측 손가락은 왼쪽에서 오른쪽 방향으로 움직이면 대상이 시계 반대 방향으로 회전하고, 반대의 경우 대상이 시계 방향으로 회전할 수 있다.

도 9는 스마트워치(100)의 측면을 변경자 버튼(modifier key)으로서 활용하는 예시를 도시한 것이다. 스마트워치(100)의 4개의 측면은 터치스크린 입력을 확장하기 위하여 변경자 버튼으로 활용될 수 있다. 이는 전통적인 키보드와 마우스 조작에서 ctrl, alt, shift 키의 역할과 유사하다. 변경자 버튼은 4개의 측면 중 하나 이상의 측면에 손가락을 접촉하여 터치스크린에서의 터치 입력이 어떤 명령을 수행할 것인지를 변경해주는 역할을 할 수 있다. 예를 들어, 마우스 좌클릭으로 아이콘을 선택하면 단일 아이콘이 선택되고, ctrl키를 누른 상태에서 다른 아이콘을 좌클릭으로 선택하면 기존 선택된 것에 추가로 선택이 되며, shift키를 누른 상태에서 마찬가지로 다른 아이콘을 선택하면 직전 선택된 아이콘과의 사이에 있는 모든 아이콘이 선택된다. 이와 유사하게. 터치스크린에서 터치를 할 때, 4개 변의 터치 여부를 조합하여 사용할 수 있다. 이는 기존의 터치 입력에 비해 산술적으로 최대2의 4승, 즉, 16배의 터치 입력을 만들어 낼 수 있다.

스마트워치(100)에서 변경자 버튼을 사용할 수 있는 예로는 연락처 어플리케이션을 이용하는 경우가 있다.

(910)에서는 스마트워치(100)의 디스플레이에 연락처 목록이 표시된 상태에서 스마트워치(100)의 측면 접촉 없이 연락처 내에서 대상을 선택하면 해당 대상의 자세한 정보를 보여주는 페이지로 이동하게 된다.

(920)에서는 스마트워치(100)의 오른쪽 측면을 터치한 상태에서 연락처 내 특정 대상을 선택하면 해당 연락처로 문자 메시지를 전송할 수 있는 화면으로 전환된다.

(930)에서는 스마트워치(100)의 아래 측면을 터치한 상태에서 연락처 내 특정 대상을 선택하면 해당 연락처에 대한 메뉴 컨트롤이 나타나게 된다.

(940)에서는 스마트워치(100)의 위 측면을 터치한 상태에서 연락처 내 특정 대상을 선택하면 해당 연락처로 전화 걸기가 실행된다.

다시 말해, 일렬로 나열되어 있는 연락처 목록에서 특정 연락처를 선택할 때 기본적으로 터치스크린에서 대상을 터치하여 선택을 하게 된다. 이때, 스마트워치(100)의 측면 중 우측면을 변경자 버튼으로 사용하면 문자 보내기, 윗면을 변경자 버튼으로 사용하면 통화하기, 아랫면을 변경자 버튼으로 사용하면 해당 아이템에 대한 메뉴가 나타나도록 할 수 있다.

도 10은 스마트워치(100)의 측면을 이용한 메뉴 조작 예시를 도시한 것이다.

스마트워치(100)에서 제공하는 기능들에 접근하기 위한 메뉴는 연속적으로 다음 메뉴로 넘어가는 계층적 구조로 이루어지며, 각 단계에서는 복수 개(예컨대, 4개)의 아이템이 표시되는데 각각의 아이템은 스마트워치(100)의 각 측면에 대응시킬 수 있다. 다시 말해, 스마트워치(100)에서 구분된 측면의 개수에 따라 아이템 개수를 결정하고 아이템 각각을 하나의 측면과 일대일로 대응시키는 형태로 메뉴를 구성할 수 있다. 더 나아가, 하나의 측면에 둘 이상의 아이템을 대응시키는 것 또한 가능하다. 아이템의 선택은 아이템과 대응되는 측면에 손가락을 접촉한 후 떨어지게 되면 선택이 이루어지며 단계 별로 연속적으로 선택한 후 최종 아이템을 선택하면 해당 명령을 수행하게 된다.

예를 들어, 도 10에 도시한 바와 같이 스마트워치(100)의 디스플레이에 대기 화면이 표시된 상태에서 하나 이상의 측면을 선택하게 되면(1010) 최상위 메뉴 목록이 표시될 수 있다(1020). 이때, 메뉴 목록은 각 측면과 일대일로 대응되는 형태로 구성할 수 있고, 메뉴 중앙에는 이전 메뉴로 돌아가는 '돌아가기' 버튼을 포함하여 구성할 수 있다. 메뉴 목록(1020)에서 스마트워치(100)의 일 측면을 선택하게 되면 해당 측면에 대응된 메뉴의 하위 메뉴(1030)가 표시되거나 혹은 선택된 메뉴가 최종 아이템인 경우 해당 메뉴의 실행 화면으로 이동할 수 있다. 아이템 선택 과정에서 잘못된 선택을 하는 경우 터치스크린을 통해 '돌아가기' 버튼을 선택하여 이전 메뉴 선택으로 되돌아 갈 수 있다.

상기한 스마트워치의 조작 방법은 도 1 내지 도 10을 설명한 상세 내용을 바탕으로 둘 이상의 동작들을 포함할 수 있다.

이와 같이, 본 발명의 실시예에 따르면, 터치스크린을 이용하는 스마트워치에서 측면을 보조적인 입력 수단으로 활용함으로써 스마트워치의 터치스크린에 한정된 사용성 문제와 화면 가림 문제를 효과적으로 해결할 수 있고 스마트워치의 입력 방식을 풍부하게 만들어 줄 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

스마트 디바이스에 있어서,
상기 스마트 디바이스의 조작을 위한 입력 장치로서,
상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및
상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단
을 포함하고,
상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과가 상기 조작을 위한 입력 신호로 인식되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 스마트 디바이스는 사각형 형태로 상/하/좌/우 4개의 측면을 구분하는 디바이스이며,
상기 보조 입력 수단은 상기 4개의 측면에 각각 구성되어 상기 측면 각각에 대한 터치를 감지하는 것
을 특징으로 하는 스마트 디바이스.
제2항에 있어서,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과가 상기 4개의 측면에 대응되는 직교 좌표계의 좌표 값으로 입력되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 스마트 디바이스는 상기 터치스크린과 적어도 하나의 보조 입력 수단에 의해 디텍트 된 터치 조합, 혹은 둘 이상의 보조 입력 수단에 의해 디텍트 된 터치 조합을 상기 입력 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 보조 입력 수단은 상기 디스플레이에 표시된 화면에 대한 x축 좌표 값과 y축 좌표 값 중 적어도 하나를 선택하기 위한 수단으로 이용되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 보조 입력 수단은 상기 디스플레이에 표시된 대상을 x축 방향과 y축 방향 중 적어도 하나로 이동(panning)하기 위한 수단으로 이용되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 보조 입력 수단은 상기 디스플레이에 표시된 대상의 확대(zoom in)와 축소(zoom out) 중 적어도 하나를 제어하기 위한 수단으로 이용되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 보조 입력 수단은 상기 터치스크린을 통한 입력을 변경하기 위한 변경자 키(modifier key)로 이용되는 것
을 특징으로 하는 스마트 디바이스.
제1항에 있어서,
상기 보조 입력 수단은 상기 디스플레이에 메뉴 목록을 표시하기 위한 수단 또는 상기 메뉴 목록 중 상기 측면에 대응되어 배치된 메뉴를 선택하기 위한 수단으로 이용되는 것
을 특징으로 하는 스마트 디바이스.
스마트 디바이스의 조작 방법에 있어서,
상기 스마트 디바이스는,
상기 스마트 디바이스의 조작을 위한 입력 장치로서,
상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및
상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단
을 포함하고,
상기 조작 방법은,
상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과를 상기 조작을 위한 입력 신호로 인식하는 단계; 및
상기 입력 신호에 따라 상기 터치 결과에 대응되는 동작을 수행하는 단계
를 포함하는 것을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 스마트 디바이스는 사각형 형태로 상/하/좌/우 4개의 측면을 구분하는 디바이스이며,
상기 보조 입력 수단은 상기 4개의 측면에 각각 구성되어 상기 측면 각각에 대한 터치를 감지하고,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과가 상기 4개의 측면에 대응되는 직교 좌표계의 좌표 값으로 입력되는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 터치스크린과 적어도 하나의 보조 입력 수단에 의해 디텍트 된 터치 조합, 혹은 둘 이상의 보조 입력 수단에 의해 디텍트 된 터치 조합을 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과를 상기 디스플레이에 표시된 화면에 대한 x축 좌표 값과 y축 좌표 값 중 적어도 하나를 선택하기 위한 입력 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과를 상기 디스플레이에 표시된 대상을 x축 방향과 y축 방향 중 적어도 하나로 이동(panning)하기 위한 입력 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과를 상기 디스플레이에 표시된 대상의 확대(zoom in)와 축소(zoom out) 중 적어도 하나를 제어하기 위한 입력 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과를 상기 터치스크린에 의해 디텍트 된 터치 결과에 따른 입력 신호를 변경하기 위한 변경자 키(modifier key) 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
제10항에 있어서,
상기 인식하는 단계는,
상기 보조 입력 수단에 의해 디텍트 된 터치 결과를 상기 디스플레이에 메뉴 목록을 표시하기 위한 입력 신호 또는 상기 메뉴 목록 중 상기 측면에 대응되어 배치된 메뉴를 선택하기 위한 입력 신호로 인식하는 것
을 특징으로 하는 스마트 디바이스의 조작 방법.
스마트 디바이스에서 동작하는 프로그램에 있어서,
상기 스마트 디바이스는,
상기 스마트 디바이스의 조작을 위한 입력 장치로서,
상기 스마트 디바이스의 디스플레이와 결합된 터치스크린; 및
상기 터치스크린이 상기 스마트 디바이스의 복수의 측면까지 연장되거나 상기 복수의 측면에 별도의 터치 감지 센서가 구성됨으로써 상기 측면에 대한 터치를 감지하기 위한 보조 입력 수단
을 포함하고,
상기 프로그램은,
상기 터치스크린 및 상기 보조 입력 수단 중 적어도 하나에 의해 디텍트 된 터치 결과를 상기 조작을 위한 입력 신호로 인식하는 단계; 및
상기 입력 신호에 따라 상기 터치 결과에 대응되는 동작을 수행하는 단계
를 포함하는 것을 특징으로 하는 프로그램.