[go: up one dir, main page]

KR20170050997A - 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법 - Google Patents

멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20170050997A
KR20170050997A KR1020150153246A KR20150153246A KR20170050997A KR 20170050997 A KR20170050997 A KR 20170050997A KR 1020150153246 A KR1020150153246 A KR 1020150153246A KR 20150153246 A KR20150153246 A KR 20150153246A KR 20170050997 A KR20170050997 A KR 20170050997A
Authority
KR
South Korea
Prior art keywords
touch
touch inputs
user interface
pattern
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150153246A
Other languages
English (en)
Other versions
KR102324716B1 (ko
Inventor
장원일
신덕문
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150153246A priority Critical patent/KR102324716B1/ko
Publication of KR20170050997A publication Critical patent/KR20170050997A/ko
Priority to KR1020210131550A priority patent/KR102389782B1/ko
Application granted granted Critical
Publication of KR102324716B1 publication Critical patent/KR102324716B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부, 디스플레이부 상의 터치 입력을 인식하는 터치 인식부 및 터치 인식부가 복수개의 터치 입력을 인식하는 경우 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 제어부를 포함한다. 제어부는 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는 경우, 디스플레이부상의 복수개의 터치 입력에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들을 디스플레이하도록 디스플레이부를 제어한다.

Description

멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING USER INTERFACE MENU USING MULTI TOUCH PATTERN}
본 발명은 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법에 관한 것이며, 보다 자세하게는 대형 터치스크린을 통해 입력되는 복수개의 터치 입력을 인식하고 이를 분석하여 유저 인터페이스 메뉴를 디스플레이하는 디스플레이 장치 및 방법에 관한 것이다.
터치스크린상의 터치 입력을 기초로 유저 인터페이스 메뉴를 디스플레이하는 기술이 널리 사용되고 있다. 예를 들어, 사용자가 터치 수단(손가락 또는 터치펜)을 이용하여 스마트폰 또는 태블릿 PC와 같은 전자기기의 터치스크린을 터치하는 경우, 해당 전자 기기는 유저 인터페이스 메뉴를 디스플레이한다. 그러면, 사용자는 디스플레이된 메뉴 중에서 하나를 선택하고, 전자 기기는 선택된 메뉴에 따른 동작을 실행한다.
한편, 상면이 터치스크린으로 이루어진 테이블(스마트 테이블)과 같이 대형 터치스크린을 포함하는 전자기기에서도 사용자의 터치 입력에 기초하여 유저 인터페이스 메뉴가 디스플레이될 수 있다. 그런데, 스마트폰이나 태블릿 PC와 같은 소형 전자 기기는 기기를 손으로 쥔 채로 손가락만 움직이면서 터치스크린을 터치함으로써 유저 인터페이스 메뉴들을 불러오고 선택할 수 있지만, 대형 터치스크린을 포함하는 전자기기의 경우, 많은 수의 유저 인터페이스 메뉴가 대형 터치스크린에 흩어져서 디스플레이되면 사용자는 원하는 유저 인터페이스 메뉴를 선택하기 위해 자리를 이동해야 할 수도 있다. 따라서, 대형 터치스크린을 포함하는 전자기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴를 디스플레이하는 방법 및 그 방법을 구현하기 위한 장치가 필요하다.
한국공개특허공보, 2015-0059915 (2015.06.03.공개)
본 발명은 대형 터치스크린을 포함하는 전자기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴를 디스플레이하는 방법 및 그 방법을 구현하기 위한 장치를 제공하고자 한다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 디스플레이 장치는 디스플레이부; 상기 디스플레이부 상의 터치 입력을 인식하는 터치 인식부; 및 상기 터치 인식부가 복수개의 터치 입력을 인식하는 경우 상기 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 제어부를 포함하고, 상기 제어부는, 상기 복수개의 터치 입력이 상기 미리 정해진 멀티 터치 패턴을 만족하는 경우, 상기 디스플레이부상의 상기 복수개의 터치 입력에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어한다.
본 발명의 일 실시예에 따른 디스플레이 방법은 디스플레이부에 입력된 복수개의 터치 입력을 인식하는 단계; 상기 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 단계; 및 상기 복수개의 터치 입력이 상기 미리 정해진 멀티 터치 패턴을 만족하는 경우, 상기 디스플레이부상의 상기 복수개의 터치 입력에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 복수개의 터치 입력(예를 들면, 다섯 손가락을 이용한 경우 5개)이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 복수개의 터치 입력 각각에 대응하는 위치에 서로 다른 유저 인터페이스 메뉴들을 디스플레이함으로써, 사용자의 손보다 큰 대형 터치스크린을 갖는 전자 기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴들을 디스플레이할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록구성도이다.
도 2는 복수개의 터치 입력이 머리 정해진 터치 패턴을 만족하는지 확인하는 과정을 설명하는 도면이다.
도 3은 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
도 4는 어른의 손과 아이의 손 각각에 대해 서로 다른 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
도 5는 왼손과 오른손을 구별하여 인식하는 과정을 설명하기 위한 도면이다.
도 6은 두 명의 사용자가 터치 입력을 실시하였을 경우의 터치 입력 그룹화를 도시하는 도면이다.
도 7은 터치 입력 그룹화를 위한 사용자의 동작을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 순서도이다.
도 9는 터치 입력 그룹화 과정을 상세히 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 디스플레이부(110), 터치 인식부(120) 및 제어부(130)를 포함한다.
디스플레이부(110)는 제어부(130)의 제어에 따라 유저 인터페이스 메뉴 등 다양한 영상을 디스플레이한다.
터치 인식부(120)는 디스플레이부(110)상의 사용자의 터치 입력을 인식하고 제어부(130)에 터치 입력에 관한 정보(예를 들면, 터치된 위치 정보)를 전송한다. 터치 인식부(120)는 디스플레이부(110)와 일체로 형성될 수 있으며, 디스플레이부(110) 및 터치 인식부(120)을 합하여 터치스크린이라 할 수 있다. 터치 입력은 하나의 터치에 의한 것(싱글 터치)일 수도 있고 복수개의 터치에 의한 것(멀티 터치)일 수도 있다.
제어부(130)는 터치 인식부(120)로부터 수신한 터치 입력에 관한 정보를 기초로 적절한 영상을 디스플레이하도록 디스플레이부(110)를 제어한다.
도 2는 복수개의 터치 입력이 머리 정해진 터치 패턴을 만족하는지 확인하는 과정을 설명하는 도면이다.
도 2의 (a)는 사용자가 손(210)의 다섯 손가락을 이용하여 디스플레이부(110)를 터치하는 모습을 도시한 것이다. 그러면, 도 2의 (b)와 같이 다섯 손가락이 디스플레이부(110)와 접촉하는 위치에 대한 다섯 개의 터치 입력(220)이 터치 인식부(120)에 의해 인식된다. 그러면 제어부(130)는 다섯 개의 터치 입력(220)이 미리 정해진 터치 패턴을 만족하는지 판단한다. 미리 정해진 터치 패턴은 m개(예를 들어, m은 5이고, 실시예에 따라 4일 수도 있음)의 터치 입력이 타원(혹은 포물선)상에 위치하는 패턴일 수 있다. 여기서, 타원의 둘레는 소정의 폭을 가질 수 있다. 도 2의 (c)의 경우, 다섯 개의 터치 입력(220)이 타원(230)상에 위치하므로, 제어부(130)는 다섯 개의 터치 입력(220)이 미리 정해진 터치 패턴을 만족하는 것으로 판단한다. 또한, 제어부(130)는 타원(230)상의 다섯 개의 터치 입력(220)의 분포를 기초로 사용자의 손(210)의 길이방향(231) 및 폭방향(230)을 판단할 수 있다.
도 3은 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
제어부(130)가 복수의 터치 입력이 미리 정해진 터치 패턴을 만족하는 것으로 판단하면, 제어부(130)는 도 3의 (a)와 같이 디스플레이부(110)상의 복수개의 터치 입력(310)에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들(320)(예컨대, ‘종료’, ‘탐색’, ‘공유’, ‘3D뷰어’ 및 ‘쇼핑’)을 디스플레이하도록 디스플레이부(110)를 제어한다. 유저 인터페이스 메뉴들(320)은 디스플레이 장치(100)가 제공할 수 있는 유저 인터페이스 메뉴들을 카테고리별로 분류 했을 때 가장 상위 카테고리에 해당하는 메뉴들일 수 있으며, 도 3의 (a)는 그 예시일 뿐, 이에 한정되지 않는다.
도 3의 (a)와 같은 상태에서 사용자가 유저 인터페이스 메뉴들(320) 중 어느 하나(예를 들어, ‘탐색’)를 터치하면, 도 3의 (b)와 같이 제어부(130)의 제어 하에 해당 유저 인터페이스 메뉴의 하위 메뉴들(330)이 디스플레이부(110)에 디스플레이된다. 그러면, 사용자는 하위 메뉴들(330) 중에서 원하는 메뉴를 선택할 수 있다. 만약, 선택된 유저 인터페이스 메뉴(320)가 더 이상 하위 메뉴를 갖지 않는 경우, 제어부(130)는 해당 유저 인터페이스 메뉴에 따른 작업을 실행한다. 예를 들어 ‘종료’ 메뉴가 하위 메뉴를 갖지 않는다고 했을 때, ‘종료’ 메뉴가 선택된 경우, 제어부(130)는 디스플레이 장치(100)의 전원을 오프(‘종료’ 메뉴에 따른 작업)시킬 수 있다.
도 4는 어른의 손과 아이의 손 각각에 대해 서로 다른 유저 인터페이스 메뉴가 디스플레이되는 모습을 도시한 도면이다.
디스플레이 장치(100)는 어른의 손과 아이의 손을 구별하여 인식할 수 있다. 구체적으로, 도 4의 (a)는 어른의 손(410)이 디스플레이부(110)에 터치된 모습을 나타내고, 도 4의 (c)는 아이의 손(460)이 디스플레이부(110)에 터치된 모습을 나타낸다. 어른의 손(410)에 의한 터치 입력에 대응하는 타원(420)의 크기는 아이의 손(460)에 의한 터치 입력에 대응하는 타원의 크기(470)보다 크다. 따라서, 제어부(130)는 터치 입력에 대응하는 타원의 크기가 임계 크기 이상인 경우 어른의 손(410)에 의한 터치 입력이 있다고 판단하고, 임계 크기 미만인 경우, 아이의 손(460)에 의한 터치 입력이 있다고 판단한다. 제어부(130)는 어른의 손(410)에 의한 터치 입력이 있는 경우에 디스플레이되는 유저 인터페이스 메뉴(430)(도 4의 (b))와 아이의 손(460)에 의한 터치 입력이 있는 경우에 디스플레이되는 유저 인터페이스 메뉴(480)(도 4의 (d))가 서로 상이하도록 디스플레이부(110)를 제어한다. 어른과 아이는 선호하는 유저 인터페이스 메뉴가 다를 수 있다. 따라서, 이와 같이 함으로써, 어른이든 아이든 희망하는 최종 메뉴를 선택하기까지의 과정을 단축할 수 있다.
도 5는 왼손과 오른손을 구별하여 인식하는 과정을 설명하기 위한 도면이다.
도 5의 (a)와 (b)는 각각 왼손(510)과 오른손(520)을 이용하여 디스플레이부(110)를 터치한 모습을 도시한 도면이다. 도 5의 (a) 및 (b)와 같이 엄지손가락에 의한 터치 입력(511, 521)이 나머지 손가락에 의한 터치 입력들(512, 522)로부터 가장 멀리 떨어져 있다는 점을 이용하여 제어부(130)는 엄지손가락에 의한 터치 입력(511, 521)을 식별할 수 있다.
또한, 제어부(130)는 나머지 손가락에 의한 터치 입력들(512, 522)과 엄지손가락에 의한 터치 입력(511, 521)의 상대적인 위치를 기초로, 왼손(510)과 오른손(520) 중 어느 손이 사용되었는지를 판단할 수 있다. 예를 들어, 제어부(130)는 미리 정해진 멀티 터치 패턴을 만족하는 타원상에서 나머지 손가락에 의한 터치 입력들(512, 522)로부터 엄지손가락에 의한 터치 입력(511, 521)에 도달하기 위한 가장 빠른 경로가 해당 타원상에서 시계 방향으로 이동하는 것인 경우 왼손(510)이 사용되었다고 판단하고, 반 시계방향으로 이동하는 것인 경우 오른손(520)이 사용되었다고 판단할 수 있다. 판단 방법은 이에 한정되지 않는다.
제어부(130)는 왼손(510)이 사용된 경우와 오른손(510)이 사용된 경우 각각에 대해 디스플레이되는 유저 인터페이스 메뉴가 서로 상이하도록 디스플레이부(110)를 제어한다. 즉, 제어부(130)는 복수개의 터치 입력의 상대적인 위치를 기초로 복수개의 터치 입력을 제 1 패턴(왼손이 사용된 경우) 또는 제 2 패턴(오른손이 사용된 경우)으로 구분하고, 해당되는 패턴에 따라 복수개의 터치 입력 각각에 대해 매핑되어 있는 유저 인터페이스 메뉴를 디스플레이하도록 디스플레이부(110)를 제어한다.
즉, 디스플레이 장치(100)가 터치 입력에 사용된 손이 왼손인지 오른손인지에 따라 다른 유저 인터페이스를 디스플레이함으로써, 사용자는 원하는 유저 인터페이스 메뉴를 보다 신속하게 선택할 수 있다. 이는, 컴퓨터상에서 마우스의 오른쪽 버튼과 왼쪽 버튼을 클릭했을 때 서로 다른 유저 인터페이스가 실행됨으로써 사용자의 사용 편이성이 증가는 것과 유사하다.
도 6은 두 명의 사용자가 터치 입력을 실시하였을 경우의 터치 입력 그룹화를 도시하는 도면이다.
도 6의 (a)는 두 명의 사용자가 디스플레이부(110)를 터치하는 모습을 도시한 것이다. 이 경우, 두 명의 사용자를 구분할 필요가 있다. 따라서, 제어부(130)는 N개 이상(예를 들어, N은 6이고, 실시예에 따라 5일 수도 있음)의 터치 입력이 존재하는 경우, N개의 터치 입력 중에서 동시(혹은, 소정 시간 범위 이내)에 터치된 터치 입력들을 하나의 그룹으로 설정하고, 해당 그룹이 미리 정해진 터치 패턴을 만족하는지 판단한다. 예를 들어, 제 1 사용자의 손(610)의 손가락들이 먼저 디스플레이부(110)에 터치되고 그 후에 제 2 사용자의 손(620)의 손가락들이 디스플레이부(110)에 터치되는 경우, 제어부(130)는 터치 입력들(611)을 제 1 그룹으로 설정하고, 터치 입력들(621)을 제 2 그룹으로 설정한다. 제어부(130)는 제 1 그룹 및 제 2 그룹을 구분하여 디스플레이(예를 들어, 색상을 다르게 표시)하도록 디스플레이부(110)를 제어하고, 그룹 분류가 올바르게 되었는지에 대한 사용자의 피드백을 수신할 수 있다. 제어부(130)는 제 1 그룹 및 제 2 그룹 각각이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 해당되는 유저 인터페이스 메뉴를 디스플레이하도록 디스플레이부(110)를 제어한다.
이와 같은 방식에 따라, 3명 이상의 사용자 함께 디스플레이 장치(100)를 이용하는 경우에도 각 사용자의 터치 입력이 구분될 수 있다. 따라서, 디스플레이 장치(100)는 둘 이상의 사용자가 함께 디스플레이 장치(100)를 사용하는 경우에도, 각 사용자를 구별할 수 있고, 각 사용자의 조작에 따른 유저 인터페이스 메뉴들을 디스플레이할 수 있다.
도 7은 터치 입력 그룹화를 위한 사용자의 동작을 도시한 도면이다.
도 6과 함께 설명한 방법으로 복수개의 터치 입력들에 대한 그룹화가 불가능하거나 실패한 경우, 제어부(130)는 통일된 움직임을 갖는 터치 입력들을 하나의 그룹으로 설정할 수 있다. 예를 들어, 사용자가 손을 디스플레이부(110)에 터치한 상태에서 도 7의 (a)처럼 손을 상하방향으로 움직이거나 도 7의 (b)처럼 각 손가락이 동일한 방향으로 원을 그리도록 움직이는 경우, 각 손가락에 의한 터치 입력들은 공통된 움직임을 갖는다. 제어부(130)는 이러한 움직임을 기초로 터치 입력들을 그룹화할 수 있다. 도면에 도시되지는 않았지만, 손가락을 벌렸다가 오므리는 동작이 수행되었을 때에도 해당 터치 입력들이 하나의 그룹으로 분류될 수 있다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 순서도이다.
도 8을 참조하면, 우선, 터치 인식부(120)는 디스플레이부(110)에 입력된 복수개의 터치 입력을 인식한다(단계 810). 제어부(130)는 터치 입력의 수가 N개(N=6) 이상인지 판단한다(단계 820). 판단 결과, N개 이상인 경우, 제어부(130)는 복수개의 터치 입력에 대해 그룹화를 수행한다(단계 830). N개 미만인 경우, 제어부(130)는 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 여부를 판단한다(단계 840). 미리 정해진 멀티 터치 패턴이 만족되지 않는 경우, 디스플레이 장치(100)는 단계 810으로 돌아가서 새로운 터치 입력을 기다린다. 미리 정해진 멀티 터치 패턴이 만족된 경우, 제어부(130)는 터치 입력 각각에 대해 매핑된 유저 인터페이스 메뉴들을 디스플레이하도록 디스플레이부(110)를 제어한다(단계 850). 사용자로부터 디스플레이된 유저 인터페이스 메뉴들 중 하나에 대한 터치 입력을 수신하면(단계 860), 제어부(130)는 해당 메뉴가 하위 메뉴를 갖는지 여부를 판단한다(단계 870). 하위 메뉴를 갖는 경우, 제어부(130)는 하위 메뉴들을 디스플레이하도록 디스플레이부(110)를 제어한다(단계 880). 하위 메뉴가 존재하지 않는 경우, 제어부(130)는 해당 메뉴에 따른 작업을 수행한다(단계 890).
도 9는 터치 입력 그룹화 과정(도 8의 단계 830)을 상세히 나타내는 순서도이다.
도 9를 참조하면, 제어부(130)는 복수개의 터치 입력들을 터치 시점(즉, 동시에 터치되었는지 여부)을 기초로 하나 이상의 그룹으로 그룹화한다(단계 910). 제어부(130)는 그룹화 결과를 표시하도록 디스플레이부(110)를 제어한다(단계 920). 디스플레이 장치(100)는 디스플레이부(110)를 통해 사용자로부터 그룹화 결과가 올바른지에 대한 피드백을 수신한다(단계 930). 제어부(130)는 사용자의 피드백이 그룹화가 적절하다는 내용인 것인지 판단한다(940). 사용자의 피드백이 그룹화가 적절하지 않다는 내용인 경우, 제어부(130)는 도 7과 함께 설명된 것과 같은 방법으로 복수개의 터치 입력의 움직임에 기반하여 복수개의 터치 입력에 대해 다시 그룹화를 실시하고 단계 920으로 돌아간다(단계 950). 사용자의 피드백이 그룹화가 적절하다는 내용인 경우, 터치 입력 그룹화 과정이 종료된다.
한편, 상술한 바와 같이 실시 예를 제시하고 있는 본 발명에 따른 디스플레이 방법은 컴퓨터(또는 휴대용 컴퓨터)로 판독 가능한 기록 매체에 컴퓨터가 실행할 수 있는 코드(컴퓨터 프로그램 코드)로서 구현될 수 있는데, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 이러한 컴퓨터 판독 가능의 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치, 모바일 앱 등이 있다.
그리고, 본 발명에 첨부된 블록도의 각 블록과 순서도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면 복수개의 터치 입력(예를 들면, 다섯 손가락을 이용한 경우 5개)이 미리 정해진 멀티 터치 패턴을 만족하는지 여부에 따라 복수개의 터치 입력 각각에 대응하는 위치에 서로 다른 유저 인터페이스 메뉴들을 디스플레이함으로써, 사용자의 손보다 큰 대형 터치스크린을 갖는 전자 기기에서 보다 공간 효율적으로 유저 인터페이스 메뉴들을 디스플레이할 수 있다.
100: 디스플레이 장치 110: 디스플레이부
120: 터치 인식부 130: 제어부

Claims (7)

  1. 디스플레이부;
    상기 디스플레이부 상의 터치 입력을 인식하는 터치 인식부; 및
    상기 터치 인식부가 복수개의 터치 입력을 인식하는 경우 상기 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 제어부
    를 포함하고,
    상기 제어부는, 상기 복수개의 터치 입력이 상기 미리 정해진 멀티 터치 패턴을 만족하는 경우, 상기 디스플레이부상의 상기 복수개의 터치 입력에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 미리 정해진 멀티 터치 패턴은 복수의 터치 입력이 타원상에 위치하는 패턴인
    디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 제어부는, 상기 복수개의 터치 입력이 만족하는 상기 미리 정해진 멀티 터치 패턴의 상기 타원의 크기가 임계 크기 이상인 경우와 미만인 경우 각각에 대해 디스플레이되는 유저 인터페이스 메뉴들이 서로 상이하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 제어부는, 상기 복수개의 터치 입력이 상기 멀티 터치 패턴을 만족하는 경우, 상기 복수개의 터치 입력 중에서 다른 터치 입력들로부터 가장 멀리 떨어져 있는 터치 입력의 상기 다른 터치 입력들에 대한 상대적인 위치에 따라 상기 복수개의 터치 입력을 제 1 패턴 또는 제 2 패턴으로 구분하고, 상기 제 1 패턴에 대해 디스플레이되는 제 1 유저 인터페이스 메뉴들과 상기 제 2 패턴에 대해 디스플레이되는 제 2 유저 인터페이스 메뉴가 서로 상이하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 복수개의 터치 입력의 개수가 미리 정해진 개수 이상인 경우, 상기 복수개의 터치 입력 중에서 동시에 상기 디스플레이 장치에 터치된 터치 입력들 또는 통일된 움직임을 갖는 터치 입력들을 하나의 그룹으로 설정하고, 상기 그룹이 상기 멀티 터치 패턴을 만족하는지 판단하는
    디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 터치 인식부가 상기 유저 인터페이스 메뉴들 중 어느 하나에 대한 터치 입력을 인식하면, 상기 제어부는 터치 입력이 인식된 유저 인터페이스 메뉴의 하위 메뉴를 디스플레이하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  7. 디스플레이부에 입력된 복수개의 터치 입력을 인식하는 단계;
    상기 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 단계; 및
    상기 복수개의 터치 입력이 상기 미리 정해진 멀티 터치 패턴을 만족하는 경우, 상기 디스플레이부상의 상기 복수개의 터치 입력에 대응하는 위치 각각에 서로 다른 유저 인터페이스 메뉴들을 디스플레이하도록 상기 디스플레이부를 제어하는 단계
    를 포함하는 디스플레이 방법.
KR1020150153246A 2015-11-02 2015-11-02 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법 Active KR102324716B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150153246A KR102324716B1 (ko) 2015-11-02 2015-11-02 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법
KR1020210131550A KR102389782B1 (ko) 2015-11-02 2021-10-05 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150153246A KR102324716B1 (ko) 2015-11-02 2015-11-02 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131550A Division KR102389782B1 (ko) 2015-11-02 2021-10-05 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170050997A true KR20170050997A (ko) 2017-05-11
KR102324716B1 KR102324716B1 (ko) 2021-11-10

Family

ID=58741708

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150153246A Active KR102324716B1 (ko) 2015-11-02 2015-11-02 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법
KR1020210131550A Active KR102389782B1 (ko) 2015-11-02 2021-10-05 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210131550A Active KR102389782B1 (ko) 2015-11-02 2021-10-05 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (2) KR102324716B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028961A (ko) * 2017-09-11 2019-03-20 주식회사 엣지아이앤디 제스처 인식 기반의 터치 디스플레이 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669803B1 (ko) 2022-01-13 2024-05-27 경북대학교 산학협력단 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100125635A (ko) * 2009-05-21 2010-12-01 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
JP4702959B2 (ja) * 2005-03-28 2011-06-15 パナソニック株式会社 ユーザインタフェイスシステム
KR20120128690A (ko) * 2010-09-13 2012-11-27 지티이 코포레이션 터치 키보드의 동적 생성 방법 및 장치
KR20140033726A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 터치 스크린을 포함한 전자 장치에서 다섯 손가락을 구별하기 위한 방법 및 장치
KR20150059915A (ko) 2013-11-25 2015-06-03 동서대학교산학협력단 대형 벽면 환경과 연동 가능한 스마트 테이블을 이용한 대형 벽면 활용형 대화형 영상컨텐츠 디스플레이 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702959B2 (ja) * 2005-03-28 2011-06-15 パナソニック株式会社 ユーザインタフェイスシステム
KR20100125635A (ko) * 2009-05-21 2010-12-01 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
KR20120128690A (ko) * 2010-09-13 2012-11-27 지티이 코포레이션 터치 키보드의 동적 생성 방법 및 장치
KR20140033726A (ko) * 2012-09-10 2014-03-19 삼성전자주식회사 터치 스크린을 포함한 전자 장치에서 다섯 손가락을 구별하기 위한 방법 및 장치
KR20150059915A (ko) 2013-11-25 2015-06-03 동서대학교산학협력단 대형 벽면 환경과 연동 가능한 스마트 테이블을 이용한 대형 벽면 활용형 대화형 영상컨텐츠 디스플레이 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028961A (ko) * 2017-09-11 2019-03-20 주식회사 엣지아이앤디 제스처 인식 기반의 터치 디스플레이 장치

Also Published As

Publication number Publication date
KR102324716B1 (ko) 2021-11-10
KR20210123273A (ko) 2021-10-13
KR102389782B1 (ko) 2022-04-22

Similar Documents

Publication Publication Date Title
US10013143B2 (en) Interfacing with a computing application using a multi-digit sensor
JP5102412B1 (ja) 情報端末、情報端末の制御方法、及び、プログラム
US9128575B2 (en) Intelligent input method
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
US9612736B2 (en) User interface method and apparatus using successive touches
JP6073863B2 (ja) アイテム表示制御方法及び装置
US20100283750A1 (en) Method for providing interface
KR102302233B1 (ko) 사용자 인터페이스 제공 장치 및 방법
KR102560598B1 (ko) 디스플레이 장치 및 그 제어방법
US20140215398A1 (en) Interface scanning for disabled users
JP2012511774A (ja) ソフトウェアキーボード制御方法
US10430071B2 (en) Operation of a computing device functionality based on a determination of input means
CN103324420B (zh) 一种多点触控板输入操作识别方法及电子设备
US10691324B2 (en) Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
EP2738658A2 (en) Terminal and method for operating the same
KR20150083651A (ko) 전자 장치 및 그 데이터 표시 방법
KR102389782B1 (ko) 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법
KR20140003149A (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
CN103927114A (zh) 一种显示方法及电子设备
CN105843539A (zh) 一种信息处理方法及电子设备
US10817138B2 (en) Device and method for input process
CN104820512A (zh) 信息处理装置
JP2017174362A (ja) 設定装置及び方法
KR20160044194A (ko) 터치 스크린을 구비하는 전자기기 상의 복수객체에서 객체를 선택하는 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151102

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190508

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151102

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200615

Patent event code: PE09021S01D

AMND Amendment
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20201222

Patent event code: PE09021S02D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210625

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20201222

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20200615

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20210625

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210215

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20200814

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210817

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210723

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20210625

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20210215

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200814

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20211005

Patent event code: PA01071R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211105

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 4

End annual number: 4