[go: up one dir, main page]

KR101984683B1 - 멀티 디스플레이 장치 및 그 제어 방법 - Google Patents

멀티 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101984683B1
KR101984683B1 KR1020120112681A KR20120112681A KR101984683B1 KR 101984683 B1 KR101984683 B1 KR 101984683B1 KR 1020120112681 A KR1020120112681 A KR 1020120112681A KR 20120112681 A KR20120112681 A KR 20120112681A KR 101984683 B1 KR101984683 B1 KR 101984683B1
Authority
KR
South Korea
Prior art keywords
gesture
user
display
unit
display device
Prior art date
Application number
KR1020120112681A
Other languages
English (en)
Other versions
KR20140046343A (ko
Inventor
곽지연
김대현
김상호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120112681A priority Critical patent/KR101984683B1/ko
Priority to CN201310466888.3A priority patent/CN103729054A/zh
Priority to TW102136558A priority patent/TWI579732B/zh
Priority to JP2013213215A priority patent/JP6585876B2/ja
Priority to US14/050,871 priority patent/US9317198B2/en
Priority to EP13188163.3A priority patent/EP2741173A3/en
Publication of KR20140046343A publication Critical patent/KR20140046343A/ko
Application granted granted Critical
Publication of KR101984683B1 publication Critical patent/KR101984683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)
  • Details Of Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

멀티 디스플레이 장치가 개시된다. 멀티 디스플레이 장치는 제1 디스플레이부를 포함하는 제1 바디(body), 제2 디스플레이부를 포함하는 제2 바디(body), 제1 디 및 제2 바디를 연결하는 힌지부, 제1 바디에 마련된 제1 촬상부, 제2 바디에 마련된 제2 촬상부 및 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하고, 인식된 사용자 제스처에 대응되는 제어 동작을 수행하는 제어부를 포함한다. 제어부는 각 촬상부의 촬상 범위 내에서의 사용자 객체 움직임을 이용하여, 사용자 제스처를 인식한다. 이에 따라, 멀티 디스플레이 장치의 동작을 보다 쉽고 용이하게 제어할 수 있다.

Description

멀티 디스플레이 장치 및 그 제어 방법{MULTI DISPLAY DEVICE AND METHOD FOR CONTROLLING THEREOF}
본 발명은 멀티 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 특히, 복수의 디스플레이를 통해 복수의 작업 화면을 표시하고 사용자의 제스처에 따라 동작을 제어하는 멀티 디스플레이 장치 및 그 제어 방법에 관한 것이다.
최근 다양한 유형의 디스플레이 장치가 사용되고 있다. 이러한 디스플레이 장치에는 각종 어플리케이션이 설치되어 사용자의 선택에 따라 실행될 수 있다. 사용자는 디스플레이 장치 상에서 전자 기기에서 실행되는 어플리케이션의 동작을 지켜보면서 입력 장치를 통해 전자 기기를 제어할 수 있다. 특히 사용자에 의해 소지 가능하도록 제조되는 휴대형 전자 기기는 그 제한된 크기로 인하여 터치 스크린 형태의 사용자 인터페이스를 사용하는 디스플레이 장치로 개발되는 경우가 많다. 이에 따라, 사용자가 터치할 수 있는 다양한 형태의 그래픽 사용자 인터페이스(Graphical User Interface: GUI)가 제공될 수 있다.
그래픽 사용자 인터페이스(Graphical User Interface: GUI)는 구동중인(running) 어플리케이션의 동작을 사용자가 직관적으로 알 수 있으면서, 사용자가 해당 장치를 보다 쉽고 빠르게 제어할 수 있도록 최적화된 형상으로 제공될 수 있다. 적용되는 어플리케이션이나 디스플레이 장치의 형태에 따라 다양한 사용자 인터페이스 방법이 개발되고 있다.
하지만, 종래의 사용자 인터페이스는 대부분 하나의 디스플레이 유닛을 구비하는 디스플레이 장치를 위해 생성된 것이다. 이에 따라, 복수 개의 디스플레이 유닛을 구비한 멀티 디스플레이 장치에 적합한 사용자 인터페이스 방법에 대한 연구는 미진한 것이 사실이었다.
특히 CPU(Central Processor Unit) 및 소프트웨어 기술이 발달함에 따라 멀티 디스플레이 장치는 하나 혹은 복수의 어플리케이션을 표시하는 복수의 작업 화면(task screens)을 제공할 수 있게 되었다. 상기 복수의 작업 화면은 물리적 혹은 그래픽적으로 구분되는 하나 혹은 그 이상의 터치스크린을 통해 제공될 수 있다.
따라서 복수의 작업 화면을 제공하는 멀티 디스플레이 장치에서 사용자가 보다 직관적이고 편리하게 멀티 디스플레이 장치를 사용할 수 있도록 하기 위한 제어 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 공간 제스처를 이용하여 제어할 수 있는 멀티 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 멀티 디스플레이 장치는 제1 디스플레이부를 포함하는 제1 바디(body), 제2 디스플레이부를 포함하는 제2 바디(body), 상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부, 상기 제1 바디에 마련된 제1 촬상부, 상기 제2 바디에 마련된 제2 촬상부 및 상기 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하고, 인식된 상기 사용자 제스처에 대응되는 제어 동작을 수행하는 제어부를 포함하며, 상기 제어부는 상기 제1 촬상부가 촬상 가능한 제1 촬상 범위 내에서 이동하는 사용자 객체의 움직임 방향과, 상기 제2 촬상부가 촬상 가능한 제2 촬상 범위 내에서 이동하는 상기 사용자 객체의 움직임 방향을 이용하여, 상기 제1 및 제2 촬상 범위 간의 중복 범위 내에서의 상기 사용자 제스처를 인식한다.
그리고, 상기 제어부는 상기 힌지부를 기준으로 상기 제1 및 제2 바디가 벌어지는 각도를 검출하고, 상기 검출된 각도가 기 설정된 각도 범위 이내이면 상기 제1 및 제2 촬상부를 활성화시킬 수 있다.
그리고, 상기 제어부는 상기 사용자 제스처를 3차원적으로 인식할 수 있다.
또한, 상기 제어부는 상기 사용자 제스처를 스테레오 영상으로 인식할 수 있다.
그리고, 상기 제어부는 상기 사용자 객체가 하나의 연속 패턴을 이루도록 이동하면, 상기 연속 패턴을 구성하는 각각의 사용자 제스처에 대응되는 복수의 제어 동작을 연속적으로 수행할 수 있다.
한편, 상기 제어부는 멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나로 선택적으로 동작하며, 상기 멀티 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 복수의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하고, 상기 싱글 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 하나의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식할 수 있다.
그리고, 멀티 디스플레이 장치의 상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치되고, 상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치될 수 있다.
또한, 멀티 디스플레이 장치는 상기 제2 촬상부가 배치된 상기 제2 바디의 반대면에 배치되는 제3 촬상부를 더 포함할 수 있다.
그리고, 상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제1 카메라 및 제2 카메라를 포함하고, 상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부의 맞은편 가장자리 영역의 중앙부에 배치된 제3 카메라를 포함할 수 있다.
또한, 멀티 디스플레이 장치의 상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제1 카메라 및 제2 카메라를 포함하고, 상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제3 카메라 및 제4 카메라를 포함할 수 있다.
한편, 상기 사용자 제스처는 싱글 핑거 제스처, 투 핑거 제스처, 멀티 핑거 제스처, 팜 제스처, 멀티 팜 제스처, 피스트 제스처, 멀티 피스트 제스처 중 어느 하나일 수 있다.
또한, 상기 제어부는 상기 제1 또는 제2 디스플레이부에 표시된 아이콘에 대해 그립 제스처가 인식되면, 상기 아이콘을 선택하는 동작을 수행할 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 제1 디스플레이부를 포함하는 제1 바디, 제2 디스플레이부를 포함하는 제2 바디 및 상기 제1 바디와 상기 제2 바디를 연결하는 힌지부를 포함하는 멀티 디스플레이 장치의 제어 방법에 있어서 상기 제1 바디에 마련된 제1 촬상부 및 상기 제2 바디에 마련된 제2 촬상부를 이용하여 촬상을 수행하는 단계, 상기 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하는 단계, 인식된 상기 사용자 제스처에 대응되는 제어 동작을 수행하는 단계를 포함하며, 상기 사용자 제스처를 인식하는 단계는 상기 제1 촬상부가 촬상 가능한 제1 촬상 범위 내에서 이동하는 사용자 객체의 움직임 방향과, 상기 제2 촬상부가 촬상 가능한 제2 촬상 범위 내에서 이동하는 상기 사용자 객체의 움직임 방향을 이용하여, 상기 제1 및 제2 촬상 범위 간의 중복 범위 내에서의 상기 사용자 제스처를 인식한다.
그리고, 멀티 디스플레이 장치의 제어 방법은 상기 힌지부를 기준으로 상기 제1 및 제2 바디가 벌어지는 각도를 검출하는 단계, 상기 검출된 각도가 기 설정된 각도 범위 이내이면 상기 제1 및 제2 촬상부를 활성화시키는 단계를 더 포함할 수 있다.
그리고, 상기 사용자 제스처는 3차원적으로 인식될 수 있다.
또한, 상기 사용자 제스처는 스테레오 영상으로 인식될 수 있다.
그리고, 상기 제어 동작을 수행하는 단계는 상기 사용자 객체가 하나의 연속 패턴을 이루도록 이동하면, 상기 연속 패턴을 구성하는 각각의 사용자 제스처에 대응되는 복수의 제어 동작을 연속적으로 수행할 수 있다.
또한, 상기 사용자 제스처를 인식하는 단계는 멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나로 선택적으로 동작하며, 상기 멀티 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 복수의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하고, 상기 싱글 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 하나의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식할 수 있다.
한편, 상기 사용자 제스처는 싱글 핑거 제스처, 투 핑거 제스처, 멀티 핑거 제스처, 팜 제스처, 멀티 팜 제스처, 피스트 제스처, 멀티 피스트 제스처 중 어느 하나일 수 있다.
또한, 상기 제어 동작을 수행하는 단계는 상기 제1 또는 제2 디스플레이부에 표시된 아이콘에 대한 그립 제스처가 인식되면, 상기 아이콘을 선택하는 동작을 수행할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 공간 제스처를 이용하여 편리하게 멀티 디스플레이 장치의 제어가 가능하다.
도 1은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시 예에 따른 두 개의 카메라가 구비된 멀티 디스플레이 장치의 사시도.
도 3 내지 도 4는 본 발명의 다양한 실시 예에 따른 제스처 인식 범위를 표시하는 도면.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 멀티 카메라에서 움직임을 인식하는 방법을 설명하는 도면.
도 8은 본 발명의 일 실시 예에 따른 제스처 형상을 인식하는 방법의 흐름도.
도 9 내지 도 10은 본 발명의 일 실시 예에 따른 싱글 제스처 인식 모드의 동작을 표시하는 도면.
도 11 내지 도 12는 본 발명의 일 실시 예에 따른 멀티 제스처 인식 모드의 동작을 표시하는 도면.
도 13은 본 발명의 일 실시 예에 따른 연속 제스처를 인식하는 방법을 설명하는 도면.
도 14는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도.
도 15는 본 발명의 일 실시 예에 따른 제스처 인식 모드의 화면을 표시하는 도면.
도 16 내지 도 20은 본 발명의 일 실시 예에 따른 싱글 제스처에 의한 사용자 인터페이스 변경을 예시한 도면.
도 21 내지 도 27은 본 발명의 일 실시 예에 따른 멀티 제스처에 의한 사용자 인터페이스 변경을 예시한 도면.
도 28 내지 도 32는 본 발명의 다양한 실시 예에 따른 멀티 디스플레이 장치의 카메라 배치 예를 설명하기 위한 도면.
도 33은 본 발명의 일 실시 예에 따른 회전이 가능한 카메라가 구비된 멀티 디스플레이 장치를 도시한 도면.
도 34 내지 도 38은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제1 바디와 제2 바디 사이의 상대 각도에 따른 스크린 모드들을 도시한 도면.
도 39는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 구체적으로 설명하기 위한 블록도.
도 40은 다양한 구현 예에 따른 멀티 디스플레이 장치의 세부적인 구성을 설명하기 위한 블록도.
도 41은 복수의 프레임 버퍼를 이용하여 각 디스플레이부의 동작을 제어하는 멀티 디스플레이 장치의 구성을 나타내는 블럭도.
도 42는 통합 프레임 버퍼를 이용하여 각 디스플레이부의 동작을 제어하는 멀티 디스플레이 장치의 구성을 나타내는 블럭도.
도 43은 도 41에 도시된 2개의 디스플레이부 중 제1 디스플레이부의 구성을 구체적으로 설명하기 위한 도면.
도 44는 도 43에 도시된 디스플레이 패널을 구성하는 R, G, B 화소를 구성하는 회로 구조를 설명하기 위한 도면.
도 45는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 시스템 계층 구조를 설명하기 위한 도면.
도 46 내지 도 47은 근접 터치를 감지하는 방법을 설명하기 위한 도면.
도 48은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서는 멀티 디스플레이 장치는 하나 혹은 그 이상의 터치 스크린으로 구성된 디스플레이를 구비하며, 어플리케이션을 실행하거나 컨텐츠를 표시 가능하도록 구성되는 장치로써, 예를 들면, 태블릿(Tablet) 개인 컴퓨터(Personal Computer: PC), 노트북, 랩탑 컴퓨터, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 디지털 액자 등으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치(100)의 구성을 나타낸 블록도이다.
도 1을 참조하면 멀티 디스플레이 장치(100)는 제1 바디(2), 제2 바디(4) 및 힌지부(185)를 포함한다. 제1 바디(body)(2)는 제어부(130), 제1 촬상부(140a), 제1 디스플레이부(190a)를 포함하고, 제2 바디(body)(4)는 제2 촬상부(140b), 제2 디스플레이부(190b)를 포함한다. 경우에 따라서, 제어부(130)는 제2 바디(4)에 포함될 수도 있고, 복수 개로 마련되어 제1 및 제2 바디(2, 4) 모두에 포함될 수도 있다.
제1 바디(2)와 제2 바디(4)는 힌지부(185)에 의해 연결된다. 제1 바디(2) 및 제2 바디(4)는 힌지부(185)를 기준으로 회전 될 수 있다. 이에 따라, 제1 및 제2 디스플레이부(190a, 190b)가 서로 맞닿는 형태로 클로즈될 수도 있고, 그 반대 방향으로 완전히 젖혀져서 제1 및 제2 디스플레이부(190a, 190b)의 배면이 서로 맞닿는 형태로 오픈될 수도 있다. 또는, 힌지부(185)의 구성에 따라서는 180도로 완전히 펴지는 형태로 오픈될 수도 있다. 힌지부(185)를 기준으로 제1 바디(2) 및 제2 바디(4)가 벌어지는 형태에 대해서는 후술하는 다양한 실시 예들에서 구체적으로 설명한다.
제어부(130)는 제1 및 제2 디스플레이부(190a, 190b) 중 적어도 하나를 이용하여 다양한 화면을 디스플레이할 수 있다. 이 경우, 제1 및 제2 디스플레이부(190a, 190b)가 함께 하나의 화면을 표시할 수도 있고, 각자 서로 다른 화면을 표시할 수도 있다. 제어부(130)는 실행되는 어플리케이션이나, 컨텐츠의 종류, 사용자의 선택 등과 같은 다양한 조건에 따라 제1 및 제2 디스플레이부(190a, 190b) 각각을 선택적으로 활성화시켜 다양한 화면을 디스플레이할 수 있다. 도 1에서는 제1 및 제2 디스플레이부(190a, 190b)와 같이 두 개의 디스플레이 유닛을 포함하는 장치의 구성을 나타냈으므로, 듀얼 디스플레이 장치라고도 칭할 수 있다. 하지만, 디스플레이 유닛의 개수는 2개 뿐 아니라 3개 이상이 될 수도 있으므로, 설명의 편의를 위해서 본 명세서에서는 멀티 디스플레이 장치로 통칭하여 설명한다.
제1 및 제2 촬상부(140a, 140b)는 각각 제1 바디(2) 및 제2 바디(4)에 마련될 수 있다. 제1 및 제2 촬상부(140a, 140b) 각각은 카메라를 포함한다. 각 카메라는 렌즈와 이미지 센서를 포함한다.
카메라에 사용할 수 있는 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있다. 제1 및 제2 촬상부(140a, 140b)는 일반적으로 동일한 렌즈를 구비한 카메라로 구성되지만, 경우에 따라, 서로 다른 렌즈를 구비한 카메라로 구성될 수 있다.
제어부(130)는 제1 및 제2 디스플레이부(190a, 190b)의 화면에 대한 사용자 터치, 제1 및 제2 바디부(2, 4)에 마련된 버튼 선택, 사용자 제스처, 음성 명령 등과 같은 다양한 사용자 조작에 따라 멀티 디스플레이 장치의 동작을 제어한다. 가령, 제1 및 제2 바디부(2, 4)에 전원 버튼이 마련되어 있다면, 그 전원 버튼의 선택 여부에 따라 턴-온 또는 턴-오프 동작을 수행할 수 있다. 또는, 제1 및 제2 디스플레이부(190a, 190b)의 화면 상에 메뉴가 표시되어 있고, 그 메뉴를 사용자가 터치하였다면 터치된 메뉴에 대응되는 동작을 수행할 수도 있다.
사용자 제스처를 인식하는 모드에서는 제어부(130)는 제1 및 제2 촬상부(140a, 140b)에서 각각 촬상된 복수의 이미지를 이용하여 사용자 제스처를 인식할 수 있다. 도 1에서와 같이 복수의 촬상부(140a, 140b)는 서로 다른 바디에 장착되므로, 서로 다른 각도에서 동일한 피사체(가령, 사용자의 손이나, 얼굴, 입력 펜 등)를 촬상할 수 있다. 각 촬상부(140a, 140b)가 서로 다른 각도에서 사용자 객체를 촬상하게 되면, 단순 2차원 움직임뿐만 아니라 3차원적인 움직임까지 검출할 수 있다. 이에 따라, 보다 다양한 사용자 제스처를 인식할 수 있고, 그 인식 결과 역시 보다 정밀하게 얻어 질 수 있다. 사용자 객체의 의미는 멀티 디스플레이 장치(100)에 명령을 입력하기 위한 수단을 의미하는 것으로써, 예를 들어, 손과 같은 신체의 일부가 될 수 있으며, 펜과 같은 외부 장치가 될 수도 있다.
제어부(130)는 제1 및 제2 촬상부(140a, 140b)에서 각각 촬상된 복수의 이미지를 종합적으로 고려하여 사용자 제스처를 인식할 수 있다. 복수의 이미지를 종합적으로 고려하여 사용자 제스처를 인식하는 방법에 대해서는 후술하는 부분에서 구체적으로 설명한다.
제어부(130)는 사용자 제스처가 인식되면, 그 사용자 제스처에 대응되는 동작을 수행한다. 구체적으로는, 어플리케이션 실행, 각종 아이콘 선택, 커서 이동, 어플리케이션 실행 종료, 모드 전환, 기능 실행 등과 같은 다양한 동작을 수행할 수 있다. 또는, 제어부(130)는 제1 및 제2 디스플레이부(190a, 190b)간의 화면 교환이나, 제1 및 제2 디스플레이부(190a, 190b) 중 하나에서 디스플레이되고 있던 화면을 제1 및 제2 디스플레이부(190a, 190b) 모두가 함께 디스플레이하도록 화면을 확대하는 동작, 그 반대로 화면을 축소하는 동작, 화면을 제거하는 동작 등과 같이 화면 표시와 관련된 각종 동작을 수행할 수도 있다. 각 사용자 제스처 별로 대응되는 동작에 대해서는 미리 설정되어 저장부(미도시)에 저장될 수 있다.
그 밖에, 제어부(130)는 제1 바디(2)와 제2 바디(4) 사이의 각도를 검출하여 사용자에게 검출된 각도 정보를 알려주거나, 그 검출된 각도에 매칭된 동작을 수행할 수도 있다.
이러한 제어부(130)의 다양한 동작 예에 대해서는 후술하는 부분에서 구체적으로 설명하며, 이하에서는 먼저 멀티 디스플레이 장치의 외관 구성을 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 두 개의 카메라가 구비된 멀티 디스플레이 장치의 사시도이다.
도 2를 참조하면, 멀티 디스플레이 장치(100)의 제1 바디(2) 및 제2 바디(4)는 힌지부(185)에 의해 연결되어 상대적으로 이동 가능하도록 구성된다. 제1 바디(2)와 제2 바디(4) 사이의 각도는 0도에서 360도 사이의 임의의 값이 될 수 있다. 제1 카메라(141)는 제1 바디(2)의 가장자리 영역 중 상기 힌지부(185)의 맞은 편 가장자리 영역의 중앙부에 배치된다. 제2 카메라(142)는 제2 바디(4)의 가장자리 영역 중 상기 힌지부(185)의 맞은 편 가장자리 영역의 중앙부에 배치된다.
제어부(130)는 제스처 인식 모드가 활성화되면 제1 카메라(141) 및 제2 카메라(142)를 이용하여 피사체를 촬상하고, 그 촬상된 결과를 이용하여 사용자 제스처를 판단한 후, 그 사용자 제스처에 대응되는 동작을 수행할 수 있다. 제스처 인식 모드는 사용자의 버튼 조작이나, 바디 회전, 특정 제스처 인식 등이 발생하였을 경우에 활성화될 수 있다.
가령, 바디 회전을 이용하여 제스처 인식 모드로 전환하는 실시 예에 따르면, 사용자가 제1 바디(2) 및 제2 바디(4) 중 적어도 하나를 회전시켜, 그 사이각이 일정 각도 범위만큼 벌어지면, 제어부(130)는 제스처 인식 모드로 동작할 수 있다. 이에 따라, 사용자는 제스처를 이용하여 멀티 디스플레이 장치의 동작을 제어할 수 있다.
제1 카메라(141) 및 제2 카메라(142) 각각의 촬상 범위는 제1 바디(2) 및 제2 바디(4) 사이의 각도(360도-θ)에 따라 달라진다. 제작자는 사용자의 제스처를 가장 효과적으로 인식할 수 있는 각도 또는 사용자가 멀티 디스플레이 장치를 이용할 때 가장 빈번하게 사용하는 자세 등을 고려하여, 인식 각도를 설정하여 저장하여 둘 수 있다. 이에 따르면, 제1 바디(2) 및 제2 바디(4) 사이의 각도(360도-θ)가 기 설정된 인식 각도 범위 이내이면, 제어부(130)는 자동으로 제스처 인식 모드로 동작할 수 있다. 일 예로는, 제1 바디(2) 및 제2 바디(4) 사이의 각도(360도-θ)가 60도 내지 150도 사이일 때, 제스처 인식 모드로 동작할 수 있다.
제스처 인식 모드로 동작하는 각도가 되면, 멀티 디스플레이 장치(100)는 사용자에게 알림을 줄 수 있다. 일 실시 예로서, 힌지부(185)가 제스처 인식 모드로 동작하도록 설정된 경계 각도만큼 벌어지면 요철이나 스토퍼(stopper)를 이용하여 딸각거리면서 걸리도록 함으로써 사용자에게 제스처 인식 모드를 인식시킬 수 있다.
다른 실시 예로서, 제스처 인식 모드로 동작하는 경계 각도에서 제어부(130)가 알림 음이나 시각적 메시지를 발생시킴으로써 사용자에게 제스처 인식 모드를 인식시킬 수 있다. 상기 알림 음은 비프(beep)음, 멜로디, 음성안내 등이 될 수 있다.
다른 예로는, 각도와 상관없이 사용자가 멀티 디스플레이 장치(100)의 디스플레이부(190a, 190b) 상의 제스처 인식 모드 메뉴를 터치하거나, 제1 또는 제2 바디(2, 4) 상의 제스처 인식 모드 키를 누름으로써 멀티 디스플레이 장치(100)를 제스처 인식 모드로 실행시킬 수 있다.
멀티 디스플레이 장치(100)가 사용자의 제스처를 인식하기 위해서는 카메라의 인식 범위 내에서 사용자의 움직임이 있어야 한다. 일 예로서 사용자의 움직임이란 제1 혹은 제2 카메라(141, 142)를 통해 감지되는 사용자의 손 또는 펜 등의 움직임을 의미한다.
이상과 같은 실시 예들에서, 제1 카메라 및 제2 카메라(141, 142)는 제스처 인식 모드가 실행되기 이전에는 턴오프 또는 비활성화되어 있다가, 제스처 인식 모드가 실행되었을 때 활성화될 수 있다.
한편, 상술한 바와 같이 제스처 인식 모드는 특정 제스처가 인식되었을 때 수행될 수도 있다. 이 경우에는 제1 및 제2 카메라(141, 142)는 항상 활성화되어 있어야 한다. 제어부(130)는 제1 및 제2 카메라(141, 142)에 의해 촬상되는 사용자의 제스처를 지속적으로 모니터링하다가, 특정 제스처, 가령, 사용자가 손이나 손가락을 화면 방향으로 푸쉬하는 제스처를 취하는 경우에 제스처 인식 모드로 자동으로 전환할 수도 있다. 특정 제스처가 인식되기 이전까지는 사용자 제스처가 있더라도 그에 대응되는 동작을 수행하지 않고, 터치나 버튼 조작, 음성 조작 등에 따라서만 동작을 수행할 수 있다.
도 3 내지 도 4는 본 발명의 다양한 실시 예에 따른 제스처 인식 범위를 표시하는 도면이다.
도 3에서는 멀티 디스플레이 장치(100)에 일반적인 카메라가 배치된 경우 제스처 인식 범위를 도시하였다. 제1 및 제2 바디(2, 4)에 각각 제1 및 제2 카메라(141, 142)가 구비된다. 카메라는 일정한 범위의 화각(view angle)을 가진다. 화각이란 촬영 시 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 의미한다. 제1 및 제2 카메라(141, 142)가 표준 렌즈를 사용하는 일반적인 카메라인 경우, 약 45도 정도의 화각을 가진다. 3D 제스처를 정확하게 인식하기 위해서는 입체적인 사용자 객체의 모양 또는 움직임을 인식할 수 있어야 한다. 따라서, 제1 카메라(141)의 인식 범위(6)와 제2 카메라(142)의 인식 범위(7)가 겹치는 부분이 제스처 인식 영역으로 설정된다.
제1 바디(2)와 제2 바디(4) 사이의 각도가 변하더라도 제1 카메라(141)의 인식 범위(6)와 제2 카메라(142)의 인식 범위(7)가 겹치는 부분은 일정하게 유지된다. 다만, 제1 바디(2)와 제2 바디(4) 사이의 각도에 따라 멀티 디스플레이 장치(100)와 제스처 인식 영역의 거리가 달라질 수 있다.
제1 및 제2 카메라(141, 142)의 다른 실시 예로서 멀티 디스플레이 장치(100)는 줌 렌즈를 포함하는 카메라를 구비할 수 있다. 상술한 바와 같이 제1 및 제2 바디(2, 4) 사이의 각도에 따라 제스처 인식 영역의 거리가 달라질 수 있다. 따라서, 줌 렌즈를 포함하는 카메라는 줌 기능을 이용하여 카메라가 인식하는 사용자 객체의 거리를 일정하게 유지시킬 수 있다.
도 4에서는 멀티 디스플레이 장치(100)에 광각 카메라가 배치된 경우 제스처 인식 범위를 도시하였다. 광각 카메라는 일반 카메라보다 더 넓은 시야각을 가진 렌즈를 포함한 카메라를 의미하고 대표적으로 어안 렌즈(fish-eye lens) 카메라가 있다. 도 4를 참조하면, 제1 및 제2 바디(2, 4)에 각각 제1 및 제2 카메라(141-1, 142-1)가 구비된다. 그리고, 멀티 디스플레이 장치(100)에 구비된 카메라가 인식할 수 있는 범위(8, 9)를 도시하고 있다. 제1 및 제2 카메라(141-1, 142-1)는 광각 카메라이므로 카메라의 인식 범위(8, 9)는 도 3에서 도시된 카메라 인식 범위(6, 7)보다 넓다. 예를 들어, 제1 및 제2 카메라(141-1, 142-1)가 어안 렌즈 카메라인 경우, 제1 및 제2 카메라(141-1, 142-1)는 각각 180도의 시야각을 가진다. 따라서, 광각 카메라를 구비한 멀티 디스플레이 장치(100)는 일반 카메라를 구비한 경우보다 더 넓은 제스처 인식 영역을 확보할 수 있다.
도 3 및 도 4에 도시된 바와 같이 제1 및 제2 바디부(2, 4)가 힌지부를 기준으로 일정한 사이 각을 가지도록 회전한 상태에서만, 카메라 인식 범위가 겹치면서 제스처 인식 영역이 형성될 수 있다. 따라서, 멀티 디스플레이 장치가 클로즈된 상태나, 180도로 펴진 상태 등의 경우에는 각 카메라들을 이용한 사용자 제스처 인식이 불가능하거나 불필요한 경우가 발생할 수 있다. 이러한 경우, 불필요한 전력 소모를 방지하기 위해서 적어도 하나의 카메라는 비활성화시킬 수 있다. 비활성화란 카메라로 공급되는 전원을 차단하여 턴-오프하거나, 렌즈 커버를 클로즈하는 등의 동작이 될 수 있다. 가령, 클로즈 상태에서는 두 카메라를 모두 비활성화시키고, 멀티 디스플레이 장치가 기 설정된 사이각 이상으로 벌어지도록 오픈되면, 두 카메라를 모두 또는 하나만을 활성화시킬 수 있다. 활성화란 전원을 다시 공급하여 턴-온시키거나 렌즈 커버를 오픈하는 등의 동작이 될 수 있다.
제스처 인식 모드일 때, 멀티 디스플레이 장치(100)는 일반적으로 제1 및 제2 바디(2, 4)에 각각 배치된 두 개의 카메라를 활성화시킬 수 있다. 그리고, 제스처 인식 범위에서 사용자의 일정한 움직임이 있으면 멀티 디스플레이 장치(100)는 이를 인식하여 대응되는 동작을 수행한다. 멀티 디스플레이 장치(100)가 사용자 제스처를 인식하는 방법에 대해서 아래에서 설명한다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 멀티 카메라에서 움직임을 인식하는 방법을 설명하는 도면이다.
제어부가 사용자 객체의 움직임을 검출하기 위해 최소 3 프레임(frame)의 이미지가 필요하다. 그러나, 움직이는 물체를 촬영하는 경우 형체가 흐릿하게 포착되는 블러링(blurring) 현상이 발생할 수 있으므로 적어도 5~6 프레임 이상의 이미지가 필요하다.
도 5를 참조하면, 하나의 사용자 객체(51)는 제스처 인식 영역에서 좌에서 우로 움직인다. 제1 및 제2 카메라(141, 142)는 사용자 객체(51)의 움직임을 포착한다. 도 5의 위쪽 세 개의 이미지(71a, 71b, 71c)는 제1 카메라(141)에서 포착되는 이미지를 도시한 것이고, 아래쪽의 세 개의 이미지(72a, 72b, 27c)는 제2 카메라(142)에서 포착되는 이미지를 도시한 것이다.
제1 카메라(141)는 사용자 객체를 아래에서 촬상한 이미지를 포착한다. 사용자 객체(51)가 움직이기 시작하는 시점을 포착한 제1 카메라(141)의 첫번째 이미지(71a)에는 전체 화면의 좌측에 사용자 객체가 존재한다. 두번째 이미지(71b)에는 전체 화면의 중앙부분에 사용자 객체가 존재한다. 세번째 이미지(71c)에는 전체 화면의 우측에 사용자 객체가 존재한다. 마찬가지로, 제2 카메라(142)는 사용자 객체를 정면에서 촬상한 이미지를 포착한다. 사용자 객체(51)가 움직이기 시작하는 시점을 포착한 제2 카메라(142)의 첫번째 이미지(72a)에는 전체 화면의 좌측에 사용자 객체가 존재한다. 두번째 이미지(72b)에는 전체 화면의 중앙부분에 사용자 객체가 존재한다. 세번째 이미지(72c)에는 전체 화면의 우측에 사용자 객체가 존재한다.
멀티 디스플레이 장치(100)의 제어부(130)는 적어도 세 개의 이미지를 이용하여 사용자 객체(51)의 형상 또는 움직임을 검출하고 제스처를 인식한다. 제스처를 인식하면 인식된 제스처에 대응되는 동작을 수행한다.
제스처를 인식하는 다른 실시 예로는, 제1 카메라(141)가 주로 사용자의 제스처를 인식하고, 제2 카메라(142)는 제1 카메라(141)를 보조하여 사용자 제스처의 뎁스(depth)를 인식할 수 있다. 뎁스(depth)란 일정한 면 또는 지점을 기준으로 한 거리의 원근을 의미한다. 이 경우 제2 카메라(142)는 뎁스 카메라가 될 수도 있다. 또는, 제1 카메라(141)과 제2 카메라(142)의 역할이 반대가 될 수도 있다.
도 6을 참조하면, 하나의 사용자 객체(51)는 멀티 디스플레이 장치(100)가 있는 방향으로 움직인다. 제1 및 제2 카메라(141, 142)는 사용자 객체(51)의 움직임을 포착한다.
사용자 객체(51)가 움직이기 시작하는 시점을 포착한 제1 카메라(141)의 첫번째 이미지(75a)에는 전체 화면의 아래부분에 사용자 객체가 존재하고, 제2 카메라(142)의 첫번째 이미지(76a)에는 전체 화면의 중앙부분에 작은 형상의 사용자 객체가 존재한다. 제1 카메라(141)의 두번째 이미지(75b)에는 전체 화면의 중앙부분에 사용자 객체가 존재하고, 제2 카메라(142)의 두번째 이미지(76b)에는 전체 화면의 중앙부분에 약간 커진 사용자 객체가 존재한다. 제1 카메라(141)의 세번째 이미지(75c)에는 전체 화면의 윗쪽 끝부분까지 사용자 객체가 존재하고, 제2 카메라(142)의 세번째 이미지(76c)에는 전체 화면에 중앙 부분에 더 커진 사용자 객체가 존재한다.
따라서, 제어부(130)는 제1 카메라(141)에서 포착되는 사용자 객체의 형상 및 움직임과 제2 카메라(142)에서 포착되는 사용자 객체의 형상 및 움직임을 검출하고 이용하여 사용자 객체의 공간 제스처를 인식한다. 멀티 디스플레이 장치(100)는 인식된 제스처에 대응되는 동작을 수행한다.
도 6에 도시된 바와 같이 멀티 디스플레이 장치(100)는 서로 다른 바디에 배치된 복수의 카메라(141, 142)를 사용하여 사용자 객체의 움직임을 파악하기 때문에, 입체적인 제스처까지 판단할 수 있다. 즉, 도 6에서 사용자 객체의 정면에 놓여진 제2 카메라(142)는 제2 디스플레이부(190b) 화면에 수평한 X-Y 평면에서의 움직임을 감지할 수 있지만, 사용자 객체의 아래 쪽에 놓여진 제1 카메라(141)는 제2 디스플레이부(190b) 화면에 수직한 Z축 방향으로의 움직임을 감지할 수 있다. 제어부(130)는 이들 카메라(141, 142)의 촬상 결과를 조합하여 사용자의 입체적인 제스처를 인식할 수 있다. 이에 따라, 제어 동작에 매칭시킬 수 있는 사용자의 제스처가 좀 더 다양해지고, 제스처 인식율도 보다 정밀해 질 수 있다.
도 7은 사용자 제스처를 스테레오(stereo) 영상으로 인식하는 또 다른 방법을 도시한 도면이다.
도 5 내지 도 6에서 도시한 도면에서는 제1 및 제2 카메라(141, 142)가 하나는 정면, 하나는 아래에 배치되어 있다. 따라서, 카메라를 기준으로 볼 때, 하나의 카메라는 사용자의 움직임을 상하좌우 움직임으로 인식하고, 다른 카메라는 원근의 움직임으로 인식한다. 그러나, 도 7에서 도시한 도면에서는 제1 및 제2 카메라(141, 142)는 사용자의 움직임을 방향이 반대인 동일한 움직임으로 인식한다. 즉, 평행한 두 개의 카메라로 입력되는 사용자 움직임의 영상을 스테레오 영상이라고 한다.
도 7을 참조하면, 하나의 사용자 객체는 멀티 디스플레이 장치(100)가 있는 방향으로 움직인다. 제1 및 제2 카메라(141, 142)는 사용자 객체의 움직임을 포착한다. 그러나, 카메라에서 포착되는 사용자 객체의 움직임은 도 5 내지 도 6에서 설명한 것과 차이가 있다.
즉, 사용자 객체가 움직이기 시작하는 시점을 포착한 제1 카메라(141)의 첫번째 이미지(77a)에는 전체 화면의 우측 끝단 중앙부에 사용자 객체가 존재하고, 제2 카메라(142)의 첫번째 이미지(78a)에는 전체 화면의 좌측 끝단 중앙부에 사용자 객체가 존재한다. 제1 카메라(141)의 두번째 이미지(77b)에는 전체 화면의 우측에서 중앙부분까지 사용자 객체가 존재하고, 제2 카메라(142)의 두번째 이미지(78b)에는 전체 화면의 좌측에서 중앙부분까지 사용자 객체가 존재한다. 제1 카메라(141)의 세번째 이미지(77c)에는 전체 화면의 좌측 끝부분까지 사용자 객체가 존재하고, 제2 카메라(142)의 세번째 이미지(78c)에는 전체 화면에 우측 끝부분까지 사용자 객체가 존재한다.
따라서, 제어부(130)는 제1 카메라(141)에서 포착되는 사용자 객체의 형상 및 움직임과 제2 카메라(142)에서 포착되는 사용자 객체의 형상 및 움직임을 검출하고 이용하여 사용자 객체의 공간 제스처를 인식한다. 멀티 디스플레이 장치(100)는 인식된 제스처에 대응되는 동작을 수행한다.
도 5 내지 도 7에서는 사용자 객체가 하나인 경우 움직임을 인식하는 방법에 대해서 설명하였으나, 사용자 객체가 둘 이상인 경우에도 동일하게 적용할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 제스처 형상을 인식하는 방법의 흐름도이다.
제스처 형태를 인식하는 방법은 제1 또는 제2 카메라 중 적어도 하나의 카메라가 사용자 객체의 이미지를 촬상하는 단계(S810), RMCT(Revised Modified Census Transform) 이미지로 변환하는 단계(S820), 국부 구조 특징을 검출하는 단계(S830), 특징점 가중치 테이블을 이용하여 유형을 확인하는 단계(S840), 제스처를 인식하는 단계(S850)을 포함한다.
사용자 객체의 이미지를 촬상하는 단계(S810)에서는 제1 또는 제2 카메라 중 적어도 하나를 이용하여 사용자 객체 이미지를 촬상한다. RMCT 이미지로 변환하는 단계(S820)에서는 촬상된 이미지를 RMCT를 이용하여 변환한다. RMCT는 3×3 로컬 영역에서 주변 픽셀과 평균값의 상관관계에 의해 이미지를 변환하는 방법을 의미한다. 국부 구조 특징을 검출하는 단계(S830)에서는 RMCT에 의해 변환된 이미지의 국부 구조 특징을 검출한다. 국부 구조 특징을 검출하고 이를 이용하여 전체 구조 특징을 검출한다. 특징점 가중치 테이블을 이용하여 유형을 확인하는 단계(S840)에서는 검출된 전체 구조 특징과 특징점 가중치 테이블을 이용하여 일치하는 특징을 가진 제스처의 유형을 확인한다. 제스처를 인식하는 단계(S850)에서는 일치하는 특징을 가진 제스처가 확인되면 사용자 객체의 형상을 확인된 제스처로 인식하고 멀티 디스플레이 장치(100)는 대응되는 동작을 수행한다.
<제스처 인식에 관한 다양한 실시 예>
도 9 내지 도 10은 본 발명의 일 실시 예에 따른 싱글 제스처 인식 모드의 동작을 표시하는 도면이다.
싱글 제스처 인식 모드는 멀티 디스플레이 장치(100)가 하나의 사용자 객체의 움직임만을 공간 제스처의 수단으로 인식하는 것을 의미한다. 예를 들어, 멀티 디스플레이 장치(100)는 사용자의 임의의 한 손을 사용자 객체로 인식하여 인식된 손의 움직임만을 공간 제스처로 인식할 수 있다. 이 경우, 멀티 디스플레이 장치(100)는 다른 손 또는 타인의 손의 움직임이 카메라에 포착되더라도 제스처로 인식하지 않는다. 따라서, 싱글 제스처 인식 모드는 사용자 객체로 인식되지 않은 객체에 의한 인터럽트(interrupt)가 발생하더라도 정상적인 제스처 인식이 가능하다.
도 9를 참조하면, 멀티 디스플레이 장치(100)에 의해 인식된 사용자 객체(51)가 제스처 인식 영역에서 움직인다. 제스처 인식 영역은 제1 및 제2 카메라(141, 142)의 인식 범위가 겹치는 영역이다. 멀티 디스플레이 장치(100)는 제1 및 제2 카메라(141, 142)에 의해 포착된 사용자 객체의 형태 또는 움직임을 검출하여 제스처를 인식하고 대응되는 동작을 수행한다.
싱글 제스처 인식 모드를 선택하는 일 실시 예는, 사용자가 터치 스크린 또는 버튼을 이용하여 제스처 인식 메뉴에서 싱글 제스처 인식 모드를 선택할 수 있다. 다른 실시 예는, 제스처 인식 모드를 실행시켰을 때, 하나의 사용자 객체의 일정한 형상을 일정 시간 유지하면 싱글 제스처 인식 모드로 동작하도록 할 수 있다. 구체적인 예로서, 사용자가 제2 카메라(142)를 향하여 한 손을 펴고 5초간 유지하면 싱글 제스처 인식 모드로 동작하도록 할 수 있다. 이 경우, 디스플레이부는 싱글 제스처 인식 모드로 동작한다는 알림을 표시하거나 사용자에게 싱글 제스처 인식 모드로 사용할 것인지 확인하는 내용을 표시할 수 있다. 또는, 스피커와 같은 오디오 출력부가 싱글 제스처 인식 모드로 동작한다는 비프음, 멜로디, 음성안내 등을 출력할 수 있다.
싱글 제스처 인식 모드에서는 멀티 디스플레이 장치(100)가 하나의 사용자 객체만을 인식할 수 있으므로, 다른 사용자 객체의 인터럽트에 영향을 받지 않는다. 예를 들어, 사용자가 하나의 사용자 객체(71)를 인식시킨 후 제스처 동작을 하는 중에 타인의 사용자 객체(76)가 제스처 인식 영역 안으로 들어올 수 있다. 그러나, 멀티 디스플레이 장치(100)의 싱글 제스처 인식 모드는 하나의 사용자 객체만을 제스처 동작 수단으로 인식하므로 타인의 사용자 객체(76)가 제스처 인식 영역 안에서 인식 가능한 제스처 동작을 하더라도 멀티 디스플레이 장치(100)는 영향을 받지 않을 수 있다.
도 10을 참조하면, 다른 실시 예로서 사용자 객체가 펜(49)인 경우를 도시하였다. 멀티 디스플레이 장치(100)에 제스처를 입력시키기 위한 수단은 사용자의 손 이외에 여러가지 수단이 가능하다. 펜(49)은 다른 기능이 없는 단순한 구조일 수 있고, 근접 센싱을 위해 코일이 포함된 구조일 수도 있으며, 다른 여러 가지 부가 기능이 포함된 구조일 수도 있다.
멀티 디스플레이 장치(100)는 사용자의 손이나 펜을 구분하지 않고 하나의 입력 수단으로 인식할 수 있다. 또는, 상술한 바와 같이 카메라를 이용해서 펜의 형상을 인식하여 펜과 사용자의 손을 구분하여 인식할 수 있다.
사용자가 손을 이용하여 멀티 디스플레이 장치에 제스처를 인식시키다가 펜을 이용하여 제스처를 인식시킬 수 있으며 그 반대의 경우도 가능하다. 이 경우, 멀티 디스플레이 장치(100)는 입력 수단이 변경된 경우 디스플레이부에 입력 수단이 변경되어 새로 입력 수단을 인식한다는 알림을 표시할 수도 있다. 또는, 알림을 표시하지 않고, 디스플레이부에 표시되는 포인터 등과 같은 UI(User Interface) 객체의 모양 또는 색상 등을 변경하여 입력 수단이 변경된 것을 표시할 수도 있다. 또는, 어떠한 알림이나 변경없이 멀티 디스플레이 장치 내부적으로만 입력 수단이 변경되었음을 인지하고 있을 수도 있다.
멀티 디스플레이 장치(100)가 제스처를 인식하고 동작을 수행하는 방법은 도 9에서 설명한 바와 동일하다.
도 11 내지 도 12는 본 발명의 일 실시 예에 따른 멀티 제스처 인식 모드의 동작을 표시하는 도면이다.
멀티 제스처 인식 모드는 멀티 디스플레이 장치(100)가 적어도 두 개의 사용자 객체의 움직임을 공간 제스처의 수단으로 인식하는 것을 의미한다. 예를 들어, 멀티 디스플레이 장치(100)는 사용자의 양 손을 사용자 객체로 인식하여 양 손의 움직임을 공간 제스처로 인식할 수 있다. 이 경우, 양 손이 교차하는 경우에도 제스처 인식이 가능하다.
도 11을 참조하면, 두 개의 사용자 객체(52, 53)는 제스처 인식 영역에서 일정하게 움직인다. 멀티 디스플레이 장치(100)는 제1 및 제2 카메라(141, 142)에 의해 포착된 두 개의 사용자 객체(52, 53)의 움직임을 검출하여 제스처를 인식하고 상기 제스처에 대응되는 동작을 수행한다.
도 12를 참조하면, 하나의 사용자 객체는 사용자의 손(54)이고, 다른 하나는 펜(49)인 경우를 도시하였다. 멀티 제스처 인식 모드에서 사용자 객체는 양 손이 될 수 있고, 펜과 사용자의 손이 될 수도 있으며, 두 개의 펜이 될 수도 있다. 멀티 디스플레이 장치(100)가 제스처를 인식하고 동작을 수행하는 방법은 상술한 바와 동일하다.
도 13은 본 발명의 일 실시 예에 따른 연속 제스처를 인식하는 방법을 설명하는 도면이다.
연속 제스처란, 예를 들어, 선택 제스처와 이동 제스처와 같이 두 개의 제스처를 연속되는 하나의 동작으로 행하는 것을 의미한다. 멀티 디스플레이 장치(100)의 제1 및 제2 카메라(141, 142)는 입체적으로 배치되어 있기 때문에 멀티 디스플레이 장치(100)는 이러한 연속 제스처를 인식할 수 있다.
도 13을 참조하면, 사용자 객체는 제2 카메라(142) 방향으로 움직이다가 우측으로 움직이고 있다. 사용자 제스처에 대응되는 명령은 다양하게 매칭시킬 수 있다. 한 가지 예로서 사용자 객체가 제2 카메라(142) 방향으로 움직이는 제스처는 아이콘 선택 명령에 대응될 수 있고, 우측으로 움직이는 제스처는 아이콘 우측 이동 명령에 대응될 수 있다. 이 경우, 도 13에서와 같은 사용자 객체의 연속적인 제스처는 아이콘 선택 및 이동 명령에 대응되므로 멀티 디스플레이 장치(100)는 아이콘을 선택하는 동작과 이동하는 동작을 연속적으로 수행할 수 있다. 즉, 사용자 객체가 하나의 연속 패턴을 이루도록 이동하면, 제어부는 연속 패턴을 구성하는 각각의 사용자 제스처에 대응되는 복수의 제어 동작을 연속적으로 수행할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도이다.
도 14에 따르면, 멀티 디스플레이 장치는 힌지부를 기준으로 제1 및 제2 바디가 벌어지는 각도를 검출한다(S1410). 이에 따라, 검출된 각도가 기 설정된 각도 범위 이내이면 제1 및 제2 촬상부를 활성화시킨다(S1420). 구체적으로는, 턴-오프상태에 있던 제1 및 제2 촬상부를 턴-온시키는 동작을 수행한다. 제1 및 제2 촬상부가 활성화되면, 각 촬상부들을 이용하여 촬상을 수행한다(S1430).
상술한 바와 같이 멀티 디스플레이장치는 각 촬상부에 의해 촬상된 복수의 이미지를 종합적으로 이용하여 사용자 제스처를 인식한다. 이 경우, 멀티 디스플레이 장치는 멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나로 동작할 수 있다.
사용자는 멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나를 선택할 수 있다(S1440). 멀티 제스처 인식 모드가 선택되면 제1 및 제2 촬상 범위 내에서 이동하는 복수의 사용자 객체의 움직임을 추적하여 사용자 제스처를 인식한다(S1450). 반면, 싱글 제스처 인식 모드가 선택되면 제1 및 제2 촬상 범위 내에서 이동하는 하나의 사용자 객체의 움직임을 추적하여 사용자 제스처를 인식한다(S1460). 구체적으로는, 제1 촬상부가 촬상 가능한 제1 촬상 범위 내에서 이동하는 사용자 객체의 움직임 방향과, 상기 제2 촬상부가 촬상 가능한 제2 촬상 범위 내에서 이동하는 상기 사용자 객체의 움직임 방향을 이용하여, 상기 제1 및 제2 촬상 범위 간의 중복 범위 내에서의 상기 사용자 제스처를 3차원적으로 인식할 수 있다.
멀티 제스처 인식 모드 및 싱글 제스처 인식 모드에 대해 사용자가 선택을 하지 않는 경우에는, 디폴트로 설정된 인식 모드가 자동으로 실행될 수 있다.
멀티 디스플레이 장치는 멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나에 따라 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식한다 (S1470). 사용자 제스처가 인식되면 멀티 디스플레이 장치는 인식된 상기 사용자 제스처에 대응되는 제어 동작을 수행한다(S1480).
도 15는 본 발명의 일 실시 예에 따른 제스처 인식 모드의 화면을 표시하는 도면이다.
도 15는 싱글 제스처 인식 모드 화면을 예로서 도시하였다. 사용자가 제스처 인식 모드라는 것을 인지할 수 있도록 멀티 디스플레이 장치(100)는 제2 디스플레이부(190b)의 상태 표시 창에 손 모양의 아이콘(13)을 표시할 수 있다. 상기 아이콘은 제스처 인식 모드라는 것을 인지할 수 있는 다른 모양의 아이콘이 될 수 있고, 아이콘이 아닌 '제스처' 또는 'G'라는 글자로 표시할 수 있다. 표시되는 위치도 제1 또는 제2 디스플레이부(190a, 190b) 상의 임의의 위치가 될 수도 있다. 또는, 제1 및 제2 바디(2, 4)의 디스플레이부 이외의 영역에 발광 다이오드(Light Emitting Diode: LED)를 이용하여 표시할 수 있다.
하나의 사용자 객체(51)는 제스처 인식 영역에서 움직인다. 제1 및 제2 카메라(141, 142)는 제스처 인식을 위해 사용자 객체(51)의 움직임을 포착하지만, 제1 및 제2 디스플레이부(190a, 190b)는 홈, 메뉴, 아이콘 등과 같은 일반적인 컨텐츠를 표시한다. 따라서, 사용자는 사용자 객체의 움직임에 대응되는 디스플레이부(190a, 190b) 상의 위치를 인지하기 어렵기 때문에 사용자 객체의 움직임에 대응되는 포인터(12)를 표시해준다. 포인터(12)는 도시된 바와 같이 십자가 모양일 수 있고 화살표, 손 모양 등 다양한 형상이 가능하다. 또는, 사용자가 임의의 모양으로 설정할 수 있다. 사용자 객체(51)가 좌에서 우로 움직이면 대응되는 포인터(12)도 좌에서 우로 움직임으로써 사용자는 제스처 동작을 직관적으로 인식할 수 있다.
멀티 제스처 인식 모드의 경우, 상기 포인터는 사용자 객체의 개수에 대응하여 두 개 이상이 될 수 있다.
지금까지, 사용자가 제스처를 이용하여 멀티 디스플레이 장치(100)에 명령을 입력시키는 다양한 실시 예에 대해 설명하였다. 다음에는 제스처에 대응되는 화면 변경의 다양한 실시 예에 대해서 설명한다.
<제스처를 통한 사용자 인터페이스 변경의 다양한 실시 예>
도 16 내지 도 20은 본 발명의 일 실시 예에 따른 싱글 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다.
본 발명은 카메라를 이용하여 공간상의 제스처를 입력 명령으로 인식하여 멀티 디스플레이 장치가 대응되는 동작을 수행한다. 그러나, 공간상의 제스처는 사용자 편의성을 고려하여 기존과 동일한 제스처에 맵핑시킬 수 있다.
터치 제스처 타입
본 발명의 실시 예에서 터치 제스처는 터치스크린에 직접 접촉하여 혹은 근접하게 접근하여 멀티 디스플레이 장치(100)가 감지 가능하게 하는 모든 종류의 사용자 제스처를 포함할 수 있다. 예를 들어, 왼손과 오른손의 손가락(finger)(특히, 검지 손가락), 엄지(thumb) 또는 터치 스크린에 의해 감지 가능한 객체(예를 들어 스타일러스 펜)을 이용하여 터치스크린 상에서 하나의 위치 혹은 연속적인 복수의 위치들을 선택하는 사용자의 동작이다. 이하 표를 참조하여 터치 제스처에 대해 구체적으로 설명한다.
타입(Type) 마크(Mark)

Single
Finger
Gesture
 탭(Tap)
Figure 112012082453324-pat00001
터치&홀드(Touch&Hold)
Figure 112012082453324-pat00002
더블 탭(Double Tap)
Figure 112012082453324-pat00003
드래그(Drag)
Figure 112012082453324-pat00004
드래그&드롭(Drag&Drop)
Figure 112012082453324-pat00005
플릭(Flick)
Figure 112012082453324-pat00006
표 1은 하나의 손가락을 이용한 제스처 타입에 대해 설명한다.
표 1을 참고하면, 하나의 손가락을 이용한 제스처 타입에는 탭(Tap), 터치&홀드(Touch&Hold), 더블 탭(Double Tap), 드래그(Drag), 드래그&드롭(Drag&Drop), 및 플릭(Flick) 등이 있다. 탭(Tap)은 사용자가 터치 스크린을 살짝 눌렀다 땐 동작을 의미 하고, 터치&홀드(Touch&Hold)는 사용자 장시간 터치를 하는 동작이며, 더블 탭(Double Tap)은 사용자가 빠르게 두 번 탭하는 동작을 의미한다. 그리고, 드래그(Drag)는 한 방향으로 끄는 동작이고, 드래그&드롭(Drag&Drop)은 터치 스크린 상의 임의의 객체를 누른 뒤, 한 위치에서 다른 위치로 끌어당기는 동작이고, 플릭(Flick)은 빠르게 드래그하는 동작이다.
타입(Type) 마크(Mark)

Two
Finger
Gesture
 투 핑거 탭(Two finger Tap)
Figure 112012082453324-pat00007
터치&스프레드(Touch&Spread)
Figure 112012082453324-pat00008
핀치 아웃(Pinch Out)
Figure 112012082453324-pat00009
핀치 인(Pinch In)
Figure 112012082453324-pat00010
투 핑거 드레그(Two finger Drag)
Figure 112012082453324-pat00011
크로쓰 투 핑거(Cross Two Finger)
Figure 112012082453324-pat00012
터치&로테이트(Touch&Rotate)
Figure 112012082453324-pat00013
표 2는 두 개의 손가락을 이용한 제스처 타입에 대해 설명한다.
표 2를 참고하면, 두 개의 손가락을 이용한 제스처 타입에는 투 핑거 탭(Two finger Tap), 터치&스프레드(Touch&Spread), 핀치 아웃(Pinch Out), 핀치 인(Pinch In), 투 핑거 드레그(Two finger Drag), 크로쓰 투 핑거(Cross Two Finger), 터치&로테이트(Touch&Rotate) 등이 있다. 투 핑거 탭은 두 손가락이 동시에 탭하는 동작이고, 터치&스프레드는 두 손가락이 동시에 터치 스크린을 누르고, 한쪽 손가락은 움직이지 않고, 다른 한쪽만 직선으로 움직이는 동작이다. 핀치 아웃은 동시에 두 손가락이 터치 스크린을 누른 뒤 서로 반대방향으로 드래그하는 동작이며, 핀치 인은 동시에 두 손가락이 터치 스크린을 누른 뒤 서로 마주보는 방향으로 드래그하는 동작이다. 투 핑거 드래그는 두 손가락이 동일한 방향으로 드래그하는 동작이며, 크로스 투 핑거는 서로 마주 보는 방향으로 동시에 드래그되어, 엇갈려 나가는 동작이다. 마지막으로 터치&로테이트는 한 손가락은 움직이지 않고, 다른 한쪽만 고정된 한 손가락을 중심으로 로테이트하는 터치 동작을 의미한다.
타입(Type) 마크(Mark)
Multi
Finger
Gesture		 쓰리 핑거 터치
Figure 112012082453324-pat00014
포 핑거 터치
Figure 112012082453324-pat00015
파이브 핑거 터치
Figure 112012082453324-pat00016
Palm 손바닥(Parm)
Figure 112012082453324-pat00017
표 3은 두 개 이상의 손가락을 이용한 제스처 및 손바닥을 이용한 제스처 타입에 대해 설명한다.
표 3을 참고하면, 두 개 이상의 손가락을 이용한 제스처 타입에는 쓰리 핑거 터치, 포 핑거 터치, 파이브 핑거 터치 등이 있다. 또한, 2개 이상의 손가락을 이용하여 상술한 표 1, 표 2에서와 같이 탭, 드레그, 로테이트 같은 제스처 동작을 수행할 수 있다.
공간 제스처 타입
상술한 제스처에 추가적으로 공간 제스처 셋(gesture set)의 일 실시 예는 다음과 같이 정의할 수 있다.
명칭 동작 대응 명령
쉐이크(Shake) 손바닥을 죄우로 흔듬 뒤로 넘김/취소
레프트(Left) 손을 옆으로 펴고 좌측으로 이동 페이지 좌측으로 이동
라이트(Right) 손을 옆으로 펴고 우측으로 이동 페이지 우측으로 이동
그립(Grip) 주먹을 쥠 컨텐츠/UI 선택 또는 고정
네비게이트(Navigate) 주먹쥐고 이동 선택 컨텐츠 이동
핀치(Pinch) 두 손을 좌우로 확장 또는 축소 화면 확대/축소
명칭 동작 대응 명령
탭(Tap) 손가락으로 터치 동작 선택
터치와 이동(Touch & Move) 손가락으로 터치 후 이동 선택 후 이동
더블 탭(Double Tap) 손가락으로 투 터치 선택 후 실행
로테이트(Rotate) 손가락으로 원을 그림 음악컨텐츠 플레이
핀치(Pinch) 두 손가락을 좌우로 확장 또는 축소 화면 확대/축소
표 4는 공간 제스처 셋 가운데 기본 셋(basic set)을 나타낸 표이고, 표 5는 손가락 셋(finger set)을 나타낸 표이다.
상술한 바와 같이 사용자 제스처는 싱글 핑거 제스처, 투 핑거 제스처, 멀티 핑거 제스처, 팜 제스처, 멀티 팜 제스처, 피스트 제스처, 멀티 피스트 제스처 중 어느 하나일 수 있다.
설명한 공간 제스처 셋은 일 실시 예며, 명칭, 동작 또는 대응 명령은 다른 방식으로 정의될 수 있다. 또한, 동일한 제스처인 경우에도 실행하는 컨텐츠에 따라 각 컨텐츠에 적합하도록 대응 명령이 달라질 수 있으며, 다른 제스처 셋이 추가될 수 있다. 터치 스크린 상의 터치 제스처 셋(touch gesture set), 공간 제스처의 2D 제스처 셋(2D gesture set) 및 3D 제스처 셋(3D gesture set)을 동일 또는 유사하게 구성하는 경우 사용자가 편리하게 사용할 수 있다. 경우에 따라, 사용자가 고유의 제스처 셋을 설정하여 사용할 수 있도록 멀티 디스플레이 장치(100)는 제스처 셋 설정 메뉴를 포함할 수 있다.
아래에서는 상술한 다양한 사용자 제스처에 따른 구체적인 화면 변경에 대해 설명한다.
도 16은 레프트(Left) 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다. 레프트 제스처는 사용자의 객체를 왼쪽 방향으로 플릭(flick)시키는 제스처를 의미한다.
도 16에서는 레프트 제스처에 관련된 내용만을 도시하였으며, 구체적인 장치 구성과 화면 구성은 생략하였다. 도 16에서 화면의 페이지를 나타내는 카운터는 현재 화면이 몇 페이지에 해당하는지 표시한다. 도 16의 (1)에 도시한 바와 같이, 제1 디스플레이부(190a)에는 제1 페이지(1410)가 표시되고, 제2 디스플레이부(190b)에는 제2 페이지(1420)가 표시된다. 하나의 사용자 객체(81)는 손을 옆으로 편 형상으로 우측에서 좌측으로 이동한다. 사용자 객체(81)의 이동 영역은 제스처 인식 영역 내에 포함되어야 한다.
사용자 객체(81)의 이동은 제1 및 제2 카메라에 의해 촬상되고, 제어부는 사용자 객체(81)의 이동을 검출하여 레프트 제스처를 인식한다. 제어부가 레프트 제스처를 인식하면 여기에 대응하여 페이지를 좌측으로 이동시키는 동작을 수행한다. 따라서, 도 16의 (2)에 도시한 바와 같이 제1 및 제2 페이지(1410, 1420)의 다음 페이지에 해당하는 제3 페이지(1411)와 제4 페이지(1421)가 각각 제1 및 제2 디스플레이부(190a, 190b)에 표시된다.
도 16에 도시된 바와 달리 사용자 객체를 오른쪽으로 플릭시키는 라이트 제스처가 인식된 경우에는 현재 표시되는 페이지의 이전 두 페이지가 제1 및 제2 디스플레이부(190a, 190b)에 표시된다.
도 17은 그립(Grip)과 네비게이트(Navigate) 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다.
그립 제스처는 주먹을 쥐는 동작을 의미한다. 그립 제스처에 의해 UI 객체(예를 들어, 아이콘, 폴더 등)가 선택된다. 제1 카메라(141)에서는 손을 편 모습에서부터 주먹을 쥐는 모습으로 변화되는 사용자 객체(82a)가 촬상된다. 제2 카메라(142)에서는 손끝 모습에서부터 주먹 모습으로 변화되는 사용자 객체(82a)가 촬상된다. 제어부(130)는 제1 카메라(141) 및 제2 카메라(142)에서 촬상된 사용자 객체(82a)의 변화를 분석하여 그립 제스처로 인식한다.
네비게이트 제스처는 주먹을 쥐고 이동하는 동작을 의미한다. 선택된 UI 객체는 네비게이트 제스처에 의해 사용자 객체(82a)의 이동에 대응한 위치로 이동된다. 상술한 바와 같이 네비게이트 제스처도 제1 및 제2 카메라(141, 142)에 촬상된 이미지를 제어부(130)가 분석하여 인식될 수 있다.
도 17의 (1)을 참조하면, 제1 디스플레이부(190a)에는 몇 개의 어플리케이션 아이콘, 위젯, 현재시간, 세계시각 메뉴가 존재한다. 사용자 객체(82a)는 공간 제스처를 준비한다. 제1 및 제2 카메라(141, 142)는 사용자 객체(82a)의 움직임을 촬상하고, 제어부는 촬상된 움직임을 검출하여 제스처를 인식한다. 사용자 객체(82a)에 대응되는 포인터(12)는 사용자 객체(82a)의 움직임에 대응하여 화면 상에서 움직인다. 예를 들어, 사용자 객체(82a)가 손을 편 형상으로 제스처 인식 영역에서 움직이면, 포인터(12)도 사용자 객체(82a)의 움직임에 대응하여 화면 상에서 움직인다. 따라서, 사용자는 포인터(12)의 움직임을 확인하여 원하는 아이콘이나 메뉴 상으로 움직일 수 있다. 도 17의 (1)에서는 사용자 객체(82a)의 움직임에 따라 포인터(12)가 이동하여 세계시각 메뉴(1510) 상에 포인터(12)가 위치한다. 이 때, 사용자 객체(82b)는 주먹을 쥐는 그립(Grip) 제스처를 실행한다. 그립 제스처는 아이콘이나 컨텐츠 등을 선택할 수 있다.
도 17의 (2)를 참조하면, 제어부는 그립 제스처를 인식하고 그립 제스처에 대응하는 메뉴 선택 동작을 수행한다. 따라서, 세계시각 메뉴(1510)가 선택된다. 선택 동작이 사용자에게 직관적으로 인식될 수 있도록 제어부는 세계시각 메뉴(1510) 주변에 일정한 색을 가진 테두리(16a)를 표시할 수 있다. 다른 예로서, 선택된 메뉴 아이콘의 색을 변화시키거나, 메뉴 아이콘이 앞으로 튀어나오거나 뒤로 들어간 것처럼 보이도록 하는 효과를 줄 수 있다. 또는, 포인터(12)가 손 모양인 경우, 메뉴 선택 시 포인터(12)를 주먹을 쥔 모습으로 변화시킴으로써 사용자에게 인식시킬 수 있다.
이 상태에서 사용자 객체(82c)는 네비게이트(Navigate) 제스처를 실행한다. 네비게이트 제스처는 주먹을 쥔 상태에서 일정한 방향으로 이동하는 동작이다. 네비게이트 제스처는 선택한 아이콘이나 컨텐츠를 일정한 방향으로 이동시킬 수 있다.
도 17의 (3)을 참조하면, 사용자 객체(82c)는 주먹을 쥔 상태에서 제1 바디(2)에서 제2 바디(4)로 비스듬히 움직인다. 즉, 사용자 객체(82c)의 이동에 따라, 세계 시각 메뉴(1511)도 이에 대응하여 제1 디스플레이부(190a)에서 제2 디스플레이부(190b)로 이동한다. 사용자에게 그립 제스처를 인식시키기 위한 세계시각 메뉴(1511) 주변의 테두리(16b)는 그립 상태가 유지되는 동안 함께 유지된다.
세계시각 메뉴(1511)가 제2 디스플레이부(190b)로 이동하면 사용자 객체(82d)는 손을 펴는 제스처를 한다.
도 17의 (4)를 참조하면, 제어부는 손을 펴는 제스처를 메뉴 실행으로 인식하여 제2 디스플레이부(190b) 상에 세계 지도와 함께 특정 지역의 시간과 날씨 정보를 표시(1520)한다.
도 18은 로테이트(Rotate) 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다.
도 18의 (1)을 참조하면, 제1 디스플레이부(190a) 상에는 음악 리스트가 존재한다. 음악 리스트는 CD 케이스를 입체적으로 회전하는 형태로 표시될 수 있다. 음악 리스트를 표시하는 다른 예로서, 음악 리스트는 CD 타이틀로 표시될 수 있고, 평면상의 섬네일(thumbnail) 이미지로 표시될 수 있다. 사용자 객체(83)는 레프트 또는 라이트 제스처를 이용하여 음악 CD 리스트를 회전시킬 수 있다. 플레이하고자 하는 MUSIC 3의 CD(1610)가 제1 디스플레이부(190a)의 맨 앞으로 오면 그립 및 네비게이트 제스처를 이용하여 MUSIC 3의 CD(1620)를 제2 디스플레이부(190b)로 이동시킨다. 그립 및 이동 제스처와 멀티 디스플레이 장치(100)에서 대응되는 동작은 도 17에서 설명한 방법과 같다.
제1 디스플레이부(190a)에서 이동한 Music 3의 CD(1620)가 제2 디스플레이부(190b)에 표시되고, 플레이 상태를 나타내는 진행 바(1630)가 표시된다. 경우에 따라, 하나의 CD에 다수의 음악 파일이 존재하는 경우, 어느 하나의 음악을 선택하는 과정이 포함될 수 있다.
사용자는 사용자 객체(83)로 원을 그리는 로테이션 제스처를 한다.
도 18의 (2)를 참조하면, 멀티 디스플레이 장치(100)는 사용자 객체(83)의 로테이션 제스처가 인식되면 제2 디스플레이부(190b)에 표시된 음악을 플레이시키고 진행 상태를 진행 바(1631)에 표시할 수 있다.
도 19는 핀치(Pinch) 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다.
도 19의 (1)을 참조하면, 제1 디스플레이부(190a) 상에는 이미지 리스트(1710)가 존재한다. 이미지 리스트(1710)는 입체적으로 회전하는 형태로 표시될 수 있다. 이미지 리스트를 표시하는 다른 예로서, 이미지 리스트는 이미지 이름만 표시될 수 있고, 평면상의 섬네일 이미지로 표시될 수 있다.
사용자 객체(84a)는 손바닥을 편 상태에서 상하좌우로 이동하는 제스처를 하여 이미지 리스트(1710)를 회전시킬 수 있다. 상술한 바와 같이, 동일한 제스처인 경우에도 실행하는 컨텐츠에 따라 각 컨텐츠에 적합하도록 대응 명령이 달라질 수 있다. 제1 디스플레이부(190a)에는 이미지 리스트(1710)만을 입체적인 형태로 표시하고 있고, 가운데 제일 큰 이미지(1720)만 선택되도록 표시할 수 있다. 따라서, 손바닥을 편 상태에서 상하좌우로 이동하는 제스처는 이미지 리스트(1710)를 회전시키는 명령에 대응될 수 있다.
사용자 객체(84b)는 그립 제스처와 제1 바디(2)에서 제2 바디(4) 쪽으로 미는 네비게이트 제스처를 하여, 제1 디스플레이부(190a)에 표시된 가운데 제일 큰 이미지(1720)를 제2 디스플레이부(190b)로 이동시킨다.
도 19의 (2)에서 도시한 바와 같이, 제1 디스플레이부(190a)에 표시된 가운데 제일 큰 이미지(1720)는 제2 디스플레이부(190b)로 이동하여 제2 디스플레이부(190b)에 전체 화면(1721)으로 펼쳐진다.
사용자 객체(84c)는 제2 디스플레이부(190b)에 펼쳐진 이미지를 핀치 제스처로 확대하거나 축소시킬 수 있다. 핀치 제스처는 두 손가락을 좌하, 우상 방향으로 벌리거나 좌상, 우하 방향으로 좁히는 동작을 의미한다.
도 19의 (3)에서 도시한 바와 같이, 사용자 객체(84c)의 핀치 줌 인 제스처에 대응하여 제어부는 제2 다스플레이부(190b) 상의 이미지를 확대(1722)시킬 수 있다. 또한, 사용자 객체의 핀치 줌 아웃 제스처에 대응하여 이미지를 축소시킬 수 있다.
도 20은 손가락 셋(finger set)의 터치와 이동(Touch & Move) 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다. 공간 제스처 셋 중에서 터치 제스처는 디스플레이부(190a, 190b)에 직접 터치하는 것은 아니고, 디스플레이부(190a, 190b)에 근접하는 사용자 객체의 움직임을 의미한다. 하지만, 사용자 객체의 움직임이 직접 터치하는 동작과 유사하므로 편의상 터치 제스처라고 명명한다.
도 20의 (1)을 참조하면, 세로로 세워진 멀티 디스플레이 장치(100)에서 전자 책(e-book)을 실행하고 있는 화면을 도시하고 있다. 제1 디스플레이부(190a)에는 전자 책의 좌측 페이지가 표시되고, 제2 디스플레이부(190b)에는 전자 책의 우측 페이지가 표시된다.
전자 책의 페이지를 우측에서 좌측으로 넘기기 위해 사용자 객체(85)는 손가락으로 공간상의 제스처 인식 영역에서 터치 제스처를 하고 우측에서 좌측으로 이동한다. 제어부는 터치 및 이동 제스처를 인식하여 대응하는 명령을 수행한다.
도 20의 (2)를 참조하면, 전자 책의 우측 페이지를 좌측으로 넘겨서 제스처 실행 전 표시되었던 페이지의 다음 두 페이지를 제1 및 제2 디스플레이부(190a, 190b)에 표시한다. 이 경우, 사용자에게 사실적인 느낌을 줄 수 있도록 실제 책의 페이지가 넘어가는 것과 같은 효과를 줄 수 있다.
도 21 내지 도 27은 본 발명의 일 실시 예에 따른 멀티 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다.
멀티 제스처는 각각의 사용자 객체가 상술한 제스처를 각각 취할 수 있고, 두 개의 사용자 객체를 이용하여 하나의 제스처를 취할 수도 있다.
도 21은 핀치 제스처에 의한 사용자 인터페이스 변경을 예시한 도면이다. 멀티 제스처 인식 모드에서는 적어도 두 개의 사용자 객체(91. 92)가 제스처 인식을 위한 도구로 사용될 수 있다. 도 21의 (1)을 참조하면, 제1 디스플레이부(190a)의 일부 영역에 A의 이미지(1810)가 존재한다.
제스처 움직임의 설명을 위해 방향을 정의한다. 멀티 디스플레이 장치(100)에서 수평으로 멀어지는 방향을 X축 방향, 멀티 디스플레이 장치(100)의 제1 바디(2)에서 힌지가 연결된 한쪽 끝단에서 제1 바디(2)의 힌지가 연결된 다른쪽 끝단으로 수평으로 움직이는 방향을 Y축 방향, 바닥면에서 수직위로 움직이는 방향을 Z축 방향으로 정의한다.
제1 사용자 객체(91)는 그립 제스처를 표현하기 위해 주먹을 쥐는 동작을 하고, 제2 사용자 객체(92)는 주먹을 쥔 채 우상 방향, 즉 Y-Z 평면 상의 일 방향으로 이동한다. 제어부는 제1 및 제2 사용자 객체(91, 92)의 제스처를 인식하여 이에 대응되는 동작을 수행한다.
도 21의 (2)를 참조하면, 제어부는 제1 사용자 객체(91)의 그립 제스처와 제2 사용자 객체(92)의 그립 및 Y-Z 평면 상의 일 방향으로 확장하는 제스처를 이미지 확장 제스처로 인식한다. 따라서, 제1 디스플레이부(190a)의 일부 영역에 존재하는 A의 이미지(1810)를 제1 및 제2 디스플레이부(190a, 190b) 전체 영역(1811)으로 확장한다.
도 22 내지 도 26은 멀티 제스처에 의한 입체 이미지가 표시된 화면의 변경을 예시한 도면이다.
도 22를 참조하면 제1 및 제2 터치 스크린(190a, 190b) 전체 화면으로 하나의 입체 이미지(1910)가 표시된다. 제1 및 제2 바디(2, 4)에는 각각 제1 및 제2 카메라(141, 142)가 배치된다. 제스처 인식 영역에서 두 개의 사용자 객체(93a, 94a)의 움직임은 제1 및 제2 카메라(141, 142)에 의해 촬상되고, 제어부는 제스처를 인식한다. 경우에 따라 멀티 제스처 인식 모드에서는 세 개 이상의 사용자 객체가 제스처 동작 수단으로 사용될 수 있다.
멀티 제스처 인식 모드에서도 사용자가 사용자 객체의 움직임에 대응되는 디스플레이부 상의 위치를 인지할 수 있도록 제어부는 대응되는 포인터(14a, 14b)를 표시해 줄 수 있다. 이 경우, 각각의 사용자 객체에 대응되도록 사용자 객체의 개수와 동일한 개수의 포인터를 표시해 줄 수 있다. 각각의 포인터(14a, 14b)는 대응되는 사용자 객체(93a, 94a)의 움직임에 따라 화면 상에서 움직인다. 예를 들어, 사용자 객체(93a, 94a)가 터치 스크린 방향으로 손을 펴고 제스처 인식 영역에서 움직이면, 포인터(14a, 14b)도 사용자 객체(93a, 94a)에 대응하여 화면 상에서 움직인다.
도 23의 (1)을 참조하면 제1 사용자 객체(93b)는 그립 제스처를 표현하기 위해 주먹을 쥐고, 제2 사용자 객체(94b)는 손을 편 채로 우상, 즉 Y-Z 평면 상의 일 방향으로 이동한다.
도 23의 (2)는 제2 사용자 객체(94b)가 움직이는 방향을 도시한 도면이다. 제2 사용자 객체(94b)는 Y-Z 평면 상의 일 방향(24b)으로 이동한다.
제어부는 제1 및 제2 사용자 객체(93b, 94b)의 제스처를 인식하여 이에 대응되는 동작을 수행한다. 즉, 제어부는 제1 사용자 객체(93b)의 그립 제스처 및 제2 사용자 객체(94b)의 Y-Z 평면 상의 일 방향(24b)으로 이동하는 제스처를 핀치 줌 인 제스처로 인식한다. 따라서, 제1 및 제2 디스플레이부(190a, 190b)의 입체 이미지(1911)는 핀치 줌 인 제스처에 대응하여 확장된다.
도 24의 (1)을 참조하면 제1 사용자 객체(93c)는 그립 제스처를 표현하기 위해 주먹을 쥐고, 제2 사용자 객체(94c)는 손을 편 채로 제1 디스플레이부(190a)로부터 사용자 앞쪽 방향으로 원을 그리면서 이동한다.
도 24의 (2)는 제2 사용자 객체(94c)가 움직이는 방향을 도시한 도면이다. 제2 사용자 객체(94c)는 X-Z 평면 상의 일 방향(24c)으로 원을 그리면서 이동한다.
제어부는 제1 및 제2 사용자 객체(93c, 94c)의 제스처를 인식하여 이에 대응되는 동작을 수행한다. 즉, 제어부는 제1 사용자 객체(93c)의 그립 제스처와 제2 사용자 객체(94c)의 X-Z 평면 상의 일 방향(24c)으로 원을 그리면서 이동하는 제스처를 입체 이미지(1912)의 회전 제스처로 인식한다. 따라서, 제1 및 제2 디스플레이부(190a, 190b)의 입체 이미지(1912)는 X축 방향으로 90도 회전하여 입체 이미지(1912)의 윗 부분이 제1 및 제2 디스플레이부(190a, 190b)에 표시된다.
도 25의 (1)을 참조하면 제1 사용자 객체(93d)는 손을 옆으로 펴고 사용자 방향으로 이동하고, 제2 사용자 객체(94d)는 손을 옆으로 펴고 멀티 디스플레이 장치(100) 방향으로 이동한다.
도 25의 (2)는 제1 및 제2 사용자 객체(93d, 94d)가 움직이는 방향을 도시한 도면이다. 제1 사용자 객체(93d)는 X축 방향(23d)으로 이동하고, 제2 사용자 객체(94d)는 제1 사용자 객체(93d)가 움직이는 반대 방향, 즉, -X축 방향(24d)으로 이동한다.
제어부(130)는 제1 및 제2 사용자 객체(93d, 94d)의 제스처를 인식하여 이에 대응되는 동작을 수행한다. 즉, 제어부(130)는 제1 사용자 객체(93d)의 제스처와 제2 사용자 객체(94d)의 제스처를 입체 이미지(1913)를 반시계 방향으로 회전하는 제스처로 인식한다. 따라서, 인식된 제스처에 대응하여 제1 및 제2 디스플레이부(190a, 190b)의 입체 이미지(1913)는 반시계 방향으로 회전한다.
도 26의 (1)을 참조하면 제1 사용자 객체(93e)는 손을 옆으로 펴고 우측 방향으로 이동하고, 제2 사용자 객체(94e)는 손을 옆으로 펴고 좌측 방향으로 이동한다. 이 때 제1 사용자 객체(93e)에 대응되는 제1 포인터(14a)는 제1 디스플레이부(190a) 상에 위치하고, 제2 사용자 객체(94e)에 대응되는 제2 포인터(14b)는 제2 디스플레이부(190b) 상에 위치한다. 즉, 제1 포인터(14a)는 입체 이미지(1914)의 좌하 영역에 위치하고, 제2 포인터(14b)는 입체 이미지(1914)의 우상 영역에 위치한다.
도 26의 (2)는 제1 및 제2 사용자 객체(93e, 94e)가 움직이는 방향을 도시한 도면이다. 제1 사용자 객체(93e)는 Y축 방향(23e)으로 이동하고, 제2 사용자 객체(94e)는 -Y축 방향(24e)으로 이동한다.
제어부(130)는 제1 및 제2 사용자 객체(93e, 94e)의 제스처를 인식하여 이에 대응되는 동작을 수행한다. 즉, 제어부(130)는 제1 사용자 객체(93e)의 제스처 및 제2 사용자 객체(94e)의 제스처를 입체 이미지에 힘을 가하는 제스처로 인식한다. 따라서, 인식된 제스처에 대응하여 입체 이미지(1914)의 좌하 영역은 오른쪽으로 힘을 받고 우상 영역은 왼쪽으로 힘을 받아 형상의 변화가 발생한다.
도 27은 멀티 제스처를 이용한 다른 실시 예를 도시한 도면이다.
도 27의 (1)을 참조하면, 제1 디스플레이부(190a)에는 그림 이미지(19a)가 표시된다. 제2 디스플레이부(190b)에는 색을 선택할 수 있는 툴셋(tool set)(27)이 표시된다. 제1 사용자 객체(95)는 공간 제스처 중 탭(Tap) 제스처를 이용하여 툴바(39) 중 제1 색(18a) 및 제2 색(18b)을 선택할 수 있다. 탭(Tap) 제스처는 손가락을 이용하여 공간 상에서 터치하는 동작을 의미한다. 만일, 사용자가 제1 색(18a)의 선택을 해제하려면 다시 한 번 제1 색(18a)에 대해 탭 동작을 하여 선택을 해제할 수 있다. 두 개의 색이 선택된 상태에서 제2 사용자 객체(96)는 대응되는 포인터를 색을 칠하려는 부분(19a)에 위치시킨다. 그리고, 제1 사용자 객체(95)는 색칠을 하는 제스처 또는 색칠 메뉴를 선택하고, 제2 사용자 객체(96)는 터치 스크린 방향으로 손바닥을 향한 뒤 왼쪽에서 오른쪽으로 천천히 움직인다.
도 27의 (2)는 상술한 제스처의 결과를 도시한 도면이다. 제어부는 제1 및 제2 사용자 객체(95, 96)의 제스처를 인식하여 이에 대응되는 동작을 수행한다. 즉, 제어부는 제2 사용자 객체(96)의 제스처에 대응하여 색을 칠하려는 부분(19b)을 선택된 두 색(18a, 18b)을 근거로 그라데이션(gradation)으로 색을 칠할 수 있다.
지금까지 멀티 디스플레이 장치가 카메라를 이용하여 공간 제스처를 인식하고 대응되는 동작을 수행하는 다양한 실시 예에 대해 설명하였다. 일반적으로, 멀티 디스플레이 장치(100)는 제1 및 제2 바디(2, 4)에 각각 배치된 두 개의 카메라를 이용하여 사용자의 제스처를 인식한다. 그러나, 카메라는 두 개 이상이 배치될 수 있으며, 배치 위치도 다양하게 구현될 수 있다.
<카메라 배치에 관한 다양한 실시 예>
도 28 내지 도 29는 본 발명의 다양한 실시 예에 따른 멀티 디스플레이 장치의 두 개의 카메라 배치 예를 설명하기 위한 도면이다. 도 28 내지 도 29는 멀티 디스플레이 장치(100)를 정면에서 바라본 모습이다. 카메라의 배치를 설명하기 위한 도면이므로 카메라 외의 다른 부분은 생략되었다.
먼저, 도 28을 참조하면 멀티 디스플레이 장치(100)는 제1 바디(2) 및 제2 바디(4)로 구성되며, 제1 바디(2)는 제1 디스플레이부(190a)를 포함하고, 제2 바디(4)는 제2 디스플레이부(190b)를 포함한다. 제1 바디(2) 및 제2 바디(4)는 힌지부(185)에 의해 연결되어 상대적으로 이동 가능하도록 구성된다. 제1 카메라(141)는 제1 바디(2)의 가장자리 영역 중 상기 힌지부(185)의 맞은 편 가장자리 영역의 중앙부에 배치될 수 있다. 제2 카메라(142)는 제2 바디(4)의 가장자리 영역 중 상기 힌지의 맞은 편 가장자리 영역의 중앙부에 배치될 수 있다.
다음으로, 도 29를 참조하여 카메라의 배치를 설명하도록 한다. 설명의 편의를 위해 사용자가 멀티 디스플레이 장치(100)를 바라보는 방향을 기준으로 설명한다. 제1 카메라(141')는 제1 바디(2) 좌측 가장자리 영역의 중앙면에 배치될 수 있고, 제2 카메라(142')는 제2 바디(4) 좌측 가장자리 영역의 중앙면에 배치될 수 있다. 다른 실시 예로는 제1 및 제2 카메라는 각각 제1 및 제2 바디(2, 4)의 우측 가장자리 영역의 중앙면에 배치될 수 있다. 또 다른 실시 예로는 제1 및 제2 카메라는 각각 제1 및 제2 바디(2, 4)의 모서리 영역에 배치될 수 있다. 멀티 디스플레이 장치(100)는 도 19에서 도시한 바와 같이 가로 방향으로 사용 가능할 뿐만 아니라 세로 방향으로도 사용 가능하다.
제1 및 제2 카메라(141', 142')가 제1 및 제2 바디(2, 4)의 좌측 또는 우측 가장자리 영역에 배치되는 경우, 사용자는 좌측 손 또는 우측 손은 제스처를 이용하고, 반대 쪽 손은 터치 스크린을 터치하여 멀티 디스플레이 장치(100)에 명령을 입력하기에 편리하다.
도 30 내지 도 32는 본 발명의 다양한 실시 예에 따른 세 개 이상의 멀티 카메라를 구비한 멀티 디스플레이 장치를 도시한 도면이다.
도 30은 본 발명의 일 실시 예에 따른 세 개의 카메라가 구비된 멀티 디스플레이 장치를 도시한 도면이다. 도 30을 참조하면, 제1 및 제2 카메라(143, 144)는 제1 바디(2)의 제1 디스플레이부(190a)와 같은 면에 배치되고, 제3 카메라(145)는 제2 디스플레이부(190b)와 같은 면에 배치될 수 있다. 제1 및 제2 카메라(143, 144)는 제1 바디(2)의 힌지부(185)와 접하지 않는 두 모서리 영역에 배치될 수 있고, 제3 카메라(145)는 제2 바디(4)의 힌지부(185) 맞은편 가장자리 영역의 중앙부에 배치될 수 있다. 경우에 따라 제1 바디(2)에 한 개의 카메라가 배치되고, 제2 바디(4)에 두 개의 카메라가 배치될 수 있다.
도 31은 본 발명의 다른 실시 예에 따른 세 개의 카메라가 구비된 멀티 디스플레이 장치를 도시한 도면이다. 도 31을 참조하면, 제1 카메라(141)는 제1 바디(2)의 제1 디스플레이부(190a)가 배치된 면과 같은 면에 배치되고, 제2 카메라(142)는 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 면과 같은 면에 배치된다. 그리고, 제3 카메라(146)는 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 면의 반대면에 배치될 수 있다. 도 31에는 제1 및 제2 카메라(141, 142)가 힌지부(185)의 맞은편 가장자리 영역의 중앙부에 배치된 멀티 디스플레이 장치(100)가 도시되어 있으나, 여기에 한정되지 않는다. 예를 들어, 제1 및 제2 바디(2, 4)의 가장자리 영역 중 어느 하나의 일 측 가장자리 영역의 중앙부 또는 힌지부(185)와 접하지 않는 모서리 영역에 각각 배치될 수 있다. 제3 카메라(146)도 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 반대면 일 측 모서리 영역에 배치가 한정되는 것은 아니고, 반대측 모서리 영역 또는 제2 바디(4)의 힌지와 접하지 않는 가장자리 영역 중앙부에 배치될 수 있다.
도 32는 본 발명의 일 실시 예에 따른 네 개의 카메라가 구비된 멀티 디스플레이 장치를 도시한 도면이다. 도 32를 참조하면, 제1 및 제2 카메라(143, 144)는 제1 바디(2) 가장자리 영역 중 힌지부(185)와 접하지 않는 두 모서리 영역에 각각 배치될 수 있고, 제3 및 제4 카메라(147, 148)는 제2 바디(4) 가장자리 영역 중 힌지부(185)와 접하지 않는 두 모서리 영역에 각각 배치될 수 있다. 제1 내지 제4 카메라(143, 144, 147, 148)는 도 32에 도시된 배치 위치에 한정되는 것은 아니고, 제1 및 제2 바디(2, 4)의 제1 및 제2 디스플레이부(190a, 190b)와 같은 면의 가장자리 영역 중 임의의 위치 또는 제1 및 제2 디스플레이부(190a, 190b)의 반대 면의 임의의 위치에 배치될 수 있다.
세 개 이상의 멀티 카메라가 배치되는 경우, 두 개의 카메라는 제스처 인식을 위해 사용될 수 있고, 나머지 카메라는 이미지 촬영, 동영상 촬영 등 다른 용도로 사용 가능하다.
도 33은 본 발명의 일 실시 예에 따른 회전이 가능한 카메라가 구비된 멀티 디스플레이 장치를 도시한 도면이다.
도 33을 참조하면, 제1 카메라(141)는 제1 바디(2)의 힌지부(185) 맞은편 가장자리 영역의 중앙부에 배치되고, 회전형 카메라(149)는 제2 바디(4)의 힌지부(185) 맞은편 가장자리 영역의 중앙부에 배치된다. 그리고 회전형 카메라(149)는 제2 바디(4)와 회전 가능한 힌지로 연결될 수 있다. 따라서, 회전형 카메라(149)는 θ2 각도 범위 내에서 회전할 수 있다.
회전형 카메라(149)의 회전 방법은 사용자가 직접 회전시키는 수동형이 될 수 있고, 기설정된 조건에 의해 기설정된 값으로 회전하는 자동형이 될 수 있다. 또는, 수동형과 자동형이 모두 가능한 구조가 될 수 있다. 회전형 카메라(149)는 외부 영상을 촬영하기 위하여 제2 디스플레이부(190b)의 반대면으로 자동으로 회전하거나 수동으로 회전시킬 수 있고, 3D 제스처를 포함한 공간 제스처 인식을 위해 제2 다스플레이부(190b)와 같은 면으로 자동으로 회전하거나 수동으로 회전시킬 수 있다.
공간 제스처는 터치 스크린의 터치나 버튼의 누름과 같은 물리적인 접촉없이 공간 상에서 사용자 객체의 일정한 움직임을 이용하여 멀티 디스플레이 장치(100)를 동작시키는 것을 의미한다. 3D 제스처는 공간 제스처의 한 종류로 3차원적인 움직임을 입력 제스처로 인식하여 멀티 디스플레이 장치(100)를 동작시키는 것을 의미한다.
3D 제스처 인식과 관련한 제1 실시 예로서, 회전형 카메라(149)는 3D 제스처 인식을 위한 최적의 인식 범위를 확보하기 위하여 자동으로 회전할 수 있다. 예를 들어, 멀티 디스플레이 장치(100)는 제스처 인식 모드에 진입하면 사용자에게 카메라를 향하여 손바닥을 펴는 제스처를 요구한다. 사용자가 카메라를 향하여 손바닥을 펴면 멀티 디스플레이 장치(100)는 회전형 카메라(149)를 회전시키면서 제1 카메라(141)와 회전형 카메라(149)의 중첩되는 인식 범위 내에서 최적의 인식 범위를 검출한다. 최적의 인식 범위가 검출되면, 알림음 또는 디스플레이 상의 표시를 통하여 사용자에게 제스처 인식 모드에 진입되었음을 인식시킬 수 있다.
3D 제스처 인식과 관련한 제2 실시 예로서, 멀티 디스플레이 장치(100)는 미리 제1 바디(2)과 제2 바디(4)의 각도와 관련하여 최적의 회전형 카메라(149)의 각도(θ2) 정보를 저장부 등에 저장한다. 사용자가 제스처 인식 모드로 사용하는 경우, 멀티 디스플레이 장치(100)는 제1 바디(2)와 제2 바디(4) 사이의 각도를 검출하고, 검출된 각도에 대응되는 기 설정된 회전형 카메라(149) 각도 정보를 이용하여 회전형 카메라(149)의 각도를 조절할 수 있다.
3D 제스처 인식과 관련한 제3 실시 예로서, 멀티 디스플레이 장치(100)가 제스처 인식 모드에 진입하면, 제1 및 회전형 카메라(141, 149)에서 촬영되는 화면을 제1 및 제2 디스플레이부(190a, 190b)에 표시한다. 사용자가 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 촬영 화면을 보고 수동으로 회전형 카메라(149)의 각도를 조절할 수 있다. 이 경우, 사용자에게 도움을 주기 위해 제1 또는 제2 디스플레이부(190a, 190b) 상에 제스처 인식 가능 여부에 대한 정보를 추가적으로 표시할 수 있다.
도 28 내지 도 33은 카메라의 개수 및 배치 위치에 따른 멀티 디스플레이 장치(100)를 도시하였다. 카메라의 개수는 상술한 도면에 도시된 개수에 한정되는 것은 아니고, 또한, 카메라의 배치 위치도 상술한 배치 위치에 한정되는 것은 아니다.
또한, 도 28 내지 도 33에서는 일 실시 예로서 제1 및 제2 바디(2, 4)에 각각 배치된 두 개의 카메라를 이용하여 3D 제스처를 포함한 공간 제스처를 인식할 수 멀티 디스플레이 장치(100)에 대해서 설명하였다. 그러나, 하나의 카메라는 제스처 인식용, 나머지 카메라는 다른 용도를 위해 사용될 수 있다.
그리고, 터치 스크린을 구비한 멀티 디스플레이 장치(100)가 공간 제스처 인식 모드로 동작하는 경우에도 사용자는 공간 제스처 뿐만 아니라 터치 스크린을 터치하여 명령을 입력할 수 있다.
멀티 디스플레이 장치(100)는 물리적 혹은 그래픽적으로 분리되는 제1 디스플레이부(190a)과 제2 디스플레이부(190b)로 구성된 디스플레이 장치를 구비하고, 두 개의 디스플레이부(190a, 190b)을 활용하여 하기 도 34 내지 도 38과 같은 다양한 스크린 모드(Screen Mode)를 지원할 수 있다.
도 34 내지 도 38은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치(100)의 제1 바디(2)와 제2 바디(4) 사이의 상대 각도에 따른 스크린 모드들을 도시한 도면이다.
상대 각도(θ)는 제1 바디(2)에 대해 소정 방향(일 예로 반시계 방향)으로 회전된 제2 바디(4)의 회전각도이다.
구체적으로, 상대 각도(θ)는 힌지부(185) 자체에 내장된 힌지 센서를 이용하여 검출될 수 있다. 힌지 센서는 홀 센서, 압력 센서, 유도 검출 센서, 전기 컨텍트 센서 및 광학 센서 중 어느 하나로 이루어져 힌지의 움직임 및 상대적인 위치를 검출하여 상대 각도(θ)를 인식할 수 있다. 또한, 상대 각도(θ)는 힌지 센서 이외에도 지자기 센서, 가속도 센서로 제1 및 제2 바디(2, 4) 각각의 위치를 검출하여 인식될 수 있다.
도 34는 멀티 디스플레이 장치(100)가 접혀진 상태를 나타내는 사시도이다. 도 34에 도시된 바와 같이, 제1 바디(2)와 제2 바디(4)상의 제1 및 제2 디스플레이부(190a, 190b)가 각각 서로 대향하고 있는 상태로, 제1 바디(2)와 제2 바디(4)가 맞닿아 있다. 즉, 제1 디스플레이부(190a)의 반대쪽에 제2 디스플레이부(190b)가 위치하게 된다. 사용자가 제1 디스플레이부(190a)를 보면 제2 디스플레이부(190b)는 반대쪽에 위치하게 되므로 사용자는 직접 볼 수가 없다. 이렇게 사용자는 하나의 디스플레이부만을 볼 수 있다. 이때의 상대 각도(θ)는 0도로 정의한다. 도 34에 도시된 바와 같이 접혀진 상태를 싱글 모드(Single Mode)로 명명할 수 있다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 0도 내지 60도 사이일 때 멀티 디스플레이 장치는 싱글 모드로 인지한다. 싱글 모드는 멀티 디스플레이 장치(100)가 사용되지 않는 잠금 상태일 때 및 통화(call) 어플리케이션에서 유용하게 사용될 수 있다. 싱글 모드에서는 전면의 제1 디스플레이부(190a)가 적어도 하나의 어플리케이션에 의한 작업 화면을 표시하며, 후면의 제2 디스플레이부(190b)는 턴-오프 될 수 있다. 일부 어플리케이션은 옵션 메뉴를 사용하여 후면의 제2 디스플레이부(190b)를 턴-온 할 수 있다.
도 35는 제1 바디(2)와 제2 바디(4)가 나란히 평행한 상태로서 상대 각도(θ)가 180도 혹은 소정 범위 내에서 180도에 근접한 상태, 즉 펼친(unfolded) 상태를 도시한 것으로서, 익스펜딩 모드(Expanding Mode)라고 칭한다. 일 예로서, 제1 및 제2 바디(2,4) 간의 상대 각도가 175도-185도의 범위에 있을 때 멀티 디스플레이 장치(100)는 제1 및 제2 바디(2,4)가 펼쳐져 있는 것으로 간주할 수 있다. 익스펜딩 모드는 두 개의 어플리케이션에 대한 두 개의 작업 화면을 두 개의 디스플레이부(109a, 190b)에 각각 표시하거나, 하나의 어플리케이션에 대한 두 개의 작업 화면을 두 개의 디스플레이부(190a, 190b) 각각에 표시하거나, 혹은 하나의 어플리케이션에 대한 하나의 작업 화면을 두 개의 디스플레이부(190a, 190b)에 걸쳐서 넓게 표시하는 등의 다양한 뷰 모드(View Mode)를 제공할 수 있다. 어느 하나의 디스플레이부 내에서 실행되는 어플리케이션이 존재하지 않는 경우, 해당 디스플레이부는 홈 화면을 표시할 수 있다. 익스펜딩 모드는 E-book 및 동영상 플레이어 어플리케이션에서 유용하게 사용될 수 있다.
도 36은 제1 바디(2)에 대한 제2 바디(4)의 상대 각도(θ)가 180도를 초과하는 상태, 즉 두 디스플레이부(190a, 190b)가 안쪽으로 약간 접힌 상태를 도시한다. 본 명세서에서는 이러한 상태를 툴 킷 모드(Tool Kit Mode)라 칭한다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 185도 내지 265도 사이인 경우 툴 킷 모드로 인지한다. 툴 킷 모드는 두 디스플레이부(190a, 190b)가 안쪽을 향하도록 약간 접힌 상태로서 멀티 디스플레이 장치(100)가 노트북과 유사한 형태로 사용될 때 유용하다. 일 예로, 어느 하나의 디스플레이부(190a)에 작업 화면을 표시하고, 다른 하나의 디스플레이부(190b)에는 키보드 등의 툴(Tool)을 표시하는 등 다양한 작업 환경을 제공할 수 있다. 멀티 디스플레이 장치(100)가 툴 킷 모드일 때, 공간 제스처 인식 모드로 동작할 수 있다.
도 37은 제1 바디(2)에 대한 제2 바디(4)의 상대 각도(θ)가 180도 미만인 상태, 즉 두 디스플레이부(190a, 190b)가 서로 거의 반대방향을 향하도록 바깥쪽으로 거의 접힌 상태를 도시한 것이다. 본 명세서에서는 이러한 상태를 스탠딩 모드(Standing Mode)라 칭한다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 30도 내지 90도 사이인 경우, 멀티 디스플레이 장치(100)는 스탠딩 모드로 인지한다. 스탠딩 모드는 두 디스플레이부(190a, 190b)가 바깥쪽을 향하도록 접힌 구조로서, 멀티 디스플레이 장치(100)를 바닥에 삼각형 모양으로 세워 놓을 수 있어서, 충전 시, 멀티 디스플레이 장치(100)를 디지털 시계 혹은 액자로 사용시, 개인 방송, 영화, 동영상 등을 장시간 시청시에 유용하게 사용될 수 있다.
다른 실시 예로서 스탠딩 모드는 2명 이상의 사용자에 의한 협력 혹은 상호작용을 필요로 하는 어플리케이션, 일 예로 화상 회의, 협업 게임(Collaborative Game) 등에 적용될 수 있다. 일부 어플리케이션은 스탠딩 모드에서 전면의 제1 디스플레이부(190a)에만 작업 화면을 표시하며, 후면의 제2 디스플레이부(190b)를 턴-오프 할 수 있다. 일부 어플리케이션은 옵션 메뉴를 사용하여 후면 제2 디스플레이부(190b)를 턴-온 할 수 있다.
도 38은 도 37에서 설명한 스탠딩 모드의 다른 실시 예로서, 힌지의 일부분이 바닥에 닿도록 멀티 디스플레이 장치(100)를 세워 둔 상태를 도시하고 있다. 본 명세서에서는 이러한 상태를 세로보기 모드라 칭한다. 세로보기 모드는 제1 및 제2 바디(2, 4) 간의 상대각도가 30도 내지 90도 사이이고, 가속도 센서에 의해 멀티 디스플레이 장치(100)가 세로로 세워져 있다고 판단되는 경우, 세로보기 모드로 인지한다.
구체적으로, 가속도 센서는 멀티 디스플레이 장치의 회전을 감지한다. 가속도 센서는 멀티 디스플레이 장치(100)의 제1 및 제2 디스플레이부(190a, 190b)가 좌우측에 배치되는 세로보기 모드와 제1 및 제2 디스플레이부(190a, 190b)가 상하측에 배치되는 가로보기 모드 간의 전환을 감지한다.
세로보기 모드는 2명 이상의 사용자에게 각각 다른 영상을 제공할 필요가 있는 어플리케이션, 일 예로 화상 회의, 멀티 동영상 플레이어 등에 적용될 수 있다.
도 39는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 구체적으로 설명하기 위한 블록도이다.
도시한 멀티 디스플레이 장치(100)는 통신부(110)의 셀룰러 통신 모듈(111), 무선랜 모듈(112) 및 근거리 통신 모듈(113)과 커넥터(114) 중 적어도 하나를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치, 휴대폰, 스마트폰, 태블릿 PC(Personal), 컴퓨터 서버 및 디지털 TV 중 적어도 하나를 포함할 수 있다.
도 39를 참조하면, 멀티 디스플레이 장치(100)는 2개의 디스플레이부(190a, 190b)를 포함한다. 도 39에서는 2개의 디스플레이부에 대해서 도시하고 있지만, 이는 3개 이상으로 확장하여 변형 실시될 수 있다.
본 발명의 일 실시 예인 멀티 디스플레이 장치(100)는 통신부(110), 멀티미디어부(120), 제어부(130), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180) 및 제1, 2디스플레이부(190a, 190b)를 포함한다.
통신부(110)는 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 커넥터(114), GPS(Global Positioning System) 모듈(115) 및 방송 통신 모듈(116)을 포함한다.
셀룰러 통신 모듈(111)은 제어부(130)의 제어에 따라 셀룰러 통신 프로토콜에 따른 무선 액세스 기술을 사용하여, 멀티 디스플레이 장치(100)가 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 통해 외부 장치(특히 셀룰러 시스템의 기지국)와 연결되도록 한다.
또한, 셀룰러 통신 모듈(111)은 멀티 디스플레이 장치(100)에 입력되는 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 PC 또는 다른 장치와 같은 통신 가능한 다른 기기와, 음성 통화, 화상 통화, 단문(Short Messaging Service: SMS) 메시지 또는 멀티미디어(Multimedia Messaging Service: MMS) 메시지를 담은 무선 신호를 송/수신한다.
또한, 통신부(110)는 무선랜 모듈(112)과 근거리 통신 모듈(113) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(112)만 포함하거나, 근거리 통신 모듈(113)만 포함하거나 또는 무선랜 모듈(112)과 근거리 통신 모듈(113)을 모두 포함할 수 있다.
무선랜 모듈(112)은 제어부(130)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(112)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.
근거리 통신 모듈(113)은 제어부(130)의 제어에 따라 멀티 디스플레이 장치(100)와 외부 기기 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등을 포함할 수 있다.
커넥터(114)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 장치와의 인터페이스를 제공한다.
커넥터(114)는 멀티 디스플레이 장치(100)와 외부장치 또는 전원소스를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(130)의 제어에 따라 커넥터(114)에 연결된 유선 케이블을 통해 멀티 디스플레이 장치(100)의 저장부(170)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치에서부터 데이터를 수신할 수 있다. 커넥터(114)에 연결된 유선 케이블을 통해 전원소스에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.
GPS 모듈(115)은 지구 궤도상에 있는 복수의 GPS위성들(도시되지 아니함)에서부터 전파를 수신하고, GPS위성들(도시되지 아니함)에서부터 멀티 디스플레이 장치(100)까지 전파도달시간(Time of Arrival) 및 GPS 파라미터들을 이용하여 멀티 디스플레이 장치(100)의 위치를 산출할 수 있다.
방송 통신 모듈(116)은 제어부(130)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다.
멀티미디어부(120)는 오디오 재생 모듈(121) 및 비디오 재생 모듈(122)를 포함한다.
오디오 재생 모듈(121)은 제어부(130)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 비디오 재생 모듈(122)은 디지털 비디오 파일을 재생할 수 있도록 다양한 형식의 코덱을 지원한다. 즉, 재생하려는 비디오 파일의 코덱 형식에 맞도록 기 저장된 코덱에 의해서 비디오 파일을 재생한다. 또한, 멀티미디어부(120)의 오디오재생 모듈(121) 또는 비디오재생 모듈(122)은 제어부(130)에 포함될 수 있다.
제어부(130)는 CPU와, 멀티 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM) 및 멀티 디스플레이 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 멀티 디스플레이 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(Random Access Memory: RAM)을 포함한다. CPU는 싱글 코어 프로세서, 듀얼 코어 프로세서, 트리플 코어 프로세서 및 쿼드 코어 프로세서 중 적어도 하나를 포함할 수 있다. CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결된다.
제어부(130)는 통신부(110), 멀티미디어부(120), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180), 제1 및 제2 디스플레이부(190a, 190b)를 제어한다.
촬상부(140)는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 포함한다. 도 39에서는 제1 촬상부(141)과 제2 촬상부(142)만을 도시하였으나, 실시 예에 따라서 추가적인 촬상부를 포함할 수 있다.
촬상부(140)는 제어부(130)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 포함할 수 있다. 경우에 따라, 추가적으로 몇 개의 촬상부를 더 포함할 수 있다. 제1 촬상부(141) 및 제2 촬상부(142)는 멀티 디스플레이 장치(100)의 바디(body)에 구비되거나 혹은 별도의 연결 수단을 사용하여 멀티 디스플레이 장치(100)에 연결될 수 있다. 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다.
일 실시 예로서, 제1 촬상부(141)는 멀티 디스플레이 장치(100) 전면에 배치되고, 제2 촬상부(142)는 멀티 디스플레이 장치(100)의 후면에 배치될 수 있다. 다른 실시 예로서, 제1 촬상부(141)와 제2 촬상부(142)는 인접하게(예, 제1 촬상부(141)와 제2 촬상부(142)의 간격이 1 cm 보다 크고, 8 cm 보다는 작게) 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다. 또 다른 실시 예로서, 제1 촬상부(141)는 제1 바디에 배치되고, 제2 촬상부(142)는 제2 바디에 배치될 수 있다.
촬상부는 렌즈와 이미지 센서를 포함한다. 촬상부에 사용할 수 있는 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있다. 제1 및 제2 촬상부(140a, 140b)는 일반적으로 동일한 렌즈를 구비한 촬상부들로 구성되지만, 경우에 따라, 서로 다른 렌즈를 구비한 촬상부들로 구성될 수 있다.
이미지 센서에는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD)가 있다. 제1 및 제2 촬상부(140a, 140b)는 일반적으로 한 종류의 이미지 센서로 구성되지만, 다른 종류의 이미지 센서의 조합으로 구성될 수도 있다. 예를 들어, 제1 및 제2 촬상부(140a, 140b) 모두 CMOS 또는 CCD를 사용할 수 있고, 제1 촬상부(140a)은 CMOS, 제2 촬상부(140b)는 CCD를 사용할 수 있다.
촬상부(140)는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 통해 촬상된 이미지를 제어부(130)로 전달한다. 제어부(130)는 이미지를 분석하여 사용자의 움직임 혹은 형상을 감지(detect)하고, 감지된 움직임 혹은 형상에 대응되는 제어 동작을 수행한다. 일 예로서 사용자의 움직임이란 제1 혹은 제2 촬상부(141, 142)를 통해 감지되는 사용자의 손의 움직임을 의미한다. 사용자의 형상이란 제1 혹은 제2 촬상부(141, 142)를 통해 감지되는 사용자의 얼굴 형상을 의미할 수 있다.
또 다른 실시 예로서 멀티 디스플레이 장치(100)는 적외선 감지기와 같은 다른 수단을 사용하여 사용자의 움직임을 감지하고, 상기 움직임에 응답하여 어플리케이션을 실행 혹은 제어할 수 있다.
센서부(150)는 터치 센서(151), 지자기 센서(152), 가속도 센서(153), 힌지 센서(154) 및 근접 센서(155)를 포함한다.
터치 센서(151)는 사용자의 디스플레이부에 대한 터치를 감지할 수 있는 센서이다. 터치 센서(151)는 사용자의 터치를 감지하는 방식에 따라 정전 방식과 압전 방식으로 나뉠 수 있다. 본원 발명의 일 실시 예에 따른 터치 센서(151)는 두 가지 방식으로 각각 구현될 수 있다. 터치 센서(151)는 디스플레이 패널과 함께 디스플레이부를 구성할 수 있다. 이에 대한 구체적인 설명은 별도의 도면을 통해서 이하에서 별도로 설명한다.
터치 센서(151)는 손가락과 같은 신체 또는 감지 가능한 입력 수단으로 터치스크린(190a, 190b)을 눌러서 디스플레이 화면 상에 표시된 지시를 입력할 수 있는 센서를 의미한다. 터치 센서(151)는 용량변화, 저항변화, 또는 광량변화를 이용한다.
지자기 센서(152)는 지자기를 검출하여 방위각을 탐지할 수 있다. 따라서, 멀티 디스플레이 장치(100)의 방향을 인식한다. 가속도 센서(153)은 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 것으로서 멀티 디스플레이 장치(100)의 움직이는 속도 변화나 힘의 세기를 감지한다. 힌지 센서(154)는 힌지의 각도 또는 움직임 등을 검출할 수 있다. 근접 센서(155)는 사용자의 멀티 디스플레이 장치(100)에 대한 물체의 접근여부를 검출할 수 있다.
도 39에서 도시되지 않았지만, 멀티 디스플레이 장치(100)의 센서부(150)는 중력이 어느 방향으로 작용하는지 검출할 수 있는 중력 센서, 기존의 가속도 센서에 각각 회전을 넣어 총 6축을 인식할 수 있는 자이로 센서, 이미지와 같은 컨텐츠의 가로, 세로 프레임을 자동으로 감지하여 컨텐츠를 자동 회전 및 정렬시킬 수 있는 오리엔테이션 센서, 멀티 디스플레이 장치(100) 주변의 빛의 양을 검출하는 조도 센서, 대기의 압력을 측정할 수 있는 고도 측정 센서, 물체의 색을 검출할 수 있는 RGB 센서, 초음파나 적외선을 이용하여 거리를 측정할 수 있는 거리 측정 센서, 자기장의 세기에 따른 전압 변화를 이용하는 홀 센서 중 적어도 하나를 더 포함할 수 있다.
센서부(150)의 각 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(130)로 전송할 수 있다. 센서부(150)의 센서는 멀티 디스플레이 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.
입/출력부(160)는 버튼부(161), 마이크(162), 스피커(163) 및 진동모터(164)를 포함한다.
적어도 하나의 버튼부(161)는 멀티 디스플레이 장치(100)의 바디(body)의 전면, 측면 또는 후면에 푸쉬형 혹은 터치형으로 형성될 수 있으며, 전원/잠금 버튼, 볼륨 조절 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(130)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(130)의 제어에 따라 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 멀티미디어부(120) 또는 촬상부(140)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 멀티 디스플레이 장치(100) 외부로 출력할 수 있다.
스피커(163)는 멀티 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 멀티 디스플레이 장치(100)의 바디의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다. 일 예로 스피커(163)는 통화중 사용자의 귀에 근접하기에 적합한 위치에 배치되는 내부 스피커 모듈과, 오디오/비디오 파일의 재생이나 방송의 시청시에 사용되기에 적합한 보다 높은 출력을 가지며 멀티 디스플레이 장치(100)의 바디의 적절한 위치에 배치되는 외부 스피커 모듈을 포함하여 구성될 수 있다.
진동모터(164)는 제어부(130)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 멀티 디스플레이 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 진동모터(164)는 멀티 디스플레이 장치(100)의 바디 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 제1, 2 디스플레이부(190a, 190b) 상에서 감지되는 사용자의 터치 제스처 및 제1, 2 디스플레이부(190a, 190b) 상에서 감지되는 터치의 연속적인 움직임에 응답하여 동작할 수 있다.
저장부(170)는 제어부(130)에 의해서 처리된 각종의 멀티미디어 데이터, 컨텐츠 데이터, 외부 소스로부터 수신된 데이터 등을 저장한다.
구체적으로 살펴보면, 저장부(170)는 제어부(130)의 제어에 따라 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 커넥터(114), GPS모듈(115), 멀티미디어부(120), 촬상부(140), 센서부(150), 입/출력부(160), 제1, 2 디스플레이부(190a, 190b)의 동작에 대응되게 입/출력되는 신호, 정보 또는 데이터를 저장할 수 있다.
저장부(170)는 멀티 디스플레이 장치(100) 또는 제어부(130)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 이하 "저장부"라는 용어는 롬, 램 또는 멀티 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱)를 포함할 수 있다. 또한 저장부는 비휘발성 메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원부(180)는 멀티 디스플레이 장치(100)에서 사용되는 전원을 공급한다. 전원부(180)는 충전 가능한 배터리로 구현될 수 있고, 외부 공급 전원을 변환하여 충전 가능한 배터리에 공급하는 전압 변환기를 더 포함할 수 있다.
전원부(180)는 제어부(130)의 전원 관리 제어에 따라 멀티 디스플레이 장치(100)에 최대 성능 모드, 일반 모드, 절전 모드, 대기 모드 등 다양한 모드로 전원을 공급할 수 있다.
제1, 2 디스플레이부(190a, 190b)는 힌지부(미도시)에 의해서 서로 연결될 수 있다. 제1, 2 디스플레이부(190a, 190b)는 제어부(130)의 제어에 의해서 멀티미디어 컨텐츠, 이미지, 동영상, 텍스트 등을 표시한다.
제1 디스플레이부(190a)와 제2 디스플레이부(190b)는 물리적으로 서로 분리되어 있다. 제1 디스플레이부(190a)와 제2 디스플레이부(190b)에 표시되는 디스플레이 화면은 서로 독립적으로 제어할 수 있다. 예를 들어, 제1 디스플레이부(190a)의 해상도와 제2 디스플레이부(190b)의 해상도는 각각 개별적으로 설정할 수 있다. 또한, 제1 디스플레이부(190a)와 제2 디스플레이부(190b)에 표시되는 화면의 확대, 회전, 화면 이동, 화면 분할 등을 각각 개별적으로 실행할 수 있다.
또한, 제1 디스플레이부(190a) 및 제2 디스플레이부(190b)는 가상 통합 프레임 버퍼를 이용해서 단일 디스플레이 화면으로 표시할 수 있다.
제1 및 제2 디스플레이부(190a, 190b)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
제1 및 제2 디스플레이부(190a, 190b)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 근접 센서나 터치 센서를 이용한 사용자 조작을 인식할 수 있는 터치 디스플레이 패널로 구현될 수 있다. 터치 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다.
이러한 사용자 인터페이스는 소정 터치 영역, 소프트 키 및 소프트 메뉴를 포함할 수 있다. 제1, 2 디스플레이부(190a, 190b)는 사용자 인터페이스를 통해 입력되는 적어도 하나의 터치 제스처에 대응되는 전자 신호를 LCD 컨트롤러(미도시)를 통해서 제1, 2 디스플레이부(190a, 190b)로 전송할 수 있다. 또한, 제1, 2 디스플레이부(190a, 190b)는 터치의 연속적인 움직임을 감지하고, 터치의 연속적 혹은 불연속적인 움직임에 대응되는 전자 신호를 LCD 컨트롤러로 전송할 수 있다.
이러한 제1, 2 디스플레이부(190a, 190b)는 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
제1, 2 디스플레이부(190a, 190b)는 터치 센서를 통해서 감지된 사용자 동작에 관한 감지 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(130)로 전송한다. 제어부(130)는 수신된 디지털 신호를 이용하여 제1, 2 디스플레이부(190a, 190b)를 통해서 입력된 사용자 동작에 대응하는 제어 동작을 수행할 수 있다. 예를 들어, 제어부(130)는 사용자 동작에 응답하여 제1, 2 디스플레이부(190a, 190b)에 표시된 소프트 키가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션을 실행할 수 있다.
상술한 사용자 제스처는 제1, 2 디스플레이부(190a, 190b)와 사용자의 신체 또는 터치 가능한 입력 수단과의 직접적인 접촉(contact)에 한정되지 않고, 비접촉에 의한 방식도 포함한다. 제1, 2 디스플레이부(190a, 190b)에서 검출 가능한 사용자 동작의 감도는 멀티 디스플레이 장치(100)의 성능 또는 구조에 따라 변경될 수 있다.
한편, 상술한 실시 예들에서는 멀티 디스플레이 장치(100)의 바디들이 힌지부에 의해 연결되는 것으로 도시 및 설명하였으나, 힌지부 대신 플렉서블한 재질의 연결부로 연결될 수도 있다.
도 40은 다양한 구현 예에 따른 멀티 디스플레이 장치의 세부적인 구성을 설명하기 위한 블록도이다.
도 40에 따르면, 멀티 디스플레이 장치는 통신부(110), 멀티미디어부(120), 제어부(130), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180), 멀티디스플레이부(190)를 포함한다. 도 39에서 설명한 구성부와 동일한 구성부의 설명은 생략하고, 디스플레이를 하는 과정에 대해서만 설명하기로 한다.
CPU(131)는 저장부(미도시)에 저장된 데이터를 RAM(135)으로 독출하여 RAM(135)에 저장되어 있는 데이터 중 그래픽 처리가 필요한 데이터를 GPU(133)으로 전달한다. CPU(131)는 GPU(133)에 의해서 그래픽 처리된 데이터를 수신하여 시스템 버스(139)와 연결된 LCD 컨트롤러(미도시)로 전달해서 디스플레이부에 이미지를 표시한다.
CPU(131)는 GPU(133)에 의해서 처리된 이미지 데이터를 RAM(135)의 기 결정된 영역 상에 할당된 가상 프레임 버퍼(Virtual Frame Buffer) 영역에 일시 저장한다. CPU(131)는 디스플레이부의 최대 해상도(예를 들어, 1024×600)를 지원하도록 가상 프레임 버퍼의 영역을 할당한다. 2개의 디스플레이부일 경우에는 1024×1200 크기로 가상 프레임 버퍼의 영역을 할당한다.
CPU(131)는 가상 프레임 버퍼에 일시 저장된 데이터를 GPU(133)로 입력해서 디지털 신호 처리를 수행한다.
GPU(133)는 CPU(131)의 제어 하에서 입력된 데이터에 대한 그래픽 처리를 수행한다. 구체적으로는, GPU(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 버스(139)를 통해 제1 및 제2 디스플레이부(190a, 190b)로 전달되어 디스플레이 영역 내에 표시되거나, 저장부(170)에 저장될 수 있다.
CPU(131)는 GPU(133)에 의해서 그래픽 처리된 데이터를 제1 및 제2 디스플레이부(190a, 190b) 중 적어도 하나를 통해 디스플레이하거나, 저장부(170)에 저장하도록 제어할 수도 있으며, 또는 처리된 데이터를 디스플레이 컨트롤러(미도시)에 입력할 수 있다.
GPU(133)는 디코더(decoder), 렌더러(renderer), 스케일러(scaler) 등을 포함할 수 있다. 이에 따라, 저장된 컨텐츠를 디코딩하고, 디코딩된 컨텐츠 데이터를 렌더링하여 프레임을 구성하고, 구성된 프레임의 사이즈를 디스플레이 콘트롤러(미도시)의 제어에 의해 디스플레이 크기에 맞게 스케일링한다. 만약, 제1 및 제2 디스플레이부(190a, 190b) 중 하나에서 디스플레이되는 화면이라면 그 크기에 맞추어 스케일링하고, 두 디스플레이부 모두에서 디스플레이되는 화면이라면 전체 디스플레이 사이즈에 맞추어 스케일링한다. GPU(133)는 처리된 프레임을 디스플레이부에 제공하여 디스플레이한다.
멀티 디스플레이 장치(100)는 복수의 디스플레이부를 구비하고 있으므로, 그 디스플레이부들을 활용하여 다양한 화면을 제공하여 줄 수 있다. 이하에서는 멀티 디스플레이 장치의 기본적인 세부 구성 및 동작들에 대한 다양한 예를 기술한다.
도 41은 복수의 프레임 버퍼를 이용하여 각 디스플레이부의 동작을 제어하는 멀티 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 41에 따르면, 멀티 디스플레이 장치는 제1 및 제2 디스플레이부(190a, 190b), 디스플레이 제어부(175)를 포함한다. 디스플레이 제어부(175)는 도 39의 제어부(130)와 별개인 구성요소로 마련될 수도 있고, 제어부(130) 내에 포함되는 구성요소가 될 수도 있다.
도 41에 따르면, 디스플레이 제어부(175)는 제1 프레임 버퍼(175a-1), 제1 디스플레이 드라이버(175a-2), 제2 프레임 버퍼(175b-1) 및 제2 디스플레이 드라이버(175b-2)를 포함한다.
제1 프레임 버퍼(175a-1)는 제1 디스플레이부(190a)에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이고, 제2 프레임 버퍼(175b-1)는 제2 디스플레이부(190b)에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이다.
가령, GPU(133)에 의해서 디지털 신호 처리된 이미지 프레임은 제1, 2 프레임버퍼(175a-1, 175b-1)에 비트맵 형태로 저장된다. 이 경우, 각 프레임 버퍼(175a-1, 175b-1)의 버퍼링 영역은 각 디스플레이부 (190a, 190b)에서 지원 가능한 최대 픽셀 크기에 맞게 할당된다. 제1 디스플레이 드라이버(175a-2)는 제1 프레임 버퍼(175a-1)에 저장된 이미지 프레임을 분석해서 제1 이미지 소스 신호로 변환한다. 제1 디스플레이 드라이버(175a-2)는 제1 이미지 소스 신호를 제1 디스플레이부(190a)로 제공하여, 제1 디스플레이부(190a)가 이미지 프레임을 디스플레이하도록 구동시킨다.
마찬가지로, 제2 디스플레이 드라이버(175b-2)는 제2 프레임 버퍼(175b-1)에 저장된 이미지 프레임을 분석해서 제2 이미지 소스 신호로 변환하고, 이를 제2 디스플레이부(190b)에 제공하여 디스플레이시킨다.
도 41에서는 각 디스플레이부(190a, 190b)에 대응되는 제1 프레임 버퍼(175a-1)와 제2 프레임 버퍼(175b-1)가 별도로 마련된 것으로 도시하였으나, 다음의 도 42에서는 다른 실시 예에 따른 하나의 통합 프레임 버퍼가 사용되는 실시예를 도시한다.
도 42는 통합 프레임 버퍼를 이용하여 각 디스플레이부의 동작을 제어하는 멀티 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 42는 통합 프레임 버퍼를 이용하여 각 디스플레이부의 동작을 제어하는 멀티 디스플레이 장치의 구성을 나타내는 블럭도이다. 프레임 버퍼가 통합 프레임 버퍼(175-1) 형태로 구현될 경우, 제1, 2디스플레이부의 최대 해상도보다 큰 크기로 통합 프레임 버퍼(175-1)의 크기를 할당하여 구현할 수 있다.
예를 들어, 제1, 2디스플레이부가 각각 최대 1024*800의 해상도를 디스플레이할 수 있는 경우, 통합 프레임 버퍼(175-1)는 1024*1600의 해상도를 디스플레이할 수 있는 프레임 버퍼 크기로 저장 영역을 할당한다. 통합 프레임 버퍼(175-1)의 제1 영역에는 제1 디스플레이부(190a)에 디스플레이되는 제1 이미지 프레임이 저장되고, 제2 영역에는 제2 디스플레이부(190b)에 디스플레이되는 제2 이미지 프레임이 저장된다.
디스플레이 드라이버(175-2)는 통합 프레임 버퍼(175-1)에 저장된 제1 이미지 프레임과 제2 이미지 프레임의 어드레스를 이용하여 제1 디스플레이부(190a) 또는 제2 디스플레이부(190b)로 제1, 2 이미지 프레임을 제공하여 각각의 디스플레이부를 구동시킨다.
도 43은 도 41에 도시된 2개의 디스플레이부 중 제1 디스플레이부의 구성을 구체적으로 설명하기 위한 도면이다.
도 43은 디스플레이부 구성의 일 예를 설명하기 위한 도면이다. 설명의 편의를 위하여 도 43에서는 제1 디스플레이부만을 도시하였으나, 제2 디스플레이부도 이와 동일한 형태로 구현될 수 있음은 물론이다.
도 43에 따르면, 제1 디스플레이부(190a) 는 타이밍 컨트롤러(231), 게이트 드라이버(232), 데이터 드라이버(233), 전압 구동부(234), 표시패널(235)을 포함할 수 있다.
타이밍 컨트롤러(231)는 외부로부터 터치스크린부의 해상도에 적합한 클럭신호(DCLK)와 수평 동기 신호(Hsync), 수직 동기 신호(Vsync) 등을 입력받아 게이트 제어신호(주사 제어신호), 데이터 제어신호(데이터 신호)를 생성하고, 입력받은 R, G, B 데이터를 재정렬하여 데이터 드라이버(233)에 공급한다.
타이밍 컨트롤러(231)는 위의 게이트 제어신호와 관련하여 게이트 시프트 클럭(Gate Shift Clock: GSC), 게이트 출력 인에이블(Gate Output Enable: GOE), 게이트 시작 펄스(Gate Start Pulse: GSP) 등을 발생시킬 수 있는데, 여기서 GSC는 R, G, B 유기발광 소자(Organic Light Emitting Diode, OLED)와 같은 발광소자에 연결된 박막 트랜지스터(Thin Film Transistor: TFT)가 온/오프(On/Off)되는 시간을 결정하는 신호이고, GOE는 게이트 드라이버(232)의 출력을 제어하는 신호이며, GSP는 하나의 수직동기신호 중에서 화면의 첫 번째 구동라인을 알려주는 신호이다.
또한, 타이밍 컨트롤러(231)는 데이터 제어신호와 관련하여 소스 샘플링 클럭(Source Sampling Clock: SSC), 소스 출력 인에이블(Source Output Enable: SOE), 소스 시작 펄스(Source Start Pulse: SSP) 등을 생성할 수 있다. 여기서 SSC는 데이터 드라이버(233)에서 데이터를 래치(latch)시키기 위한 샘플링 클럭으로 사용되며, 데이터 드라이브 IC의 구동주파수를 결정한다. SOE는 SSC에 의해 래치된 데이터들을 표시패널(235)로 전달하게 된다. SSP는 하나의 수평 동기 기간 중에 데이터의 래치 또는 샘플링 시작을 알리는 신호이다.
게이트 드라이버(232)는 주사신호를 생성하는 구성으로, 주사선(S1, S2, S3,..., Sn)을 통해 표시패널(235)과 연결된다. 게이트 드라이버(232)는 타이밍 컨트롤러(231)에 의해 생성된 게이트 제어 신호에 따라 전압 구동부(234)로부터 제공받은 게이트 온/오프 전압(Vgh/Vgl)을 표시패널(235)로 인가한다. 게이트 온 전압(Vgh)은 표시패널(235)에 단위 프레임 영상의 구현을 위하여 게이트 라인 1(GL1)에서 게이트 라인 N(GLn)까지 순차적으로 제공된다.
데이터 드라이버(233)는 데이터 신호를 생성하는 구성으로, 데이터 선(D1, D2, D3,..., Dm)을 통해 표시패널(235)과 연결된다. 데이터 드라이버(233)는 타이밍 컨트롤러(231)에 의해 생성된 데이터 제어 신호에 따라 스케일링이 완료되고 영상 이미지 프레임의 RGB 데이터를 표시패널(235)에 입력한다. 데이터 드라이버(233)는 타이밍 컨트롤러(231)에서 직렬(serial)로 제공되는 RGB의 영상 데이터를 병렬(parallel)로 변환하고, 디지털 데이터를 아날로그 전압으로 변환하여 하나의 수평 라인 분에 해당되는 영상 데이터를 표시패널(235)에 제공한다. 이 과정은 각 수평라인 별로 순차적으로 이루어진다.
전압 구동부(234)는 게이트 드라이버(232), 데이터 드라이버(233), 표시패널(235) 등에 각각의 구동 전압을 생성하여 전달한다. 즉, 외부로부터의 상용전원, 즉 110V 또는 220V의 교류전압을 제공받아 표시패널(235)에 필요한 전원전압(VDD)을 생성하여 제공하거나, 접지전압(VSS)을 제공할 수 있다. 또한, 게이트 온 전압(Vgh)을 생성하여 게이트 드라이버(232)로 제공할 수 있다. 이를 위해 전압 구동부(234)는 개별적으로 동작하는 복수의 전압 구동 모듈(미도시)을 포함할 수 있다. 여기서, 복수의 전압 구동 모듈(미도시)은 제어부(130)의 제어에 따라 서로 다른 전압을 제공하도록 동작할 수 있으며, 제어부(130)는 기설정된 정보에 따라 복수의 전압 구동 모듈이 서로 다른 구동 전압을 제공하도록 전압 구동부(234)를 제어할 수 있다. 예를 들어, 복수의 전압 구동 모듈 각각은 제어부(130)의 제어에 따라 기설정된 정보에 따라 서로 다른 제1 전압 및 디폴트로 설정된 제2 전압을 제공할 수 있다.
일 실시 예에 따르면, 전압 구동부(234)는 복수 개의 영역으로 구분된 표시패널(235)의 각 영역에 대응되는 복수 개의 전압 구동 모듈을 포함할 수 있다. 이 경우, 제어부(130)는 복수 개의 영역 각각의 화면 정보(또는 입력 영상 정보)에 따라 서로 다른 제1 전압, 즉, ELVDD 전압을 제공하도록 복수 개의 전압 구동 모듈을 제어할 수 있다. 즉, 데이터 드라이버(233)에 입력되는 영상신호를 이용하여 ELVDD 전압의 크기를 제어할 수 있다. 여기서, 화면 정보는, 입력 영상의 휘도 및 계조 정보 중 적어도 하나가 될 수 있다.
표시패널(235)은 서로 교차하여 화소 영역을 정의하기 위한 다수의 게이트 라인(GL1~GLn)과 데이터 라인(DL1~DLn)이 형성되고, 그 교차하는 화소영역(236)에는 OLED와 같은 R, G, B의 발광소자가 형성될 수 있다. 그리고 화소영역(236)의 일 영역, 더 정확하게는 모서리에는 스위칭소자 즉 TFT가 형성된다. 이러한 TFT의 턴-온 동작시 데이터 드라이버(233)로부터 계조 전압이 각각의 R, G, B의 발광소자로 제공된다. 이때 R, G, B의 발광소자들은 계조 전압에 근거하여 제공된 전류량에 상응하여 빛을 제공하게 된다. 즉 R, G, B의 발광소자들은 많은 전류량이 제공되면 그만큼 많은 빛을 제공하게 되는 것이다.
도 44는 도 43에 도시된 디스플레이 패널을 구성하는 R, G, B 화소를 구성하는 회로 구조를 설명하기 위한 도면이다.
도 44를 참고하면, 표시패널(235)은 3개의 R,G,B 화소영역(236)을 포함한다. R, G, B의 화소영역(236)은 스캔 신호(S1), 게이트 온 전압(Vgh)에 의해 동작하는 스위칭소자 (M11, M21, M31), 데이터 라인(DL1~DLn)으로 제공되는 변경된 고계조값을 포함하는 화소값에 근거하여 전류를 출력하는 스위칭소자 (M12, M22, M32), 그리고 타이밍 컨트롤러(231)에서 제공되는 제어 신호에 따라 스위칭소자 (M12, M22, M23)에서 R, G, B의 발광소자로 제공되는 전류량을 조절하는 스위칭소자 (M13, M23, M33)를 포함할 수 있다. 그리고, 이러한 스위칭 소자 (M13, M23, M33)는 유기발광소자(OLED)와 연결되어 OLED로 전류를 공급한다. 여기서, OLED는 형광 또는 인광 유기물 박막에 전류를 흘리면 전기장 발광의 원리를 이용해 자체적으로 빛을 발하는 디스플레이를 말한다. OLED의 애노드(anode)전극은 화소회로에 접속되고, 캐소드(cathode)전극은 ELVSS에 접속된다. 이와 같은 OLED는 화소회로로부터 공급되는 전류에 대응하여 소정 휘도의 빛을 생성한다. 여기서, 스위칭 소자 (M11, M21, M31)의 게이트 전극은 주사선(S1)에 접속되고, 소스 전극 및 드레인 전극 중 어느 하나는 데이터선(D1)에 접속된다. 이처럼 표시패널(235)은 AM-OLED(Active Matrix Organic Light-Emitting Diode) 패널로 구현될 수 있다. 다만, 상술한 실시 예는 본 발명의 일 실시 예에 불과하며, 본 발명이 하나의 라인이 동시에 발광하여 구동하는 방식인 PM OLED(Passive Matrix Organic Light-Emitting Diode)을 배제하지 않음은 물론이다.
도 44의 실시 예에서는 OLED를 설명했지만, 디스플레이부는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display) 등 다양한 디스플레이 기술로 구현될 수 있다.
도 45는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 시스템 계층 구조를 설명하기 위한 도면이다. 멀티 디스플레이 장치는 하드웨어(410) 뿐만 아니라, OS(420), 프레임워크(430), 통화 어플리케이션(441), 멀티미디어 어플리케이션 (442), 카메라 어플리케이션 (443), 브라우저(444), 제스처 인식 어플리케이션 (445)과 같은 다양한 소프트웨어를 포함할 수 있다.
하드웨어(410)는 도 39에서 도시된 바와 같은 다양한 구성들을 포함할 수 있다.
운영체제(Operating System: OS, 420)는 하드웨어(410)의 전반적인 동작을 제어하고 하드웨어(410)를 관리하는 기능을 수행한다. 즉, OS(420)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다. OS(420)는 멀티 디스플레이부를 구동시키기 위한 디스플레이 드라이버, 데이터 송수신을 위한 통신 드라이버, 촬상부를 구동시키기 위한 카메라 드라이버, 오디오부를 구동시키기 위한 오디오 드라이버, 전원관리자 등의 모듈을 구동시켜 멀티 디스플레이 장치의 동작을 제어한다.
OS(420)보다 상위 계층으로 프레임워크(frame work) 계층(430)이 존재한다. 프레임워크(430)는 어플리케이션 계층(440)과 OS 계층(420)을 연결하는 역할을 수행한다. 즉, 프레임워크 계층(430)은 로케이션 매니저(location manager), 알림 매니저(notification manager) 및 디스플레이부에 영상을 표시하기 위한 프레임 버퍼(frame buffer)를 포함한다.
프레임워크 계층(430) 상부 계층에는 멀티디스플레이 장치(100)의 다양한 기능을 구현되는 어플리케이션 계층(440)이 존재한다. 예로서, 통화 어플리케이션(441), 멀티미디어 어플리케이션(442), 카메라 어플리케이션(443), 브라우저 어플리케이션(444) 및 제스처 인식 어플리케이션(445) 등 다양한 응용프로그램이 포함될 수 있다.
도 46은 근접 터치를 감지하는 방법을 설명하기 위한 도면이다.
사용자는 근접 센서를 이용한 근접 터치 방식으로 멀티 디스플레이 장치(100)에 제어 명령을 입력시킬 수 있다. 근접 터치는 터치 스크린을 직접 터치하지 않고 공간상의 일정한 유효 인식 범위에서 움직임이 인식되는 경우 하나의 터치 제스처로 인식하는 것을 의미한다.
도 46을 참조하면, 디스플레이부는 디스플레이 패널(290), 근접 터치 인식을 위한 적외선 소스부(291) 및 적외선 센싱부(292)를 포함한다. 적외선 소스부(291)는 디스플레이부의 표면 방향으로 적외선을 조사한다. 구체적으로, 적외선 소스부(291)는 영상 또는 이미지를 표시하는 디스플레이부의 하부에 배치되며, 적외선을 디스플레이부의 표면 방향으로 조사할 수 있다. 디스플레이부의 표면 위로 사용자 객체(50)의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역(5)이다.
사용자 객체의 의미는 멀티 디스플레이 장치(100)에 명령을 입력하기 위한 수단을 의미하는 것으로써, 예를 들어, 손과 같은 신체의 일부가 될 수 있다.
사용자 객체(50)가 유효 인식 영역(5) 안으로 근접하면 적외선 센싱부(292)는 사용자 객체(50)의 근접에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성한다. 구체적으로 적외선 센싱부(292)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 이용하여, 사용자 객체(50)의 접근에 의하여 반사되는 적외선에 대응되는 적외선 스캔 이미지를 생성할 수 있다. 멀티 디스플레이 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지할 수 있다.
도 47은 다른 방식에 따른 근접 터치를 감지하는 방법을 설명하기 위한 도면이다. 사용자는 특정한 펜을 이용한 근접 터치 방식으로 멀티 디스플레이 장치(100)에 제어 명령을 입력시킬 수 있다.
도 47을 참조하면, 도 46에서 설명한 디스플레이 패널(290a)과 근접 센서 소스부(291a) 및 센싱부(292a)를 포함한다. 특정한 펜을 이용하여 근접 터치를 인식하기 위해서 펜(49)은 코일을 포함할 수 있다. 그리고, 디스플레이부는 정전기 센서부(293)를 포함한다. 정전기 센서부(293)는 수 개의 코일을 포함할 수 있다.
코일을 포함한 펜(49)이 일정 거리(5a) 이내로 근접하면 정전기 유도 현상에 의해 정전기 센서부(293)의 코일에 전류가 유도된다. 전류는 펜(49)와 가까운 코일에 가장 크게 유도되고, 펜(49)과 거리가 멀어질수록 점점 작게 유도된다. 따라서, 제어부는 가장 크게 전류가 유도되는 지점이 펜(49)이 위치한 지점으로 인식하게 된다.
도 47에 도시된 디스플레이부는 적외선 센싱부(292a)를 포함하고 있으므로 펜(49)이 일정 거리 이내로 근접하는 경우 적외선 센싱부(292a) 및 정전기 센서부(293) 모두에서 펜(49)의 근접이 인식될 수 있다. 따라서, 정전기 센서부(293)의 근접 인식을 우선 순위로 하여 이중 인식이 되는 문제를 해결할 수 있다.
도 48은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도이다.
도 48에 따르면, 멀티 디스플레이 장치는 제1 촬상부 및 제2 촬상부를 이용하여 사용자 객체의 움직임, 즉, 제스처를 촬상한다(S4810). 멀티 디스플레이 장치는 상술한 다양한 실시 예들에서 설명한 바와 같이 복수의 디스플레이부 및 이들을 연결하는 힌지부를 포함하는 형태로 구현될 수 있다. 제1 및 제2 촬상부 각각은 각자의 인식 영역에서 사용자 객체의 이미지를 촬상한다. 제1 및 제2 촬상부가 서로 다른 위치에 배치되면, 사용자 객체의 이미지도 서로 다른 각도에서 촬상되어 획득될 수 있다.
멀티 디스플레이 장치는, 제스처가 촬상되면 그 촬상된 이미지를 이용하여 어떠한 사용자 제스처가 인식되었는지 판단한다(S4820). 상술한 바와 같이 서로 다른 각도에서 촬상된 복수의 이미지에 기초하여 사용자 제스처를 분석하게 되면, 3차원 제스처도 인식할 수 있으며, 정밀도도 한층 더 향상될 수 있다. 복수의 이미지를 이용하여 사용자 제스처를 인식하는 방법에 대해서는 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
사용자 제스처가 인식되면, 멀티 디스플레이 장치는 인식된 사용자 제스처에 대응되는 제어 동작을 수행한다(S4830). 멀티 디스플레이 장치는 기 저장된 제어 코맨드 정보들 중에서 인식된 사용자 제스처에 매칭되는 제어 코맨드 정보를 검출한다. 그리고 나서, 검출된 제어 코맨드 정보에 대응되는 동작을 수행한다. 수행되는 동작의 예에 대해서는 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 복수 개의 디스플레이 수단을 갖춘 멀티 디스플레이 장치에서 복수의 촬상부를 이용하여 사용자의 제스처를 인식하고, 그 사용자 제스처에 따라 동작을 제어할 수 있다. 이에 따라, 보다 다양한 사용자 제스처를 이용하여 동작을 제어할 수 있으며, 그 인식 정밀도도 크게 향상시킬 수 있다. 무엇보다, 사용자가 멀티 디스플레이 장치를 보다 용이하고 쉽게 제어할 수 있게 되므로, 사용자 만족도가 크게 향상될 수 있다.
사용자 제스처를 이용한 입력 방식은, 터치 조작, 버튼 조작, 음성 인식 기술 등과 같은 다른 입력 방식들과 조합되어 사용됨으로써, 멀티 디스플레이 장치의 조작성을 더욱 향상시킬 수도 있다.
상술한 다양한 실시 예에 따른 멀티 디스플레이 장치의 동작 제어 방법이나, 사용자 제스처 인식 방법 등은 프로그램으로 구현되어 멀티 디스플레이 장치에 제공될 수 있다.
일 예로, 멀티 디스플레이 장치의 제1 바디에 마련된 제1 촬상부와 제2 바디에 마련된 제2 촬상부를 이용하여 촬상을 수행하는 단계, 각 촬상부에서 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하는 단계, 인식된 사용자 제스처에 대응되는 제어 동작을 수행하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. 또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
2 : 제1 바디 4 : 제2 바디
100 : 멀티 디스플레이 장치
110 : 통신부 120 : 멀티미디어부
130 : 제어부 140 : 촬상부
150 : 센서부 160 : 입/출력부
170 : 저장부 180 : 전원부
185 : 힌지부
140a : 제1 촬상부 140b : 제2 촬상부
190a : 제1 디스플레이부 190b : 제2 디스플레이부
141, 141', 143 : 제1 카메라 142, 142', 144 : 제2 카메라
145, 146, 147 : 제3 카메라 148 : 제4 카메라
149 : 회전형 카메라

Claims (20)

  1. 제1 디스플레이부를 포함하는 제1 바디(body);
    제2 디스플레이부를 포함하는 제2 바디(body);
    상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부;
    상기 제1 바디에 마련된 제1 촬상부;
    상기 제2 바디에 마련된 제2 촬상부; 및,
    상기 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하고, 인식된 상기 사용자 제스처에 대응되는 제어 동작을 수행하는 제어부;를 포함하며,
    상기 제어부는,
    상기 제1 촬상부가 촬상 가능한 제1 촬상 범위 내에서 이동하는 사용자 객체의 움직임 방향과, 상기 제2 촬상부가 촬상 가능한 제2 촬상 범위 내에서 이동하는 상기 사용자 객체의 움직임 방향을 이용하여, 상기 제1 및 제2 촬상 범위 간의 중복 범위 내에서의 상기 사용자 제스처를 3차원 적으로 인식하고,
    연속 패턴을 구성하는 적어도 두 개의 사용자 제스처가 인식되면, 상기 두 개의 사용자 제스처 각각에 대응되는 복수의 제어 동작을 연속적으로 수행하고,
    상기 두 개의 사용자 제스처 중 제1 사용자 제스처는 제1 방향으로 이동하는 제스처이고 제2 사용자 제스처는 제1 방향과 다른 제2 방향으로 이동하는 제스처인,
    멀티 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 힌지부를 기준으로 상기 제1 및 제2 바디가 벌어지는 각도를 검출하고, 상기 검출된 각도가 기 설정된 각도 범위 이내이면 상기 제1 및 제2 촬상부를 활성화시키는 것을 특징으로 하는 멀티 디스플레이 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 제스처를 스테레오 영상으로 인식하는 것을 특징으로 하는 멀티 디스플레이 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나로 선택적으로 동작하며,
    상기 멀티 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 복수의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하고,
    상기 싱글 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 하나의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하는 것을 특징으로 하는 멀티 디스플레이 장치.
  7. 제1항에 있어서,
    상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치되고,
    상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치되는 것을 특징으로 하는 멀티 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제2 촬상부가 배치된 상기 제2 바디의 반대면에 배치되는 제3 촬상부;를 더 포함하는 멀티 디스플레이 장치.
  9. 제1항에 있어서,
    상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제1 카메라 및 제2 카메라를 포함하고,
    상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부의 맞은편 가장자리 영역의 중앙부에 배치된 제3 카메라를 포함하는 것을 특징으로 하는 멀티 디스플레이 장치.
  10. 제1항에 있어서,
    상기 제1 촬상부는 상기 제1 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제1 카메라 및 제2 카메라를 포함하고,
    상기 제2 촬상부는 상기 제2 바디의 가장자리 영역 중 상기 힌지부와 접하지 않는 두 모서리 영역에 각각 배치되는 제3 카메라 및 제4 카메라를 포함하는 것을 특징으로 하는 멀티 디스플레이 장치.
  11. 제1항, 제2항, 제4항 및 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 사용자 제스처는,
    싱글 핑거 제스처, 투 핑거 제스처, 멀티 핑거 제스처, 팜 제스처, 멀티 팜 제스처, 피스트 제스처, 멀티 피스트 제스처 중 어느 하나인 것을 특징으로 하는 멀티 디스플레이 장치.
  12. 제1항, 제2항, 제4항 및 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 제어부는,
    상기 제1 또는 제2 디스플레이부에 표시된 아이콘에 대해 그립 제스처가 인식되면, 상기 아이콘을 선택하는 동작을 수행하는 것을 특징으로 하는 멀티 디스플레이 장치.
  13. 제1 디스플레이부를 포함하는 제1 바디, 제2 디스플레이부를 포함하는 제2 바디 및 상기 제1 바디와 상기 제2 바디를 연결하는 힌지부를 포함하는 멀티 디스플레이 장치의 제어 방법에 있어서,
    상기 제1 바디에 마련된 제1 촬상부 및 상기 제2 바디에 마련된 제2 촬상부를 이용하여 촬상을 수행하는 단계;
    상기 제1 및 제2 촬상부에서 각각 촬상된 복수의 이미지를 이용하여, 사용자 제스처를 인식하는 단계;
    인식된 상기 사용자 제스처에 대응되는 제어 동작을 수행하는 단계;를 포함하며,
    상기 사용자 제스처를 인식하는 단계는,
    상기 제1 촬상부가 촬상 가능한 제1 촬상 범위 내에서 이동하는 사용자 객체의 움직임 방향과, 상기 제2 촬상부가 촬상 가능한 제2 촬상 범위 내에서 이동하는 상기 사용자 객체의 움직임 방향을 이용하여, 상기 제1 및 제2 촬상 범위 간의 중복 범위 내에서의 상기 사용자 제스처를 3차원 적으로 인식하고,
    상기 제어 동작을 수행하는 단계는,
    연속 패턴을 구성하는 적어도 두 개의 사용자 제스처가 인식되면, 상기 두 개의 사용자 제스처 각각에 대응되는 복수의 제어 동작을 연속적으로 수행하고,
    상기 두 개의 사용자 제스처 중 제1 사용자 제스처는 제1 방향으로 이동하는 제스처이고 제2 사용자 제스처는 제1 방향과 다른 제2 방향으로 이동하는 제스처인 멀티 디스플레이 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 힌지부를 기준으로 상기 제1 및 제2 바디가 벌어지는 각도를 검출하는 단계;
    상기 검출된 각도가 기 설정된 각도 범위 이내이면 상기 제1 및 제2 촬상부를 활성화시키는 단계;를 더 포함하는 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
  15. 삭제
  16. 제13항에 있어서,
    상기 사용자 제스처는,
    스테레오 영상으로 인식되는 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
  17. 삭제
  18. 제13항에 있어서,
    상기 사용자 제스처를 인식하는 단계는,
    멀티 제스처 인식 모드 및 싱글 제스처 인식 모드 중 하나로 선택적으로 동작하며,
    상기 멀티 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 복수의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하고,
    상기 싱글 제스처 인식 모드가 선택되면 상기 제1 및 상기 제2 촬상 범위 내에서 이동하는 하나의 사용자 객체의 움직임을 추적하여 상기 사용자 제스처를 인식하는 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
  19. 제13항, 제14항, 제16항 및 제18항 중 어느 한 항에 있어서,
    상기 사용자 제스처는,
    싱글 핑거 제스처, 투 핑거 제스처, 멀티 핑거 제스처, 팜 제스처, 멀티 팜 제스처, 피스트 제스처, 멀티 피스트 제스처 중 어느 하나인 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
  20. 제13항, 제14항, 제16항 및 제18항 중 어느 한 항에 있어서,
    상기 제어 동작을 수행하는 단계는,
    상기 제1 또는 제2 디스플레이부에 표시된 아이콘에 대한 그립 제스처가 인식되면, 상기 아이콘을 선택하는 동작을 수행하는 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
KR1020120112681A 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 제어 방법 KR101984683B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020120112681A KR101984683B1 (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 제어 방법
CN201310466888.3A CN103729054A (zh) 2012-10-10 2013-10-09 多显示设备及其控制方法
TW102136558A TWI579732B (zh) 2012-10-10 2013-10-09 多顯示設備及其控制方法
JP2013213215A JP6585876B2 (ja) 2012-10-10 2013-10-10 マルチディスプレイ装置およびその制御方法
US14/050,871 US9317198B2 (en) 2012-10-10 2013-10-10 Multi display device and control method thereof
EP13188163.3A EP2741173A3 (en) 2012-10-10 2013-10-10 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120112681A KR101984683B1 (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140046343A KR20140046343A (ko) 2014-04-18
KR101984683B1 true KR101984683B1 (ko) 2019-05-31

Family

ID=49513715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120112681A KR101984683B1 (ko) 2012-10-10 2012-10-10 멀티 디스플레이 장치 및 그 제어 방법

Country Status (6)

Country Link
US (1) US9317198B2 (ko)
EP (1) EP2741173A3 (ko)
JP (1) JP6585876B2 (ko)
KR (1) KR101984683B1 (ko)
CN (1) CN103729054A (ko)
TW (1) TWI579732B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010525A1 (ko) * 2019-07-18 2021-01-21 엘지전자 주식회사 단말기 세트 및 그 제어방법
WO2022005004A1 (ko) * 2020-06-30 2022-01-06 삼성전자 주식회사 사용자 모니터링 및 정보 제공 방법 및 그 장치

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029954A1 (de) * 2010-06-10 2011-12-15 Endress + Hauser Conducta Gesellschaft für Mess- und Regeltechnik mbH + Co. KG Verfahren zur sicheren Durchführung einer Kalibrierung und/oder einer Justierung einer Messgröße eines Messgerätes in der Automatisierungstechnik, insbesondere der Prozessanalysetechnik
KR101515629B1 (ko) 2012-01-07 2015-04-27 삼성전자주식회사 플렉서블 표시부를 갖는 휴대단말의 이벤트 제공 방법 및 장치
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9225810B2 (en) * 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
US9880656B2 (en) * 2013-03-27 2018-01-30 Nec Corporation Information terminal, display controlling method and program
KR101801554B1 (ko) * 2013-07-11 2017-11-27 삼성전자주식회사 컨텐츠를 표시하는 사용자 단말 장치 및 그 방법
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6075255B2 (ja) * 2013-09-20 2017-02-08 株式会社デンソー 入力装置、動作特定方法
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
KR101946655B1 (ko) * 2013-10-08 2019-02-12 매그나칩 반도체 유한회사 디스플레이 단말에서 센서의 배치 방법
JP6214065B2 (ja) * 2013-11-27 2017-10-18 株式会社ワコム 電子機器
KR20150072719A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
IN2014CH00115A (ko) * 2014-01-09 2015-07-10 Samsung R & D Inst India Bangalore Private Ltd
RU2014113049A (ru) * 2014-04-03 2015-10-10 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов
US9891743B2 (en) * 2014-05-02 2018-02-13 Semiconductor Energy Laboratory Co., Ltd. Driving method of an input device
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
TWI518603B (zh) 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10474409B2 (en) * 2014-09-19 2019-11-12 Lenovo (Beijing) Co., Ltd. Response control method and electronic device
KR101886084B1 (ko) * 2014-11-03 2018-08-07 현대자동차 주식회사 차량용 제스처 인식 장치
CN107077197B (zh) * 2014-12-19 2020-09-01 惠普发展公司，有限责任合伙企业 3d可视化图
EP3767448A3 (en) * 2015-01-07 2021-04-07 Samsung Electronics Co., Ltd. Display device and operating method thereof
JP6534011B2 (ja) 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) 2015-02-10 2019-11-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6519075B2 (ja) * 2015-02-10 2019-05-29 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
TWI553508B (zh) * 2015-03-03 2016-10-11 緯創資通股份有限公司 物件感測裝置與方法
USD768722S1 (en) * 2015-05-01 2016-10-11 Microsoft Corporation Display screen with animated graphical user interface
US20160378137A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Electronic device with combinable image input devices
KR101741691B1 (ko) * 2015-06-30 2017-05-30 현대자동차주식회사 차량 및 그 제어방법
US9557772B1 (en) * 2015-07-21 2017-01-31 Lenovo (Beijing) Co., Ltd. Electronic device
WO2017013805A1 (ja) * 2015-07-23 2017-01-26 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
US11284003B2 (en) 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US9936138B2 (en) * 2015-07-29 2018-04-03 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
USD813865S1 (en) * 2015-08-18 2018-03-27 Samsung Electronics Co., Ltd. Portable electronic device
US10331177B2 (en) 2015-09-25 2019-06-25 Intel Corporation Hinge for an electronic device
WO2017058199A1 (en) * 2015-09-30 2017-04-06 Hewlett-Packard Development Company, L.P. Interactive display
US10417295B2 (en) * 2015-10-20 2019-09-17 At&T Intellectual Property I, L.P. Sensory allegiance
KR20170051950A (ko) * 2015-11-03 2017-05-12 삼성전자주식회사 전자 장치, 전자 장치의 디스플레이 제어 방법
CN105425964B (zh) * 2015-11-30 2018-07-13 青岛海信电器股份有限公司 一种手势识别方法和系统
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102439465B1 (ko) * 2016-01-18 2022-09-02 엘지전자 주식회사 커넥티드 디바이스 시스템 및 상기 커넥티드 디바이스 시스템에서 애플리케이션 데이터 처리 방법
DE112017001625B4 (de) * 2016-03-31 2021-06-24 Fujifilm Corporation Digitalkamera und Anzeigeverfahren für die Digitalkamera
CN105929961B (zh) * 2016-04-29 2018-11-13 广东美的制冷设备有限公司 红外手势检测装置、红外手势检测方法和家用电器
KR102520552B1 (ko) * 2016-06-24 2023-04-12 삼성전자주식회사 복수의 디스플레이를 포함하는 전자 장치
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10768804B2 (en) * 2016-09-06 2020-09-08 Microsoft Technology Licensing, Llc Gesture language for a device with multiple touch surfaces
TWI638287B (zh) 2016-09-08 2018-10-11 國立臺灣大學 指觸介面之輸入裝置、系統及其方法
KR102491564B1 (ko) 2016-09-12 2023-01-26 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
US10248224B2 (en) 2016-10-25 2019-04-02 Microsoft Technology Licensing, Llc Input based on interactions with a physical hinge
US10812713B2 (en) * 2016-10-25 2020-10-20 Hewlett-Packard Development Company, L.P. Selecting camera modes for electronic devices having multiple display panels
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
US11023050B2 (en) * 2016-11-25 2021-06-01 Sony Corporation Display control device, display control method, and computer program
JP6169298B1 (ja) * 2017-02-16 2017-07-26 京セラ株式会社 電子機器及び制御方法
US10564425B2 (en) 2017-02-27 2020-02-18 Snap Inc. Processing a media content based on device movement
WO2018194587A1 (en) * 2017-04-19 2018-10-25 Hewlett-Packard Development Company, L.P. Imaging modules power on via rotations
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
US10015442B1 (en) 2017-05-12 2018-07-03 Microsoft Technology Licensing, Llc Three-way video calling on hinged multi-screen device
US10339700B2 (en) 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US20180329521A1 (en) * 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Application program mode based on device orientation
US10444875B2 (en) * 2017-05-30 2019-10-15 Egalax_Empia Technology Inc. Touch sensitive processing apparatus, method and system
JP6387154B2 (ja) * 2017-06-27 2018-09-05 京セラ株式会社 電子機器及び制御方法
CN109388312B (zh) * 2017-08-05 2021-08-17 深圳市超捷通讯有限公司 电子装置及其应用执行方法
CN109413230A (zh) * 2017-08-17 2019-03-01 富泰华工业（深圳）有限公司 双屏电子装置
JP6946853B2 (ja) * 2017-08-21 2021-10-13 富士フイルムビジネスイノベーション株式会社 画像処理装置
US10459737B2 (en) * 2017-09-21 2019-10-29 Intel Corporation Waking and sleeping a display among a plurality of displays using gestures
US11079995B1 (en) * 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
US20210156238A1 (en) * 2017-10-04 2021-05-27 Shell Oil Company Hinged interactive devices
CN107656792B (zh) * 2017-10-19 2021-03-16 Oppo广东移动通信有限公司 用户界面显示方法、装置及终端
TWI648657B (zh) * 2017-10-23 2019-01-21 群光電子股份有限公司 鍵盤裝置及系統操作方法
TWI653523B (zh) * 2017-12-04 2019-03-11 宏碁股份有限公司 可攜式電子裝置
CN111480132A (zh) * 2017-12-19 2020-07-31 索尼公司 信息处理系统、信息处理方法和程序
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
US10489639B2 (en) 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
US10304208B1 (en) 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
WO2019157344A1 (en) 2018-02-12 2019-08-15 Avodah Labs, Inc. Real-time gesture recognition method and apparatus
US10289903B1 (en) 2018-02-12 2019-05-14 Avodah Labs, Inc. Visual sign language translation training device and method
US11354030B2 (en) * 2018-02-22 2022-06-07 Kyocera Corporation Electronic device, control method, and program
CN108600428B (zh) * 2018-04-02 2021-03-16 京东方科技集团股份有限公司 一种显示设备
TWI707253B (zh) * 2018-05-24 2020-10-11 仁寶電腦工業股份有限公司 具第二螢幕之電子裝置及其控制方法
JP6387204B2 (ja) * 2018-05-30 2018-09-05 京セラ株式会社 電子機器及び制御方法
US11422765B2 (en) 2018-07-10 2022-08-23 Apple Inc. Cross device interactions
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
TWI697818B (zh) * 2018-08-23 2020-07-01 緯創資通股份有限公司 可攜式電子裝置與控制顯示模組之畫面之方法
CN109243306B (zh) * 2018-09-29 2022-04-08 上海中航光电子有限公司 显示面板、显示装置和可折叠显示装置
CN110177292B (zh) * 2018-11-08 2021-11-26 广东小天才科技有限公司 一种基于可穿戴设备的视频播放控制方法及可穿戴设备
JP2020086111A (ja) * 2018-11-26 2020-06-04 セイコーエプソン株式会社 表示方法、および表示装置
CN109814825B (zh) * 2018-12-29 2021-01-08 维沃移动通信有限公司 显示屏操控方法和移动终端
US11347367B2 (en) * 2019-01-18 2022-05-31 Dell Products L.P. Information handling system see do user interface management
US11009907B2 (en) 2019-01-18 2021-05-18 Dell Products L.P. Portable information handling system user interface selection based on keyboard configuration
US11169653B2 (en) 2019-01-18 2021-11-09 Dell Products L.P. Asymmetric information handling system user interface management
USD912139S1 (en) 2019-01-28 2021-03-02 Avodah, Inc. Integrated dual display sensor
JP7393359B2 (ja) * 2019-02-01 2023-12-06 株式会社ワコム 描画システム
EP3908912A4 (en) * 2019-04-02 2022-08-24 Hewlett-Packard Development Company, L.P. PRIVACY MODE OF SCREENS
US11017742B2 (en) * 2019-05-02 2021-05-25 Dell Products L.P. Information handling system multiple display viewing angle brightness adjustment
US11341925B2 (en) * 2019-05-02 2022-05-24 Dell Products L.P. Information handling system adapting multiple display visual image presentations
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
JP7238642B2 (ja) * 2019-06-28 2023-03-14 セイコーエプソン株式会社 表示装置および表示制御プログラム
CN112286339B (zh) * 2019-07-23 2022-12-16 哈尔滨拓博科技有限公司 一种多维手势识别装置、方法、电子设备和存储介质
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Ｉｍｕおよびレーダーを介した認証管理
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
DE102019211156A1 (de) * 2019-07-26 2021-01-28 Audi Ag Faltbare Anzeigevorrichtung, Verfahren zum Betreiben der Anzeigevorrichtung, Steuereinrichtung, und Kraftfahrzeug
EP3936980B1 (en) 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
CN110806829B (zh) * 2019-09-05 2021-05-11 华为技术有限公司 一种具有折叠屏的设备的显示方法及折叠屏设备
CN110798568B (zh) * 2019-09-30 2022-01-14 华为技术有限公司 具有折叠屏的电子设备的显示控制方法及电子设备
CN110989836A (zh) * 2019-10-03 2020-04-10 谷歌有限责任公司 促进用户熟练使用雷达手势来与电子设备交互
KR20210101858A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 제스처 인식 기반의 기능 운용 방법 및 이를 지원하는 전자 장치
US11714544B2 (en) 2020-06-25 2023-08-01 Microsoft Technology Licensing, Llc Gesture definition for multi-screen devices
US11281419B2 (en) * 2020-06-29 2022-03-22 Microsoft Technology Licensing, Llc Instruction color book painting for dual-screen devices
WO2022045926A1 (ru) * 2020-08-25 2022-03-03 Общество с ограниченной ответственностью "МетроМедиа" Вагон общественного транспорта
JP7521372B2 (ja) * 2020-10-15 2024-07-24 セイコーエプソン株式会社 表示方法、及び表示装置
JP2022070081A (ja) * 2020-10-26 2022-05-12 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US20210149485A1 (en) * 2020-12-24 2021-05-20 Intel Corporation Dynamically reconfiguring a display in a multi-display device
TWI767523B (zh) * 2021-01-20 2022-06-11 佳世達科技股份有限公司 電子裝置
CN114792490B (zh) * 2021-01-26 2024-02-06 苏州佳世达电通有限公司 一种电子装置
TWI800204B (zh) * 2021-04-15 2023-04-21 瑞鼎科技股份有限公司 雙螢幕裝置及雙螢幕畫面對齊方法
CN114035759B (zh) * 2021-08-06 2023-12-22 重庆康佳光电科技有限公司 屏幕控制方法、控制终端、屏幕和计算机可读存储介质
CN114527924A (zh) * 2022-02-16 2022-05-24 珠海读书郎软件科技有限公司 一种基于双屏设备的控制方法、存储介质及设备
TWI841333B (zh) * 2023-04-07 2024-05-01 達擎股份有限公司 顯示系統以及用於顯示系統的影像顯示方法
WO2024235882A1 (en) * 2023-05-12 2024-11-21 Ameria Ag Adaptable virtualized human-machine interface for a portable computer
EP4462224A1 (en) * 2023-05-12 2024-11-13 ameria AG Portable computer with virtualized human-machine interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012720A1 (en) * 1998-11-09 2005-01-20 Pryor Timothy R. More useful man machine interfaces and applications
US20120144323A1 (en) * 2010-10-01 2012-06-07 Imerj, Llc Desktop Reveal By Moving a Logical Display Stack With Gestures

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796768B2 (ja) 1992-11-20 1998-09-10 株式会社ピーエフユー マルチディスプレイ装置
US5522025A (en) 1993-10-25 1996-05-28 Taligent, Inc. Object-oriented window area display system
CA2139094C (en) 1994-12-23 1999-04-13 Abdel Naser Al-Karmi Optical character recognition of handwritten or cursive text
JP3462986B2 (ja) 1998-08-31 2003-11-05 株式会社日立製作所 カメラ付きペン型入力装置
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2001021972A (ja) 1999-07-07 2001-01-26 Minolta Co Ltd ペンシル型のデジタルスチルカメラ
JP2001209470A (ja) 2000-01-26 2001-08-03 Fujitsu Ltd 表示インターフェイス方法及び装置並びにプログラム記憶媒体
JP2001307107A (ja) * 2000-04-21 2001-11-02 Sony Corp 画像処理装置および方法、並びに記録媒体
US7120317B1 (en) 2001-03-01 2006-10-10 Silicon Motion, Inc. Method and system for a programmable image transformation
JP2002281135A (ja) 2001-03-21 2002-09-27 Nec Viewtechnology Ltd 携帯電話
US7929185B2 (en) 2002-03-25 2011-04-19 Transpacific Systems, Llc System and method for switching screens from overview and preview
US6904737B2 (en) 2002-08-01 2005-06-14 General Mills, Inc. Dispensing apparatus and method of dispensing
KR20040035019A (ko) 2002-10-18 2004-04-29 엘지전자 주식회사 휴대용 컴퓨터의 스피커 시스템 및 스피커 구동방법
KR20040091272A (ko) 2003-04-21 2004-10-28 홍충식 더블 폴더 휴대폰
US8984440B2 (en) 2010-10-01 2015-03-17 Z124 Managing expose views in dual display communication devices
JP4193584B2 (ja) * 2003-05-22 2008-12-10 日本電気株式会社 カバー付き撮像装置
KR20040104777A (ko) 2003-06-04 2004-12-13 주식회사 팬택앤큐리텔 듀얼 카메라 장착 단말기
KR20050068127A (ko) 2003-12-29 2005-07-05 엘지전자 주식회사 입체사진 촬영이 가능한 휴대용 단말기
KR100959796B1 (ko) 2004-01-31 2010-05-28 엘지전자 주식회사 부분 윈도우 화면 표시방법
JP3738358B2 (ja) 2004-04-20 2006-01-25 カシオ計算機株式会社 ウィンドウ表示制御装置
US8627217B2 (en) 2004-05-06 2014-01-07 Yanase Takatoshi Window display system, window display method, program development support device, and server device
JP4177434B2 (ja) 2004-05-06 2008-11-05 隆敏 柳瀬 ウィンドウ表示システム、情報処理システム、クライアント装置、電話機、情報機器、家電機器及び機器
KR20050109190A (ko) 2004-05-14 2005-11-17 주식회사 팬택 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법
JP2006030379A (ja) 2004-07-13 2006-02-02 Toshiba Corp マルチディスプレイシステム及びコンピュータ
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7561737B2 (en) 2004-09-22 2009-07-14 Microsoft Corporation Mathematical expression recognition
KR100606797B1 (ko) 2004-11-12 2006-08-02 엘지전자 주식회사 듀얼 카메라를 갖는 이동통신 단말기
KR101094769B1 (ko) 2004-12-21 2011-12-16 엘지전자 주식회사 듀얼 카메라를 구비한 이동통신 단말기의 파노라마 영상표시 방법
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
KR20060092621A (ko) 2005-02-18 2006-08-23 최기훈 듀얼액정이 구비되는 전자책 단말기
KR20070014586A (ko) 2005-07-29 2007-02-01 삼성전자주식회사 Ｐｉｐ 표시 제어방법
KR100653965B1 (ko) 2005-08-01 2006-12-05 심재용 휴대용 단말기의 서로 다른 카메라를 이용한 3차원입체영상 처리 장치
KR100773853B1 (ko) 2005-08-22 2007-11-06 캐논 가부시끼가이샤 오브젝트 조작 장치 및 오브젝트 조작방법
KR100742588B1 (ko) 2005-11-14 2007-07-25 주식회사 디엔피시스템 듀얼 모니터의 모니터간 데이터 공유 방법
TW200729944A (en) * 2006-01-27 2007-08-01 Sunplus Technology Co Ltd Camera system having touch screen
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
JP2008033686A (ja) 2006-07-28 2008-02-14 Fujitsu Frontech Ltd 電子ブック
US8516393B2 (en) 2006-12-18 2013-08-20 Robert Pedersen, II Apparatus, system, and method for presenting images in a multiple display environment
KR100803504B1 (ko) 2007-01-16 2008-02-14 (주)케이티에프테크놀로지스 듀얼 카메라를 구비한 휴대용 단말기
CN101286310A (zh) 2007-04-13 2008-10-15 群康科技(深圳)有限公司 显示器屏幕显示控制系统及其操作方法
KR100936816B1 (ko) 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
KR20080113832A (ko) 2007-06-26 2008-12-31 (주)이에스비 액정표시장치상의 특정 패턴을 촬영하는 카메라를 내장하여위치를 판독하는 전자펜과 이를 이용한 전자칠판
KR101164738B1 (ko) 2007-08-29 2012-07-12 교세라 가부시키가이샤 전자 기기 및 입력 인터페이스 전환 방법
KR20090065040A (ko) 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
KR100942783B1 (ko) 2008-02-27 2010-02-18 웹싱크 주식회사 통합 프레임 버퍼를 사용하는 디지털 멀티비전 시스템
US8860765B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
US8933874B2 (en) 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US8866840B2 (en) 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
US9009984B2 (en) 2008-09-08 2015-04-21 Qualcomm Incorporated Multi-panel electronic device
US8860632B2 (en) 2008-09-08 2014-10-14 Qualcomm Incorporated Multi-panel device with configurable interface
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
US8836611B2 (en) 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US20100073306A1 (en) 2008-09-25 2010-03-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Dual-view touchscreen display system and method of operation
KR101569776B1 (ko) 2009-01-09 2015-11-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR101544364B1 (ko) 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
KR101564108B1 (ko) 2009-03-20 2015-10-28 엘지전자 주식회사 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기
US8446377B2 (en) 2009-03-24 2013-05-21 Microsoft Corporation Dual screen portable touch sensitive computing system
KR20100115547A (ko) 2009-04-20 2010-10-28 에스케이 텔레콤주식회사 컨텐츠 주밍 방법과 그를 위한 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR101556329B1 (ko) 2009-05-11 2015-10-01 에스케이텔레콤 주식회사 단말기에서의 모드별 다중 스피커 제어 방법 및 그 장치
KR101578005B1 (ko) 2009-06-10 2015-12-16 엘지전자 주식회사 이동 단말기 및 이것에 구비된 카메라를 이용한 사용자 동작 입력 방법
JP5212310B2 (ja) 2009-08-17 2013-06-19 株式会社リコー ネットワークシステム、サーバ装置、及びグループウェアプログラム
KR101240060B1 (ko) 2009-09-03 2013-03-06 퀄컴 인코포레이티드 경사계를 갖는 모바일 디바이스
JP5653920B2 (ja) 2009-09-03 2015-01-14 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ グラフィカルユーザインターフェース要素の配置および方向を示すための方法
US8681124B2 (en) 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110102314A1 (en) * 2009-10-30 2011-05-05 Xerox Corporation Dual-screen electronic reader with tilt detection for page navigation
KR101710545B1 (ko) 2009-11-05 2017-02-27 엘지전자 주식회사 이동 단말기 및 이를 이용한 정보 제공 방법
CN101930333B (zh) * 2009-12-03 2012-10-17 明基电通有限公司 多屏幕显示控制方法
US8724301B2 (en) 2010-01-29 2014-05-13 Mohamed K. Mahmoud Laptop book
US20110191704A1 (en) 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
JP2011203873A (ja) * 2010-03-24 2011-10-13 Nec Corp 情報処理装置、表示切換え方法、プログラム及び記録媒体
JP2011221229A (ja) 2010-04-08 2011-11-04 Sharp Corp 表示システム、表示方法、およびディスプレイ
KR101196253B1 (ko) 2010-04-20 2012-11-05 주식회사 유니온앤이씨 기업 정보 관리를 위한 가상 컨텐츠 공급 장치 및 방법
JP2011248411A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および仮想キーボードの表示方法
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
WO2011155192A1 (ja) * 2010-06-08 2011-12-15 パナソニック株式会社 映像生成装置、方法及び集積回路
US9009594B2 (en) 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US8638303B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings
KR101686866B1 (ko) 2010-06-30 2016-12-15 엘지전자 주식회사 이동 단말기
KR101701839B1 (ko) 2010-07-13 2017-02-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101718027B1 (ko) 2010-09-09 2017-03-20 엘지전자 주식회사 이동 단말기 및 그의 메모 관리방법
US8749484B2 (en) 2010-10-01 2014-06-10 Z124 Multi-screen user interface with orientation based control
KR101798965B1 (ko) 2010-10-14 2017-11-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US20130283202A1 (en) * 2010-12-30 2013-10-24 Wei Zhou User interface, apparatus and method for gesture recognition
KR101842906B1 (ko) * 2011-02-10 2018-05-15 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면 변경방법
KR101229699B1 (ko) 2011-05-12 2013-02-05 주식회사 케이티 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012720A1 (en) * 1998-11-09 2005-01-20 Pryor Timothy R. More useful man machine interfaces and applications
US20120144323A1 (en) * 2010-10-01 2012-06-07 Imerj, Llc Desktop Reveal By Moving a Logical Display Stack With Gestures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010525A1 (ko) * 2019-07-18 2021-01-21 엘지전자 주식회사 단말기 세트 및 그 제어방법
US12155787B2 (en) 2019-07-18 2024-11-26 Lg Electronics Inc. Terminal set comprising two adjacent displays, and method for controlling an output of the adjacent displays
WO2022005004A1 (ko) * 2020-06-30 2022-01-06 삼성전자 주식회사 사용자 모니터링 및 정보 제공 방법 및 그 장치

Also Published As

Publication number Publication date
EP2741173A3 (en) 2017-05-03
TWI579732B (zh) 2017-04-21
US9317198B2 (en) 2016-04-19
KR20140046343A (ko) 2014-04-18
CN103729054A (zh) 2014-04-16
EP2741173A2 (en) 2014-06-11
JP6585876B2 (ja) 2019-10-02
JP2014078238A (ja) 2014-05-01
TW201419042A (zh) 2014-05-16
US20140101578A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
KR101984683B1 (ko) 멀티 디스플레이 장치 및 그 제어 방법
KR102063952B1 (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
KR101951228B1 (ko) 멀티 디스플레이 장치 및 그 촬상 방법
KR102061881B1 (ko) 멀티 디스플레이 장치 및 그 디스플레이 제어 방법
US9406281B2 (en) Multi-display device and method of controlling thereof
US9348504B2 (en) Multi-display apparatus and method of controlling the same
EP2720140A1 (en) Display apparatus, input pen, display apparatus controlling method and display system
EP2720141A1 (en) Display apparatus and method of controlling display thereof
KR20140046345A (ko) 멀티 디스플레이 장치 및 그 툴 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121010

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170925

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20121010

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180921

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190318

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180921

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190318

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20181105

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190501

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190410

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190318

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20181105

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190527

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190528

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230307