[go: up one dir, main page]

KR102165448B1 - 중첩된 투명 디스플레이 및 그 제어 방법 - Google Patents

중첩된 투명 디스플레이 및 그 제어 방법 Download PDF

Info

Publication number
KR102165448B1
KR102165448B1 KR1020140042301A KR20140042301A KR102165448B1 KR 102165448 B1 KR102165448 B1 KR 102165448B1 KR 1020140042301 A KR1020140042301 A KR 1020140042301A KR 20140042301 A KR20140042301 A KR 20140042301A KR 102165448 B1 KR102165448 B1 KR 102165448B1
Authority
KR
South Korea
Prior art keywords
pointer
display device
area
user interface
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140042301A
Other languages
English (en)
Other versions
KR20150117055A (ko
Inventor
조은형
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140042301A priority Critical patent/KR102165448B1/ko
Priority to US14/455,572 priority patent/US9817572B2/en
Publication of KR20150117055A publication Critical patent/KR20150117055A/ko
Application granted granted Critical
Publication of KR102165448B1 publication Critical patent/KR102165448B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04897—Special input arrangements or commands for improving display capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1654—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being detachable, e.g. for remote use
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

포인터의 제어 대상을 외부 투명 디스플레이 디바이스로 전환하는 인터페이스를 제공하는 디스플레이 디바이스가 개시된다. 상기 디스플레이 디바이스는 제1 디스플레이 영역을 포함하고 포인터를 디스플레이하는 디스플레이 유닛, 제2 디스플레이 영역을 포함하는 외부 투명 디스플레이 디바이스와 통신하는 커뮤니케이션 유닛, 및 상기 디스플레이 유닛 및 상기 커뮤니케이션 유닛을 제어하는 컨트롤 유닛을 포함한다. 또한, 상기 컨트롤 유닛은, 상기 포인터를 제어하는 포인터 제어 시그널을 수신하고, 상기 제1 디스플레이 영역 중 상기 외부 투명 디스플레이 디바이스에 의하여 중첩되는 제1 영역을 디텍트하고, 상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하고, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 포인터 제어 시그널을 상기 커뮤니케이션 유닛을 통하여 상기 외부 투명 디스플레이 디바이스로 송신하며, 상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 포인터 제어 시그널을 상기 외부 투명 디스플레이 디바이스로 송신하지 않는다.

Description

중첩된 투명 디스플레이 및 그 제어 방법{OVERLAPPED TRANSPARENT DISPLAY AND METHOD FOR CONTROLLING THE SAME}
본 발명은 중첩된 투명 디스플레이 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 다른 디스플레이에 중첩된 투명 디스플레이 및 그 제어 방법에 관한 것이다.
전자 기술의 발전에 따라 다양한 디스플레이 디바이스가 개발되고 있다. CRT, LCD, PDP, OLED 등과 같이 다양한 디스플레이 부품을 포함하는 디스플레이 디바이스들이 사용되었거나 사용되고 있다. 또한, 디스플레이의 양 방향에서 모두 시청할 수 있도록 투명 디스플레이 디바이스에 대한 연구가 진행되고 있다.
이러한 투명 디스플레이 디바이스는 디스플레이 유닛이 투명하기 때문에 사용자가 디스플레이 유닛에 표시되는 컨텐츠와 함께 그 뒷면의 피사체를 함께 볼 수 있다는 장점이 있다. 따라서, 투명 디스플레이 디바이스를 다른 디스플레이 디바이스와 함께 이용할 때에 투명 디스플레이 디바이스의 장점이 더욱 향상될 수 있다.
도 1은 제1 디스플레이 영역(101)을 포함하는 디스플레이 디바이스(100)와 제2 디스플레이 영역(201)을 포함하는 투명 디스플레이 디바이스(200)를 동시에 이용하는 상황을 나타낸다. 투명 디스플레이 디바이스(200)는 핸드헬드(handheld) 디바이스로서 구현될 수 있다. 또한, 투명 디스플레이 디바이스(200)는 터치 감응형 패널 및 다른 입력 수단 중 적어도 하나를 이용하여 제어될 수도 있다.
도 1에 도시된 바와 같이, 디스플레이 디바이스(100)는 포인터(161)를 이용하여 제어될 수 있다. 반면, 투명 디스플레이 디바이스(200)는 터치 감응형 패널을 이용하여 제어될 수도 있다. 따라서, 디스플레이 디바이스(100)와 투명 디스플레이 디바이스(200)를 동시에 제어하는 것이 사용자에게 불편을 유발한다. 또한, 투명 디스플레이 디바이스(200)가 핸드헬드 디바이스인 경우, 투명 디스플레이 디바이스(200)의 고정을 위한 별도의 거치대가 필요하다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 다른 디스플레이 디바이스와 중첩된 투명 디스플레이 디바이스를 효과적으로 제어할 수 있는 방법을 제공함에 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예로서, 디스플레이 디바이스는 제1 디스플레이 영역을 포함하고 포인터를 디스플레이하는 디스플레이 유닛, 제2 디스플레이 영역을 포함하는 외부 투명 디스플레이 디바이스와 통신하는 커뮤니케이션 유닛 및 상기 디스플레이 유닛 및 상기 커뮤니케이션 유닛을 제어하는 컨트롤 유닛을 포함하고, 상기 컨트롤 유닛은 상기 포인터를 제어하는 포인터 제어 시그널을 수신하고, 상기 제1 디스플레이 영역 중 상기 외부 투명 디스플레이 디바이스에 의하여 중첩되는 제1 영역을 디텍트하고, 상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하고, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 포인터 제어 시그널을 상기 커뮤니케이션 유닛을 통하여 상기 외부 투명 디스플레이 디바이스로 송신하며, 상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 포인터 제어 시그널을 상기 외부 투명 디스플레이 디바이스로 송신하지 않는다.
그리고, 상기 유저 인터페이스는 상기 제1 디스플레이 영역의 에지와 맞닿은 상기 제1 영역의 에지 중 적어도 일부에 인접한 위치에 설정될 수 있다.
또한, 상기 컨트롤 유닛은 상기 포인터의 위치 및 이동 방향 중 적어도 하나에 기초하여 상기 유저 인터페이스의 위치, 크기 및 모양 중 적어도 하나를 변경할 수 있다.
한편, 상기 컨트롤 유닛은, 상기 포인터의 제어 대상이 상기 제2 디스플레이 영역이고, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터의 제어 대상을 상기 제2 디스플레이 영역으로부터 상기 제1 디스플레이 영역으로 전환할 수 있다.
그리고, 상기 유저 인터페이스는, 상기 포인터의 제어 대상을 상기 제1 디스플레이 영역 또는 상기 제2 디스플레이 영역으로 전환하는 복수의 전환 영역들을 포함할 수 있다.
또한, 상기 복수의 전환 영역들은, 상기 제1 디스플레이 영역으로부터 상기 제2 디스플레이 영역으로 상기 포인터의 제어 대상을 전환하는 제1 전환 영역과 상기 제2 디스플레이 영역으로부터 상기 제1 디스플레이 영역으로 상기 포인터의 제어 대상을 전환하는 제2 전환 영역을 포함하고, 상기 제1 전환 영역과 상기 제2 전환 영역은 서로 상이한 위치에 설정될 수 있다.
한편, 상기 유저 인터페이스는 상기 유저 인터페이스가 설정된 위치에 대응하는 상기 제1 디스플레이 영역 및 상기 제2 디스플레이 영역 중 적어도 하나에 디스플레이될 수 있다.
그리고, 상기 컨트롤 유닛은, 상기 포인터가 상기 유저 인터페이스로부터 기설정된 제1 거리 내로 이동하는 경우 상기 유저 인터페이스의 디스플레이 속성을 변경할 수 있다.
또한, 상기 컨트롤 유닛은, 상기 포인터가 상기 유저 인터페이스로부터 기설정된 제2 거리 밖으로 이동하는 경우 상기 변경된 유저 인터페이스의 디스플레이 속성을 리스토어(restore)할 수 있다.
또한, 상기 컨트롤 유닛은, 상기 제1 영역의 크기, 모양 및 위치 중 적어도 하나가 변경되는 경우, 변경된 제1 영역의 크기, 모양 및 위치 중 적어도 하나에 기초하여 상기 유저 인터페이스의 크기, 모양 및 위치 중 적어도 하나를 재설정할 수 있다.
한편, 상기 컨트롤 유닛은, 상기 포인터의 제어 대상이 전환된 경우, 상기 제어 대상의 전환 또는 상기 포인터의 제어 대상을 표시하는 피드백을 제공할 수 있다.
그리고, 상기 피드백은 청각적 피드백, 촉각적 피드백, 후각적 피드백 및 시각적 피드백 중 적어도 하나를 포함할 수 있다.
또한, 상기 시각적 피드백은, 상기 제1 디스플레이 영역 및 상기 제1 영역 중 적어도 하나에 디스플레이된 이미지의 투명도, 블러(blur), 색상, 휘도 및 콘트라스트(contrast) 중 적어도 하나를 조정하는 것을 포함할 수 있다.
또한, 상기 시각적 피드백은, 상기 포인터의 크기, 모양, 투명도 및 색상 중 적어도 하나를 변경하는 것, 상기 제1 영역의 전체 또는 일부에 미리 설정된 색상을 디스플레이하는 것 및 상기 제1 영역의 에지를 하이라이트(highlight)하는 것 중 적어도 하나를 포함할 수 있다.
한편, 상기 포인터의 제어 대상에 기초하여, 상기 외부 투명 디바이스의 상기 제2 디스플레이 영역에 디스플레이되는 이미지의 전체 또는 일부의 투명도, 블러, 색상, 휘도 및 콘트라스트 중 적어도 하나가 조정될 수 있다.
한편, 상기 외부 투명 디스플레이 디바이스에서 상기 포인터 제어 시그널이 수신되는 경우, 상기 포인터는 상기 제2 디스플레이 영역에 디스플레이될 수 있다.
한편, 상기 컨트롤 유닛은, 상기 포인터가 상기 유저 인터페이스에 미리 정의된 시간 이상 홀드(hold)되는 경우 상기 포인터 제어 시그널을 송신할 수 있다.
한편, 상기 컨트롤 유닛은, 상기 외부 투명 디스플레이 디바이스에 의하여 생성된 소리, 빛 및 자기장 중 적어도 하나 및 상기 외부 투명 디스플레이 디바이스의 후면(back side)의 패턴 중 적어도 하나를 센싱하여 상기 제1 영역을 디텍트할 수 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시예로서, 디스플레이 디바이스는, 투명 디스플레이 유닛, 외부 디스플레이 디바이스와 통신하는 커뮤니케이션 유닛 및 상기 투명 디스플레이 유닛 및 상기 커뮤니케이션 유닛을 제어하는 컨트롤 유닛을 포함하며, 상기 컨트롤 유닛은, 상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 중첩을 디텍트하고, 상기 외부 디스플레이 디바이스로부터의 포인터 제어 시그널을 상기 커뮤니케이션 유닛을 통하여 수신하는 경우, 상기 외부 디스플레이 디바이스의 포인터에 기초하여 상기 디스플레이 디바이스를 제어하고, 상기 외부 디스플레이 디바이스는, 상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 디스플레이 영역이 중첩되는 제1 영역을 디텍트하고, 상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하며, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하고, 상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하지 않는다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 제어 전환 방법은, 디스플레이 디바이스의 제1 디스플레이 영역 중 외부 투명 디스플레이 디바이스에 의하여 중첩되는 제1 영역을 디텍트하는 단계, 상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하는 단계 및 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 포인터 제어 시그널을 상기 외부 투명 디스플레이 디바이스로 송신하는 단계를 포함하고, 상기 외부 투명 디스플레이 디바이스는, 상기 포인터 제어 시그널을 수신하는 경우 상기 포인터에 기초하여 제어된다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면, 제어 전환 방법은, 투명 디스플레이 디바이스의 투명 디스플레이 유닛과 외부 디스플레이 디바이스의 중첩을 검출하는 단계 및 상기 외부 디스플레이 디바이스로부터의 포인터 제어 시그널을 수신하는 경우, 상기 외부 디스플레이 디바이스의 포인터에 기초하여 상기 투명 디스플레이 디바이스를 제어하는 단계를 포함하고, 상기 외부 디스플레이 디바이스는, 상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 디스플레이 영역이 중첩되는 제1 영역을 디텍트하고, 상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스를 설정하며, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하고, 상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하지 않는다.
상술한 다양한 실시 예에 따르면, 중첩된 투명 디스플레이 및 제어 방법은 포인터의 제어 대상을 전환하는 유저 인터페이스를 제공함으로써 중첩된 투명 디스플레이 디바이스와 다른 디스플레이 디바이스를 효과적으로 제어할 수 있다.
또한, 투명 디스플레이 디바이스와 다른 디스플레이 디바이스를 중첩하여 사용함으로써 투명 디스플레이 디바이스의 고정이 용이해진다.
또한, 투명 디스플레이 디바이스를 다른 디스플레이 디바이스에 커플링된 포인터 제어 디바이스를 이용하여 제어 함으로써 투명 디스플레이 디바이스의 제어가 용이해진다.
도 1은 디스플레이 디바이스와 투명 디스플레이 디바이스의 이용 환경을 도시한 도면이다.
도 2는 서로 중첩된 디스플레이 디바이스와 투명 디스플레이이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 디바이스와 투명 디스플레이 디바이스의 구성도이다.
도 4a, 도 4b, 도 4c 및 도 4d는 디스플레이 디바이스와 투명 디스플레이 디바이스가 중첩되는 형상을 설명하기 위한 도면이다.
도 5a, 5b, 5c 및 5d는 본 발명의 일 실시예에 따른 유저 인터페이스 이용 방법을 설명하기 위한 도면이다.
도 6a, 6b, 6c, 6d, 6e 및 6f는 본 발명의 일 실시예에 따른 유저 인터페이스의 다양한 실시예들을 도시한다.
도 7a 및 7b는 포인터의 위치에 따른 유저 인터페이스의 위치를 도시한다.
도 8a 및 8b는 본 발명의 일 실시예에 따른 유저 인터페이스의 유형들을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 유저 인터페이스 표시 방법을 설명하기 위한 도면이다.
도 10a, 10b 및 10c는 중첩 영역의 이동에 따른 유저 인터페이스를 도시한다.
도 11a, 11b, 11c 및 11d는 포인터의 제어 대상에 따른 시각적 피드백을 도시한다.
도 12a 및 12b는 포인터의 제어 대상에 따른 투명 디스플레이 디바이스의 시각적 피드백을 도시한다.
도 13은 본 발명의 일 실시예에 따른 제어 전환 방법의 흐름도이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출연 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 다른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에서 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 명세서의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 명세서의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
그리고 본 명세서에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 명세서의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게, 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 “…유닛”, “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
도 2는 서로 중첩된 디스플레이 디바이스와 투명 디스플레이이다.
도 2를 참조하면, 투명 디스플레이 디바이스(200)는 디스플레이 디바이스(100)의 제1 디스플레이 영역(101)에 중첩되어 배치되어 있다. 디스플레이 디바이스(100)에 투명 디스플레이 디바이스(200)가 중첩됨으로 인하여 중첩 영역(162)이 생성된다. 투명 디스플레이 디바이스(200)는 제1 디스플레이 디바이스(100)의 베젤(bezel)을 이용하여 고정될 수도 있다. 이 경우, 투명 디스플레이 디바이스(200)는 포인터(161)를 이용하여 제어될 수 있다. 포인터(161)는 마우스, 광학 포인팅 디바이스, 트랙볼(track ball) 및 임의의 입력 수단 중 적어도 하나에 의하여 제어될 수도 있다.
한편, 아이콘, 바로가기, 가젯(gadget) 및 배경 이미지 중 적어도 하나를 포함하는 이미지들(151, 152)이 제1 디스플레이 영역(101) 상에 디스플레이되고, 아이콘, 바로가기, 가젯 및 배경 이미지 중 적어도 하나를 포함하는 이미지(251)가 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역(201) 상에 디스플레이 된다. 또한, 투명 디스플레이 디바이스(200)는 그 후면의 이미지가 그대로 투과시킨다. 따라서, 중첩 영역(162) 내에서 포인터(161)가 제어될 경우, 사용자는 자신이 제1 디스플레이 영역 상의 이미지(152)를 제어하는 것인지, 제2 디스플레이 영역 상의 이미지(251)를 제어하는 것인지 판단하기가 어렵다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 디바이스와 투명 디스플레이 디바이스의 구성도이다.
도 3의 디스플레이 디바이스(100)는 이미지를 디스플레이하는 디스플레이 유닛(120), 외부의 투명 디스플레이 디바이스(200)와 통신하는 커뮤니케이션 유닛(130) 및 디스플레이 유닛(120)과 커뮤니케이션 유닛(130)을 제어하는 컨트롤 유닛(110)을 포함한다. 컨트롤 유닛(110)은 또한, 포인터를 제어하는 포인터 제어 시그널을 수신하고, 외부 투명 디스플레이 디바이스(200)에 의하여 중첩되는 중첩 영역을 디텍트할 수 있다. 컨트롤 유닛(110)은 투명 디스플레이 디바이스(200)에 의하여 생성된 소리, 빛 및 자기장 중 적어도 하나를 센싱함으로써, 투명 디스플레이 디바이스(200) 후면의 패턴을 센싱함으로써 또는 양자를 모두 센싱함으로써 중첩 영역을 디텍트할 수도 있다. 또한, 컨트롤 유닛(110)은 중첩 영역의 에지 중 적어도 일부에 인첩항 위치에 포인터의 제어 대상을 전환하는 유저 인터페이스를 설정할 수 있다. 그리고, 컨트롤 유닛(110)은 포인터가 유저 인터페이스의 적어도 일부와 중첩될 경우에 또는 포인터가 유저 인터페이스에 일정 시간 이상 홀드(hold)될 경우에 포인터 제어 시그널을 외부의 투명 디스플레이 디바이스(200)로 송신할 수 있다. 컨트롤 유닛(110)은 포인터의 위치 및 이동 방향 중 적어도 하나에 기초하여 유저 인터페이스의 위치, 크기 및 모양 중 적어도 하나를 변경할 수도 있다. 컨트롤 유닛(110)은 포인터의 제어 대상을 투명 디스플레이 디바이스(200)로부터 디스플레이 디바이스(100)로 전환할 수도 있다. 또한, 컨트롤 유닛(110)은 포인터와 유저 인터페이스 사이의 거리에 기초하여 유저 인터페이스의 디스플레이 속성을 변경 또는 리스토어(restore)할 수도 있다. 또한, 컨트롤 유닛(110)은 중첩 영역의 크기, 모양 및 위치 중 적어도 하나가 변경되는 경우에, 변경된 중첩 영역의 크기, 모양 및 위치 중 적어도 하나에 기초하여 유저 인터페이스의 크기, 모양 및 위치 중 적어도 하나를 재설정할 수도 있다. 한편, 컨트롤 유닛(110)은 포인터의 제어 대상이 전환된 경우 제어 대상의 전환 또는 제어 대상을 표시하는 피드백을 제공할 수도 있다.
도 3의 투명 디스플레이 디바이스(200)는 투명 디스플레이 영역을 포함하는 투명 디스플레이 유닛(220), 디스플레이 디바이스(100)와 통신하는 커뮤니케이션 유닛(230) 및 투명 디스플레이 유닛(220)과 커뮤니케이션 유닛(230)을 제어하는 컨트롤 유닛(210)을 포함한다. 컨트롤 유닛(110)은 또한, 외부 디스플레이 디바이스(100)에 의한 중첩을 디텍트할 수 있고, 디스플레이 디바이스(100)로부터 포인터 제어 시그널을 수신하는 경우 디스플레이 디바이스(100)의 포인터에 기초하여 투명 디스플레이 디바이스(200)를 제어할 수 있다.
디스플레이 디바이스(100)와 투명 디스플레이 디바이스(200)는 커뮤니케이션 유닛(130, 230)을 이용하여 서로 통신한다. 디스플레이 디바이스(100)와 투명 디스플레이 디바이스(200)는 유선 및/또는 무선으로 서로 커플링될 수 있다. 디스플레이 디바이스(100)와 투명 디스플레이 디바이스(200)의 커플링은 NFC(Near Field Communication), Bluetooth, WiFi, WiDi, USB, 적외선 통신 및/또는 임의의 유선 또는 무선 통신 프로토콜을 포함할 수도 있다.
도 4a, 도 4b, 도 4c 및 도 4d는 디스플레이 디바이스와 투명 디스플레이 디바이스가 중첩되는 형상을 설명하기 위한 도면이다.
도 4a 내지 도 4c에 도시된 바와 같이, 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역(201) 전부가 제1 디스플레이 영역(101)과 중첩될 수도 있으며, 도 4d에 도시된 바와 같이, 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역(201) 일부만이 제1 디스플레이 영역(101)과 중첩될 수도 있다. 또한, 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역(201)은 제1 디스플레이 영역(101)의 전부 또는 일부와 중첩될 수 있다.
한편, 도 4a 내지 4d에는 설명의 편의를 위하여, 제 1 디스플레이 영역(101) 및 제2 디스플레이 영역(201)의 베젤이 도시되지 않았으나, 제1 디스플레이 영역(101) 및/또는 제2 디스플레이 영역(201)은 베젤을 더 포함할 수도 있다. 또한, 투명 디스플레이 디바이스(200)를 고정하기 위하여, 투명 디스플레이 디바이스(200)는 제1 디스플레이 영역(101)의 에지(edge)들 중 적어도 하나와 맞닿게 위치될 수도 있다.
도 5a, 5b, 5c 및 5d는 본 발명의 일 실시예에 따른 유저 인터페이스 이용 방법을 설명하기 위한 도면이다.
도 5a 내지 5d에 도시된 바와 같이, 포인터(161)의 제어 대상을 전환하기 위한 유저 인터페이스(171)가 제공된다. 즉, 포인터(161)와 유저 인터페이스(171)와의 상호작용에 의하여 포인터(161)의 제어 대상이 전환될 수 있다. 예를 들어, 포인터(161)의 좌표와 유저 인터페이스(171)의 위치를 비교함으로써, 유저 인터페이스(171)가 이용되었는지가 판단될 수 있다.
도 5a를 참조하면, 포인터(161)의 제어 대상을 전환하기 위한 유저 인터페이스(171)가 중첩 영역(162)의 에지에 제공된다. 제1 디스플레이 영역(101)을 제어하는 포인터(161)는 유저 인터페이스(171)의 적어도 일부와 중첩되는 경로로 중첩 영역(162)으로 이동한다. 유저 인터페이스(171)를 통과하여 포인터(161)가 중첩 영역(162)으로 이동하면, 디스플레이 디바이스는 포인터 제어 시그널을 외부의 투명 디스플레이 디바이스(200)로 송신한다. 포인터 제어 시그널을 수신한 투명 디스플레이 디바이스(200)는 포인터(161)에 기초하여 제어되며, 포인터(161)는 제2 디스플레이 영역 상의 이미지(251)를 제어할 수 있다. 즉, 포인터(161)의 제어 대상이 제2 디스플레이 영역(201)으로 전환된다. 유사하게, 포인터(161)의 제어 대상이 제1 디스플레이 영역(101)이고, 포인터(161)가 유저 인터페이스(171)의 적어도 일부와 중첩될 경우, 포인터(161)의 제어 대상은 제2 디스플레이 영역(201)으로부터 제1 디스플레이 영역(101)으로 전환될 수 있다.
도 5b를 참조하면, 제1 디스플레이 영역(101)을 제어하는 포인터(161)는 유저 인터페이스(171) 외의 영역을 이용하여 중첩 영역(162)으로 이동한다. 이 경우, 디스플레이 디바이스는 포인터 제어 시그널을 외부의 투명 디스플레이 디바이스(200)로 송신하지 않는다. 따라서, 포인터(161)의 제어 대상은 여전히 제1 디스플레이 영역(101)이며, 포인터(161)는 제1 디스플레이 영역 상의 이미지(152)를 제어할 수 있다.
또한, 도 5c에 도시된 바와 같이, 포인터(161)가 중첩 영역(162) 내에서 이동함으로써 포인터(161)의 제어 대상을 전환할 수도 있다. 포인터(161)는 중첩 영역(162) 내에서 유저 인터페이스(171)를 거쳐 이동하고, 이 경우, 투명 디스플레이 디바이스(200)는 포인터(161)에 기초하여 제어될 수 있다. 동일한 방식으로, 포인터(161)의 제어 대상이 제2 디스플레이 영역(201)으로부터 제1 디스플레이 영역(101)으로 전환될 수도 있다.
또한, 도 5d에 도시된 바와 같이, 포인터(161)가 유저 인터페이스(171)에 일정 시간 이상 홀드(hold)되면, 포인터(161)의 제어 대상이 전환될 수도 있다. 동일한 방식으로, 포인터(161)의 제어 대상이 제2 디스플레이 영역(201)으로부터 제1 디스플레이 영역(101)으로 전환될 수도 있다.
도 6a, 6b, 6c, 6d, 6e 및 6f는 본 발명의 일 실시예에 따른 유저 인터페이스의 다양한 실시예들을 도시한다.
도 6a 내지 도 6f에 도시된 바와 같이, 유저 인터페이스(171, 171a 또는 171b)는 중첩 영역(162)의 에지 중 적어도 일부에 인접한 위치에 설정된다. 도 6a, 6b 및 6e에 도시된 바와 같이, 유저 인터페이스(171)는 제1 디스플레이 영역(101)의 에지와 중첩 영역(162)의 에지가 맞닿은 위치에 설정될 수 있다. 또한, 유저 인터페이스(171)는, 도 6c 및 6d에 도시된 바와 같이, 중첩 영역(162)의 에지에 인접한 위치에 설정될 수도 있다. 또한, 도 6a 내지 도 6f에 도시된 바와 같이, 유저 인터페이스(171)의 형태는 사각형, 삼각형, 원형 또는 임의의 모양을 포함할 수 있으며, 다양한 크기를 포함할 수 있다. 또한, 도 6f에 도시된 바와 같이, 복수의 유저 인터페이스들(171a 및 171b)이 설정될 수도 있다.
도 7a 및 7b는 포인터의 위치에 따른 유저 인터페이스의 위치를 도시한다.
포인터(161)의 위치에 따라, 유저 인터페이스(171)의 위치, 크기, 모양 및 숫자 중 적어도 하나가 조정될 수 있다. 예를 들어, 도 7a와 같이 포인터(161)가 중첩 영역의 외부(162)에 있는 경우, 유저 인터페이스(171)는 중첩 영역(162)의 상부 에지의 일부에 설정될 수도 있다. 또한, 포인터(161)가 제1 디스플레이 영역(101)의 좌측에 있는 경우, 유저 인터페이스(171)는 중첩 영역(162)의 좌측에 위치될 수도 있으며, 포인터(161)가 제1 디스플레이 영역(101)의 상부에 있는 경우, 유저 인터페이스(171)가 중첩 영역(162)의 상부에 위치될 수도 있다. 이와는 반대로, 포인터(161)가 제1 디스플레이 영역(101)의 우측에 있는 경우, 유저 인터페이스(171)는 중첩 영역(162)의 우측에 위치될 수도 있으며, 포인터(161)가 제1 디스플레이 영역(101)의 하부에 있는 경우, 유저 인터페이스(171)가 중첩 영역(162)의 하부에 위치될 수도 있다. 즉, 유저 인터페이스(171)는 제1 디스플레이 영역(162)에 대한 포인터(161)의 위치에 기초하여 설정될 수 있다.
또한, 도 7b에 도시된 바와 같이 포인터(161)가 중첩 영역(162)으로 이동한 경우, 유저 인터페이스(171)는 제1 디스플레이 영역(101)의 에지와 중첩 영역(162)의 에지가 서로 맞닿은 위치 전체에 설정될 수도 있다. 도 7a 및 도 7b의 예시들뿐만 아니라, 유저 인터페이스(171)는 포인터(161)의 위치에 기초하여 그 위치, 크기, 모양 및 숫자 중 적어도 하나가 다양하게 변경될 수 있다.
도 8a 및 8b는 본 발명의 일 실시예에 따른 유저 인터페이스의 유형들을 설명하기 위한 도면이다.
도 8a를 참조하면, 서로 상이한 위치에 설정된 2 개의 유저 인터페이스들(171a 및 171b)이 제공된다. 유저 인터페이스(171a)를 이용하여, 포인터(161)의 제어 대상이 제1 디스플레이 영역(101)으로부터 제2 디스플레이 영역(201)으로 전환될 수 있다. 반면, 유저 인터페이스(171b)를 이용하여, 포인터(161)의 제어 대상이 제2 디스플레이 영역(201)로부터 제1 디스플레이 영역(101)으로 전환될 수 있다. 즉, 각각의 유저 인터페이스(171a 및 171b)는 포인터(161)의 제어 대상을 단일 방향으로만 전환할 수 있다. 또한, 인터페이스들(171a 및 171b)은, 도 8a에 도시된 바와 같이, 포인터(161)의 제어 대상이 전환되는 방향(예를 들어, 제1 디스플레이 영역(101)으로부터 제2 디스플레이 영역(201)으로 또는 그 역으로)을 표시하는 형상을 가질 수 있다.
도 8b를 참조하면, 단일의 유저 인터페이스(171)가 제공된다. 유저 인터페이스(171)를 이용하여, 포인터(161)의 제어 대상이 제1 디스플레이 영역(101)으로부터 제2 디스플레이 영역(201)으로 또는 제2 디스플레이 영역(201)으로부터 제1 디스플레이 영역(101)으로 전환될 수 있다. 즉, 유저 인터페이스(171)는 포인터(161)의 제어 대상을 양방향으로 전환할 수 있다.
도 8a 및 8b를 다시 참조하여, 일단 포인터(161)의 제어 대상이 제2 디스플레이 영역(201)으로 전환되면, 포인터(161)의 이동 범위는 중첩 영역(162) 또는 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역(201)으로 제한될 수 있다. 이 경우, 포인터(161)는 유저 인터페이스(도 8a의 171b 및 도 8b의 171)를 통과하여서만 중첩 영역(162) 외의 제1 디스플레이 영역(101)으로 이동할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 유저 인터페이스 표시 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 포인터(161)의 제어 대상 전환을 위한 유저 인터페이스(171)가 제공된다. 유저 인터페이스(171)는 유저 인터페이스(171)가 설정된 위치에 대응하는 제1 디스플레이 영역(101) 및/또는 제2 디스플레이 영역(201) 상에 디스플레이 될 수 있다.
또한, 유저 인터페이스(171)는 포인터(161)와 유저 인터페이스(171) 사이의 거리에 기초하여 유저 인터페이스(171)의 디스플레이 속성(예를 들어, 투명도, 블러(blur), 크기, 모양, 색상, 휘도 및 콘트라스트(contrast) 중 적어도 하나)이 변경될 수도 있다. 포인터(161)가 제1 거리(172) 내로 이동하면, 유저 인터페이스(171)의 디스플레이 속성을 변경하고, 포인터(161)가 제2 거리(172) 밖으로 이동하면 변경된 디스플레이 속성을 리스토어(restore)할 수 있다. 예를 들어, 포인터(161)가 제1 거리(172) 내로 이동하면, 유저 인터페이스(171)를 디스플레이하거나, 유저 인터페이스(171)의 색상, 투명도, 크기 및 모양 중 적어도 하나를 변경할 수도 있다. 또한, 포인터(161)가 제2 거리(173) 밖으로 이동하면, 유저 인터페이스(171)의 디스플레이를 종료하거나, 변경된 유저 인터페이스(171)의 색상, 투명도, 크기 및 모양 중 적어도 하나를 리스토어할 수도 있다.
도 9에는 제1 거리(172)가 제2 거리(173)보다 긴 것으로 도시되어 있으나, 제2 거리(173)가 제1 거리(172)보다 길 수도 있고, 제1 거리(172)와 제2 거리(173)가 동일할 수도 있다.
도 10a, 10b 및 10c는 중첩 영역의 이동에 따른 유저 인터페이스를 도시한다.
도 10a를 참조하면, 투명 디스플레이 디바이스(200)는 제1 디스플레이 영역(101)의 우측 하단에 중첩된다. 중첩 영역(162)의 좌측 하부와 우측 상부에는 유저 인터페이스(171a, 171b)가 각각 제공된다. 중첩 영역(162)은 제1 디스플레이 영역(101)에 대한 투명 디스플레이 디바이스(200)의 상대적인 이동에 의하여 크기, 모양 및 위치 중 적어도 하나가 변경될 수 있다. 도 10b를 참조하면, 투명 디스플레이 디바이스(200)가 이동함에 따라, 중첩 영역(162)의 위치가 이동되고, 유저 인터페이스들(171a 및 171b)의 위치들이 이동된다. 또한, 도 10c를 참조하면, 투명 디스플레이 디바이스(200)가 위쪽으로 이동함에 따라, 중첩 영역의(162)의 위치가 이동되며, 유저 인터페이스들(171a 및 171b)의 위치, 크기 및 모양이 재설정된다.
또한, 중첩 영역(162)의 크기, 모양 및 위치 중 적어도 하나가 변경됨에 따라, 유저 인터페이스의 크기, 숫자, 모양 및 위치 중 적어도 하나가 재설정될 수도 있다. 예를 들어, 중첩 영역(162)의 크기가 작아지면 유저 인터페이스의 크기 또한 작아질 수도 있다. 또한, 중첩 영역(162)과 제1 디스플레이 영역(101)이 서로 맞닿은 변의 수에 따라 유저 인터페이스의 숫자를 변경할 수도 있다. 또한, 투명 디스플레이 디바이스(200)가 제1 디스플레이 영역(101)의 상측, 하측, 좌측 또는 우측에 배치될 수 있고, 투명 디스플레이 디바이스(200)가 배치된 위치에 따라서 유저 인터페이스의 위치를 상측, 하측, 촤측 또는 우측으로 변경할 수도 있다.
도 11a, 11b, 11c 및 11d는 포인터의 제어 대상에 따른 시각적 피드백을 도시한다.
디스플레이 디바이스(100) 및/또는 투명 디스플레이 디바이스(200)는, 포인터(161)의 제어 대상의 전환된 경우 제어 대상의 전환을 표시하는 피드백 또는 포인터(161)의 제어 대상을 표시하는 피드백을 제공할 수 있다. 이러한 피드백은 청각적 피드백, 촉각적 피드백, 후각적 피드백 및 시각적 피드백 중 적어도 하나를 포함할 수 있다.
도 11a를 참조하면, 포인터(161)의 제어 대상이 제1 디스플레이 영역(101)일 경우, 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역 상의 이미지(251)는 투명하거나 반투명하게 디스플레이 될 수도 있다. 또한, 제2 디스플레이 영역 상의 이미지(251)는 디스플레이되지 않을 수도 있다.
도 11b를 참조하면, 포인터(161)의 제어 대상은 투명 디스플레이 디바이스(200)이다. 이 경우, 포인터(161)는 제1 디스플레이 영역(101) 및/또는 제2 디스플레이 영역(201) 상에 디스플레이될 수 있다. 또한, 포인터(161)의 제어 대상에 기초하여 투명 디스플레이 디바이스(200)의 디스플레이 투명도, 블러(blur), 색상, 휘도 및 콘트라스 중 적어도 하나가 조정될 수 있다. 아울러, 포인터(161)의 제어 대상은, 투명 디스플레이 디바이스(200) 및/또는 제2 디스플레이 영역(201)의 둘레를 하이라이트(highlight)함으로써 표시될 수도 있다. 한편, 이러한 시각적 피드백들은, 제1 디스플레이 영역을 제어함으로써 회득될 수도 있다. 예를 들어, 제1 디스플레이 영역(101)의 중첩 영역(162)의 둘레를 하이라이트함으로써 포인터(161)의 제어 대상 및/또는 제어 영역이 표시될 수도 있다. 또한, 제1 디스플레이 영역(101)의 중첩 영역(162)의 이미지의 투명도, 블러(blur), 색상, 휘도 및 콘트라스 중 적어도 하나를 조정함으로써 포인터(161)의 제어 대상 및/또는 제어 영역이 표시될 수도 있다.
도 11c를 참조하면, 포인터(161)의 제어 대상은 투명 디스플레이 디바이스(200)이다. 시각적 피드백은 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역 상의 이미지(251)의 가시성(visibility)을 증가시킬 수 있다. 예를 들어, 투명 디스플레이 디바이스(200)는 투명 디스플레이 유닛의 투명도, 블러(blur), 색상, 휘도 및 콘트라스 중 적어도 하나를 조정함으로써 투명 디스플레이 디바이스(200)를 통하여 배경의 이미지가 투과되지 못하도록 할 수도 있다. 또한, 디스플레이 디바이스(100)는 제1 디스플레이 영역(101) 상의 중첩 영역(162)을 일정한 색(예를 들어, 흰색)으로 디스플레이 함으로써 제2 디스플레이 영역 상의 이미지(251)의 가시성을 증가시킬 수도 있다.
도 11d를 참조하면, 포인터(161)의 제어 대상은 제2 디스플레이 영역(201)이다. 이 경우, 디스플레이 디바이스(100)는 제1 디스플레이 영역의 전체 또는 일부의 투명도, 블러(blur), 색상, 휘도 및 콘트라스 중 적어도 하나를 조정할 수 있다. 또한, 디스플레이 디바이스(100)는 배경 이미지를 제외한 다른 이미지들(예를 들어, 아이콘, 가젯 등)을 전혀 디스플레이하지 않을 수도 있다.
또한, 시각적 피드백은 포인터(161)의 크기, 모양, 투명도 및 색상 중 적어도 하나를 포인터(161)의 제어 대상에 기초하여 변경할 수 있다. 예를 들어, 포인터(161)의 제어 대상이 투명 디스플레이 디바이스(200)인 경우, 포인터(161)의 크기는 투명 디스플레이 디바이스(200)의 크기 및/또는 중첩 영역(161)의 크기에 기초하여 변경될 수 있다. 또한, 포인터(161)의 색상은 제2 디스플레이 영역(201)에 디스플레이되는 배경 이미지의 색상에 기초하여 적응적으로 변경될 수도 있다.
도 12a 및 12b는 포인터의 제어 대상에 따른 투명 디스플레이 디바이스의 시각적 피드백을 도시한다.
상술한 바와 같이, 시각적 피드백은 디스플레이 디바이스(100) 및/또는 투명 디스플레이 디바이스(200)에 의한 것일 수 있다. 도 12a 및 도 12b는 투명 디스플레이 디바이스(200)에 의한 시각적 피드백의 일 예시를 설명한다. 또한, 투명 디스플레이 디바이스(200)에 의한 시각적 피드백은 디스플레이 디바이스(100)에 의한 시각적 피드백과 조합될 수도 있다.
도 12a를 참조하면, 포인터(161)의 제어 대상이 제1 디스플레이 영역(101)인 경우, 투명 디스플레이 디바이스(200)는 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역 상의 이미지(251)를 투명 또는 반투명하게 디스플레이할 수 있다. 따라서, 투명 디스플레이 디바이스(200) 후면의 제1 디스플레이 영역(101) 상의 이미지가 강조될 수 있다.
도 12b를 참조하면, 포인터(161)의 제어 대상이 투명 디스플레이 디바이스(200)인 경우, 투명 디스플레이 디바이스(200)는 투명 디스플레이 디바이스(200)의 제2 디스플레이 영역 상의 이미지(251)를 투명도를 감소시킬 수 있다. 아울러, 투명 디스플레이 디바이스(200)는 제2 디스플레이 영역(201) 상의 배경 이미지의 투명도, 블러(blur), 색상, 휘도 및 콘트라스 중 적어도 하나를 조정함으로써 제2 디스플레이 영역 상의 이미지(251)의 가시성을 증가시킬 수 있다.
도 13은 본 발명의 일 실시예에 따른 제어 전환 방법의 흐름도이다.
도 13을 참조하면, 디스플레이 디바이스는 외부 투명 디스플레이 디바이스에 의하여 중첩된 디스플레이 영역을 디텍트(1301)할 수 있다. 도 3과 관련하여 상술한 바와 같이, 중첩된 디스플레이 영역은 외부 투명 디스플레이 디바이스에 의하여 생성된 소리, 빛 및 자기장 중 적어도 하나를 센싱함으로써 디텍트될 수 있다. 또한, 중첩된 디스플레이 영역은 외부 투명 디스플레이 디바이스의 후면의 패턴을 센싱함으로써 디텍트될 수도 있다. 디스플레이 디바이스는 중첩된 디스플레이 영역을 디텍트하기 위하여, 광학 센서, 음향 센서, 픽셀 센서, 터치 센서, 및 자기장 센서 중 적어도 하나를 포함할 수도 있다. 한편, 도 4a, 4b, 4c 및 4d와 관련하여 상술한 바와 같이, 디스플레이 디바이스는 외부 투명 디스플레이 디바이스와 다양한 방식으로 중첩될 수 있다.
또한, 디스플레이 디바이스는 중첩된 디스플레이 영역이 디텍트되면, 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정(1302)할 수 있다. 유저 인터페이스의 위치는 중첩된 디스플레이 영역의 에지의 인근에 설정될 수도 있다. 또한, 디스플레이 디바이스는 중첩된 디스플레이 영역의 위치, 크기 및 모양 중 적어도 하나에 기초하여 유저 인터페이스의 위치, 크기 및 모양 중 적어도 하나를 선택할 수도 있다. 또한, 도 6a 내지 도 10c와 관련하여 상술한 바와 같이, 유저 인터페이스는 다양한 위치, 크기 및 모양으로 설정될 수도 있다.
또한, 디스플레이 디바이스는 포인터의 이동 경로를 추적하고, 포인터가 유저 인터페이스의 적어도 일부와 중첩되었는지를 판단(1303)할 수 있다. 이는 포인터의 경로 좌표와 유저 인터페이스의 좌표를 비교함으로써 결정될 수도 있다. 예를 들어, 포인터가 유저 인터페이스를 통과하거나, 포인터가 유저 인터페이스에 일정 시간 이상 홀드(hold)될 때, 포인터가 유저 인터페이스의 적어도 일부와 중첩된 것으로 판단할 수 있다.
만약 포인터가 유저 인터페이스의 적어도 일부와 중첩되었다고 판단되면, 디스플레이 디바이스는 포인터 제어 시그널을 외부 투명 디스플레이 디바이스로 송신(1304)한다. 이는 수신된 포인터 제어 시그널을 유선 또는 무선 통신을 이용하여 수행될 수 있다.
만약 포인터가 유저 인터페이스의 적어도 일부와 중첩되지 않았다고 판단되면, 디스플레이 디바이스는 포인터의 제어 대상을 유지(1305)한다. 즉, 이 경우에 디스플레이 디바이스는 외부 투명 디스플레이 디바이스로 포인터 제어 시그널을 송신하지 않는다. 따라서, 포인터의 제어 대상은 디스플레이 디바이스로 유지된다.
한편, 외부 투명 디스플레이 디바이스는 디스플레이 디바이스와의 중첩을 디텍트한다. 또한, 포인터 제어 시그널이 디스플레이 디바이스로부터 수신되는 경우, 외부 투명 디스플레이 디바이스는 수신된 포인터 제어 시그널에 기초하여 제어된다.
한편, 도 9, 도 11a 내지 12b와 관련하여 상술한 바와 같이, 디스플레이 디바이스 및/또는 외부 투명 디스플레이 디바이스는 포인터의 제어 영역의 전환 또는 제어 영역을 표시하는 피드백을 제공할 수 있다.
본 발명에 따른 디스플레이 디바이스 및 제어 방법은 상술한 실시 예들의 구성과 방법으로 한정되어 적용되는 것이 아니라, 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있다.
한편, 본 발명의 제어 전환 방법은 디스플레이 디바이스에 구비된 프로세서가 읽을 수 있는 기록 매체에 소프트웨어로서 구현되는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 디스플레이 디바이스 101: 제1 디스플레이 영역
110: 컨트롤 유닛 120: 디스플레이 유닛
130: 커뮤니케이션 유닛
151, 152: 제1 디스플레이 영역 상의 이미지
161: 포인터 162: 중첩 영역
171, 171a, 171b: 유저 인터페이스 172: 제1 거리
173: 제2 거리
200: 투명 디스플레이 디바이스 201: 제2 디스플레이 영역
210: 컨트롤 유닛 220: 투명 디스플레이 유닛
230: 커뮤니케이션 유닛
251: 제2 디스플레이 영역 상의 이미지
252: 하이라이트(highlight)

Claims (21)

  1. 제1 디스플레이 영역을 포함하고, 포인터를 디스플레이하는 디스플레이 유닛;
    제2 디스플레이 영역을 포함하는 외부 투명 디스플레이 디바이스와 통신하는 커뮤니케이션 유닛; 및
    상기 디스플레이 유닛 및 상기 커뮤니케이션 유닛을 제어하는 컨트롤 유닛을 포함하는 디스플레이 디바이스로서,
    상기 컨트롤 유닛은,
    상기 포인터를 제어하는 포인터 제어 시그널을 수신하고,
    상기 제1 디스플레이 영역 중 상기 외부 투명 디스플레이 디바이스에 의하여 중첩되는 제1 영역을 디텍트하고,
    상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하고,
    상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 포인터 제어 시그널을 상기 커뮤니케이션 유닛을 통하여 상기 외부 투명 디스플레이 디바이스로 송신하며,
    상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 포인터 제어 시그널을 상기 외부 투명 디스플레이 디바이스로 송신하지 않고,
    상기 제 1 영역의 크기가 변경되는 경우, 변경된 제 1 영역의 크기에 기초하여 상기 유저 인터페이스의 크기를 재설정하고,
    상기 유저 인터페이스는 상기 유저 인터페이스가 설정된 위치에 대응하는 상기 제 1 디스플레이 영역 및 상기 제 2 디스플레이 영역 중 적어도 하나에 디스플레이되는,
    디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 유저 인터페이스는 상기 제1 디스플레이 영역의 에지와 맞닿은 상기 제1 영역의 에지 중 적어도 일부에 인접한 위치에 설정되는, 디스플레이 디바이스.
  3. 제 2 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터의 위치 및 이동 방향 중 적어도 하나에 기초하여 상기 유저 인터페이스의 위치, 크기 및 모양 중 적어도 하나를 변경하는, 디스플레이 디바이스.
  4. 제 1 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터의 제어 대상이 상기 제2 디스플레이 영역이고, 상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터의 제어 대상을 상기 제2 디스플레이 영역으로부터 상기 제1 디스플레이 영역으로 전환하는, 디스플레이 디바이스.
  5. 제 4 항에 있어서,
    상기 유저 인터페이스는, 상기 포인터의 제어 대상을 상기 제1 디스플레이 영역 또는 상기 제2 디스플레이 영역으로 전환하는 복수의 전환 영역들을 포함하는, 디스플레이 디바이스.
  6. 제 5 항에 있어서,
    상기 복수의 전환 영역들은, 상기 제1 디스플레이 영역으로부터 상기 제2 디스플레이 영역으로 상기 포인터의 제어 대상을 전환하는 제1 전환 영역과 상기 제2 디스플레이 영역으로부터 상기 제1 디스플레이 영역으로 상기 포인터의 제어 대상을 전환하는 제2 전환 영역을 포함하고,
    상기 제1 전환 영역과 상기 제2 전환 영역은 서로 상이한 위치에 설정되는, 디스플레이 디바이스.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터가 상기 유저 인터페이스로부터 기설정된 제1 거리 내로 이동하는 경우 상기 유저 인터페이스의 디스플레이 속성을 변경하는, 디스플레이 디바이스.
  9. 제 8 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터가 상기 유저 인터페이스로부터 기설정된 제2 거리 밖으로 이동하는 경우 상기 변경된 유저 인터페이스의 디스플레이 속성을 리스토어(restore)하는, 디스플레이 디바이스.
  10. 삭제
  11. 제 1 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터의 제어 대상이 전환된 경우, 상기 제어 대상의 전환 또는 상기 포인터의 제어 대상을 표시하는 피드백을 제공하는, 디스플레이 디바이스.
  12. 제 11 항에 있어서,
    상기 피드백은 청각적 피드백, 촉각적 피드백, 후각적 피드백 및 시각적 피드백 중 적어도 하나를 포함하는, 디스플레이 디바이스.
  13. 제 12 항에 있어서,
    상기 시각적 피드백은,
    상기 제1 디스플레이 영역 및 상기 제1 영역 중 적어도 하나에 디스플레이된 이미지의 투명도, 블러(blur), 색상, 휘도 및 콘트라스트(contrast) 중 적어도 하나를 조정하는 것을 포함하는, 디스플레이 디바이스.
  14. 제 12 항에 있어서,
    상기 시각적 피드백은,
    상기 포인터의 크기, 모양, 투명도 및 색상 중 적어도 하나를 변경하는 것;
    상기 제1 영역의 전체 또는 일부에 미리 설정된 색상을 디스플레이하는 것; 및
    상기 제1 영역의 에지를 하이라이트(highlight)하는 것 중 적어도 하나를 포함하는, 디스플레이 디바이스.
  15. 제 1 항에 있어서,
    상기 포인터의 제어 대상에 기초하여, 상기 외부 투명 디바이스의 상기 제2 디스플레이 영역에 디스플레이되는 이미지의 전체 또는 일부의 투명도, 블러, 색상, 휘도 및 콘트라스트 중 적어도 하나가 조정되는, 디스플레이 디바이스.
  16. 제 1 항에 있어서,
    상기 외부 투명 디스플레이 디바이스에서 상기 포인터 제어 시그널이 수신되는 경우, 상기 포인터는 상기 제2 디스플레이 영역에 디스플레이되는, 디스플레이 디바이스.
  17. 제 1 항에 있어서,
    상기 컨트롤 유닛은,
    상기 포인터가 상기 유저 인터페이스에 미리 정의된 시간 이상 홀드(hold)되는 경우 상기 포인터 제어 시그널을 송신하는, 디스플레이 디바이스.
  18. 제 1 항에 있어서,
    상기 컨트롤 유닛은,
    상기 외부 투명 디스플레이 디바이스에 의하여 생성된 소리, 빛 및 자기장 중 적어도 하나; 및
    상기 외부 투명 디스플레이 디바이스의 후면(back side)의 패턴
    중 적어도 하나를 센싱하여 상기 제1 영역을 디텍트하는, 디스플레이 디바이스.
  19. 투명 디스플레이 유닛;
    외부 디스플레이 디바이스와 통신하는 커뮤니케이션 유닛; 및
    상기 투명 디스플레이 유닛 및 상기 커뮤니케이션 유닛을 제어하는 컨트롤 유닛을 포함하는 디스플레이 디바이스로서,
    상기 컨트롤 유닛은,
    상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 중첩을 디텍트하고,
    상기 외부 디스플레이 디바이스로부터의 포인터 제어 시그널을 상기 커뮤니케이션 유닛을 통하여 수신하는 경우, 상기 외부 디스플레이 디바이스의 포인터에 기초하여 상기 디스플레이 디바이스를 제어하고,
    상기 외부 디스플레이 디바이스는,
    상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 디스플레이 영역이 중첩되는 제1 영역을 디텍트하고,
    상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하며,
    상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하고,
    상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하지 않고,
    상기 제 1 영역의 크기가 변경되는 경우, 변경된 제 1 영역의 크기에 기초하여 상기 유저 인터페이스의 크기를 재설정하는,
    디스플레이 디바이스.
  20. 제어 전환 방법으로서,
    디스플레이 디바이스의 제1 디스플레이 영역 중 외부 투명 디스플레이 디바이스에 의하여 중첩되는 제1 영역을 디텍트하는 단계;
    상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 포인터의 제어 대상을 전환하는 유저 인터페이스의 위치를 설정하는 단계; 및
    상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 포인터 제어 시그널을 상기 외부 투명 디스플레이 디바이스로 송신하는 단계를 포함하고,
    상기 외부 투명 디스플레이 디바이스는, 상기 포인터 제어 시그널을 수신하는 경우 상기 포인터에 기초하여 제어되고,
    상기 제 1 영역의 크기가 변경되는 경우, 변경된 제 1 영역의 크기에 기초하여 상기 유저 인터페이스의 크기를 재설정하는,
    제어 전환 방법.
  21. 제어 전환 방법으로서,
    투명 디스플레이 디바이스의 투명 디스플레이 유닛과 외부 디스플레이 디바이스의 중첩을 검출하는 단계; 및
    상기 외부 디스플레이 디바이스로부터의 포인터 제어 시그널을 수신하는 경우, 상기 외부 디스플레이 디바이스의 포인터에 기초하여 상기 투명 디스플레이 디바이스를 제어하는 단계를 포함하고,
    상기 외부 디스플레이 디바이스는,
    상기 투명 디스플레이 유닛과 상기 외부 디스플레이 디바이스의 디스플레이 영역이 중첩되는 제1 영역을 디텍트하고,
    상기 제1 영역의 에지(edge) 중 적어도 일부에 인접한 위치에 상기 포인터의 제어 대상을 전환하는 유저 인터페이스를 설정하며,
    상기 포인터가 상기 유저 인터페이스의 적어도 일부와 중첩될 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하고,
    상기 포인터가 상기 유저 인터페이스 외의 영역을 이용하여 상기 제1 영역 내로 이동하는 경우, 상기 포인터 제어 시그널을 상기 디스플레이 디바이스로 송신하지 않고,
    상기 제 1 영역의 크기가 변경되는 경우, 변경된 제 1 영역의 크기에 기초하여 상기 유저 인터페이스의 크기를 재설정하는,
    제어 전환 방법.
KR1020140042301A 2014-04-09 2014-04-09 중첩된 투명 디스플레이 및 그 제어 방법 Active KR102165448B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140042301A KR102165448B1 (ko) 2014-04-09 2014-04-09 중첩된 투명 디스플레이 및 그 제어 방법
US14/455,572 US9817572B2 (en) 2014-04-09 2014-08-08 Overlapped transparent display and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140042301A KR102165448B1 (ko) 2014-04-09 2014-04-09 중첩된 투명 디스플레이 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150117055A KR20150117055A (ko) 2015-10-19
KR102165448B1 true KR102165448B1 (ko) 2020-10-14

Family

ID=54265087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140042301A Active KR102165448B1 (ko) 2014-04-09 2014-04-09 중첩된 투명 디스플레이 및 그 제어 방법

Country Status (2)

Country Link
US (1) US9817572B2 (ko)
KR (1) KR102165448B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176186A (ja) * 2014-03-13 2015-10-05 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
KR20160015843A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치를 제어하는 방법
US9514706B1 (en) * 2015-05-28 2016-12-06 Chunghwa Picture Tubes, Ltd. Transparent display apparatus and image adjustment method thereof
KR102548943B1 (ko) * 2015-11-17 2023-06-29 삼성전자주식회사 전자 장치 및 전자 장치의 위치에 따른 화면 제공 방법
CN107239248B (zh) * 2017-06-05 2020-06-19 京东方科技集团股份有限公司 显示装置和方法
US11093101B2 (en) * 2018-06-14 2021-08-17 International Business Machines Corporation Multiple monitor mouse movement assistant
TWI689909B (zh) * 2018-11-22 2020-04-01 財團法人工業技術研究院 透明顯示系統及其操作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110187655A1 (en) 2010-01-29 2011-08-04 Pantech Co., Ltd. Multi-display device and method for controlling the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070226642A1 (en) 2006-03-22 2007-09-27 Business Objects, S.A. Apparatus and method for displaying transparent windows when copying or moving items between windows
EP2359915B1 (en) 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
KR101688942B1 (ko) * 2010-09-03 2016-12-22 엘지전자 주식회사 다중 디스플레이에 기반한 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110187655A1 (en) 2010-01-29 2011-08-04 Pantech Co., Ltd. Multi-display device and method for controlling the same

Also Published As

Publication number Publication date
US9817572B2 (en) 2017-11-14
US20150293654A1 (en) 2015-10-15
KR20150117055A (ko) 2015-10-19

Similar Documents

Publication Publication Date Title
KR102165448B1 (ko) 중첩된 투명 디스플레이 및 그 제어 방법
US20200319774A1 (en) Method and apparatus for displaying picture on portable device
EP2883103B1 (en) Head mounted display for adjusting audio output and video output in relation to each other and method for controlling the same
US8286096B2 (en) Display apparatus and computer readable medium
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
KR102162828B1 (ko) 베젤에 프로그램 가능한 버튼을 갖는 전자 장치 및 그 운용 방법
JP5966557B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US20110175920A1 (en) Method for handling and transferring data in an interactive input system, and interactive input system executing the method
KR102582541B1 (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
US10599317B2 (en) Information processing apparatus
US20160034090A1 (en) Touch system and display device
KR20140010596A (ko) 터치 및 제스처 입력을 이용한 단말의 제어 방법 및 그 단말
KR20130136065A (ko) 변형 가능한 디스플레이를 이용한 화면 표시 장치 및 방법
US9405403B2 (en) Control apparatus, operation controlling method and non-transitory computer-readable storage medium
EP3511806A1 (en) Method and apparatus for displaying a picture on a portable device
US10386987B2 (en) Remote controller apparatus and control method thereof
US20140225847A1 (en) Touch panel apparatus and information processing method using same
EP3933545B1 (en) Method and apparatus for detecting a bending state of electronic device, and storage medium
KR101861377B1 (ko) 이동 단말에서 모션 기반의 화면 제어 방법 및 이를 위한 이동 단말
KR102295823B1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
KR101368444B1 (ko) 전자칠판 터치센서용 전자터치펜
EP2840517A2 (en) Method and apparatus for managing images in electronic device
KR102910993B1 (ko) 원격 호버 터치를 위한 전자 디바이스 및 원격 인터랙션 방법
KR20170053410A (ko) 복수의 화면을 표시하는 전자장치 및 그 제어 방법
KR20170124593A (ko) 지능형 상호작용 방법, 장비 및 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6