[go: up one dir, main page]

KR101629072B1 - 전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유 - Google Patents

전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유 Download PDF

Info

Publication number
KR101629072B1
KR101629072B1 KR1020137025984A KR20137025984A KR101629072B1 KR 101629072 B1 KR101629072 B1 KR 101629072B1 KR 1020137025984 A KR1020137025984 A KR 1020137025984A KR 20137025984 A KR20137025984 A KR 20137025984A KR 101629072 B1 KR101629072 B1 KR 101629072B1
Authority
KR
South Korea
Prior art keywords
remote display
graphical output
touch inputs
electronic device
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020137025984A
Other languages
English (en)
Other versions
KR20140000328A (ko
Inventor
니콜라스 브이. 킹
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20140000328A publication Critical patent/KR20140000328A/ko
Application granted granted Critical
Publication of KR101629072B1 publication Critical patent/KR101629072B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

개시되는 실시예들은 전자 장치와 원격 디스플레이 간의 상호작용을 용이하게 하는 시스템을 제공한다. 시스템은 전자 장치 상의 제1 애플리케이션 및 인코딩 기기, 및 원격 디스플레이 상의 제2 애플리케이션 및 디코딩 기기를 포함한다. 인코딩 기기는 전자 장치의 디스플레이에 대한 그래픽 출력 및 제1 터치스크린으로부터의 그래픽 출력과 관련된 터치 입력들의 제1 세트를 획득한다. 이어서, 인코딩 기기는 그래픽 출력을 인코딩하고, 제1 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트를 원격 디스플레이로 전송한다. 원격 디스플레이에서 그래픽 출력 및 터치 입력들의 제1 세트를 수신한 때, 디코딩 기기는 그래픽 출력을 디코딩한다. 이어서, 제2 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이를 구동한다.

Description

전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유{GESTURE VISUALIZATION AND SHARING BETWEEN ELECTRONIC DEVICES AND REMOTE DISPLAYS}
본 실시예들은 전자 장치들로부터 원격 디스플레이들을 구동하기 위한 기술들에 관한 것이다. 구체적으로, 본 실시예들은 전자 장치 상의 제스처들의 가시화를 이용하여 원격 디스플레이를 구동하기 위한 기술들은 물론, 전자 장치와 원격 디스플레이 간에 제스처들을 공유하기 위한 기술들에 관한 것이다.
현대의 휴대용 전자 장치들은 통상적으로 다양한 형태의 디지털 미디어를 생성, 저장, 개방 및/또는 갱신하기 위한 기능을 포함한다. 예컨대, 이동 전화는 이미지들을 캡처하기 위한 카메라, 이미지들을 저장할 수 있는 메모리, 이미지들을 보기 위한 소프트웨어 및/또는 이미지들을 편집하기 위한 소프트웨어를 포함할 수 있다. 더욱이, 휴대용 전자 장치들과 관련된 휴대성 및 편리함은 휴대용 전자 장치들의 사용자들로 하여금 디지털 미디어를 일상적인 활동 속에 통합할 수 있게 해준다. 예를 들어, 이동 전화 상의 카메라는 이동 전화의 사용자로 하여금 다양한 시간에 그리고 다양한 설정으로 사진들을 촬영하는 것을 가능하게 할 수 있으며, 이동 전화 상의 디스플레이 스크린 및 설치된 소프트웨어는 사용자로 하여금 사진들을 다른 사람들에게 표시하는 것을 가능하게 할 수 있다.
그러나, 크기 및 자원 한계는 휴대용 전자 장치들의 사용자들이 휴대용 전자 장치들 상의 미디어를 효과적으로 공유하는 것을 방해할 수 있다. 예를 들어, 태블릿 컴퓨터 상의 디스플레이 스크린은 너무 작아서 더 큰 그룹의 사람들에 대한 프레젠테이션에 사용되지 못한다. 대신, 태블릿 컴퓨터의 사용자는 태블릿 컴퓨터 상의 스크린 공유 애플리케이션을 이용하여 대형 원격 디스플레이를 구동함으로써 프레젠테이션을 행할 수 있다.
따라서, 휴대용 전자 장치로부터의 미디어 공유를 용이하게 하기 위한 메커니즘이 필요하다.
개시되는 실시예들은 전자 장치와 원격 디스플레이 간의 상호작용을 용이하게 하는 시스템을 제공한다. 시스템은 전자 장치 상의 제1 애플리케이션 및 인코딩 기기, 및 원격 디스플레이 상의 제2 애플리케이션 및 디코딩 기기를 포함한다. 인코딩 기기는 전자 장치의 디스플레이에 대한 그래픽 출력 및 제1 터치스크린으로부터의 그래픽 출력과 관련된 터치 입력들의 제1 세트를 획득한다. 이어서, 인코딩 기기는 그래픽 출력을 인코딩하고, 제1 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트를 원격 디스플레이로 전송한다. 원격 디스플레이에서 그래픽 출력 및 터치 입력들의 제1 세트를 수신한 때, 디코딩 기기는 그래픽 출력을 디코딩한다. 이어서, 제2 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이를 구동한다.
일부 실시예들에서, 제2 애플리케이션은 또한 제2 터치스크린으로부터 그래픽 출력과 관련된 터치 입력들의 제2 세트를 획득하고, 터치 입력들의 제2 세트를 전자 장치로 전송한다. 이어서, 제1 애플리케이션은 터치 입력들의 제2 세트에 기초하여 그래픽 출력을 갱신한다.
일부 실시예들에서, 제1 애플리케이션은 또한 원격 디스플레이를 터치 입력들의 제2 세트의 소스로서 식별한다. 식별된 원격 디스플레이는 그래픽 출력을 원격 디스플레이로 전송하기 전에 제1 애플리케이션에 의한 그래픽 출력의 변경 및/또는 터치 입력들의 제2 세트에 기초하는 제1 애플리케이션으로부터 원격 디스플레이로의 데이터의 전송을 가능하게 할 수 있다.
일부 실시예들에서, 그래픽 출력 및 터치 입력들의 제1 세트를 원격 디스플레이로 전송하는 단계는 터치 입력들의 제1 세트의 시각적 표현을 그래픽 출력 내에 합성하는 단계 및 터치 입력들의 제1 세트를 그래픽 출력과 관련된 보조 데이터로서 원격 디스플레이로 전송하는 단계 중 적어도 하나를 포함한다.
일부 실시예들에서, 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이를 구동하는 단계는
(i) 그래픽 출력을 제1 버퍼로 드로잉(drawing)하는 단계;
(ii) 터치 입력들의 제1 세트의 시각적 표현을 제2 버퍼로 드로잉하는 단계; 및
(iii) 제1 및 제2 버퍼를 이용하여 원격 디스플레이를 구동하는 단계
를 포함한다.
일부 실시예들에서, 전자 장치는 이동 전화, 태블릿 컴퓨터 및 휴대용 미디어 플레이어 중 적어도 하나이다.
일부 실시예들에서, 원격 디스플레이는 태블릿 컴퓨터, 이동 전화, 휴대용 미디어 플레이어, 프로젝터 및 모니터 중 적어도 하나이다.
도 1은 일 실시예에 따른 시스템의 개략도를 나타낸다.
도 2는 일 실시예에 따른 전자 장치와 원격 디스플레이 간의 상호작용을 용이하게 하기 위한 시스템을 나타낸다.
도 3은 일 실시예에 따른 전자 장치와 원격 디스플레이 간의 예시적인 상호작용을 나타낸다.
도 4는 일 실시예에 따른 전자 장치와 원격 디스플레이 간의 예시적인 상호작용을 나타낸다.
도 5는 일 실시예에 따른 원격 디스플레이와 상호작용하는 프로세스를 나타내는 흐름도를 도시한다.
도 6은 일 실시예에 따른 전자 장치와 상호작용하는 프로세스를 나타내는 흐름도를 도시한다.
도 7은 일 실시예에 따른 컴퓨터 시스템을 나타낸다.
도면들에서, 동일한 참조 번호들은 동일한 도면 요소들을 지시한다.
아래의 설명은 이 분야의 임의의 기술자로 하여금 실시예들을 실시하고 이용하는 것을 가능하게 하기 위해 제공되며, 특정 응용 및 그의 요구들과 관련하여 제공된다. 개시되는 실시예들에 대한 다양한 변경들이 이 분야의 기술자들에게 자명할 것이며, 본 명세서에서 정의되는 일반 원리들은 본 발명의 사상 및 범위로부터 벗어나지 않고 다른 실시예들 및 응용들에 적용될 수 있다. 따라서, 본 발명은 도시된 실시예들로 한정되는 것이 아니라, 본 명세서에서 설명되는 원리들 및 특징들에 따르는 가장 넓은 범위를 부여받아야 한다.
본 상세한 설명에서 설명되는 데이터 구조들 및 코드는 통상적으로 컴퓨터 시스템에 의해 사용될 코드 및/또는 데이터를 저장할 수 있는 임의의 장치 또는 매체일 수 있는 컴퓨터 판독 가능 저장 매체에 저장된다. 컴퓨터 판독 가능 저장 매체는 휘발성 메모리, 비휘발성 메모리, 드라이브, 자기 테이프, 컴팩트 디스크(CD), 디지털 다기능 디스크 또는 디지털 비디오 디스크(DVD)와 같은 자기 및 광학 저장 장치들, 또는 현재 공지되었거나 장차 개발될, 코드 및/또는 데이터를 저장할 수 있는 다른 매체들을 포함하지만 이에 한정되지 않는다.
상세한 설명 부분에서 설명되는 방법들 및 프로세스들은 전술한 바와 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있는 코드 및/또는 데이터로서 구현될 수 있다. 컴퓨터 시스템이 컴퓨터 판독 가능 저장 매체에 저장된 코드 및/또는 데이터를 판독하고 실행할 때, 컴퓨터 시스템은 데이터 구조들 및 코드로서 구현되고 컴퓨터 판독 가능 저장 매체 내에 저장된 방법들 및 프로세스들을 수행한다.
더구나, 본 명세서에서 설명되는 방법들 및 프로세스들은 하드웨어 모듈들 또는 기기들 내에 포함될 수 있다. 이러한 모듈들 또는 기기들은 주문형 집적 회로(ASIC) 칩, 필드 프로그래머블 게이트 어레이(FPGA), 특정 시간에 특정 소프트웨어 모듈 또는 코드를 실행하는 전용 또는 공유 프로세서, 및/또는 현재 공지되었거나 장차 개발될 다른 프로그래밍 가능 논리 장치들을 포함할 수 있지만 이에 한정되지 않는다. 하드웨어 모듈들 또는 기기들이 활성화될 때, 그들은 그들 내에 포함된 방법들 및 프로세스들을 수행한다.
도 1은 일 실시예에 따른 시스템의 개략도를 나타낸다. 시스템은 전자 장치(102) 및 원격 디스플레이(104)를 포함한다. 전자 장치(102)는 이동 전화, 태블릿 컴퓨터, 휴대용 미디어 플레이어 및/또는 문서, 이미지, 오디오 및/또는 비디오와 같은 디지털 미디어를 저장하기 위한 기능을 포함하는 다른 소형 전자 장치에 대응할 수 있다. 원격 디스플레이(104)는 또한 태블릿 컴퓨터, 이동 전화 및/또는 휴대용 미디어 플레이와 같은 소형 전자 장치에 대응할 수 있거나, 원격 디스플레이(104)는 프로젝터, 모니터, 및/또는 전자 장치(102) 외부에 있고/있거나 그의 디스플레이보다 다른 타입의 전자 디스플레이를 포함할 수 있다.
하나 이상의 실시예에서, 원격 디스플레이(104)는 전자 장치(102)로부터의 디지털 미디어의 공유를 용이하게 한다. 구체적으로, 전자 장치(102)는 원격 디스플레이(104) 상의 그래픽 출력이 전자 장치(102) 상의 그래픽 출력과 실질적으로 동일하도록 원격 디스플레이(104)를 구동하는 데 사용될 수 있다. 예를 들어, 전자 장치(102)의 사용자는 전자 장치(102) 상의 애플리케이션으로부터의 원격 디스플레이(104) 및 전자 장치(102) 양자 상의 사진 슬라이드쇼, 프레젠테이션 및/또는 문서의 표시를 제어할 수 있다. 원격 디스플레이(104)는 그래픽 출력을 표시하기 위한 추가적인 공간을 제공하므로, 원격 디스플레이(104)는 사진 슬라이드쇼, 프레젠테이션 및/또는 문서가 전자 장치(102) 상에만 표시되는 경우보다 더 많은 사람이 사진 슬라이드쇼, 프레젠테이션 및/또는 문서를 보는 것을 가능하게 할 수 있다.
전자 장치(102)로부터의 원격 디스플레이(104)의 구동을 가능하게 하기 위해, 전자 장치(102) 상의 서버(106)를 이용하여 원격 디스플레이(104) 상의 클라이언트(108)와 통신할 수 있다. 서버(106)는 전자 장치(102)로부터의 그래픽 출력을 클라이언트(108)로 전송할 수 있으며, 클라이언트(108)는 그래픽 출력을 이용하여 원격 디스플레이(104)를 갱신할 수 있다. 예를 들어, 서버(106) 및 클라이언트(108)는 전자 장치(102)와 원격 디스플레이(104) 사이의 네트워크 접속을 통해 통신하는 원격 데스크탑 서버 및 원격 데스크탑 클라이언트에 대응할 수 있다. 원격 데스크탑 서버는 전자 장치(102)의 데스크탑 및/또는 디스플레이에 대한 변경들을 원격 데스크탑 클라이언트로 전송할 수 있으며, 원격 데스크탑 클라이언트는 이에 따라 원격 디스플레이(104)를 갱신할 수 있다. 즉, 서버(106) 및 클라이언트(108)는 전자 장치(102)로 하여금 디지털 비주얼 인터페이스(DVI), 고화질 멀티미디어 인터페이스(HDMI) 및/또는 디스플레이 포트(DisplayPort)와 같은 비디오 인터페이스를 이용하여 원격 디스플레이(104)에 접속하지 않고 원격 디스플레이(104)를 구동하는 것을 가능하게 할 수 있다.
서버(106) 및 클라이언트(108)는 전자 장치(102)로부터의 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이(104)를 구동하고/하거나, 원격 디스플레이(104)로부터의 터치 입력들의 제2 세트에 기초하여 그래픽 출력을 갱신하도록 더 구성될 수 있다. 도 2를 참조하여 아래에 더 상세히 설명되는 바와 같이, 서버(106)와 관련된 제1 애플리케이션은 전자 장치(102)와 관련된(예를 들어, 그에 의해 제공되는) 제1 터치스크린으로부터 터치 입력들의 제1 세트를 획득할 수 있다. 터치 입력들 각각은 터치스크린 상에서의 탭핑 제스처, 스와이핑 제스처, 핀칭 제스처, 회전 제스처 및/또는 다른 터치 기반 제스처에 대응할 수 있다. 이어서, 서버(106)는 터치 입력들의 제1 세트를 그래픽 출력과 함께 원격 디스플레이(104)로 전송할 수 있다. 이어서, 클라이언트(108)와 관련된 제2 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여, 원격 디스플레이(104)를 구동할 수 있다. 예컨대, 제2 애플리케이션은 그래픽 출력은 물론, 그래픽 출력 내의 터치 입력들의 제1 세트의 위치들을 나타내는 도트들의 세트를 이용하여 원격 디스플레이(104)를 갱신할 수 있다.
제2 애플리케이션은 또한 원격 디스플레이(104)와 관련된(예를 들어, 그에 의해 제공되는) 제2 터치스크린으로부터 터치 입력들의 제2 세트를 획득할 수 있다. 터치 입력들의 제1 세트와 같이, 터치 입력들의 제2 세트는 다수의 터치 기반 제스처를 포함할 수 있다. 이어서, 클라이언트(108)는 터치 입력들의 제2 세트를 전자 장치(102)로 전송할 수 있으며, 제1 애플리케이션은 터치 입력들의 제2 세트에 기초하여 그래픽 출력을 갱신할 수 있다. 예를 들어, 제1 애플리케이션은 터치 입력들의 제2 세트가 전자 장치 상의 제1 터치스크린으로부터 수신된 것처럼 터치 입력들의 제2 세트를 이용하여 그래픽 출력을 갱신할 수 있다. 한편, 제1 애플리케이션은 원격 디스플레이를 터치 입력들의 제2 세트의 소스로서 식별할 수 있다. 이어서, 제1 애플리케이션은 식별된 원격 디스플레이 및/또는 터치 입력들의 제2 세트를 이용하여, 원격 디스플레이 상에 그래픽 출력을 통해 표시되는 그래픽 오버레이를 생성할 수 있다. 제1 애플리케이션은 또한 터치 입력들의 제2 세트에 기초하여 데이터를 원격 디스플레이로 전송할 수 있다. 결과적으로, 제1 및 제2 애플리케이션들은 전자 장치(102)로부터의 디지털 미디어의 공유 및 전자 장치(102)와 원격 디스플레이(104) 간의 상호작용 양자를 용이하게 할 수 있다.
도 2는 일 실시예에 따른 전자 장치(102)와 원격 디스플레이(104) 간의 상호작용을 용이하게 하기 위한 시스템을 나타낸다. 전술한 바와 같이, 전자 장치(102)는 전자 장치(102) 상의 그래픽 출력(208)이 원격 디스플레이(104) 상의 그래픽 출력(228)과 실질적으로 동일하도록 원격 디스플레이(104)를 구동할 수 있다. 예를 들어, 전자 장치(102)는 원격 디스플레이(104) 및 전자 장치(102)의 디스플레이 양자 상의 프레젠테이션, 사진 슬라이드쇼 및/또는 문서의 표시를 가능하게 할 수 있다.
전자 장치(102)로부터 원격 디스플레이(104)를 구동하기 위하여, 서버(106)와 관련된 제1 애플리케이션(210)은 전자 장치(102) 내의 그래픽 처리 메커니즘(206)(예로서, 그래픽 처리 유닛(GPU), 그래픽 스택 등)을 이용하여 그래픽 출력(208)을 생성할 수 있다. 예를 들어, 애플리케이션(210)은 전자 장치(102)와 관련된 터치스크린을 통해 사용자로부터 일련의 터치 입력들(204)(예로서, 제스처들)을 획득하는 사용자 인터페이스(202)(예로서, 그래픽 사용자 인터페이스(GUI))를 제공할 수 있다. 이어서, 애플리케이션(210)은 사용자 인터페이스(202) 및/또는 터치스크린 내에 표시되는 그래픽 출력(208)을 생성하기 위해 터치 입력들(204)에 기초하여 그래픽 처리 메커니즘(206)에 대해 드로우 명령들을 발행할 수 있다. 결과적으로, 사용자는 터치스크린 및/또는 사용자 인터페이스(202)를 통해 애플리케이션(210)에 터치 입력들(204)을 제공하고, 터치스크린 및/또는 사용자 인터페이스(202)를 통해 애플리케이션(210)으로부터 그래픽 출력(208)을 수신함으로써 애플리케이션(210)과 상호작용할 수 있다.
그래픽 처리 메커니즘(206)에 의해 그래픽 출력(208)이 생성된 후, 그래픽 출력(208)은 애플리케이션(210)에 의해 획득되고, 애플리케이션(210)과 관련된 인코딩 기기(212)에 의해 인코딩될 수 있다. 인코딩 동안, 인코딩 기기(212) 내의 변환 메커니즘(214)이 그래픽 출력(208)을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환할 수 있으며, 스케일링 메커니즘(216)이 그래픽 출력(208)을 스케일링할 수 있다. 예를 들어, 인코딩 기기(212)는 H.264 코덱을 이용하여 그래픽 출력(208)을 인코딩하기 위한 기능을 포함할 수 있다. 따라서, 변환 메커니즘(214)은 그래픽 출력(208)을 RGB 컬러 공간으로부터 YUV 컬러 공간으로 변환할 수 있다. 이와 동시에, 스케일링 메커니즘(216)은 그래픽 출력(208)을 상하로 스케일링하여, 그래픽 출력(208)이 원격 디스플레이(104)의 해상도와 매칭되게 할 수 있다.
그래픽 출력(208)이 인코딩되면, 서버(106)는 네트워크(예로서, 무선 네트워크, 근거리 네트워크(LAN), 광역 네트워크(WAN) 등) 접속을 통해 그래픽 출력(208)을 클라이언트(108)로 전송할 수 있다. 이어서, 클라이언트(108)와 관련된 제2 애플리케이션(218)은 그래픽 출력(208)을 이용하여 원격 디스플레이(104)를 갱신할 수 있다. 구체적으로, 애플리케이션(218)과 관련된 디코딩 기기(220)가 그래픽 출력(208)을 디코딩할 수 있다. 예를 들어, 디코딩 기기(220)는 인코딩된 그래픽 출력(208)으로부터 픽셀 값들의 프레임들을 획득하는 H.264 코덱을 포함할 수 있다. 이어서, 픽셀 값들은 원격 디스플레이(104) 내의 그래픽 처리 메커니즘(226)(예로서, GPU, 그래픽 스택)으로 전송되고, 원격 디스플레이(104)를 구동하기 위한 그래픽 출력(228)을 생성하기 위해 그래픽 처리 메커니즘(226)에 의해 사용될 수 있다. 전자 장치(102)에서의 그래픽 출력(208)의 표시와 같이, 그래픽 출력(228)은 애플리케이션(218)에 의해 제공되는 사용자 인터페이스(222) 및/또는 원격 디스플레이(104)와 관련된 터치스크린 내에 표시될 수 있다.
전술한 바와 같이, 터치 입력들(204)의 시각적 표현(230)도 원격 디스플레이(104)를 구동하는 데 사용될 수 있다. 구체적으로, 터치 입력들(204)은 애플리케이션(210) 및/또는 서버(106)에 의해 획득되고, 그래픽 출력(208)과 함께 클라이언트(108)로 전송될 수 있다. 시각적 표현(230)은 터치 입력들(204)을 이용하여 생성되고, 그래픽 처리 메커니즘(226)에 제공될 수 있으며, 따라서 그래픽 처리 메커니즘(226)은 시각적 표현(230)을 이용하여 원격 디스플레이(104)를 구동할 수 있다. 예를 들어, 시각적 표현(230)은 그래픽 출력(208, 228) 내의 터치 입력들(204)의 위치들을 나타내는 한 세트의 도트들을 포함할 수 있다. 결과적으로, 시각적 표현(230)은 터치 입력들(204)과 관련된 각각의 위치에 도트를 드로잉함으로써 생성될 수 있다. 터치 입력들의 시각적 표현은 도 3과 관련하여 아래에 더 상세히 설명된다.
하나 이상의 실시예에서, 시각적 표현(230)은 애플리케이션(210) 및/또는 그래픽 처리 메커니즘(206)에 의해 생성되고, 전자 장치(102)에서 그래픽 출력(208) 내로 합성된다. 결과적으로, 서버(106)는 그래픽 출력(208) 및 시각적 표현(230)을 포함하는 단일 데이터 스트림을 클라이언트(108)로 전송할 수 있다. 이어서, 데이터 스트림은 디코딩 기기(220)에 의해 디코딩되고, 원격 디스플레이(104)를 구동하기 위해 그래픽 처리 메커니즘(226)에 의해 사용될 수 있다.
한편, 애플리케이션(210) 및/또는 서버(106)는 터치 입력들(204)을 그래픽 출력(208)과 관련된 보조 데이터로서 클라이언트(108)로 전송할 수 있다. 예를 들어, 그래픽 출력(208)은 서버(106)와 클라이언트(108) 사이의 주요 통신 채널을 통해 전송될 수 있고, 터치 입력들(204)은 서버(106)와 클라이언트(108) 사이의 측파대 채널을 통해 전송될 수 있다. 결과적으로, 애플리케이션(218) 및/또는 그래픽 처리 메커니즘(226)은 그래픽 출력(228)을 제1 버터로 드로잉하고, 시각적 표현(230)을 제2 버퍼로 드로잉하고, 제1 및 제2 버퍼들을 이용하여 원격 디스플레이를 구동함으로써 원격 디스플레이(104)를 구동할 수 있다.
전자 장치(102)와 원격 디스플레이(104)의 상호작용은 원격 디스플레이(104)로부터의 터치 입력들(224)이 그래픽 출력(208, 228)의 갱신에 사용되는 것을 가능하게 함으로써 더 용이해질 수 있다. 원격 디스플레이(104)의 사용자는 원격 디스플레이(104)와 관련된 터치스크린을 통해 터치 입력들(224)을 터치 기반 제스처들로서 제공할 수 있다. 사용자 인터페이스(222) 및/또는 애플리케이션(218)은 터치스크린으로부터 터치 입력들(224)을 획득할 수 있으며, 클라이언트(108)는 터치 입력들(224)을 서버(106) 및/또는 애플리케이션(210)으로 전송할 수 있다.
이어서, 애플리케이션(210)은 터치 입력들(224)에 기초하여 그래픽 출력(208)을 갱신할 수 있다. 예를 들어, 애플리케이션(210)은 터치 입력들(224)이 전자 장치(102)와 관련된 사용자 인터페이스(202) 및/또는 터치스크린으로부터 수신되는 것처럼 터치 입력들(224)로부터 그래픽 출력(208)을 생성할 수 있다. 즉, 전자 장치(102)로의 터치 입력들(224)의 전송은 사용자로 하여금 사용자가 전자 장치(102)로부터 행하는 것과 동일한 방식으로 원격 디스플레이(104)로부터 애플리케이션(210)과 상호작용하는 것을 가능하게 할 수 있다.
이와 달리, 서버(106) 및/또는 애플리케이션(210)은 원격 디스플레이(104)를 터치 입력들(224)의 소스로서 식별하기 위한 기능을 포함할 수 있다. 원격 디스플레이(104)의 그러한 식별은 애플리케이션(210)으로 하여금 그래픽 출력(208)을 원격 디스플레이(104)로 전송하기 전에 터치 입력들(224)에 기초하여 그래픽 출력(208)을 변경하고/하거나 터치 입력들(224)에 기초하여 데이터를 원격 디스플레이(104)로 전송하는 것을 가능하게 할 수 있다.
예를 들어, 애플리케이션(210)은 그래픽 출력(208)과 함께 클라이언트(108)로 전송되지만 그래픽 처리 메커니즘(206)에는 제공되지 않는 그래픽 출력(208)에 대한 그래픽 오버레이를 생성하기 위해 터치 입력들(224)을 사용할 수 있다. 이어서, 애플리케이션(218)은 그래픽 오버레이 및 그래픽 출력(208)을 그래픽 처리 메커니즘(226)에 제공할 수 있으며, 이 메커니즘은 그래픽 오버레이 및 그래픽 출력(208) 양자를 이용하여 원격 디스플레이(104)를 구동한다. 결과적으로, 그래픽 오버레이는 사용자 인터페이스(222) 및/또는 원격 디스플레이(104) 내에 표시될 수 있지만, 전자 장치(102) 상의 사용자 인터페이스(202) 및/또는 디스플레이(예로서, 터치스크린) 내에는 표시되지 않을 수 있다. 이어서, 사용자 인터페이스(222) 내의 그래픽 오버레이와 관련된 터치 입력들(224)은 서버(106)로 전송될 수 있으며, 그래픽 오버레이를 갱신하고/하거나 그래픽 오버레이와 관련된 데이터를 원격 디스플레이(104)로 전송하기 위해 애플리케이션(210)에 의해 사용될 수 있다. 터치 입력들(224)에 기초하는 그래픽 출력(208)의 변경 및/또는 원격 디스플레이(104)로의 데이터 전송은 도 4를 참조하여 아래에 더 상세히 설명된다.
결과적으로, 애플리케이션들(210, 218)은 전자 장치(102) 및/또는 원격 디스플레이(104)로 하여금 그래픽 출력(208, 228) 및 터치 입력들(204, 224)을 가시화하고/하거나 공유하는 것을 가능하게 할 수 있다. 또한, 애플리케이션들(210, 218)은 전자 장치(102)로부터의 디지털 미디어의 공유는 물론, 전자 장치(102)와 원격 디스플레이(104) 간의 상호작용을 용이하게 할 수 있다. 예컨대, 애플리케이션(210)으로부터 애플리케이션(218)으로의 그래픽 출력(208) 및 터치 입력들(204)의 전송은 원격 디스플레이(104)의 사용자로 하여금 원격 디스플레이(104) 상에서 사용자 인터페이스(202)를 보고/보거나 다른 사용자에 의한 전자 장치(102)의 사용을 관찰하는 것을 가능하게 할 수 있다. 유사하게, 애플리케이션(218)으로부터 애플리케이션(210)으로의 터치 입력들(224)의 전송은 원격 디스플레이(104)의 사용자로 하여금 애플리케이션(210)과 상호작용하고/하거나 전자 장치(102)로부터 데이터(예를 들어, 디지털 미디어)를 획득하는 것을 가능하게 할 수 있다.
이 분야의 기술자들은 도 2의 시스템이 다양한 방식으로 구현될 수 있다는 것을 알 것이다. 먼저, 인코딩 기기(212) 및 서버(106)는 애플리케이션(210) 내에서 그리고/또는 애플리케이션(210)과 무관하게 실행될 수 있다. 마찬가지로, 디코딩 기기(220) 및 클라이언트(108)는 애플리케이션(218) 내에서 그리고/또는 애플리케이션(218)과 무관하게 실행될 수 있다. 더욱이, 애플리케이션들(210, 218)은 전자 장치(102) 및 원격 디스플레이(104) 양자로부터의 사용자 인터페이스(202) 또는 사용자 인터페이스(222)의 관찰 및/또는 그들과의 상호작용을 가능하게 하기 위해 인코딩 기기(212), 서버(106), 클라이언트(108) 및 디코딩 기기(220)를 각자 구현하는 동일한 애플리케이션들에 대응할 수 있다. 한편, 애플리케이션들(210, 218)은 상보적인 역할들을 할 수 있으며, 따라서 전자 장치(102) 및 원격 디스플레이(104) 양자로부터 하나의 사용자 인터페이스(예로서, 사용자 인터페이스(202))만이 액세스될 수 있다.
도 3은 일 실시예에 따른 전자 장치(302)와 원격 디스플레이(304) 간의 예시적인 상호작용을 나타낸다. 전자 장치(302)는 원격 디스플레이(304) 상의 그래픽 출력이 전자 장치(302) 상의 그래픽 출력과 실질적으로 동일하도록 원격 디스플레이(304)를 구동하는 데 사용될 수 있다. 예를 들어, 전자 장치(302)의 디스플레이에 대한 그래픽 출력은 원격 디스플레이(304)로 전송되어 원격 디스플레이(304)를 구동하는 데 사용될 수 있다.
게다가, 한 세트의 터치 입력들(306-308)이 전자 장치(302)로부터 획득될 수 있다. 터치 입력들(306-308)은 전자 장치(302)와 관련된 터치스크린 상의 탭핑 제스처들, 스와이핑 제스처들, 핀칭 제스처들, 회전 제스처들 및 다른 터치 기반 제스처들과 관련될 수 있다. 터치 입력들(306-308)은 또한 터치 입력들(306-308)의 시각적 표현들(310-312)을 이용하여 원격 디스플레이(304)의 구동을 가능하게 하기 위해 원격 디스플레이(304)로 전송될 수 있다. 예를 들어, 시각적 표현들(310-312)은 그래픽 출력 내의 터치 입력들(306-308)의 위치들을 나타내는 도트들에 대응할 수 있다. 시각적 표현들(310-312)은 또한 터치 입력들(306-308)이 끝난 후에 소정 기간 동안 유지되고/되거나, 터치 입력들(306-308)과 관련된 모션 정보(예를 들어, 라인, 호(arc) 등)를 원격 디스플레이(304)의 사용자에게 전달하기 위해 위치를 변경할 수 있다. 즉, 시각적 표현들(310-312)은 원격 디스플레이(304)의 사용자로 하여금 다른 사용자에 의한 전자 장치(302)의 사용을 관찰하는 것을 가능하게 할 수 있다.
구체적으로, 터치 입력들(306-308)은 그래픽 출력을 원격 디스플레이(304)로 전송하기 전에 시각적 표현들(310-312)을 전자 장치(302)의 그래픽 출력 내에 합성함으로써 원격 디스플레이(304)로 전송될 수 있다. 따라서, 그래픽 출력 및 터치 입력들(306-308)은 단일 데이터 스트림으로서 원격 디스플레이(104)로 전송되고, 원격 디스플레이(304)를 구동하는 데 사용되는 단일 버퍼로 드로잉될 수 있다. 대안으로서, 터치 입력들(306-308)은 그래픽 출력과 관련된 보조 데이터로서 원격 디스플레이(304)로 전송될 수 있다. 결과적으로, 그래픽 출력은 제1 버퍼로 드로잉될 수 있고, 시각적 표현들(310-312)은 터치 입력들(306-308)에 기초하여 제2 버퍼로 드로잉될 수 있으며, 제1 및 제2 버퍼들은 원격 디스플레이(304)를 구동하는 데 사용될 수 있다.
도 4는 일 실시예에 따른 전자 장치(402)와 원격 디스플레이(404) 간의 예시적인 상호작용을 나타낸다. 도 3의 전자 장치(302) 및 원격 디스플레이(304)와 같이, 전자 장치(402)는 그래픽 출력이 전자 장치(402) 및 원격 디스플레이(404) 양자 상에서 실질적으로 동일하도록 원격 디스플레이(404)를 구동하는 데 사용될 수 있다.
그러나, 그래픽 오버레이(406)가 원격 디스플레이(404) 상에서 도시되지만, 전자 장치(402) 상에는 도시되지 않는다. 오버레이(406)는 원격 디스플레이(404)로부터 전자 장치(402)로의 터치 입력들의 전송은 물론, 전자 장치(402) 상의 애플리케이션에 의한 터치 입력들의 후속 처리로부터 생성될 수 있다. 예를 들어, 애플리케이션은 그래픽 출력을 원격 디스플레이(404)로 전송하기 전에 그러나 그래픽 출력을 이용하여 전자 장치(402) 상의 디스플레이(예로서, 터치스크린)를 구동하기 전에 터치 입력들에 기초하여 그래픽 출력을 갱신함으로써 오버레이(406)를 생성할 수 있다.
오버레이(406)는 또한 터치 입력들에 기초하는 애플리케이션으로부터 원격 디스플레이(404)로의 데이터의 전송을 용이하게 할 수 있다. 예를 들어, 오버레이(406)는 원격 디스플레이(404)의 사용자에게 그래픽 출력과 관련된 파일을 저장하기 위한 옵션 및 파일을 저장하지 않기 위한 다른 옵션을 제공하는 다이얼로그 박스에 대응할 수 있다. 이어서, 사용자에 의해 다이얼로그 박스 내에 제공되는 터치 입력들은 애플리케이션에 의한 처리를 위해 전자 장치(402)로 전송될 수 있다. 애플리케이션이 터치 입력들이 파일을 저장하기 위한 옵션의 선택을 나타내는 것으로 결정하는 경우, 애플리케이션은 원격 디스플레이(404)로부터 오버레이(406)를 제거하고, 파일에 대한 데이터를 원격 디스플레이(404)로 전송할 수 있다. 게다가, 애플리케이션은 데이터를 원격 디스플레이(404)로 전송하기 위한 허가에 대해 전자 장치(402)의 사용자에게 조회하기 위한 다이얼로그 박스를 전자 장치(402) 상에 생성할 수 있거나, 애플리케이션은 전자 장치(402)의 사용자로부터 허가를 얻지 않고 데이터를 전송할 수 있다. 이와 달리, 애플리케이션이 터치 입력들이 파일을 저장하지 않기 위한 옵션의 선택을 나타내는 것으로 결정하는 경우, 애플리케이션은 파일 데이터를 원격 디스플레이(404)로 전송하지 않고 원격 디스플레이(404)로부터 오버레이(406)를 제거할 수 있다.
도 5는 일 실시예에 따른 원격 디스플레이와 상호작용하는 프로세스를 나타내는 흐름도를 도시한다. 하나 이상의 실시예에서, 단계들 중 하나 이상의 생략, 반복 및/또는 상이한 순서로 수행될 수 있다. 따라서, 도 5에 도시된 단계들의 특정 배열은 실시예들의 범위를 한정하는 것으로 해석되지 않아야 한다.
먼저, 전자 장치의 디스플레이에 대한 그래픽 출력이 획득되고(동작 502), 그래픽 출력과 관련된 터치 입력들의 제1 세트가 전자 장치와 관련된 터치스크린으로부터 획득된다(동작 504). 이어서, 그래픽 출력이 인코딩된다(동작 506). 예를 들어, 그래픽 출력은 그래픽 출력을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하고/하거나 그래픽 출력을 스케일링하는 H.264 코덱을 이용하여 인코딩될 수 있다.
이어서, 그래픽 출력 및 터치 입력들의 제1 세트가 원격 디스플레이로 전송되며(동작 508), 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현이 원격 디스플레이를 구동하는 데 사용된다. 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하는 원격 디스플레이의 구동은 도 6을 참조하여 아래에 더 상세히 설명된다.
터치 입력들의 제2 세트도 원격 디스플레이로부터 수신될 수 있다(동작 510). 터치 입력들의 제2 세트가 수신되지 않으면, 터치 입력들의 제2 세트와 관련된 어떠한 처리도 수행되지 않는다. 터치 입력들의 제2 세트가 수신되면, 터치 입력들의 제2 세트에 기초하여 그래픽 출력이 갱신된다(동작 512). 예를 들어, 터치 입력들의 제2 세트가 그래픽 출력을 생성하도록 구성된 애플리케이션에 제공될 수 있다. 애플리케이션은 터치 입력들의 제2 세트가 전자 장치의 터치스크린을 통해 획득된 것처럼 터치 입력들의 제2 세트를 처리할 수 있다. 대안으로서, 애플리케이션은 원격 디스플레이를 터치 입력들의 제2 세트의 소스로서 식별하고, 그래픽 출력을 원격 디스플레이로 전송하기 전에 그래픽 출력을 변경할 수 있다. 애플리케이션은 또한 터치 입력들의 제2 세트에 기초하여 데이터를 원격 디스플레이로 전송하기 위해 원격 디스플레이의 식별자를 이용할 수 있다.
원격 디스플레이와의 상호작용이 계속될 수 있다(동작 514). 예를 들어, 전자 장치는 전자 장치와 원격 디스플레이 사이에 네트워크 접속이 존재하고/하거나 전자 장치와 원격 디스플레이 사이에 디지털 미디어가 공유되고 있는 동안 원격 디스플레이와 상호작용할 수 있다. 원격 디스플레이와의 상호작용이 계속되는 경우, 그래픽 출력 및 터치 입력들의 제1 세트가 획득되고(동작 502-504), 그래픽 출력이 인코딩되고(동작 506), 그래픽 출력 및 터치 입력들의 제1 세트가 원격 디스플레이로 전송된다(동작 508). 이와 동시에, 터치 입력들의 제2 세트도 원격 디스플레이로부터 수신될 수 있고(동작 510), 그래픽 출력을 갱신하는 데 사용될 수 있다(동작 512). 전자 장치와 원격 디스플레이 간의 상호작용이 끝날 때까지 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현이 계속 획득, 변경 및/또는 전송될 수 있다.
도 6은 일 실시예에 따른 전자 장치와 상호작용하는 프로세스를 나타내는 흐름도를 도시한다. 하나 이상의 실시예에서, 단계들 중 하나 이상이 생략, 반복 및/또는 상이한 순서로 수행될 수 있다. 따라서, 도 6에 도시된 단계들의 특정 배열은 실시예들의 범위를 한정하는 것으로 해석되지 않아야 한다.
먼저, 그래픽 출력 및 그래픽 출력과 관련된 터치 입력들의 제1 세트가 전자 장치로부터 획득된다(동작 602). 터치 입력들의 제1 세트는 그래픽 출력 내에 합성되고/되거나, 그래픽 출력과 관련된 보조 데이터로서 전송될 수 있다. 이어서, 그래픽 출력이 인코딩된다(동작 604). 예를 들어, H.264 코덱을 이용하여, 그래픽 출력으로부터 픽셀 값들의 프레임들을 획득할 수 있다.
이어서, 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여, 원격 디스플레이를 구동한다(동작 606). 터치 입력들의 제1 세트가 그래픽 출력 내에 합성되는 경우, 합성된 그래픽 출력은 원격 디스플레이를 구동하는 데 사용되는 단일 버퍼로 드로잉될 수 있다. 터치 입력들의 제1 세트가 보조 데이터로서 전송되는 경우, 그래픽 출력은 제1 버퍼로 드로잉될 수 있고, 터치 입력들의 제1 세트의 시각적 표현은 제2 버퍼로 드로잉될 수 있으며, 제1 및 제2 버퍼들은 원격 디스플레이를 구동하는 데 사용될 수 있다.
터치 입력들의 제2 세트가 또한 원격 디스플레이의 사용자에 의해 제공될 수 있다(동작 608). 터치 입력들의 제2 세트가 제공되지 않는 경우, 터치 입력들의 제2 세트와 관련된 어떠한 처리도 수행되지 않는다. 터치 입력들의 제2 세트가 제공되는 경우, 터치 입력들의 제2 세트는 원격 디스플레이와 관련된 터치스크린으로부터 획득되고(동작 610), 전자 장치로 전송된다(동작 612). 이어서, 전자 장치는 터치 입력들의 제2 세트를 이용하여, 그래픽 출력을 갱신하고/하거나, 데이터를 원격 디스플레이로 전송할 수 있다.
전자 장치와의 상호작용이 계속될 수 있다(동작 614). 전자 장치와의 상호작용이 계속되는 경우, 그래픽 출력 및 터치 입력들의 제1 세트가 전자 장치로부터 수신되고(동작 602), 그래픽 출력이 디코딩되고(동작 604), 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현이 원격 디스플레이를 구동하는 데 사용된다(동작 606). 이와 동시에, 터치 입력들의 제2 세트가 원격 디스플레이의 사용자에 의해 제공되고(동작 608), 터치스크린으로부터 획득되고 (동작 610), 전자 장치로 전송될 수 있다(동작 612). 그래픽 출력 및 시각적 표현을 이용하여 원격 디스플레이를 구동하고 터치 입력들의 제2 세트를 전자 장치로 전송하는 것은 원격 디스플레이와 전자 장치 간의 상호작용이 끝날 때까지 계속될 수 있다.
도 7은 일 실시예에 따른 컴퓨터 시스템(700)을 나타낸다. 컴퓨터 시스템(700)은 프로세서(702), 메모리(704), 저장 장치(706), 및/또는 전자 컴퓨팅 장치들에서 발견되는 다른 컴포넌트들을 포함하는 기기에 대응할 수 있다. 프로세서(702)는 컴퓨터 시스템(700) 내의 다른 프로세서들과의 병렬 처리 및/또는 다중 스레드 연산(multi-threaded operation)을 지원할 수 있다. 컴퓨터 시스템(700)은 또한 키보드(708), 마우스(710) 및 디스플레이(712)와 같은 입출력(I/O) 장치들을 포함할 수 있다.
컴퓨터 시스템(700)은 본 실시예의 다양한 컴포넌트들을 실행하기 위한 기능을 포함할 수 있다. 구체적으로, 컴퓨터 시스템(700)은 컴퓨터 시스템(700) 상의 하드웨어 및 소프트웨어 자원들의 사용을 조정하는 운영 체제(도시되지 않음)는 물론, 사용자에 대한 특수화된 작업을 수행하는 하나 이상의 애플리케이션을 포함할 수 있다. 사용자에 대한 작업들을 수행하기 위하여, 애플리케이션들은 운영 체제로부터 컴퓨터 시스템(700) 상의 하드웨어 자원들의 사용을 획득하는 것은 물론, 운영 체제에 의해 제공되는 하드웨어 및/또는 소프트웨어 프레임워크를 통해 사용자와 상호작용할 수 있다.
하나 이상의 실시예에서, 컴퓨터 시스템(700)은 전자 장치와 원격 디스플레이 간의 상호작용을 용이하게 하기 위한 시스템을 제공한다. 시스템은 전자 장치 상의 제1 애플리케이션 및 인코딩 기기, 및 원격 디스플레이 상의 제2 애플리케이션 및 디코딩 기기를 포함할 수 있다. 인코딩 기기는 전자 장치 상의 제1 터치스크린으로부터 전자 장치의 디스플레이에 대한 그래픽 출력 및 그래픽 출력과 관련된 터치 입력들의 제1 세트를 획득할 수 있다. 인코딩 기기는 그래픽 출력을 인코딩할 수 있고, 제1 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트를 원격 디스플레이로 전송할 수 있다. 원격 디스플레이에서의 그래픽 출력 및 터치 입력들의 제1 세트의 수신시, 디코딩 기기는 그래픽 출력을 디코딩할 수 있다. 이어서, 제2 애플리케이션은 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이를 구동할 수 있다.
더구나, 제2 애플리케이션은 원격 디스플레이 상의 제2 터치스크린으로부터 그래픽 출력과 관련된 터치 입력들의 제2 세트를 획득하고, 터치 입력들의 제2 세트를 전자 장치로 전송할 수 있다. 이어서, 제1 애플리케이션은 터치 입력들의 제2 세트에 기초하여 그래픽 출력을 갱신할 수 있다. 예컨대, 제1 애플리케이션은 원격 디스플레이를 터치 입력들의 제2 세트의 소스로서 식별할 수 있다. 이어서, 제1 애플리케이션은 터치 입력들의 제2 세트를 이용하여, 원격 디스플레이 상의 그래픽 출력 위에 표시되는 오버레이를 생성할 수 있다. 제1 애플리케이션은 또한 터치 입력들의 제2 세트에 기초하여 데이터를 원격 디스플레이로 전송할 수 있다.
게다가, 컴퓨터 시스템(700)의 하나 이상의 컴포넌트는 원격 배치되고, 네트워크를 통해 다른 컴포넌트들에 접속될 수 있다. 본 실시예들의 부분들(예로서, 제1 애플리케이션, 제2 애플리케이션, 인코딩 기기, 디코딩 기기 등)은 또한 실시예들을 구현하는 분산형 시스템의 상이한 노드들 상에 배치될 수 있다. 예를 들어, 본 실시예들은 전자 장치와의 네트워크 접속을 이용하여 전자 장치와 통신하고 원격 디스플레이들의 세트 상에 전자 장치로부터의 그래픽 출력 및 터치 입력들의 제1 세트의 시각적 표현을 표시하는 클라우드 컴퓨팅 시스템을 이용하여 구현될 수 있다.
다양한 실시예들에 대한 위의 설명들은 단지 예시 및 설명의 목적으로 제공되었다. 이들은 포괄적이거나, 본 발명을 개시되는 형태들로 한정하는 것을 의도하지 않는다. 따라서, 많은 변경 및 변형이 이 분야의 기술자들에게 명백할 것이다. 또한, 위의 개시는 본 발명의 한정하는 것을 의도하지 않는다.

Claims (26)

  1. 원격 디스플레이와 상호작용하기 위한 컴퓨터 구현 방법으로서,
    전자 장치의 디스플레이에 대한 그래픽 출력을 획득하는 단계;
    상기 전자 장치와 관련된 터치스크린으로부터 상기 그래픽 출력과 관련된 터치 입력들의 제1 세트를 획득하는 단계; 및
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트를 위한 각각의 제1 및 제2 통신 채널을 이용하여, 상기 그래픽 출력 및 상기 터치 입력들의 제1 세트를 상기 원격 디스플레이로 전송하는 단계
    를 포함하고,
    상기 전자 장치로부터 전송된 상기 그래픽 출력 및 상기 터치 입력들의 제1 세트의 시각적 표현은 상기 원격 디스플레이를 구동하는데 이용되며, 상기 터치 입력들의 제1 세트의 시각적 표현은 도트들(dots)의 세트를 포함하며 상기 전자 장치의 상기 디스플레이에 표시되지 않는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 그래픽 출력을 상기 원격 디스플레이로 전송하기 전에 상기 그래픽 출력을 인코딩하는 단계를 더 포함하는 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    상기 그래픽 출력을 인코딩하는 단계는,
    상기 그래픽 출력을 제1 컬러 공간으로부터 제2 컬러 공간으로 변환하는 단계; 및
    상기 그래픽 출력을 스케일링하는 단계
    중 적어도 하나를 포함하는 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 원격 디스플레이로부터 터치 입력들의 제2 세트를 수신하는 단계; 및
    상기 터치 입력들의 제2 세트에 기초하여 상기 그래픽 출력을 갱신하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  5. 제4항에 있어서,
    상기 터치 입력들의 제2 세트에 기초하여 상기 그래픽 출력을 갱신하는 단계는, 상기 그래픽 출력을 생성하도록 구성된 애플리케이션에 상기 터치 입력들의 제2 세트를 제공하는 단계를 포함하는 컴퓨터 구현 방법.
  6. 제5항에 있어서,
    상기 터치 입력들의 제2 세트에 기초하여 상기 그래픽 출력을 갱신하는 단계는 상기 원격 디스플레이를 상기 터치 입력들의 제2 세트의 소스로서 식별하는 단계를 더 포함하고,
    상기 식별된 원격 디스플레이는, 상기 그래픽 출력을 상기 원격 디스플레이로 전송하기 전에, 상기 애플리케이션에 의한 상기 그래픽 출력의 변경을 가능하게 하는 컴퓨터 구현 방법.
  7. 제6항에 있어서,
    상기 식별된 원격 디스플레이는, 상기 터치 입력들의 제2 세트에 기초하여 상기 애플리케이션으로부터 상기 원격 디스플레이로의 데이터의 전송을 또한 가능하게 하는 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트를 상기 원격 디스플레이로 전송하는 단계는,
    상기 터치 입력들의 제1 세트의 시각적 표현을 상기 그래픽 출력 내에 합성하는 단계; 및
    상기 터치 입력들의 제1 세트를 상기 그래픽 출력과 관련된 보조 데이터로서 상기 원격 디스플레이로 전송하는 단계
    중 적어도 하나를 포함하는 컴퓨터 구현 방법.
  9. 삭제
  10. 전자 장치와 상호작용하기 위한 컴퓨터 구현 방법으로서,
    상기 전자 장치의 터치 스크린 디스플레이로부터 그래픽 출력 및 상기 그래픽 출력과 관련된 터치 입력들의 제1 세트를 수신하는 단계;
    상기 전자 장치 및 원격 디스플레이 사이의 주(main) 통신 채널을 이용하여 상기 그래픽 출력을 상기 전자 장치로부터 상기 원격 디스플레이로 전송하는 단계;
    상기 전자 장치 및 상기 원격 디스플레이 사이의 측파대(sideband) 통신 채널을 이용하여 상기 터치 입력들의 제1 세트를 상기 전자 장치로부터 상기 원격 디스플레이로 전송하는 단계; 및
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트의 시각적 표현을 이용하여 원격 디스플레이를 구동하는 단계
    를 포함하고,
    상기 터치 입력들의 제1 세트의 시각적 표현은 상기 전자 장치의 상기 터치 스크린 디스플레이에 표시되지 않으며,
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트의 시각적 표현을 이용하여 상기 원격 디스플레이를 구동하는 단계는,
    상기 원격 디스플레이에서 상기 그래픽 출력을 제1 버퍼로 드로잉(drawing)하는 단계;
    상기 원격 디스플레이에서 상기 터치 입력들의 제1 세트의 시각적 표현을 제2 버퍼로 드로잉하는 단계; 및
    상기 제1 버퍼 및 상기 제2 버퍼를 이용하여 상기 원격 디스플레이를 구동하는 단계
    를 포함하는 컴퓨터 구현 방법.
  11. 제10항에 있어서,
    상기 그래픽 출력을 이용하여 상기 원격 디스플레이를 구동하기 전에 상기 그래픽 출력을 디코딩하는 단계를 더 포함하는 컴퓨터 구현 방법.
  12. 제10항에 있어서,
    상기 원격 디스플레이와 관련된 터치스크린으로부터 상기 그래픽 출력과 관련된 터치 입력들의 제2 세트를 획득하는 단계; 및
    상기 터치 입력들의 제2 세트를 상기 전자 장치로 전송하는 단계
    를 더 포함하고,
    상기 터치 입력들의 제2 세트는 상기 전자 장치에 의해 상기 그래픽 출력을 갱신하는데 이용되는 컴퓨터 구현 방법.
  13. 제12항에 있어서,
    상기 터치 입력들의 제2 세트는 상기 전자 장치에 의해 데이터를 상기 원격 디스플레이로 전송하는데 또한 이용되는 컴퓨터 구현 방법.
  14. 삭제
  15. 제10항에 있어서,
    상기 원격 디스플레이는 태블릿 컴퓨터, 이동 전화, 휴대용 미디어 플레이어, 프로젝터 및 모니터 중 적어도 하나인 컴퓨터 구현 방법.
  16. 전자 장치와 원격 디스플레이 간의 상호작용을 용이하게 하기 위한 시스템으로서,
    상기 전자 장치 상의 제1 애플리케이션; 및
    상기 원격 디스플레이 상의 제2 애플리케이션
    을 포함하고,
    상기 제1 애플리케이션은,
    상기 전자 장치의 디스플레이에 대한 그래픽 출력을 획득하고,
    상기 전자 장치 상의 제1 터치스크린으로부터 상기 그래픽 출력과 관련된 터치 입력들의 제1 세트를 획득하며,
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트를 상기 원격 디스플레이로 전송하도록
    구성되고,
    상기 제2 애플리케이션은, 상기 전자 장치로부터 전송된 상기 그래픽 출력 및 상기 터치 입력들의 제1 세트의 시각적 표현을 이용하여 상기 원격 디스플레이를 구동하도록 구성되며,
    상기 제2 애플리케이션은,
    상기 원격 디스플레이 상의 제2 터치스크린으로부터 상기 그래픽 출력과 관련된 터치 입력들의 제2 세트를 획득하고,
    상기 터치 입력들의 제2 세트를 상기 전자 장치로 전송하도록 또한 구성되며,
    상기 제1 애플리케이션은, 상기 원격 디스플레이로부터 전송된 상기 터치 입력들의 제2 세트에 기초하여 상기 그래픽 출력을 갱신하고,
    상기 원격 디스플레이로부터 전송된 상기 터치 입력들의 제2 세트를 이용하여 상기 원격 디스플레이에 그래픽 오버레이를 생성하도록 또한 구성되며,
    상기 제2 애플리케이션은,
    상기 그래픽 오버레이에서 수신된 터치 입력들의 제3 세트를 획득하고,
    상기 터치 입력들의 제3 세트를 상기 전자 장치로 전송하도록 또한 구성되며,
    상기 제1 애플리케이션은,
    상기 원격 디스플레이로부터 수신된 상기 터치 입력들의 제3 세트에 기초하여 상기 그래픽 오버레이를 갱신하도록 또한 구성되는, 시스템.
  17. 제16항에 있어서,
    상기 전자 장치 상의 인코딩 기기 - 상기 인코딩 기기는, 상기 그래픽 출력을 상기 원격 디스플레이로 전송하기 전에, 상기 그래픽 출력을 인코딩하도록 구성됨 -; 및
    상기 원격 디스플레이 상의 디코딩 기기 - 상기 디코딩 기기는, 상기 그래픽 출력을 이용하여 상기 원격 디스플레이를 구동하기 전에, 상기 그래픽 출력을 디코딩하도록 구성됨 -
    를 더 포함하는 시스템.
  18. 제16항에 있어서,
    상기 제1 애플리케이션은 상기 원격 디스플레이를 상기 터치 입력들의 제2 세트의 소스로서 식별하도록 또한 구성되는 시스템.
  19. 제18항에 있어서,
    상기 식별된 원격 디스플레이는,
    상기 그래픽 출력을 상기 원격 디스플레이로 전송하기 전에, 상기 제1 애플리케이션에 의한 상기 그래픽 출력의 변경; 및
    상기 터치 입력들의 제2 세트에 기초하는 상기 제1 애플리케이션으로부터 상기 원격 디스플레이로의 데이터의 전송
    중 적어도 하나를 가능하게 하는 시스템.
  20. 제16항에 있어서,
    상기 그래픽 출력 및 상기 터치 입력들의 제1 세트를 상기 원격 디스플레이로 전송하는 것은,
    상기 터치 입력들의 제1 세트의 시각적 표현을 상기 그래픽 출력 내에 합성하는 것; 및
    상기 터치 입력들의 제1 세트를 상기 그래픽 출력과 관련된 보조 데이터로서 상기 원격 디스플레이로 전송하는 것
    중 적어도 하나를 포함하는 시스템.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020137025984A 2011-04-12 2012-04-10 전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유 Active KR101629072B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/084,779 2011-04-12
US13/084,779 US9152373B2 (en) 2011-04-12 2011-04-12 Gesture visualization and sharing between electronic devices and remote displays
PCT/US2012/032929 WO2012142043A1 (en) 2011-04-12 2012-04-10 Gesture visualization and sharing between electronic devices and remote displays

Publications (2)

Publication Number Publication Date
KR20140000328A KR20140000328A (ko) 2014-01-02
KR101629072B1 true KR101629072B1 (ko) 2016-06-09

Family

ID=45955179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137025984A Active KR101629072B1 (ko) 2011-04-12 2012-04-10 전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유

Country Status (7)

Country Link
US (1) US9152373B2 (ko)
EP (1) EP2678771B1 (ko)
JP (1) JP5902288B2 (ko)
KR (1) KR101629072B1 (ko)
CN (1) CN103460177B (ko)
AU (1) AU2012243007B2 (ko)
WO (1) WO2012142043A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113091A1 (en) * 2010-10-29 2012-05-10 Joel Solomon Isaacson Remote Graphics
US10976981B2 (en) * 2011-07-15 2021-04-13 Vmware, Inc. Remote desktop exporting
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
US8819296B2 (en) * 2011-11-17 2014-08-26 Nokia Corporation Apparatus, a method and a computer program
US20130234984A1 (en) * 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System for linking and controlling terminals and user terminal used in the same
CN103513909A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 一种控制电子设备的方法及一种电子设备
US9213515B2 (en) * 2012-09-24 2015-12-15 At&T Intellectual Property I, L.P. On-demand multi-screen computing
US20140108940A1 (en) * 2012-10-15 2014-04-17 Nvidia Corporation Method and system of remote communication over a network
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10423214B2 (en) * 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US9936335B2 (en) 2012-12-13 2018-04-03 Microsoft Technology Licensing, Llc Mobile computing device application sharing
JP2014123311A (ja) * 2012-12-21 2014-07-03 International Business Maschines Corporation 入力デバイスからの入力を対応するアプリケーションプログラムへと提供する装置、方法、プログラム
CN104919409A (zh) * 2013-01-10 2015-09-16 福克斯体育产品公司 用于与车辆的3d表示有关的观看者交互的系统、方法和界面
US9772978B2 (en) * 2013-02-07 2017-09-26 Adobe Systems Incorporated Touch input visualizations based on user interface context
US9445155B2 (en) 2013-03-04 2016-09-13 Google Technology Holdings LLC Gesture-based content sharing
US9438543B2 (en) 2013-03-04 2016-09-06 Google Technology Holdings LLC Gesture-based content sharing
US20180173416A1 (en) * 2013-03-07 2018-06-21 UBE, INC. d/b/a PLUM Distributed networking of configurable load controllers
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9122366B2 (en) * 2013-03-15 2015-09-01 Navico Holding As Residue indicators
US9547466B2 (en) * 2013-05-29 2017-01-17 Vmware, Inc. Systems and methods for using screen sampling to detect display changes
KR102053822B1 (ko) 2013-06-03 2019-12-09 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 표시방법
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
EP3039515B1 (en) * 2013-08-30 2020-02-19 Hewlett-Packard Development Company, L.P. Touch input association
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US9109917B2 (en) 2013-09-26 2015-08-18 Google Inc. Systems and methods for providing input suggestions via the head unit of a vehicle
US9958289B2 (en) 2013-09-26 2018-05-01 Google Llc Controlling navigation software on a portable device from the head unit of a vehicle
US10054463B2 (en) 2013-09-26 2018-08-21 Google Llc Systems and methods for providing navigation data to a vehicle
US20150103015A1 (en) * 2013-10-10 2015-04-16 Blackberry Limited Devices and methods for generating tactile feedback
KR20150069155A (ko) * 2013-12-13 2015-06-23 삼성전자주식회사 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치
KR20150081708A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US9817549B2 (en) * 2014-06-25 2017-11-14 Verizon Patent And Licensing Inc. Method and system for auto switching applications based on device orientation
US9727231B2 (en) 2014-11-19 2017-08-08 Honda Motor Co., Ltd. System and method for providing absolute coordinate and zone mapping between a touchpad and a display screen
US20170371515A1 (en) 2014-11-19 2017-12-28 Honda Motor Co., Ltd. System and method for providing absolute and zone coordinate mapping with graphic animations
TWI506534B (zh) * 2014-12-09 2015-11-01 Awind Inc 具有低資料傳輸量的鏡射顯示系統及其方法
US10817244B2 (en) * 2014-12-22 2020-10-27 Zoho Corporation Private Limited Orientation-responsive data rendering
EP3241117B1 (en) * 2014-12-29 2020-02-12 Emerico International SDN BHD An apparatus for use in a bank teller system
CN106406784A (zh) * 2015-07-27 2017-02-15 宏碁股份有限公司 影像输出装置
US10872690B2 (en) 2018-11-28 2020-12-22 General Electric Company System and method for remote visualization of medical images
US11880422B2 (en) 2019-02-04 2024-01-23 Cloudflare, Inc. Theft prevention for sensitive information
US10452868B1 (en) 2019-02-04 2019-10-22 S2 Systems Corporation Web browser remoting using network vector rendering
US10558824B1 (en) 2019-02-04 2020-02-11 S2 Systems Corporation Application remoting using network vector rendering
US10552639B1 (en) 2019-02-04 2020-02-04 S2 Systems Corporation Local isolator application with cohesive application-isolation interface
US20210349593A1 (en) 2020-05-11 2021-11-11 Aron Ezra Systems and methods for non-contacting interaction with user terminals
WO2022181899A1 (ko) * 2021-02-26 2022-09-01 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080115073A1 (en) 2005-05-26 2008-05-15 ERICKSON Shawn Method and Apparatus for Remote Display of Drawn Content
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2952955B2 (ja) * 1990-04-19 1999-09-27 ソニー株式会社 画像作成装置
US5652849A (en) 1995-03-16 1997-07-29 Regents Of The University Of Michigan Apparatus and method for remote control using a visual information stream
JPH0922339A (ja) 1995-07-05 1997-01-21 Matsushita Electric Ind Co Ltd 遠隔操作装置
JPH0997042A (ja) 1995-10-03 1997-04-08 Matsushita Electric Ind Co Ltd 画像表示装置
US6333929B1 (en) * 1997-08-29 2001-12-25 Intel Corporation Packet format for a distributed system
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6564380B1 (en) 1999-01-26 2003-05-13 Pixelworld Networks, Inc. System and method for sending live video on the internet
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
TW456112B (en) 1999-12-10 2001-09-21 Sun Wave Technology Corp Multi-function remote control with touch screen display
JP2001197461A (ja) 2000-01-07 2001-07-19 Matsushita Electric Ind Co Ltd マルチメディア情報操作ウインドウの共有操作方法
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
JP2004525675A (ja) 2001-01-24 2004-08-26 インターリンク エレクトロニクス インコーポレイテッド ゲーム及びホーム・エンターテイメント・デバイス遠隔制御
JP2002244987A (ja) 2001-02-15 2002-08-30 Matsushita Electric Ind Co Ltd 転送システム、第１の装置、第２の装置、およびプログラム
US6914551B2 (en) 2002-04-12 2005-07-05 Apple Computer, Inc. Apparatus and method to facilitate universal remote control
ATE338429T1 (de) 2003-07-18 2006-09-15 Cit Alcatel Verfahren zur verteilung von echtzeitdatenströmen über ein multimedianetz sowie vermittlungvorrichtung und multimedianetz
US7535465B2 (en) 2003-09-02 2009-05-19 Creative Technology Ltd. Method and system to display media content data
EP1515223A1 (de) 2003-09-10 2005-03-16 Siemens Aktiengesellschaft Generierung einer Objekt-Bearbeitungsplattform zwischen zwei Computern über eine Bildschirmzusammenfügung
JP2007001237A (ja) * 2005-06-27 2007-01-11 Konica Minolta Business Technologies Inc 機器、機器システム、画像形成装置、機器の制御方法及びプログラム
JP2009507450A (ja) * 2005-09-07 2009-02-19 ヴィドヨ，インコーポレーテッド 高信頼性基本層トランクに関するシステムおよび方法
JP2007173952A (ja) 2005-12-19 2007-07-05 Sony Corp コンテンツ再生システム、再生装置および方法、提供装置および提供方法、プログラム、並びに記録媒体
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US7733808B2 (en) 2006-11-10 2010-06-08 Microsoft Corporation Peer-to-peer aided live video sharing system
US20080178224A1 (en) 2007-01-20 2008-07-24 Michael Laude Upgradeable intelligent remote control device with integrated program guide
US8555180B2 (en) * 2007-03-27 2013-10-08 Amulet Technologies, Llc Smart peripheral architecture for portable media players
JP2008310443A (ja) 2007-06-12 2008-12-25 Canon Inc 画像処理装置、画像処理方法、プログラム及び記録媒体
US7889175B2 (en) 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US9767681B2 (en) 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
US8542323B2 (en) 2007-12-21 2013-09-24 Sony Corporation Touch sensitive wireless navigation device for remote control
US20100020033A1 (en) * 2008-07-23 2010-01-28 Obinna Ihenacho Alozie Nwosu System, method and computer program product for a virtual keyboard
JP2010130445A (ja) 2008-11-28 2010-06-10 Sharp Corp 視聴システム、表示装置、リモートコントローラ装置、及び視聴方法
JP5380147B2 (ja) 2009-04-30 2014-01-08 オリンパスイメージング株式会社 撮像装置、表示装置および撮像システム
US20110029915A1 (en) * 2009-08-02 2011-02-03 Harris Technology, Llc Layered desktop system
EP2553561A4 (en) * 2010-04-01 2016-03-30 Citrix Systems Inc INTERACTION WITH REMOTE APPLICATIONS DISPLAYED ON A VIRTUAL DESKTOP OF A TABLET COMPUTER DEVICE
US20120060095A1 (en) * 2010-09-03 2012-03-08 Rovi Technologies Corporation Systems and methods for generating personalized media content embedding images of multiple users
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080115073A1 (en) 2005-05-26 2008-05-15 ERICKSON Shawn Method and Apparatus for Remote Display of Drawn Content
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device

Also Published As

Publication number Publication date
JP2014513831A (ja) 2014-06-05
US20120262379A1 (en) 2012-10-18
AU2012243007B2 (en) 2015-11-12
US9152373B2 (en) 2015-10-06
AU2012243007A1 (en) 2013-10-10
CN103460177A (zh) 2013-12-18
KR20140000328A (ko) 2014-01-02
EP2678771A1 (en) 2014-01-01
EP2678771B1 (en) 2019-11-13
WO2012142043A1 (en) 2012-10-18
JP5902288B2 (ja) 2016-04-13
CN103460177B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
KR101629072B1 (ko) 전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유
US20200007602A1 (en) Remote desktop video streaming alpha-channel
US9727301B2 (en) Gesture-based prioritization of graphical output on remote displays
US20130141471A1 (en) Obscuring graphical output on remote displays
US9996893B2 (en) Display apparatus constituting multi display system and control method thereof
CN111107127A (zh) 适用于远程桌面应用程序的个体应用程序窗口的流式传输
US8963797B2 (en) Display driving architectures
US20140281896A1 (en) Screencasting for multi-screen applications
CN110782387A (zh) 图像处理方法、装置、图像处理器及电子设备
US20160005379A1 (en) Image Generation
KR20220036061A (ko) 전자 장치, 그 제어 방법 및 전자 시스템
CN105228002A (zh) 显示设备及其控制方法
US10785512B2 (en) Generalized low latency user interaction with video on a diversity of transports
CN105404487B (zh) 一种支持回显功能的拼接控制器及其控制方法
KR20210006130A (ko) 디스플레이 장치 및 그 제어 방법
CN116095250B (zh) 用于视频裁剪的方法和装置
JP6395971B1 (ja) グラフィカルコマンドトークンの修正
Gutenko et al. Remote volume rendering pipeline for mHealth applications
CN115641795A (zh) 图像显示方法、装置、电子设备及存储介质
CN115668273A (zh) 电子装置、其控制方法和电子系统
US20140362097A1 (en) Systems and methods for hardware-accelerated key color extraction
JP2009192670A (ja) 情報処理装置、画像表示方法、及びプログラム
CN119473201B (zh) 主机设备、显示方法与显示系统
TW201409396A (zh) 圖像處理裝置及外接圖像裝置
US20250077160A1 (en) Display apparatus for expanding screen area and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20131001

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20131001

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140627

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20150226

Patent event code: PE09021S02D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20151130

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150226

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20140627

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20151130

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20150626

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20141027

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20131001

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20160331

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20160229

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20151130

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20150626

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20141027

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20131001

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160602

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200504

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210428

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220415

Start annual number: 7

End annual number: 7