[go: up one dir, main page]

CN103984494A - 用于多种设备间的直觉式用户互动系统及方法 - Google Patents

用于多种设备间的直觉式用户互动系统及方法 Download PDF

Info

Publication number
CN103984494A
CN103984494A CN201310049782.3A CN201310049782A CN103984494A CN 103984494 A CN103984494 A CN 103984494A CN 201310049782 A CN201310049782 A CN 201310049782A CN 103984494 A CN103984494 A CN 103984494A
Authority
CN
China
Prior art keywords
equipment
application program
touch
control
user interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310049782.3A
Other languages
English (en)
Inventor
潘琦
朱伟
郭雄辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bo Mao Information Technology Co Ltd
Original Assignee
Shanghai Bo Mao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bo Mao Information Technology Co Ltd filed Critical Shanghai Bo Mao Information Technology Co Ltd
Priority to CN201310049782.3A priority Critical patent/CN103984494A/zh
Priority to US13/851,090 priority patent/US20140223490A1/en
Publication of CN103984494A publication Critical patent/CN103984494A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于多种设备间的直觉式用户互动系统及方法，其中一不具备用户互动功能之远程设备连接至一具有用户互动功能之本地端设备；在缩略图控制方案中，远端设备的显示界面别呈现在本地端的控制设备，用户可以快速地在本地端设备进行交互来控制显示在远端设备程序的运行；在通用远程控制方案中，本地端设备被视为远程设备之外部用户互动外围设备，可以模拟鼠标、触控板、触摸屏等互动周边设备；区域加强模式是借由预先定义于远程设备之多个区域且对这些区域进行对应地布局调整、重新配置且映像回本地端设备，而位于本地端设备其映像区域之触控事件将重新映像和发送至呈现于远程设备之应用程序。

Description

用于多种设备间的直觉式用户互动系统及方法
技术领域
本发明是有关于一种应用于多种设备间的直觉式用户互动(Intuitive User Interaction)系统及方法，且特别是有关于一种分享于一电子设备与另一电子设备之间或是一本地端(local)设备与一远程(remote)设备之间的直觉式用户互动系统及方法，其中远端电子设备通常本身不具有良好的用户互动机制与用户交互接口，而另外的本地端电子设备则具有触控屏等友好的用户交互接口。
背景技术
近年来，具有显示设备且可相互连接的整合式多媒显示系统逐渐普及。常见的用法应用于一具有用户互动功能的移动设备以及不具有用户互动功能的一电子设备之间，而当一移动电话连接到电视时，该连接关系通常是透过一缆线或是无线连接方式。缆线例如是mHL、HDMI缆线，而无线连接方式例如是Mircast或是WIDI)等无线视频连接技术。通常这两个电子设备是镜像显示的关系，即移动设备的整个屏幕内容被复制到远端电视。如果移动设备端想要运行和显示不同的程序，同时又想方便地和电视端内容进行交互，当前并没有好的方式。
在上述的整合式多媒体系统中，一应用程序(以应用程序A表示)可在一移动设备上运行，但其显示影像可以被呈现于远程连接的一电视。同时，另一个应用程序(以应用程序B表示)也可在此移动电话上运行，并且呈现在本地端屏幕。因为电视通常未配设有触摸屏等用户交互设备，因此用户与应用程序A间的互动需求即成为一个问题。前述整合式多媒体系统的使用方案也包含了将应用程序A运行于电视端(电视可以是智能型电视或是数字电视机顶盒)以及将应用程序A所产生的显示影像呈现于电视。同时，另一应用程序B运行并显示于本地端的移动设备。用户希望通过应用程序B和应用程序A进行交互。。
在应用程序A以及应用程序B未于同一电子设备中运行的情况下，即有将两个相互分离的电子设备链接以进行通信的需求，进而让两相互分离的电子设备间的控制讯息可以相互传输。电视
发明内容
有鉴于此，本发明的一目的是提供一更好的用户交互功能至一不具有良好用户交互功能的电子设备，其中该不具有良好用户交互功能的电子设备透过连接至一具有良好用户交互功能的另一电子设备以具有用户交互能力，进而形成连接于多个多媒体设备间的一整合式多重设备多媒体系统。
本发明的另一目的是提供一组能在多个电子设备间互动的直觉式互动方法，以及提供一个便于本地端设备操控远端设备显示内容的直觉式用户互动方法，其中该远程设备不具有直觉式用户互动机制，该本地端设备具有直觉式用户互动机制。
为让本发明的上述目的、特征和优点更能明显易懂，下文将以实施例并配合所附图示，作详细说明如下。
附图说明
图1是本发明的第一实施例中，实行一缩略图控制方法时，该缩略图控制方法的显示影像于横式定向模式下呈现于一本地端移动电话设备的示意图。
图2是本发明的第一实施例中，实行一缩略图控制方法时，该缩略图控制方法的显示影像于直式定向模式下呈现于一本地端移动电话设备的示意图。
图3是本发明的第一实施例中，用以实行一缩略图控制方法时，关于显示影像的呈现，且多个应用程序执行于多个相连接的电子设备的处理流程图。
图4是本发明一实施例的具有系统选单的缩略图控制窗口的示意图。
图5是本发明一实施例的借由线性映像以确使当重新映像于二个矩形区域之间时能维持相同的宽度(X)和高度(Y)的坐标转换示意图。
图6是一移动电话操作于通用远程控制方法的鼠标/触控板操作模式下时，该移动电话变成一鼠标/触控板设备的示意图。
图7是一正常触摸屏操作模式的示意图。
图8是该本地端设备操作于一悬停模式下，该本地端设备包括一触控区域以及一悬停区域的示意图。
图9是本发明另一实施例的具有一隔离区域的悬停模式的示意图。
图10是本发明的一实施例中，悬停区域是本地端设备其屏幕中面积相对较小的一个角落的示意图。
图11是本发明的一悬空模式指针方法的示意图，其中包含多种关于显示在该远程设备的手指影像的操作方式。
图12a是电视的多个感兴趣的指定区域内的映像内容未经重新布局的示意图。
图12b是电视的多个感兴趣的指定区域内的映像内容于移动电话进行重新布局的示意图。
图13是本发明一实施例的流程图，其于移动电话中设置一应用程序来选取感兴趣的选取区域以及重新配置的布局。
图14是本发明一实施例的整合式多重设备多媒体系统的系统架构示意图。
图15是本发明一实施例的整合式多重设备多媒体系统的软件构成示意图。
图16是本发明一实施例的操作系统应用程序框架的示意图。
图17是本发明一实施例的控制台应用程序的示意图。
具体实施方式
在说明书及后续的申请专利范围当中使用了某些词汇来指称特定的组件。本领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本说明书及后续的申请专利范围并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的「包含」是一开放式的用语，故应解释成「包含但不限定于」。
在本文所述的实施例中，移动电话的操作系统(OS)可以是Apple iOS，Google Android，Samsung Bada，Blackberry OS，Windows Phone，Linux等，智能型电视或是电视的操作系统(OS)可以是Google Android，Apple iOS，Linux等。
本实施例的缩略图控制方法(Thumbnail Control Method)如下所述。请参考图3，在本地端电子设备上，可以通过快速激活该控制方法来显示远端电子设备的内容并允许用户进行快速的交互。如图3的步骤S10至步骤S40所示，下文将针对步骤S10至步骤S40进行说明。
步骤S10：一应用程序A的显示影像呈现于一远端电视；该应用程序A可运行于一本地端移动设备，而该显示影像内容被呈现在该远端电视(通过有线或者无线的数据传输)；或该应用程序本身可执行于一远端设备，该远端设备如数字电视机顶盒(Set-Top Box)或是智能型电视(Smart TV)。
步骤S20：于横式定向(请参考图1)下或是直式定向(请参考图2)模式下，一应用程序B的显示影像呈现于该本地端移动设备的屏幕；该应用程序B可直接运行于该移动设备或是执行于该远端设备(该远端设备例如是一数字电视机顶盒或是智能型电视)，而该显示影像内容被呈现在本地端移动设备的屏幕。
步骤S30：在应用程序B执行时，一用户可以通过向程序A的运行环境发送用户交互事件，以快速地与该应用程序A互动。在本实现中，使用者可以快速地于该本地端移动设备的屏幕上激活一个控制面板控制面板(其例如可经由系统手势操作来激活该操作)。此控制面板包含一映像区域(Mirrored Area)，该映像区域内映像有或是复制了该远程设备显示屏幕的画面(通常为该远程设备所显示的整个画面或是一个选取的矩形区域。由于两个设备屏幕尺寸大小的不同，远端的映射区域会被弹性地调整尺寸至本地端窗口区域)，且用户可以操作位于该本地端移动设备的该控制面板，而发生于该映像区域内的用户互动事件(触控事件)可依据该本地端移动设备与该远程显示设备间的不同屏幕分辨率)而被重新映射，并被发送至该应用程序A的运行环境进行处理。普遍地，于数学角度来说，所指定的本地端区域以及远程区域的映像过程可以是任一预先定义之二维的区域对区域坐标转换(Coordinates Transformation)(通常是线性转换)以及显示内容的视觉效果来决定。
步骤S40：(此为一选择性步骤)请参考图4，一附加选单(ExtraMenu)区域100配置于一映像区域200外的该控制面板窗口中，其能进一步地与应用程序进行交互。该附加选单区域100通常用以提供一些无法再显示窗口通过触摸操作来实现的操作。举例来说，配置于该控制面板窗口中的该附加选单区域100可用以中止或是关闭应用程序A、发出一“后退”(Back)指令给应用程序A(需注意的是，如果使用者点击了该本地端移动设备的原“后退”选单按钮，此“后退”选单按钮的点击动作指令发出至应用程序B)，以重新启动远程设备中的该应用程序A。当用户于该映像区域200进行操作时，由于该区域是被映射到远端设备上的显示区域，产生的效果好像是用户接于该远端的电视上进行操作。该选单区域100亦可包含至少一功能按键以触发映像参数的调整，这些映像参数例如是映像区域尺寸、本地端屏幕的位置以及放大或是缩小所选取的远程显示区域。
在上述缩略图控制方法的实施方式中，该映像区域200并非一静态的缩略图快照(Static Thumbnail Snapshot)，而是于远端设备所呈现的显示影像的实时映像。或者，换句话说，该映像区域200实时地呈现远端设备的显示内容。同时，映像区域200不一定需要映射远端屏幕的完整内容，而可以仅是含盖该远程设备其屏幕所显示的部份。实际上，在本实施方式中，可在一选单区域100定义一按键，而当用户点击定义于该选单区域100的该按键时，可进入一操作模式，在该操作模式下，用户可以在本地端设备上先选择需要映射的远端屏幕区域，并在所选取的矩形区域中进行简易的相互作用。尤其是，当本地端映像区域窗口远小于该远程设备时，如较大的屏幕所显示的画面全都映像至屏幕较小的本地端设备时，会不易精确地触碰屏幕较小的本地端设备中被映射的区域。
用户可快速地关闭该控制面板操作，而继续于本地端电子设备中操作应用程序B。于缩略图控制方法的一实施方式中，当该控制面板窗口显示时，将不允许用户与该控制面板窗口内容以外的其他应用程序进行互动，而在此情况下，任何在控制面板窗口外的区域的用户触控可以触发对该控制面板的关闭。在其他的实施方式中，用户在操作控制面板的同时(这时候触控事件发生在面板窗口之内)，也可以与其他应用程序(如该触控事件发生在控制面板之外)相互作用。这时候我们可以定义一个特殊的关闭操作按钮出现在选单区域100来实现对于控制面板的关闭操作。
在上述缩略图控制方法的实施方式中，该缩略图控制模式的操作始终实行于具备用户互动功能的电子设备中。该缩略图控制模式之操作可视为呈现于该远端电子设备之原应用程序A的一映像应用程序。当该缩略图控制模式之作业被实行时，该缩略图控制模式之作业将重新映像发生于映射范围中之该触控事件且发送至该应用程序A的运行环境以进行处理。因此，从该应用程序A的观点来看，好像用户直接在和它进行交互操作。
关于触控事件映射(Touch Event Mapping)：在本实施例中，其同样涉及缩略图控制方法，该触控事件映像如图4所示，其内容如下所述：
该映像是经过坐标转换而执行于该来源区域(Source Area)以及该目的(Destination Area)区域之间，以确使发生于一区域之该触控事件可被映像至另一区域，其可借由各种算法或方法来实现该坐标转换，举例如下：
(a)如图5所示，当重新映像于二个矩形区域之间时，其线性映射关系可以确保宽度(X)和高度(Y)的比值保持不变。；
(b)该映像区域200具有一凸面效果，使得该影像区域之中心部份大于该影像区域之外围部份。相较于外围区域，用户可以更为精确地触碰到中心部份之特定点。
在该触控事件映射之后，对任何在该控制面板其映像区域200内之触控事件，该触碰点会被采集并被映像至应用程序A所呈现区域之相对位置。同样的，在某些实现中，我们也且并不需要映像该应用程序A所显示的整个区域，而只要关注于用户需要操控的区域。
如该应用程序A以及该应用程序B运行于同一电子设备时，该显示内容映像，用户交互事件的映射和用户交互事件注入程序A的运行环境等操作可以经由跨进程通讯方式(Across ProcessCommunication Method)来被执行；如该应用程序A以及该应用程序B在不同的电子设备上运行时，这两个电子设备间应当有相应的物理连接用来进行数据流的传输。
关于通用远程控制方法(Generic Remote Control Method)：另一种用户互动方法是将移动设备视为电视的外部用户互动外围设备，用以延伸电视其自身之用户互动/接口能力，这些外部用户互动外围设备近似于鼠标(Mouse)或是触控垫(Touch Pad)等。下文将描述一些本技术所揭露之可实施方式。在这种操作模式下，应用程序B作为一个通用的操控台程序用来辅助对于程序A的交互。
鼠标/触控板操作模式(Mouse/Track Pad Operating Mode)：请参考图6，智能型电视或是电视+机顶盒以标号1来表示，移动设备以标号2来表示，当操作于通用远程控制方法的鼠标/触控板操作模式下，该移动设备变成一鼠标/触控板设备，应用程序B运行于一本地端移动设备，该本地端移动设备转化为一般的触控板设备。位于该本地端移动设备之多个触控事件被该应用程序B转码为不同的触控板事件，然后送到应用程序A的运行环境进行处理。触控板因此，最终的情况看似用户使用一触控板以与显示于该电视之该应用程序A互动进而控制该应用程序A。在上述鼠标/触控板操作模式的实施方式中，该应用程序A以及该应用程序B无需于同一个电子设备中运行。在该应用程序A以及该应用程序B分别运作于两个电子设备的使用方案中，这两个设备之间需要有相应的物理连接进行数据传输。同时还需要让应用程序A所在的操作系统能够接受来自外部的用户交互事件并且送到应用程序A所在的运行环境。该移动设备之操作系统可以是Apple iOS，Google Android，Samsung Bada，Blackberry OS，Windows Phone，Linux等，而该智能型电视或是电视与机顶盒的组合之操作系统可以是Apple iOS，Google Android，Samsung Bada，Blackberry OS，Windows Phone，Linux等。
触摸屏操作模式(Touch Screen Operat ing Mode)：本发明所揭露之通用远程控制方法的另一实施方式是一近似上例鼠标操作模式的一触摸屏操作模式。本实施例与上述实施例差异是：本实施例之用户接口事件是触控事件而不再是鼠标事件。由于不同的分辨率，在映射至该应用程序A之运行环境时，其坐标位置会被重新映像。此操作模式之该映像机制与上述之缩略图控制模式相同。在触摸屏操作模式下，该应用程序B可以在其窗口实时显示该应用程序A的影像，所以用户可以在移动设备上找到正确的操作位置。
增强型触摸屏操作模式(Enhanced Touch Screen OperatingMode)：前面两张模式在现有的实现中已有出现，本操作模式是发明中的不同之处。本发明所揭露之通用远程控制方法的其他实施方式更包含一增强型触摸屏操作模式。现阶段，多数移动电子设备都适合进行触控操作，而非如鼠标或是触控板之类之操作模式；然而，当影像显示于电视且用户欲与电视上显示的任一应用程序互动时，缺乏触控外围设备的电视无法提供一个良好的用户交互接口。
于“鼠标/触控板操作模式”(Mouse/Trackpad Operating Mode)下，用户可以把一移动电话当作是鼠标，可显示鼠标之指针于电视以引导用户进行操作，然而基于应用鼠标之屏幕操作并不常见于装配有触摸屏的现代移动设备之应用程序中，反而是以触控操作之应用较为常见。
于“触摸屏操作模式”(Touch Screen Operating Mode)时，使用者可使用一移动设备来模拟该触控面板设备，因此用户之手指可以于移动电话的屏幕表面滑动，而非于电视之屏幕表面上滑动。但此时其将难以撷取精确的位置，除非远端屏幕的内容在本地的移动设备屏幕上显现，同时用户眼睛盯着本地端的移动设备屏幕进行操作。换句话说，如用户只是看着远端的屏幕，在此情况下无法看见其手指在本地端移动设备屏幕上的触碰位置，而缺乏适当的方法来指出使用者之手指应摆放于何处，从而无法和程序进行良好的用户交互
于增强型触摸屏操作模式下，上述实施方式所产生的问题将可以借由结合该鼠标以及触摸屏两种操作模式的优点来解决。在本地端操控台程序(应用程序B)上进行触控操作时，依然可以作为标准的触控事件转发给应用程序A的运行环境进行处理；同时也会像鼠标操作模式下，在应用程序的显示界面显示手指的当前位置来辅助用户操作。
关于手指位置视觉提示生成方法(Finger Position VisualHint Generation Method)：在其中一种实现方法中，应用程序B可以操纵两个屏幕(本地端设备的屏幕而远端电视的屏幕)，该应用程序B会提供用户界面在本地端设备以供用户操作；在电视屏幕中，应用程序B会显示手指之放置位置。由于屏幕尺寸差异存在于该移动电话以及电视之间，因此此处需要进行触碰位置的重新映像，如同先前所述的缩略图控制模式的操作。在电视直接连接至移动电话之方案中(无论是透过mHL/HDMI缆线或是WIFI连接)，即应用程序A也运行在本地端设备上，应用程序B本身可以试着生成手指指针影像(Finger Indicator Image)且直接地呈像到电视。在应用程序A不是运行在本地端设备的其他实行方案中，应用程序B需要与运行程序A的其他电子设备中的一个服务程序进行通信，将收集到的手指位置信息传递，同时藉由该服务程序可以实时且精确地显示手指指针影像。在一般的实施方式中，手指指针影像可以通过硬件上独立的一个显示层(separate overlay layer)来实现从而获得更好的性能。。
关于正常操作模式(Normal Mode)：在增强型触摸屏操作模式下，在正常模式下运作时，每当触控事件发生在操作台程序(应用程序B)的相关触控区域时，该手指位置指针始终会显示于电视端的屏幕。同时这些触控事件会直接地发往应用程序A所处的运行环境。于正常模式中操作时，应用程序B亦可显示该应用程序A之显示内容于其操作窗口，以更轻易地进行位置撷取。
关于悬停模式(Hovering Mode)：在增强式触摸屏操作模式中，在悬停模式下运作时，手指移动或是碰触事件本身并不会发出至应用程序A，对应的是手指的摆放位置会被撷取，且该手指指针影像对应地显示于该电视的屏幕。当用户退出悬停模式的操作时，该触控事件开始发出至该应用程序A的运行环境。下文将以数个实施例进行说明。
一些典型的进入和退出悬停模式的实施方法包含：
a)定义一悬停区域10，且将发生在该悬停区域10的第一次手指触碰点作为进入悬停模式的开始，直到该手指抬起时才视作退出悬停模式(请注意当手指抬起时，其不需保持在悬停区10)；或是
b)定义一悬停区域10，且视该悬停区域10中之双手指敲击事件作为进入悬停模式之动作，且于该悬停区域10中之单指敲击事件即被视为退出悬停模式之动作。
请参考图8，在悬停模式下操作时，于一触控区域20之手指移动是指仅该手指位置指针显示于该远程设备，而同时并没有实际触控事件发送至该应用程序A。当用户移除位于悬停区域10之手指时，即退出该悬停模式，而在此之后，立即发出该触控事件。
一典型的悬停模式之使用场景如下所述：用户进入悬停模式，将其手指移动到正确的位置，接着退出该悬停模式，即用户于该位置发出一触控抬起事件，其中该触控事件直接发出至该应用程序A以进行处理。在悬停模式下，就好像用户于电视之屏幕上操作鼠标来移动指针(虽然该位置映像不同于鼠标模式，鼠标模式下是递增的位移，而在此模式下是绝对位置的映射)，且随后用户退出悬停模式时，对应的鼠标敲击事件被发出。
请参考图9，另一个典型的悬停模式之实施方式如下所述：可以定义一隔离区域(Isolation Area)30来避免悬停区域10与触控区域20之间的误动作。当手指滑动跨过悬停区域10和隔离区，其将被视为正作用于悬停区域10，而当手指正于滑动跨过触控区域20和隔离区域的当时，其可将被视为正作用于触控区域20，且随后手指持续滑动跨过触控区域20和隔离区域，甚至会提供用户一提示，提示之实现方式例如是：
a)设备开始震动
b)一“越界”(Out of Bound)的提示讯息显示在相邻之“横跨”区域
图10绘示一实施例，其中该悬停区域是整个外缘背景区域。在其他的实现场景里，也可以仅仅定义一个区域来激活和退出悬停模式，该悬停区域也可以是本地端设备中屏幕中面积相对较小的一个角落。当然，多个功能区域可以进一步定义为用以提供除了进入和退出悬停模式之外的不同用途。举例来说，功能区域左下角可以定义为悬停区域，而功能区域左上角可以定义为″全屏幕″区域以显示/隐藏该本地端的控件等等。
悬空模式指针方法(Air Mode Indicator Method)：在另一个实施例中，当使用者之手指悬停于上述的一电子设备时，悬空模式指针方法可以将检测到的用户手指在空中对应到触摸屏平面的位置进行直观化的显示，该应用程序B于每一次检测手指手势位置时可以生成相应的手指指针影像，且显示这些手指指针影像于该远程设备，应用程序B将有助引导使用者便于更直觉地进一步与实际程序互动。图11绘示了一悬空模式指针方法的实施方式，其中亦会有多种关于显示在该远程电子设备的手指影像的操作方式，其受到像是触摸屏的距离等各种因素所影响。举例来说，当手指仍然在远离触摸屏一定距离时，这些手指指针影像可被明显地视作一具有光色的半透明影像或是被视作具有明显透明度设定的手指指针影像，而在手指接近触摸屏时，手指指针影像呈现出更深地颜色或是变得不具明显的透明度，这种图像操作的描述类型以及变化更可以进一步协助用户操作该电子设备。关于如何检测手指在空中的位置不是本发明关注的重点。
区域增强模式(Region Enhancement Mode)：操作于区域增强模式下，用户可以预先定义该远程电子设备的某些区域，并允许这些预先定义的某些区域具有通过调整大小，采用新的布局等方式被映像于移动设备；同时位于该移动设备其映像区域之触控事件还将重新映射和发送至应用程序A(应用程序A显示于电视屏幕)。
请参考图12a，将电视上多个感兴趣的指定区域500映射到本地端移动设备。在12a中，并没有进行布局的变化和区域大小的调整；由于这些感兴趣的指定区域500明显地为较小的区域，当映射到移动设备上的时候，用户将不容易进行操作(特别是如果眼睛不看移动设备屏幕而专注于远端电视)。图12b显示另一个透过对感兴趣的指定区域500进行调整大小以及重新布局，并重新配置在移动设备短的实施例。。在具有重新配置之布局以及重设大小之感兴趣的指定地区500中，对使用者来说，将更容易透过移动设备之触控功能来操作与控制显示于该电视之应用程序A。通过这样的处理，用户有可能不用再关注移动设备上的显示，就可以进行正确的操作。
于移动电话中可设置一应用程序来辅助对于感兴趣之选取区域的选取以及重新配置的布局。图13绘示所对应方法的一实施例，包含了下列步骤。步骤S100：该应用程序B运行于该移动设备，该应用程序B先在其窗口实时显示远端电视的屏幕内容(即应用程序A的显示内容)。步骤S200：用户于实时串流映像影像屏幕窗口撷取至少一感兴趣的指定区域。步骤S300：用户对选择的指定区域进行重新配置以及调整布局。新的区域布局可以被放置于另一个控制窗口。步骤S400：用户于新开启之控制窗口开始操作应用程序A(呈现在电视)，其中该新开启之控制窗口具有增强操作区域。
对于重新映像于该本地端电子设备(移动设备)以及该远程电子设备(电视)之间的每一感兴趣区域来说，这些触控事件重新映射机制相同于本文所述的缩略图控制模式。这样，当用户于该本地端电子设备操作时，相当于远端电子设备(电视)中之相关对应范围区域被操控。
重新映射标准化外观方法(Remapping Standard Skin Method)：在游戏主机上都有标准的操控按钮，用于操控某一类型的游戏。对于这类游戏类型的程序交互(可以通过标准的按钮操控)，有时候并不需要在两区域间有一完整映像，而仅需能够识别某些特定用户事件，这些用户事件可以转换为正常游戏控制台事件，该些游戏控制台事件例如是左、右、上、下等。在这种情况下，被映像的两个区域不需包含相同的内容。举例来说，某些标准化的外观可以是预先定义的，例如该标准化之游戏控制台外观，以协助产生该区域之映像作业。下文将说明其实施方式。可以预先定义某些之标准化游戏控制台外观，如四个方向的操纵杆(four direction joystick pad)、八个方向操纵键(eight direction joystick pad)、360度圆盘(360degree round pad)以及圆型按键等，以让用户可以简单地重新映射该标准化外观至位于该远程电子设备(电视)之实际的操作组件。在该映射操作过程中，使用者可以在本地端电子设备选取一个标准化组件，然后在屏幕上移动该本地端电子设备之标准化组件，以确保借由一个简单的调整或旋转操作之后，标准化组件可以映像至多个实际控制组件(。所撷取的映像区域将被视为一个来源区域；而用户随后可以调整该本地端电子设备其标准化组件的布局大小。任一于标准化组件中产生之触控事件将随后对应地映像到该应用程序A的对应区域，这将能正确地触发相关事件。
节能模式(Power Saving Mode)：在节能模式下，当该本地端电子设备作为一辅助接入外设与该远程电子设备其屏幕互动时，可以在本地端电子设备执行不同的节能模式，即无需维持初始背光或甚至持续不断地呈现该影像至该本地端之电子设备，该些节能模式如下所述：
1)调低背光灯源
2)关闭显示屏幕的电源。
同时，使用者可借由各种方法以轻易地还原至初始工作状态，该些方法例如是借由敲击一预先定义之领域(例如是右上方区域)或是按一下电源按钮等。
请参考图14，这是一个通用的系统架构。该架构中有不同的设备，远端设备不具备良好的用户交互能力，而本地端设备具备良好的用户交互能力。系统是透过连接到一具有用户交互接口功能之本地端设备，以提供用户交互接口功能予一不具有用户接口功能之远程设备，进而构成一如下文所述之整合式多重设备多媒体系统。第一应用程序和第二应用程序分别显示在远端设备和本地端设备。其中显示在本地端设备的第二应用程序用来提供和显示在远端设备的第一应用程序进行交互。显示在远端设备的程序可以是任意的程序，运行在自己的运行环境。该本地端设备例如是一移动电话、一平板设备、一笔记本电脑、一无线触控设备或是一触控设备。该远程电子设备可以是一桌面计算机、一电视、一智能型电视、一笔记本电脑、一投影电视、或是高画质投影机。于该本地端设备之操作系统(OS)可以是Apple iOS、Google Android、Samsung Bada、BlackberryOS、Windows Phone或是Linux；该远程设备之操作系统可以是Apple iOS、Google Android、Samsung Bada、Blackberry OS、WindowsPhone或是Linux。在两个设备的交互过程中，会有物理数据通路建立，触控事件被传输，同时触控事件被注入至第一应用程序所运行的操作系统环境。
图15所示是关于本系统的一基本软件设计框架。该系统是透过连接到一具有用户交互功能之本地端设备，以提供用户交互功能至一不具有用户交互功能之远端设备，进而构成一整合式多重设备多媒体系统。该整合式多重设备多媒体系统可以是一种包含一客户端“控制台”以及一服务器“主机”之典型的主从式实施态样。其中，该服务器“主机”所处的操作系统可以做相应的增强，同时也可以扩展已有的通信协议来实现需要的功能。。该客户端以及该服务器不一定要运行于不同的实体设备上，也可以运行于同一台设备。该主机是需要被操控的应用程序所处的软件环境，其可运行于各式各样的设备，例如是，数字电视机顶盒、一平板计算机、一移动电话或是处于云端的其他家庭设备。该主机所处的运行环境包含一应用程序管理器500、一安全模块510、一用户输入模块520、一音频模块530、一显示模块540以及其他功能模块550、一设备映像器560、一对话管理器570。在控制台中，还有控制台应用程序580。
如图16所示，该操作系统应用程序框架(OS ApplicationFramework)需要提供以下功能模块：
a)内容撷取模块(Content Capture Modul e)
提供一个内容撷取模块600，以″映像″各种指定设备(通常是显示设备和音频设备)之全部或部份内容到通信对话。“映像”在本文中是指由初始的显示或者音频内容进行变换，从而产生数据流，随后可以在控制台中进行译码。若要生成实时交互式实时缩略图(Real-TimeInteractive Live Thumbnail)，需要结合显示来源进行剪裁和编码。显示来源可以是一个矩形剪辑窗口，以实时显示所选择的内容。为了做到这一点，图形处理和窗口管理模块需要提供相应的支持。、
b)事件嵌入模块(Event Injection Module)
事件嵌入模块610是用以提供将用户交互事件注入相关的程序运行环境。比如我们需要将触控事件注射入被操控的程序。该些被注入的事件需要与被映像之内容匹配。举例来说，可以只关注电视所显示之部份矩形区域，然后进行一坐标转换以映射该控制台之触碰位置至电视上的关注区域。
在此说明一些典型的嵌入事件实施方式：1)使用内核空间(kernel)的反射式驱动程序，以模拟标准化输入设备且在操作系统(比如Android)的用户输入服务程序做相应增强来识别被注入的事件。2)直接将用户交互事件注入操作系统上层的应用程序框架-比如操作系统输入服务以及传感器服务。
c)手指位置提示生成模块(Finger Position Hint GenerationModule)
一手指位置提示生成模块用来更好地辅助用户进行交互，特别是当用户眼睛不需要看控制台所处设备而专注于远端设备屏幕的时候。一系统组件监听来自于控制台设备发送过来的触控事件和相关的控制相关的消息，从而可以准确地根据收到的信息生成相应的手指位置图示，并显示在相应的屏幕上。该提示可以是不同的影像。可以显示手指位置、手指不同应用模式所具有的不同形状等。
需注意的是，可根据使用方案，主机应用程序框架的实施方式并无需包含上述所有模块。举例来说，在其他可替代的实施方式中，该手指位置提示生成模块620可以不存在。在此所揭露的是，一控制台可被定义为一执行于手持式智能型设备之应用程序，手持式智能型设备例如是移动电话。
请参考图17，该控制台应用程序包含下列模块：
a)接收模块(Sink Module)
提供一接收模块700，以接收串流数据，且对用户呈现该显示以及音频内容。
b)一输入事件生成模块(Input Events Generation Module)
输入事件生成模块730是用以提供来生成触控、键盘、鼠标、各种类型的传感器；这些用户输入事件将被发送至该主机以进行嵌入作业。同时可以实现一个过滤器功能用来将收集到的用户交互事件在发送到主机端目标应用程序之前做相应处理。比如将收集到的触控事件做坐标相关的转换以正确地映像至关联的窗口。线性转换是最常见的使用方式之一，而非线性亦可被使用，以便于较佳之使用者互动，其例如是在控制台实现一个凸透镜效应(Lens Effect)，以使观看区域的中心部份成为较大和易于手指控制之区域。
c)操作区管理模块(Action Zone Management Module)
提供一操作区管理模块710以管理各种操作模式的切换、初始化和追踪。举例来说，该操作区管理模块710提供于该触摸板模式以及该触摸屏模式间之转换功能以及于触摸屏模式中执行该悬停模式以及离开该悬停模式。
d)区域加强管理模块(Region Enhancement ManagementModule)
一区域加强管理模块720是用以支持于先前所述之区域增强模式操作。该区域加强管理模块可让用户进入一编辑模式。例如是，拾取该感兴趣区域以重新映像于该主机，且随后于控制台中重新布局。
需注意的是，基于所使用方案，一控制台的实行并不需要包含所有上述a～d所提及之模块。例如，对一缩略图控制方法的实行来说，其仅具有接收模块以及输入事件生成模块。
以上所述的实施例仅用来说明本发明之技术特征，并非用来局限本发明之范畴。

Claims (23)

1.一种用户互动系统，连接于二电子设备之间，以形成一整合式多重设备多媒体系统，其特征在于，该些电子设备其中之一不具有用户接口功能，该些电子设备其中之另一具有用户接口功能，该系统包含： 
一本地端设备，为一移动电话、一平板设备、一笔记本电脑、一无线触控设备或是一触控设备； 
一远程设备，为一触控设备、一桌面计算机、一电视、一笔记本电脑、一投影电视或是一高画质投影机； 
一第一应用程序，是显示在该远程设备的应用程序，该应用程序可以运行在本地端设备，但是被显示在远端设备，也可以直接运行在远端设备； 
一第二应用程序，位在该本地端设备，是用于与位在该远程设备之该第一应用程序互动； 
一位于该本地端设备之操作系统，位于该本地端设备之该操作系统是Apple iOS、Google Android，Samsung Bada、Blackberry OS、Windows Phone或是Linux； 
一位于该远程设备之操作系统，位于该远程设备之该操作系统是Apple iOS、Google Android，Samsung Bada、Blackberry OS、Windows Phone或是Linux；以及 
一实体数据连接，当第一应用程序和第二应用程序运行在不同设备时，需要有实体数据连接用于连接两台不同的设备，使得至少一触控事件借由该实体数据连接传输于两台设备之间，进而嵌入该第一应用程序所执行下之该操作系统环境。 
2.一种共享于多个设备间之直觉式用户互动方法，其特征在于，包含： 
将不具有用户互动功能的一远程设备连接至具有用户互动功能的一本地端设备； 
提供一缩略图控制方案，其中在该些设备连接时，在本地操控设备上提供一种快速交互能力用于控制在远端显示的程序； 
提供一通用远程控制方案，以该本地端设备作为该远程设备之一外部用户互动外围设备；以及 
当产生于该本地端设备其映像区域的一触控事件重新映射且发送至显示于该远程设备之一应用程序时，借由预先定义于该远程设备之多个区域以及对该些区域进行对应地布局调整、重新配置且映像回该本地端设备，以提供一区域增强模式。 
3.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当至少一应用程序内容是呈现于一不具有全触控致能之用户互动功能的该远程设备时，另一应用程序是执行于一具有全触控致能之用户互动功能之该本地端设备。 
4.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，该缩略图控制方案包含下列步骤： 
一第一应用程序显示于一远程电视，该第一应用程序可以运行在本地端设备，但是其内容被显示于远端电视；该第一应用程序也可以直接运行在远端电视侧； 
一第二应用程序显示于该本地端设备之屏幕，该第二应用程序可以直接运行于本地端设备；也可以运行在该远端设备，但是其显示被呈现于本地端屏幕； 
在该第二应用程序之执行时，用户可以快速在本地端移动设备激活一控制面板，通过在控制面板的窗口进行操作，来和第一应用程序进行交互； 
于该控制面板提供一映像区域以映像该远程设备其整个或者部 分显示屏幕的显示内容； 
与该本地端设备之该控制面板互动；以及 
发生于该控制面板其该映像区域内之一用户互动事件是依据该本地端设备与该远程显示设备间之屏幕分辨率而被重新映像，并被发送至该第一应用程序以进行处理。 
5.如权利要求4所述的共享于多个设备间的直觉式用户互动方法，其特征在于，该映像区域是该远程设备所呈现显示影像之实时映像，该映像区域是该远程设备其屏幕之整体影像撷取或是该远程设备其屏幕之部份影像撷取。 
6.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，该缩略图控制方案更包含下列步骤： 
提供一附加选单区域，该附加选单区域是配置于该映像区域外之该控制面板窗口中，以与该第一应用程序相互作用，该附加选单区域用以供非经窗口内触控动作所触发之事件作用； 
借由配置于该控制面板窗口中之该附加选单区域的操作终止第一应用程序的运行； 
发出一后退指令至该第一应用程序； 
重新启动该第一应用程序以适应远端设备的上下文环境；以及 
借由至少一功能按键来触发映像区域尺寸之调整、该控制面板在该本地端屏幕位置之调整以及放大或是缩小该远程设备所选取之该显示区域的调整。 
7.如权利要求6所述的共享于多个设备间的直觉式用户互动方法，其特征在于，至少一按键定义于该附加选单区域，而在用户按下该按键时，进入一用户模式，而用户选取所需之一矩形区域会被映像至该本地端设备。 
8.如权利要求2所述的共享于多个设备间的直觉式用户互动 方法，其特征在于，操作于该缩略图控制方案时，用户可以快速和呈现于远端设备屏幕的第一个应用程序进行交互。 
9.如权利要求8所述的共享于多个设备间的直觉式用户互动方法，其特征在于，一缩略图控制方案操作是实行于一具有用户互动功能之一电子设备中，且当该缩略图控制方案操作在实行时，发生于其该映像区域之该触控事件会被重新映射且发送至该第一应用程序以进行处理，该触控事件在该来源区域以及该目的区域之间之重新映射是经过坐标转换来实现。 
10.如权利要求9所述的共享于多个设备间的直觉式用户互动方法，其特征在于，用以实现坐标转换多种算法是包含一线性映像以确使当重新映像于二个矩形区域之间时，维持相同的宽度(X)和高度(Y)的比值，或是使该映像区域具有一凸面效果，使得该影像区域之中心部份是大于该影像区域之外围部份。 
11.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当提供一通用远程控制方案时，该本地端设备是一移动电话，而该远程设备是一电视，且该移动电话视为该电视的一外部用户互动外围设备。 
12.如权利要求11所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当提供该通用远程控制方案时，操作于一鼠标/触控板操作模式下将该移动电话变成一鼠标/触控板设备之执行步骤包含： 
在移动设备上运行一第二应用程序，其操作就好像是一个触控板设备； 
位于该移动设备之多个触控事件被该第二应用程序转码为触控板事件；以及 
这些触控板事件被送到第一应用程序所处的操作系统环境，并 被操作系统认作是来自底层的外接触控板设备产生，第一应用程序的内容被呈现在远端电视，但是不一定要和第二应用程序运行在同一个电子设备。 
13.如权利要求11所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当提供该通用远程控制方案，且操作于一触摸屏操作模式下时，用户接口为一触控事件，而当操作于一增强型触摸屏操作模式时，除了将触控事件发到第一应用程序所在的操作系统，该操作系统还会显示手指做对应的相应位置，似一般的鼠标操作。 
14.如权利要求13所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当操作于该增强型触摸屏操作模式以及结合该鼠标以及触控相关应用下，包含下列执行步骤： 
在使用触控操作时，以鼠标指针之形式来显示手指位置于该远端设备； 
映像该第一应用程序于该远端设备之屏幕；以及 
借由该第二应用程序提供一用户接口于该移动设备，以让使用者可以与该第一应用程序相互作用。 
15.如权利要求13所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当操作于该增强型触摸屏操作模式以及一手指位置视觉提示生成方案时，该电视是直接连接于该移动电话，该第二应用程序生成手指指针影像且显示到该电视，或者该第二应用程序和第一应用程序运行环境下的某个服务通信，由该服务程序生成手指指针影像并显示到该电视。 
16.如权利要求15所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当操作于一正常模式以相互连接之多个设备时，每当触碰操作发生在该第二应用程序之一触控区域，该手指位 置指针始终显示于电视，期间，该些触控事件会直接地对该第一应用程序发出，该第二应用程序可以显示该第一应用程序映像内容于其操作窗口。 
17.如权利要求15所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当操作于一悬停模式下，手指移动或是抬起按下的触控事件不会发出给第一应用程序，反而是手指的摆放位置会被撷取，且该手指指针影像对应地显示于该电视，且当用户退出该悬停模式的操作时，该触控事件开始发出至该第一应用程序。 
18.如权利要求17所述的共享于多个设备间的直觉式用户互动方法，其特征在于，执行与退出该悬停模式包含下列步骤： 
定义一悬停区域，且将该悬停区域中之一第一手指触碰点视作进入悬停模式，且当手指抬起时之动作，被视为退出该悬停模式，或是视该悬停区域中之双手指敲击事件作为进入该悬停模式之动作，且于该悬停区域中之单指敲击事件被视为退出该悬停模式之动作；以及 
在退出该悬停模式下时，一触控抬起事件直接发出至该第一应用程序以进行处理，看似是用户于该电视之屏幕上操作鼠标来移动指针，而当退出该悬停模式后，用户开始敲击鼠标按键以发出对应的触控抬起事件。 
19.如权利要求17所述的共享于多个设备间的直觉式用户互动方法，其特征在于，更包含定义一隔离区域于该悬停区域与该触控区域之间，且当手指滑动跨过该悬停区域和该隔离区时，其可将被视为正作用于该触控区域，且随后手指持续滑动跨过该触控区域和该隔离区域时，会提供一提示指标，该提示指针会以设备开始震动之形式或是显示一提示讯息于相邻之区域的形式来表现出。 
20.如权利要求2所述的共享于多个设备间的直觉式用户互动 方法，其特征在于，更包含一悬空模式指针方案，以在使用者之手指悬停于一电子设备上时，检测用户之手指位置，该第二应用程序于每一次检测手指手势位置时可以生成相应的多个手指指针影像，且显示该些手指指针影像于该远程设备，且当手指仍然在远离触摸屏一特定距离时，该些手指指针影像被明显地视作一具有光色的半透明影像或是被视作具有明显透明度设定之一手指指针影像，而在手指接近触摸屏时，手指指针影像呈现出更深地颜色或是变得不具明显的透明度。 
21.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，该区域增强模式包含下列步骤： 
执行位在该本地端设备之一第二应用程序，该第二应用程序实时将显示于该远程设备的内容镜像映射到本地端设备屏幕； 
于实时串流映像影像屏幕窗口撷取至少一感兴趣的指定区域； 
重新配置以及调整感兴趣的指定区域的布局，并将这些感兴趣的区域重新布局放置于另一个窗口；以及 
于该新开启的控制窗口中开始和该第一应用程序进行互动，其中该新开启之控制窗口具有增强作业区域。 
22.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，更提供一重新映射标准化外观方法，该重新映射标准化外观方法是借由预先定义至少一标准化之游戏控制台外观，且将该标准化之游戏控制台外观重新映像至该远程设备，在映像操作中，于该本地端设备选取一个标准化组件，且在屏幕上移动位在该本地端设备之该标准化组件，以确保借由一个简单的调整或旋转操作之后，该标准化组件映像至多个实际控制组件。 
23.如权利要求2所述的共享于多个设备间的直觉式用户互动方法，其特征在于，当该本地端设备作为一扩展控制台以与该远程电 子设备互动时，可以进入不同的节能模式，节能模式包括减少背光灯源，或是关闭该本地端设备以及该远程设备其液晶显示器的电源。 
CN201310049782.3A 2013-02-07 2013-02-07 用于多种设备间的直觉式用户互动系统及方法 Pending CN103984494A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310049782.3A CN103984494A (zh) 2013-02-07 2013-02-07 用于多种设备间的直觉式用户互动系统及方法
US13/851,090 US20140223490A1 (en) 2013-02-07 2013-03-26 Apparatus and method for intuitive user interaction between multiple devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310049782.3A CN103984494A (zh) 2013-02-07 2013-02-07 用于多种设备间的直觉式用户互动系统及方法

Publications (1)

Publication Number Publication Date
CN103984494A true CN103984494A (zh) 2014-08-13

Family

ID=51260472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310049782.3A Pending CN103984494A (zh) 2013-02-07 2013-02-07 用于多种设备间的直觉式用户互动系统及方法

Country Status (2)

Country Link
US (1) US20140223490A1 (zh)
CN (1) CN103984494A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731546A (zh) * 2015-04-01 2015-06-24 宁波Gqy视讯股份有限公司 抓取高分辨率图像在大屏幕上显示的方法及系统
CN105278816A (zh) * 2014-06-19 2016-01-27 全视科技有限公司 移动平台和用于从移动平台进行通信的方法
WO2016062004A1 (zh) * 2014-10-24 2016-04-28 中兴通讯股份有限公司 一种无线终端间屏幕共享的方法和无线终端
CN105573690A (zh) * 2014-10-07 2016-05-11 纬创资通股份有限公司 互动式电子白板显示方法以及显示装置
CN105808186A (zh) * 2016-03-04 2016-07-27 上海摩软通讯技术有限公司 视图同步显示系统和方法
CN105872664A (zh) * 2016-03-31 2016-08-17 李强 触屏游戏操控方法、装置和系统
CN105992048A (zh) * 2015-03-02 2016-10-05 上海帛茂信息科技有限公司 接口显示管理系统及方法
CN106339173A (zh) * 2016-08-31 2017-01-18 新诺商桥科技(北京)有限公司 一种智慧桌面系统
CN106961590A (zh) * 2017-03-23 2017-07-18 联想(北京)有限公司 控制方法及电子设备
CN110275854A (zh) * 2019-05-18 2019-09-24 国营芜湖机械厂 一种高频100w功放主机人机接口系统及其控制方法
CN110488677A (zh) * 2019-07-22 2019-11-22 国营芜湖机械厂 一种功放设备控制机箱人机接口系统及其控制方法
CN110533715A (zh) * 2018-05-25 2019-12-03 拓卡奔马机电科技有限公司 贴标方法、系统、电子终端、及计算机可读存储介质
CN111857926A (zh) * 2020-07-21 2020-10-30 联想(北京)有限公司 一种控制方法及装置
CN114020203A (zh) * 2019-01-04 2022-02-08 苹果公司 用于内容流式传输的用户界面
CN115113780A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种页面切换方法、装置和终端设备

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605048B2 (en) * 2010-11-05 2013-12-10 Bluespace Corporation Method and apparatus for controlling multimedia contents in realtime fashion
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
JP6326855B2 (ja) * 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
US9880727B2 (en) * 2013-05-29 2018-01-30 Microsoft Technology Licensing, Llc Gesture manipulations for configuring system settings
WO2014198339A1 (en) 2013-06-14 2014-12-18 Telefonaktiebolaget L M Ericsson (Publ) A method and apparatus for exchanging video between media devices
US9454251B1 (en) * 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
US20150042580A1 (en) * 2013-08-08 2015-02-12 Lg Electronics Inc. Mobile terminal and a method of controlling the mobile terminal
CN103440099A (zh) * 2013-08-14 2013-12-11 深圳市同洲电子股份有限公司 一种多屏交互方法、终端及系统
JP6319970B2 (ja) * 2013-08-20 2018-05-09 キヤノン株式会社 画像通信装置およびその制御方法
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
KR102088384B1 (ko) * 2013-09-04 2020-05-28 삼성전자주식회사 디스플레이 기기의 제어 방법, 그에 따른 싱크 기기 및 그에 따른 미러링 시스템
KR102087987B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 마스터 기기, 클라이언트 기기, 및 그에 따른 화면 미러링 방법
KR102227661B1 (ko) * 2014-01-08 2021-03-15 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치
KR101678389B1 (ko) * 2014-02-28 2016-11-22 엔트릭스 주식회사 클라우드 스트리밍 기반의 영상데이터 제공 방법, 이를 위한 장치 및 시스템
EP3116188B1 (en) * 2014-03-04 2019-07-24 Samsung Electronics Co., Ltd. Method and device for providing contents in communication system
US20150295973A1 (en) * 2014-04-10 2015-10-15 Screenovate Technologies Ltd. Method for real-time multimedia interface management
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
US11256294B2 (en) 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
US20150379476A1 (en) 2014-06-27 2015-12-31 Apple Inc. Reduced size user interface
US10960458B2 (en) 2014-07-09 2021-03-30 The Boeing Company Mobile platforms for performing operations inside a fuselage assembly
EP4439231A3 (en) 2014-07-21 2024-12-11 Apple Inc. Remote user interface
US20160034058A1 (en) * 2014-07-31 2016-02-04 Microsoft Corporation Mobile Device Input Controller For Secondary Display
KR102511376B1 (ko) 2014-08-02 2023-03-17 애플 인크. 상황 특정 사용자 인터페이스
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
CN115623117A (zh) 2014-09-02 2023-01-17 苹果公司 电话用户界面
KR20160048429A (ko) 2014-10-24 2016-05-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
GB2532038B (en) * 2014-11-06 2018-08-29 Displaylink Uk Ltd System for controlling a display device
CN104407829B (zh) * 2014-11-06 2018-01-23 北京凌阳益辉科技有限公司 一种图像镜像显示方法及其装置
US20160140629A1 (en) * 2014-11-18 2016-05-19 Solu Machines Oy Methods for computing devices
KR102345610B1 (ko) * 2015-02-27 2021-12-30 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10297002B2 (en) * 2015-03-10 2019-05-21 Intel Corporation Virtual touch pad method and apparatus for controlling an external display
KR102306536B1 (ko) * 2015-04-01 2021-09-29 삼성전자주식회사 위젯 제공 시스템 및 방법
US10922148B2 (en) * 2015-04-26 2021-02-16 Intel Corporation Integrated android and windows device
US10102824B2 (en) * 2015-05-19 2018-10-16 Microsoft Technology Licensing, Llc Gesture for task transfer
CN104899361B (zh) 2015-05-19 2018-01-16 华为技术有限公司 一种远程操控方法及装置
US10133324B2 (en) 2015-06-29 2018-11-20 Microsoft Technology Licensing, Llc Thermal mitigation user experience
US20230046864A1 (en) * 2015-07-16 2023-02-16 Promethean Limited Multi-network computing device integration systems and methods
US20170019473A1 (en) * 2015-07-16 2017-01-19 Promethean Limited Multi-network mirroring systems and methods
WO2017027767A1 (en) * 2015-08-12 2017-02-16 Interactive Intelligence Group, Inc. System and method for determining window geomtery
WO2017034090A1 (ko) * 2015-08-26 2017-03-02 주식회사 퓨처플레이 스마트 인터렉션 장치
US20170139661A1 (en) * 2015-11-17 2017-05-18 Intel Corporation Contextual Display State Management for Multi-Display Systems
EP3380926A1 (en) * 2015-11-26 2018-10-03 Barco NV Content sharing protocol
US10289373B2 (en) 2016-02-18 2019-05-14 Astro HQ LLC Event latency mitigation and screen selection
KR102544716B1 (ko) * 2016-03-25 2023-06-16 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
CN105912319B (zh) * 2016-03-31 2019-03-12 百度在线网络技术（北京）有限公司 反向控制移动端页面的方法和装置
EP3449338A4 (en) * 2016-04-29 2020-01-08 Hewlett-Packard Development Company, L.P. MOVING AN INTERACTIVE WINDOW USING A TABLET-TYPE COMPUTING DEVICE
CN106020753B (zh) * 2016-05-06 2019-03-29 联想(北京)有限公司 控制方法及电子设备
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
KR102193036B1 (ko) 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102623181B1 (ko) * 2016-10-05 2024-01-11 엘지전자 주식회사 무선 디바이스 및 무선 시스템
CN109791428A (zh) * 2016-10-19 2019-05-21 惠普发展公司，有限责任合伙企业 屏幕投影
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN108076379B (zh) * 2016-11-10 2021-04-30 阿里巴巴集团控股有限公司 多屏互动实现方法及装置
US10382806B2 (en) * 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
US11366586B2 (en) 2016-11-18 2022-06-21 Google Llc Streaming application environment with recovery of lost or delayed input events
US10623460B2 (en) * 2016-11-18 2020-04-14 Google Llc Streaming application environment with remote device input synchronization
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US11461278B2 (en) * 2017-09-18 2022-10-04 Sococo, Llc Disparate workflow integration using a meshed visualization canvas
KR102500666B1 (ko) * 2017-11-21 2023-02-16 삼성전자 주식회사 입력 인터페이스를 구성하는 방법 및 이를 사용하는 전자 장치
US11099947B2 (en) * 2018-11-08 2021-08-24 Sap Se Filter reset for cloud-based analytics engine
KR102308927B1 (ko) * 2018-12-27 2021-10-05 주식회사 엔씨소프트 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치
US20200366573A1 (en) * 2019-05-17 2020-11-19 Citrix Systems, Inc. Systems and methods for visualizing dependency experiments
US11416362B2 (en) 2019-05-17 2022-08-16 Citrix Systems, Inc. Dependency API controlled experiment dashboard
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
CN110488971B (zh) * 2019-07-16 2023-02-28 北京华捷艾米科技有限公司 一种安卓系统体感应用交互实现方法及系统
CN110557666B (zh) * 2019-07-23 2022-01-11 广州视源电子科技股份有限公司 遥控交互方法、装置和电子设备
CN110609723B (zh) * 2019-08-21 2021-08-24 维沃移动通信有限公司 一种显示控制方法及终端设备
CN110515579A (zh) * 2019-08-28 2019-11-29 北京小米移动软件有限公司 投屏方法、装置、终端及存储介质
TWI715197B (zh) * 2019-09-12 2021-01-01 泓博無線通訊技術有限公司 智能電視的內嵌式智能天線模塊
TWI726433B (zh) * 2019-10-02 2021-05-01 宏碁股份有限公司 遊戲操作優化方法及行動裝置
KR20210087653A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 전자장치 및 그 제어방법
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN114534248A (zh) * 2020-11-25 2022-05-27 华为技术有限公司 游戏控制方法、装置及存储介质
CN117093165A (zh) * 2020-12-24 2023-11-21 华为技术有限公司 设备控制方法和终端设备
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
JP2023004172A (ja) * 2021-06-25 2023-01-17 富士フイルムビジネスイノベーション株式会社 情報処理システム、情報処理装置及び情報処理プログラム
US12019944B2 (en) * 2021-12-14 2024-06-25 Htc Corporation Method for operating mirrored content under mirror mode and computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395012A (zh) * 2011-10-31 2012-03-28 康佳集团股份有限公司 利用手机共享电视屏幕遥控电视的方法、系统及手机
US20120173622A1 (en) * 2011-01-04 2012-07-05 Samsung Electronics Co., Ltd. Social screen casting
CN102646325A (zh) * 2012-03-28 2012-08-22 中兴通讯股份有限公司 一种实现遥控的方法、系统和智能终端
CN102739887A (zh) * 2012-06-06 2012-10-17 广东欧珀移动通信有限公司 一种基于触摸屏手机的无线控制方法
CN102830818A (zh) * 2012-08-17 2012-12-19 深圳市茁壮网络股份有限公司 信号处理的方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653928B2 (en) * 2002-08-30 2010-01-26 Sony Corporation Remote user interface for media player
EP2135155B1 (en) * 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
US8836640B2 (en) * 2010-12-30 2014-09-16 Screenovate Technologies Ltd. System and method for generating a representative computerized display of a user's interactions with a touchscreen based hand held device on a gazed-at screen
US9055162B2 (en) * 2011-02-15 2015-06-09 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US8725808B2 (en) * 2012-05-10 2014-05-13 Intel Mobile Communications GmbH Method for transferring data between a first device and a second device
US8738826B2 (en) * 2012-06-08 2014-05-27 Apple Inc. System and method for display mirroring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173622A1 (en) * 2011-01-04 2012-07-05 Samsung Electronics Co., Ltd. Social screen casting
CN102395012A (zh) * 2011-10-31 2012-03-28 康佳集团股份有限公司 利用手机共享电视屏幕遥控电视的方法、系统及手机
CN102646325A (zh) * 2012-03-28 2012-08-22 中兴通讯股份有限公司 一种实现遥控的方法、系统和智能终端
CN102739887A (zh) * 2012-06-06 2012-10-17 广东欧珀移动通信有限公司 一种基于触摸屏手机的无线控制方法
CN102830818A (zh) * 2012-08-17 2012-12-19 深圳市茁壮网络股份有限公司 信号处理的方法、装置及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582346B2 (en) 2014-06-19 2020-03-03 Omnivision Technologies, Inc. Communication screen editing and previewing
CN105278816A (zh) * 2014-06-19 2016-01-27 全视科技有限公司 移动平台和用于从移动平台进行通信的方法
CN105573690A (zh) * 2014-10-07 2016-05-11 纬创资通股份有限公司 互动式电子白板显示方法以及显示装置
WO2016062004A1 (zh) * 2014-10-24 2016-04-28 中兴通讯股份有限公司 一种无线终端间屏幕共享的方法和无线终端
CN105992048A (zh) * 2015-03-02 2016-10-05 上海帛茂信息科技有限公司 接口显示管理系统及方法
CN104731546A (zh) * 2015-04-01 2015-06-24 宁波Gqy视讯股份有限公司 抓取高分辨率图像在大屏幕上显示的方法及系统
CN105808186A (zh) * 2016-03-04 2016-07-27 上海摩软通讯技术有限公司 视图同步显示系统和方法
CN105808186B (zh) * 2016-03-04 2019-02-01 上海摩软通讯技术有限公司 视图同步显示系统和方法
CN105872664A (zh) * 2016-03-31 2016-08-17 李强 触屏游戏操控方法、装置和系统
CN106339173A (zh) * 2016-08-31 2017-01-18 新诺商桥科技(北京)有限公司 一种智慧桌面系统
CN106961590A (zh) * 2017-03-23 2017-07-18 联想(北京)有限公司 控制方法及电子设备
CN110533715A (zh) * 2018-05-25 2019-12-03 拓卡奔马机电科技有限公司 贴标方法、系统、电子终端、及计算机可读存储介质
CN114020203A (zh) * 2019-01-04 2022-02-08 苹果公司 用于内容流式传输的用户界面
CN110275854A (zh) * 2019-05-18 2019-09-24 国营芜湖机械厂 一种高频100w功放主机人机接口系统及其控制方法
CN110488677A (zh) * 2019-07-22 2019-11-22 国营芜湖机械厂 一种功放设备控制机箱人机接口系统及其控制方法
CN111857926A (zh) * 2020-07-21 2020-10-30 联想(北京)有限公司 一种控制方法及装置
CN111857926B (zh) * 2020-07-21 2023-08-18 联想(北京)有限公司 一种控制方法及装置
CN115113780A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种页面切换方法、装置和终端设备

Also Published As

Publication number Publication date
US20140223490A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
CN103984494A (zh) 用于多种设备间的直觉式用户互动系统及方法
US10296277B2 (en) Content sharing with consistent aspect ratios
Cabral et al. On the usability of gesture interfaces in virtual reality environments
US9880727B2 (en) Gesture manipulations for configuring system settings
US10839572B2 (en) Contextual virtual reality interaction
CN105302285A (zh) 多屏显示方法、设备及系统
JP2004534300A (ja) 表示されたスライドの予め選択された部分を強調表示するためのタッチパッドを備えたリモートコントロール
AU2013271141A1 (en) Object suspension realizing method and device
KR20130056669A (ko) 3차원 다면체 사용자 인터페이스를 제공하는 방법 및 장치
WO2020248711A1 (zh) 一种显示设备及内容推荐方法
WO2013134975A1 (en) Method of Scene Recognition Based Virtual Touch Event
CN110618780A (zh) 用于对多个信号源进行交互的交互装置和交互方法
CN105247463B (zh) 增强的画布环境
CN104750498A (zh) 一种控制鼠标模块的方法及电子设备
CN114138106A (zh) 混合虚拟现实桌面计算环境中的状态之间的转换
CN110688190A (zh) 智能交互平板的控制方法和装置
US20220392170A1 (en) Interactive Display Devices in Extended Reality Environments
CN115243082A (zh) 一种显示设备及终端控制方法
CN102566878B (zh) 一种实现与电视交互的装置、方法和电视机
TW201546655A (zh) 映射投影之控制系統及其控制方法
US20150227214A1 (en) Input apparatus, input method and computer-executable program
CN201859394U (zh) 投影空间动态视频手势操控系统
KR20240112287A (ko) 메타버스 콘텐츠 모달리티 매핑
CN110692036A (zh) 演示服务器、数据中继方法和用于生成虚拟指针的方法
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140813

WD01 Invention patent application deemed withdrawn after publication