[go: up one dir, main page]

CN114741039A - 设备控制方法和终端设备 - Google Patents

设备控制方法和终端设备 Download PDF

Info

Publication number
CN114741039A
CN114741039A CN202011548741.5A CN202011548741A CN114741039A CN 114741039 A CN114741039 A CN 114741039A CN 202011548741 A CN202011548741 A CN 202011548741A CN 114741039 A CN114741039 A CN 114741039A
Authority
CN
China
Prior art keywords
event
touch
screen projection
edge
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011548741.5A
Other languages
English (en)
Other versions
CN114741039B (zh
Inventor
王波
黄德才
朱培
陈光军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011548741.5A priority Critical patent/CN114741039B/zh
Priority to CN202310864279.7A priority patent/CN117093165A/zh
Priority to US18/258,893 priority patent/US20240045640A1/en
Priority to JP2023538943A priority patent/JP7605533B2/ja
Priority to PCT/CN2021/137200 priority patent/WO2022135186A1/zh
Priority to EP21909183.2A priority patent/EP4242824A4/en
Publication of CN114741039A publication Critical patent/CN114741039A/zh
Application granted granted Critical
Publication of CN114741039B publication Critical patent/CN114741039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种设备控制方法和终端设备，涉及终端技术领域，其中，该方法包括：目的投屏设备显示源投屏设备的投屏窗口后，响应于用户从投屏窗口外滑动到投屏窗口内的触摸滑动操作，生成触摸滑动事件；并在触摸滑动操作的起始触摸点位于目标区域内的情况下，将触摸滑动事件转换为源投屏设备的边缘滑动事件，然后向源投屏设备发送边缘滑动事件，其中，目标区域为从投屏窗口的边缘向外延伸预设距离形成的区域；源投屏设备接收到边缘滑动事件后，根据边缘滑动事件更新屏幕显示内容。本申请提供的技术方案可以提高投屏场景下使用全面屏手势进行反控操作的便利性，进而提高用户体验。

Description

设备控制方法和终端设备
技术领域
本申请涉及终端技术领域，尤其涉及一种设备控制方法和终端设备。
背景技术
随着终端技术的飞速发展，设备互连技术得到了广泛的应用。通过设备互连技术，用户可以很方便的将一个终端设备(即源投屏设备)上的内容传递到另一个终端设备(即目的投屏设备)上，比如，可以通过投屏功能，在平板上显示手机的投屏窗口(即手机的屏幕内容的镜像)，用户可以在投屏窗口中进行手势操作来反向控制手机。
目前，终端设备的屏占比越来越高，全面屏已成为主流趋势。为了方便用户使用，各大厂家也都开发了相关的全面屏手势，例如，可以通过从屏幕边缘向内滑动的边缘滑动手势实现相关的控制功能(比如导航栏功能)。但是，在目的投屏设备上通过全面屏手势控制源投屏设备存在操作不便的问题。
发明内容
有鉴于此，本申请提供一种设备控制方法和终端设备，用于提高投屏场景下通过全面屏手势进行反控操作的便利性，进而提高用户体验。
为了实现上述目的，第一方面，本申请实施例提供一种设备控制方法，应用于包括目的投屏设备和源投屏设备的系统，该方法包括：
所述目的投屏设备显示所述源投屏设备的投屏窗口；
所述目的投屏设备响应于用户从所述投屏窗口外滑动到所述投屏窗口内的第一触摸滑动操作，生成第一触摸滑动事件；
所述目的投屏设备在所述第一触摸滑动操作的起始触摸点位于目标区域内的情况下，将所述第一触摸滑动事件转换为所述源投屏设备的边缘滑动事件，并向所述源投屏设备发送所述边缘滑动事件，其中，所述目标区域为从所述投屏窗口的边缘向外延伸预设距离形成的区域；
所述源投屏设备接收到所述边缘滑动事件后，根据所述边缘滑动事件更新屏幕显示内容。
本实施例提供的设备控制方法，目的投屏设备可以将用户从投屏窗口外滑动到投屏窗口内的触摸滑动操作产生的触摸滑动事件转换为源投屏窗口的边缘滑动事件，这样源投屏设备可以基于完整的边缘滑动事件进行边缘滑动手势的检测，从而可以提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率，进而可以提高反控操作的便利性和用户体验。
在第一方面的一种可能的实施方式中，所述第一触摸滑动事件包括所述第一触摸滑动操作产生的一系列触摸事件，所述将所述第一触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
将所述第一触摸滑动事件中坐标位于目标区域内的触摸事件转换为所述源投屏设备的屏幕边缘事件；
根据所述屏幕边缘事件和所述第一触摸滑动事件中坐标位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
上述实施方式中，将目标区域内的触摸事件转换为源投屏设备的屏幕边缘事件，由于目标区域内包括触摸按下事件，根据转换得到的屏幕边缘事件和触摸滑动操作在投屏窗口内对应的触摸事件，则可以得到完整的边缘滑动事件，从而使得用户可以成功触发源投屏设备的边缘滑动手势。
在第一方面的一种可能的实施方式中，所述第一触摸滑动事件包括所述第一触摸滑动操作产生的一系列触摸事件，所述将所述第一触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
根据目标事件生成触摸按下事件，所述目标事件为所述第一触摸滑动操作在所述投屏窗口内产生的第一个触摸事件，所述触摸按下事件为所述源投屏设备的屏幕边缘事件；
根据所述触摸按下事件和所述第一触摸滑动事件中位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
上述实施方式中，通过根据投屏窗口内的第一个触摸事件生成属于源投屏设备的屏幕边缘事件的触摸按下事件，就可以根据该触摸按下事件和投屏窗口内的触摸事件，得到完整的边缘滑动事件，从而使得用户可以成功触发源投屏设备的边缘滑动手势。
在第一方面的一种可能的实施方式中，所述根据目标事件生成触摸按下事件，包括：
在所述目标事件前插入所述触摸按下事件，所述触摸按下事件的坐标与所述目标事件的坐标相同。
在第一方面的一种可能的实施方式中，所述根据目标事件生成触摸按下事件，包括：
将所述目标事件转换为所述触摸按下事件。
在第一方面的一种可能的实施方式中，所述方法还包括：
所述目的投屏设备在所述第一触摸滑动操作的起始触摸点位于目标区域外的情况下，响应所述第一触摸滑动事件，更新所述目的投屏设备的屏幕显示内容。
上述实施方式中，对于第一触摸滑动操作的起始触摸点位于目标区域外的情况，目的投屏设备将该操作作为针对目的投屏设备的屏幕显示内容的操作，对该操作进行响应，这样可以提高事件响应结果的准确性，进而提升用户体验。
在第一方面的一种可能的实施方式中，所述方法还包括：
所述源投屏设备响应于用户在所述源投屏设备上的第二触摸滑动操作，将第一区域作为屏幕边缘区域，对第二触摸滑动操作产生的第二触摸滑动事件进行边缘滑动手势的检测；
所述目的投屏设备响应于用户从所述投屏窗口内开始向内滑动的第三触摸滑动操作，生成所述源投屏设备对应的第三触摸滑动事件，并向所述源投屏设备发送所述第三触摸滑动事件；
所述源投屏设备接收到所述第三触摸滑动事件后，将第二区域作为屏幕边缘区域，对所述第三触摸滑动事件进行边缘滑动手势的检测；其中，所述第一区域和所述第二区域均为从所述源投屏设备的屏幕边缘向内延伸形成的区域，所述第二区域的覆盖范围大于所述第一区域的覆盖范围；
所述源投屏设备若检测到边缘滑动手势，则执行检测到的边缘滑动手势对应的控制功能，更新屏幕显示内容。
上述实施方式中，源投屏设备采用第一区域作为屏幕边缘区域，对用户在源投屏设备上触发的触摸滑动事件进行边缘滑动手势的检测；采用比第一区域大的第二区域作为屏幕边缘区域，对接收到的触摸滑动事件进行边缘滑动手势的检测，这样可以提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率，进而提高反控操作的可靠性和用户体验。
在第一方面的一种可能的实施方式中，所述边缘滑动手势为返回上一级手势、返回桌面手势或最近任务列表手势。
在第一方面的一种可能的实施方式中，所述方法还包括：
所述源投屏设备向所述目的投屏设备发送所述屏幕显示内容；
所述目的投屏设备接收到所述屏幕显示内容后，在所述投屏窗口中显示所述屏幕显示内容。
上述实施方式中，源投屏设备更新屏幕显示内容后，将屏幕显示内容发送给目标投屏设备，这样可以使目的投屏设备及时更新投屏窗口的内容。
第二方面，本申请实施例提供一种设备控制方法，应用于目的投屏设备，该方法包括：
显示源投屏设备的投屏窗口；
响应于用户从所述投屏窗口外滑动到所述投屏窗口内的触摸滑动操作，生成触摸滑动事件；
在所述触摸滑动操作的起始触摸点位于目标区域内的情况下，将所述触摸滑动事件转换为所述源投屏设备的边缘滑动事件，并向所述源投屏设备发送所述边缘滑动事件，其中，所述目标区域为从所述投屏窗口的边缘向外延伸预设距离形成的区域。
在第二方面的一种可能的实施方式中，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述将所述触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
将所述触摸滑动事件中坐标位于目标区域内的触摸事件转换为所述源投屏设备的屏幕边缘事件；
根据所述屏幕边缘事件和所述触摸滑动事件中坐标位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
在第二方面的一种可能的实施方式中，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述将所述触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
根据目标事件生成触摸按下事件，所述目标事件为所述触摸滑动操作在所述投屏窗口内产生的第一个触摸事件，所述触摸按下事件为所述源投屏设备的屏幕边缘事件；
根据所述触摸按下事件和所述触摸滑动事件中位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
在第二方面的一种可能的实施方式中，所述根据目标事件生成触摸按下事件，包括：
在所述目标事件前插入所述触摸按下事件，所述触摸按下事件的坐标与所述目标事件的坐标相同。
在第二方面的一种可能的实施方式中，所述根据目标事件生成触摸按下事件，包括：
将所述目标事件转换为所述触摸按下事件。
在第二方面的一种可能的实施方式中，所述方法还包括：
在所述触摸滑动操作的起始触摸点位于目标区域外的情况下，响应所述触摸滑动事件，更新所述目的投屏设备的屏幕显示内容。
在第二方面的一种可能的实施方式中，所述方法还包括：
接收所述源投屏设备发送的与所述触摸滑动事件对应的屏幕显示内容，并在所述投屏窗口中显示所述屏幕显示内容。
第三方面，本申请实施例提供一种设备控制方法，应用于源投屏设备，该方法包括：
若接收到用户在所述源投屏设备上的触摸滑动操作，则将第一区域作为屏幕边缘区域，对所述触摸滑动操作产生的触摸滑动事件进行边缘滑动手势的检测；
若接收到目的投屏设备发送的触摸滑动事件，则将第二区域作为屏幕边缘区域，对接收到的所述触摸滑动事件进行边缘滑动手势的检测；其中，所述第一区域和所述第二区域均为从所述源投屏设备的屏幕边缘向内延伸形成的区域，所述第二区域的覆盖范围大于所述第一区域的覆盖范围；
执行检测到的边缘滑动手势对应的控制功能，更新屏幕显示内容。
第四方面，本申请实施例提供一种设备控制装置，应用于目的投屏设备，该装置包括：
显示模块，用于显示所述源投屏设备的投屏窗口；
输入模块，用于接收用户从所述投屏窗口外滑动到所述投屏窗口内的触摸滑动操作；
处理模块，用于响应于该触摸滑动操作，生成触摸滑动事件；并在所述触摸滑动操作的起始触摸点位于目标区域内的情况下，将所述触摸滑动事件转换为所述源投屏设备的边缘滑动事件其中，所述目标区域为从所述投屏窗口的边缘向外延伸预设距离形成的区域；
通信模块，用于向所述源投屏设备发送所述边缘滑动事件。
在第四方面的一种可能的实施方式中，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述处理模块具体用于：
将所述触摸滑动事件中坐标位于目标区域内的触摸事件转换为所述源投屏设备的屏幕边缘事件；
根据所述屏幕边缘事件和所述触摸滑动事件中坐标位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
在第四方面的一种可能的实施方式中，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述处理模块具体用于：
根据目标事件生成触摸按下事件，所述目标事件为所述触摸滑动操作在所述投屏窗口内产生的第一个触摸事件，所述触摸按下事件为所述源投屏设备的屏幕边缘事件；
根据所述触摸按下事件和所述触摸滑动事件中位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
在第四方面的一种可能的实施方式中，所述处理模块具体用于：
在所述目标事件前插入所述触摸按下事件，所述触摸按下事件的坐标与所述目标事件的坐标相同。
在第四方面的一种可能的实施方式中，所述处理模块具体用于：
将所述目标事件转换为所述触摸按下事件。
在第四方面的一种可能的实施方式中，所述处理模块还用于：
在所述触摸滑动操作的起始触摸点位于目标区域外的情况下，响应所述触摸滑动事件，通过所述显示模块更新所述目的投屏设备的屏幕显示内容。
在第四方面的一种可能的实施方式中，所述通信模块还用于：接收所述源投屏设备发送的与所述触摸滑动事件对应的屏幕显示内容；
所述显示模块还用于：在所述投屏窗口中显示所述屏幕显示内容。
第五方面，本申请实施例提供一种设备控制装置，应用于源投屏设备，该装置包括：输入模块、处理模块、通信模块和显示模块；
所述处理模块用于：在所述输入模块接收到用户在所述源投屏设备上的触摸滑动操作时，将第一区域作为屏幕边缘区域，对所述触摸滑动操作产生的触摸滑动事件进行边缘滑动手势的检测；
所述处理模块还用于：在所述通信模块接收到目的投屏设备发送的触摸滑动事件时，将第二区域作为屏幕边缘区域，对接收到的所述触摸滑动事件进行边缘滑动手势的检测；其中，所述第一区域和所述第二区域均为从所述源投屏设备的屏幕边缘向内延伸形成的区域，所述第二区域的覆盖范围大于所述第一区域的覆盖范围；
所述处理模块还用于：执行检测到的边缘滑动手势对应的控制功能，通过显示模块更新屏幕显示内容。
第六方面，本申请实施例提供一种终端设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第二方面或第三方面所述的方法。
第七方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第二方面或第三方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第二方面或第三方面所述的方法。
第九方面，本申请实施例提供一种芯片系统，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述第二方面或第三方面所述的方法。其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
可以理解的是，上述第二方面至第九方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的投屏场景示意图；
图2为本申请实施例提供的一种触摸滑动操作的示意图；
图3为本申请实施例提供的终端设备的结构示意图；
图4为本申请实施例提供的终端设备的软件架构示意图；
图5为本申请实施例提供的目标区域的示意图；
图6为本申请实施例提供的一种事件处理过程示意图；
图7为本申请实施例提供的事件坐标转换示意图；
图8为本申请实施例提供的一种事件处理结果示意图；
图9为本申请实施例提供的另一种事件处理结果示意图；
图10为本申请实施例提供的一种设备控制结果示意图；
图11～图13为本申请实施例提供的一些用户界面示意图；
图14为本申请实施例提供的屏幕边缘区域的示意图；
图15为本申请实施例提供的另一种事件处理过程示意图；
图16为本申请实施例提供的另一种设备控制结果示意图；
图17～图18为本申请实施例提供的又一些用户界面示意图；
图19为本申请实施例提供的设备控制装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
图1为本申请实施例提供的投屏场景示意图，如图1所示，投屏场景中包括：源投屏设备100和目的投屏设备200。
源投屏设备100和目的投屏设备200可以是手机、平板电脑、笔记本电脑、台式电脑、可穿戴设备或智能电视等终端设备，同一终端设备既可以作为源投屏设备100使用，也可以作为目的投屏设备200使用。源投屏设备100和目的投屏设备200均可以包括一个或多个，也就是说，一个源投屏设备100可以将屏幕显示内容投屏到多个目的投屏设备200中显示，一个目的投屏设备200也可以同时显示多个源投屏设备100的屏幕显示内容。图1中是以投屏场景中包括两个终端设备，其中，源投屏设备100为手机、目的投屏设备200为平板电脑为例进行示例性说明。
源投屏设备100和目的投屏设备200可以通过无线通信方式连接，例如无线保真(wireless fidelity，Wi-Fi)、蓝牙(bluetooth，BT)、近场通信(near fieldcommunication，NFC)等无线通信方式；源投屏设备100和目的投屏设备200也可以通过有线方式连接，比如通过数据线连接。
源投屏设备100和目的投屏设备200建立连接后，源投屏设备100可以向目的投屏设备200发送屏幕显示内容，目的投屏设备200可以在投屏窗口中显示源投屏设备100的屏幕显示内容，其中，投屏窗口可以采用悬浮窗方式显示；目的投屏设备200也可以将用户在投屏窗口内触发的操作事件(比如点击事件、触摸滑动事件等)反馈给源投屏设备100，源投屏设备100可以基于接收的操作事件更新屏幕显示内容，目的投屏设备200中投屏窗口的显示内容对应更新，即用户可以在目的投屏设备200上反控源投屏设备100。例如：用户可以在目的投屏设备200的投屏窗口中模拟源投屏设备100的边缘滑动手势(边缘滑动手势也可以称为屏幕手势、全面屏手势、屏幕手势导航、或屏幕导航手势等)，从投屏窗口的窗口边缘向内滑动，以控制源投屏设备100执行对应的功能。
下面对终端设备检测边缘滑动手势的过程进行说明。
为了进行边缘滑动手势的检测，终端设备会预先确定(例如开机时确定)一用于检测边缘滑动手势的热区(即屏幕边缘区域)，该屏幕边缘区域对用户不可见；当终端设备检测到用户的触摸滑动操作时，基于该屏幕边缘区域进行边缘滑动手势的检测。其中，边缘滑动手势的滑动起始位置需要位于该屏幕边缘区域内。
图2为本申请实施例提供的一种触摸滑动操作的示意图，如图2所示，屏幕边缘区域A为从屏幕边缘向内延伸形成的区域，其可以包括：左边缘区域、右边缘区域、上边缘区域和/或下边缘区域，各边缘区域的宽度(即内边缘与外边缘(也即屏幕边缘)之间的距离)可以相同，具体大小例如可以是2毫米或其他值。
边缘滑动手势可以包括：通过左内滑、右内滑或上内滑触发，以实现导航栏功能的导航栏功能手势；通过沿下边缘区域左右滑动或者从下边缘区域开始向上弧线滑动触发，以快速切换到上一应用或下一应用的快速切换应用手势；通过从屏幕左、右边缘向内滑动并停顿触发，以打开分屏应用列表的分屏窗口启动手势，以及用于实现其他功能的边缘滑动手势。
其中，用户可以在系统导航方式设置功能中选择手势导航方式，以开启终端设备的导航栏功能手势和快速切换应用手势识别功能；也可以在系统导航方式设置功能中选择其他导航方式，比如屏幕内三键导航方式，以关闭终端设备的导航栏功能手势和快速切换应用手势识别功能。为了便于说明本申请实施例的技术方案，后续如无特别说明，终端设备均采用手势导航方式进行系统导航，即手势导航方式均处于开启状态。
具体的，导航栏手势具体可以包括：返回上一级手势、返回桌面手势和最近任务列表手势，返回上一级手势可以通过从左边缘区域或右边缘区域向内滑动一定距离触发，返回桌面手势可以通过从下边缘区域向上滑动一定距离触发，最近任务列表手势可以通过从下边缘区域向上滑动一定距离并停顿或者向上滑动更远距离触发。
为了便于说明，本申请实施例以导航栏功能手势为例进行示例性说明，后续如无特别说明，边缘滑动手势均表示导航栏功能手势。
如图2所示，用箭头表示触摸滑动操作，终端设备在检测边缘滑动手势时，会判断触摸滑动操作的起始位置(即起始触摸点)是否位于屏幕边缘区域A内，只有起始位置位于该屏幕边缘区域A内的触摸滑动操作才有可能被认为是边缘滑动手势。如图中所示的，箭头1表示的触摸滑动操作，起始位置位于屏幕边缘区域A内，可以触发边缘滑动手势；箭头2表示的触摸滑动操作，起始位置位于屏幕边缘区域A外，则会被认为不是从屏幕边缘滑入的，不会触发边缘滑动手势。
终端设备在作为源投屏设备100时，用户可以在目的投屏设备200上投屏窗口的窗口边缘区域内开始向内滑动，触发源投屏设备100的边缘滑动手势。如图2所示，投屏窗口的窗口边缘区域B与源投屏设备100的屏幕边缘区域A对应，以投屏窗口1:1显示源投屏设备100的屏幕显示内容为例，窗口边缘区域B与屏幕边缘区域A的尺寸相同。
在实际操作中，由于窗口边缘区域B较小，用户在目的投屏设备200上操作时，难以使触摸滑动操作的起始位置位于窗口边缘区域B内，而经常会出现箭头3和箭头4所示的情况，因而容易出现源投屏设备100的边缘滑动手势触发失败的情况。基于上述问题，本申请实施例提供一种设备控制方法，以提高用户在目的投屏设备200上触发源投屏设备100的边缘滑动手势的成功率，从而提高反控操作的可靠性和用户体验。该设备控制方法可以应用于上述终端设备，下面先以手机为例说明终端设备的结构。
请参见图3，图3为本申请实施例提供的终端设备的结构示意图。
终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(sraphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是终端设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近场通信(near field communication，NFC)技术，红外(infrared，IR)技术等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，终端设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分同步码分多址(time division-synchronous code division multipleaccess，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GNSS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Mini LED，Micro LED，量子点发光二极管(quantum dot light emittingdiodes，QLED)等。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。
终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
图4为本申请实施例提供的终端设备的软件架构示意图。如前所述，投屏场景中的终端设备包括源投屏设备100和目的投屏设备200，两者执行的功能有所不同，对应的软件架构也有所不同，图中示例性的示出了源投屏设备100和目的投屏设备200的软件架构。
可以理解的是，图中只是示出了终端设备分别作为源投屏设备100和目的投屏设备200时的软件架构，当终端设备同时具备源投屏设备100和目的投屏设备200的功能时，其软件架构则为源投屏设备100和目的投屏设备200的软件架构的合集。另外，源投屏设备100和目的投屏设备200的软件架构有相同之处，为了便于说明，下面如无特别说明，终端设备可以指代源投屏设备100和目的投屏设备200。
终端设备的软件系统可以分成若干个层，如图4所示，在一些实施例中，从上至下可以分为应用层、框架层和驱动层。
应用层可以包括一系列应用程序(application，APP)，应用程序可以包括与投屏相关的投屏管理APP，还可以包括相机、图库、通话、地图、浏览器、音乐、视频、短信息等其他APP。
其中，投屏管理APP可以包括：设备连接APP，用于管理终端设备之间的连接；目的投屏设备200中投屏管理APP还可以包括投屏显示APP，用于显示源投屏设备100的屏幕显示内容。
框架层为应用层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。
如图4所示，框架层可以包括系统的基础框架、设备连接管理框架和数据管理框架等，其中，基础框架可以包括用于进行事件分发的事件管理模块，源投屏设备上还可以包括用于进行手势检测的手势检测模块，另外，基础框架还可以包括用于管理窗口程序的窗口管理模块等其他基础能力模块(未示出)；设备连接管理框架用于管理跨设备之间的连接协议；数据管理框架用于管理在跨设备场景(比如投屏场景)下的数据通信，比如，音视频数据模块用于源投屏设备100向目的投屏设备200传输音视频数据，图层数据模块用于源投屏设备100向目的投屏设备200传输图层数据，反向控制模块用于目的投屏设备200向源投屏设备100传输事件数据。
本申请实施例中，为了提高反控操作的可靠性，目的投屏设备200在检测到从投屏窗口外滑动到投屏窗口内的触摸滑动操作后，可以对起始位置落入热区中的触摸滑动操作产生的触摸滑动事件进行事件转换或补偿，生成源投屏设备的边缘滑动事件，其中，热区可以是投屏窗口的边缘向外延伸预设距离形成的目标区域。对应的，可以在目的投屏设备200中增加事件转换补偿模块和热区管理模块，热区管理模块可以管理热区的大小、位置等信息，事件转换补偿模块可以基于热区信息确定目标区域内的事件，并对确定的事件进行事件转换或补偿，具体的处理过程详见后续方法实施例。
其中，事件转换补偿模块可以位于基础框架中，也可以位于设备连接APP中；热区管理模块可以是独立的模块，也可以集成在其他已有模块中，比如窗口管理模块中管理有投屏窗口的窗口信息，则可以在窗口管理模块中增加目标区域的区域信息，以实现热区管理模块的功能。图中是以事件转换补偿模块位于基础框架中，热区管理模块为独立的模块为例进行示例性说明。
驱动层用于提供终端设备的发现、认证和连接等功能，对应的，可以包括设备发现模块、设备认证模块和设备连接模块等功能模块。设备连接APP可以通过设备发现模块搜索发现其他终端设备，然后通过设备认证模块进行终端设备之间的鉴权认证，之后通过设备连接模块建立终端设备之间的连接。
可以理解的是，上述框架层和驱动层只是示出了与投屏场景相关的一些模块，其还可以包括其他模块，比如框架层还可以包括通知管理模块、驱动层还可以包括显示驱动和传感器驱动等，框架层和驱动层具体包括的其他模块本实施例不做特别限定。
下面结合投屏场景，示例性说明源投屏设备100和目的投屏设备200的反控流程。
当目的投屏设备200中的触摸传感器180K接收到触摸操作后，相应的硬件中断被发给驱动层。驱动层可以将触摸操作封装成触摸事件(例如，触摸按下(action down)事件、触摸移动(action move)事件以及触摸抬起(action up)事件等)，并可以向框架层上报触摸事件。在用户的一次触摸滑动操作过程中会产生一系列的触摸事件，框架层的事件管理模块收到每个触摸事件后，可以根据该触摸事件的坐标确定出该触摸事件所对应的窗口，在触摸按下事件对应的窗口为热区、触摸抬起事件对应的窗口为投屏窗口的情况下，可以调用事件转换补偿模块，并可以将每个触摸事件的坐标映射为在源投屏设备100的屏幕区域中对应的坐标。事件转换补偿模块可以从热区管理模块获取热区信息，基于该热区信息对经过坐标映射后的触摸事件进行事件转换或补偿，然后返回给事件管理模块。接着，事件管理模块可以将这些触摸事件分发给投屏管理APP，投屏管理APP中的设备连接APP可以调用反向控制模块将触摸事件传输给源投屏设备100。
源投屏设备100的反向控制模块收到触摸事件后，可以上报给投屏管理APP，通过投屏管理APP调用手势检测模块，或者，直接上报给手势检测模块。手势检测模块对接收的一系列触摸事件进行手势(比如边缘滑动手势)检测，并可以在检测到手势后，向应用层中的相关应用程序上报手势检测结果。应用层中的相关应用程序可以基于检测到的手势刷新屏幕显示内容，并可以调用数据管理框架中的图层数据模块将刷新后的屏幕显示内容传输给目的投屏设备200。目的投屏设备200的图层数据模块接收到刷新后的屏幕显示内容后，投屏显示APP根据图层数据模块接收的屏幕显示内容刷新投屏窗口的显示内容。
下面对本申请实施例提供的设备控制方法进行介绍。
当用户想要触发源投屏设备上的边缘滑动手势时，用户在目的投屏设备上进行的针对投屏窗口的触摸滑动操作可以包括如下两种情况：第一种，触摸滑动操作的起始位置位于投屏窗口外(例如图2中的箭头3所示的触摸滑动操作)；第二种，触摸滑动操作的起始位置位于投屏窗口内(例如图2中的箭头4所示的触摸滑动操作)。下面分别对这两种情况下的设备控制过程进行说明。
第一种：触摸滑动操作的起始位置位于投屏窗口外。
对于源投屏设备来说，能够触发边缘滑动手势的边缘滑动事件应符合完整性要求，一个完整的边缘滑动事件包括如下几个要素：1个触摸按下事件(简称down事件)、多个触摸移动事件(简称move事件)和1个触摸抬起事件(简称up事件)。
当用户在目的投屏设备上输入的触摸滑动操作的起始位置位于投屏窗口外时，对应的down事件也位于投屏窗口外，为了使传输给源投屏设备的边缘滑动事件符合完整性要求，本实施例中，目的投屏设备响应用户输入的从投屏窗口外滑动到投屏窗口内的触摸滑动操作，生成触摸滑动事件后，可以对触摸滑动操作产生的触摸滑动事件进行事件转换或补偿处理，生成从投屏窗口的边缘开始的完整边缘滑动事件，然后再发送给源投屏设备，以提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率。
考虑到用户在目的投屏设备上触发的用于控制目的投屏设备的触摸滑动操作的结束位置也可能落在投屏窗口内，本实施例中，目的终端设备可以将投屏窗口周围的目标区域作为检测热区(简称为热区)，对起始位置落入热区中的触摸滑动操作产生的触摸滑动事件进行事件转换或补偿处理。
图5为本申请实施例提供的目标区域的示意图，如图5所示，目标区域S为从投屏窗口的边缘向外延伸预设距离形成的区域，与图2中所示的屏幕边缘区域A类似，目标区域S可以包括上下左右四个子区域中的多个区域；各子区域的宽度可以相同，例如均为2毫米，各子区域的宽度也可以不同，图中以目标区域S包括四个宽度相同的子区域为例进行示例性说明。
如图5所示，对于触摸滑动操作的起始位置位于投屏窗口外的情况，其具体又可以包括两种情况：第一种，如图5中的箭头5所示的，触摸滑动操作的起始位置位于目标区域S外；第二种，如图5中的箭头6所示的，触摸滑动操作的起始位置位于目标区域S内。针对这两种不同的情况，目的投屏设备可以进行不同的事件处理过程，下面对该事件处理过程进行说明。
图6为本申请实施例提供的一种事件处理过程示意图，如图6所示，目的投屏设备可以响应于用户从投屏窗口外滑动到投屏窗口内的触摸滑动操作，生成触摸滑动事件；同时，目的投屏设备可以判断触摸滑动操作的起始触摸点是否位于目标区域内，如果触摸滑动操作的起始触摸点位于目标区域内，可以将得到的触摸滑动事件转换为投屏窗口的边缘滑动事件；如果触摸滑动操作的起始触摸点位于目标区域外，可以确定该触摸滑动事件为针对目的投屏设备上屏幕显示内容的事件。
具体的，目的投屏设备基于用户的触摸滑动操作可以生成一系列的触摸事件，根据各个触摸事件的坐标和时间，可以得到对应的触摸滑动事件的事件序列。对于事件序列中的第一个触摸事件(即触摸滑动操作的起始触摸点对应的触摸事件)，可以判断其坐标是否位于目标区域内，如果该触摸事件的坐标位于目标区域内，可以认为该触摸滑动操作是针对投屏窗口的边缘滑动操作，此时，可以将该触摸滑动事件转换成为源投屏设备的边缘滑动事件；如果该触摸事件的坐标位于目标区域外，可以认为该触摸滑动操作是针对目的投屏设备上屏幕显示内容的滑动事件，此时，可以执行该触摸滑动事件对应的控制功能，比如滚动屏幕内容、切换界面等。
在生成边缘滑动事件时，作为一种可选的实现方式，本实施例中，目的投屏设备可以将触摸滑动事件中坐标位于目标区域(即热区)内的触摸事件(此处称为热区事件)进行事件坐标转换，使热区事件成为源投屏设备的屏幕边缘事件；基于这些屏幕边缘事件和触摸滑动事件中位于投屏窗口内的触摸事件，生成边缘滑动事件。
具体的，在进行事件坐标转换前，可以先对触摸滑动事件中的各触摸事件进行坐标映射。如前所述，目的投屏设备在生成触摸事件后，可以将投屏窗口中的触摸事件的坐标映射为在源投屏设备的屏幕区域中对应的坐标，本实施例中，目的投屏设备也可以基于相同的坐标映射方式，将触摸滑动事件中各触摸事件的坐标映射为在源投屏设备的屏幕区域中对应的坐标，即将触摸事件在目的投屏设备上的屏幕坐标映射为在源投屏设备上的屏幕坐标。
如图7所示，投屏窗口的屏幕坐标系为xy,坐标原点o位于投屏窗口的左上角；目的投屏设备的屏幕坐标系为x'y'，坐标原点o'位于目的投屏设备的屏幕左上角。根据o在x'y'坐标系下的坐标，可以得到两坐标系之间的坐标映射关系。假设o在x'y'坐标系下的坐标为(x0，y0)，则两坐标系之间的坐标映射关系为：
Figure BDA0002856488710000131
其中，(x'，y')表示目的投屏设备的屏幕上任意一点在x'y'坐标系下的坐标(即在目的投屏设备上的屏幕坐标)；(x，y)表示该点在xy坐标系下对应的坐标(即相对于投屏窗口的窗口坐标)。在投屏窗口1:1显示源投屏设备的屏幕显示内容的情况下，该(x，y)即为该点在源投屏设备上的屏幕坐标；在投屏窗口对源投屏设备的屏幕显示内容进行了缩放的情况下，可以将(x，y)进行反向缩放，得到该点在源投屏设备上的屏幕坐标，比如，投屏窗口相对于源投屏设备的屏幕放大了1.5倍，则可以将(x，y)缩小1.5倍(即除以1.5)得到该点在源投屏设备上的屏幕坐标。
可以理解的是，也可以在投屏窗口每次缩放后，计算出目的投屏设备的屏幕坐标系与源投屏窗口的屏幕坐标系之间的映射关系，在进行坐标映射时，直接采用该映射关系进行坐标映射，得到目的投屏设备上任意一点在源投屏设备上对应的屏幕坐标。另外，上述坐标转换过程只是一种示例，其并非用于限定本申请，本申请实施例中对于目的投屏设备的屏幕坐标与源投屏窗口的屏幕坐标之间的转换方式不做特别限定。为了便于说明，后续以投屏窗口1:1显示源投屏设备的屏幕显示内容为例进行示例性说明。
在进行坐标映射后，再将热区内的触摸事件(即热区事件)转换为源投屏设备的屏幕边缘事件，就可以得到完整的边缘滑动事件发送给源投屏设备。
以上述触摸事件经过坐标映射后的坐标为(x，y)为例，假设源投屏设备的屏幕宽为W，高为H，则对于不同的触摸滑动操作，热区事件的事件坐标转换过程如下表所示：
触摸滑动操作类型 事件坐标转换方法
左内滑 将热区事件(x，y)转换为屏幕边缘事件(0，y)
右内滑 将热区事件(x，y)转换为屏幕边缘事件(W，y)
上内滑 将热区事件(x，y)转换为屏幕边缘事件(x，H)
例如，图7中o的屏幕坐标(x0，y0)为(80，40)，热区的各个子区域的宽度均为10，左内滑事件中的P点对应的触摸事件在目的投屏设备上的屏幕坐标为(75，140)。经过坐标映射后，P点在源投屏设备上对应的屏幕坐标为(75-80，140-40)，即(-5,100)；再经过事件坐标转换后，变为P'(0，100)。
可以理解的是，上述是以导航栏功能手势对应的触摸滑动操作为例进行说明，对于其他边缘滑动手势，可能存在下内滑的情况，则进行事件坐标转换时，可以将触摸事件(x，y)转换为屏幕边缘事件(x，0)。另外，上述生成屏幕边缘事件的过程只是一种示例，其并非用于限定本申请，在生成屏幕边缘事件时，上述公式(1)对应的映射过程、窗口坐标的缩放过程、事件坐标转换过程，三者之间没有严格的时序执行关系，具体实现时都可以根据需要调整，只要适应性调整相关参数即可。
图8为本申请实施例提供的一种事件处理结果示意图，如图8所示，用▽表示down事件，○表示move事件，△表示up事件。如图8中的(a)所示，触摸滑动操作的起始触摸点(即down事件)位于目标区域S内；如图8中的(b)所示，经过事件坐标转换后，该down事件变为投屏窗口(即源投屏设备)的屏幕边缘事件。
可以理解的是，图8中为了便于说明事件坐标转换的过程，对触摸点进行了放大，在目标区域内只包括一个触摸事件，实际应用中，目标区域内可以包括多个触摸事件。
如图8中的(a)和(b)所示，对于触摸滑动操作的起始触摸点位于目标区域内的情况，经过事件坐标转换后，投屏窗口内的触摸事件包括down事件、move事件和up事件，也就是说，目的投屏设备可以根据事件坐标转换得到的屏幕边缘事件和触摸滑动操作在投屏窗口内对应的触摸事件，得到完整的边缘滑动事件，发送给源投屏设备。
作为另一种可选的实现方式，本实施例中，目的终端设备也可以根据触摸滑动事件中坐标位于投屏窗口内的触摸事件进行事件转换或补偿，生成位于源投屏设备的屏幕边缘的触摸按下事件；基于该触摸按下事件和触摸滑动事件中坐标位于投屏窗口内的触摸事件，生成边缘滑动事件。
如图5中的箭头6所示的，触摸滑动操作的起始位置位于投屏窗口外，则投屏窗口内不包括down事件。为了得到完整的边缘滑动事件，目的终端设备可以根据触摸滑动操作在投屏窗口内对应的第一个触摸事件(即move事件，此处称为目标事件)生成位于源投屏设备的屏幕边缘的down事件(此处称为目标down事件)，基于该目标down事件和触摸滑动操作在投屏窗口内对应的触摸事件，得到边缘滑动事件。
为了提高触摸滑动事件中各事件之间的连贯性，目标down事件的坐标可以与目标事件的坐标相同。目标事件位于投屏窗口的边缘，属于源投屏设备的屏幕边缘事件，对应的，目标down事件则也属于源投屏设备的屏幕边缘事件。
在具体实现时，可以通过事件补偿处理补偿一个目标down事件，例如可以在目标事件前插入一个目标down事件，即该目标down事件的时间戳早于该目标事件的时间戳；也可以通过事件类型转换生成一个目标down事件，即可以直接将目标事件转换为目标down事件，也就是将目标事件的事件类型从move事件改为down事件。
可以理解的是，在生成的边缘滑动事件时，与前述基于热区事件生成边缘滑动事件的过程类似，投屏窗口中的各触摸事件需要进行坐标映射，具体的坐标映射方式可以参见前面的相关描述，此处不再赘述。上述的坐标相同，指的是目标down事件与目标事件在同一坐标系下的坐标相同；在生成边缘滑动事件时，可以先对目标事件进行事件类型转换或者事件补偿，得到目标down事件，再对投屏窗口内的各触摸事件进行坐标映射；也可以先对投屏窗口内的各触摸事件进行坐标映射，再根据其中的目标事件生成目标down事件。
图9为本申请实施例提供的另一种事件处理结果示意图，图9中继续采用与图8类似的触摸事件表示方式，用▽表示down事件，○表示move事件，△表示up事件。如图9中的(a)所示，触摸滑动操作的起始触摸点位于投屏窗口外，位于投屏窗口内的第一个触摸事件为move事件；如图9中的(b)所示，经过事件补偿处理后，增加了一个坐标与该move事件的坐标相同的down事件；如图9中的(c)所示，经过事件类型转换后，位于投屏窗口内的第一个move事件变为down事件。
以用户通过触摸滑动操作触发返回桌面手势为例，在源投屏设备100上开启了手势导航方式的情况下，如图10中的(a)所示，用户在目的投屏设备200上输入从投屏窗口外滑动到投屏窗口内的触摸滑动操作(参见图中黑色箭头)，在目前的相关反控方案中，目的投屏设备200是将投屏窗口内的触摸事件经过坐标映射后反馈给源投屏设备100，则这些事件中不包括down事件，对应的，源投屏设备100接收的是一个不完整的边缘滑动事件，因而无法触发边缘滑动手势，即用户的反控操作失败。而本实施例中，目的投屏设备200可以将目标区域作为热区，对热区或者投屏窗口内的事件进行事件转换或补偿处理，生成包括目标down事件的边缘滑动事件，对应的，源投屏设备100接收的是一个完整的边缘滑动事件，因而可以如图10中的(b)所示的，成功触发返回桌面手势，执行返回桌面的操作。源投屏设备100更新屏幕显示内容的同时，可以将更新后的屏幕显示内容发送给目的投屏设备200，目的投屏设备200对应更新投屏窗口中显示的屏幕显示内容。
考虑到用户在针对目的投屏设备的屏幕显示内容进行触摸滑动操作时，可能会滑动到投屏窗口中，为了避免与针对投屏窗口进行的触摸滑动操作产生冲突，本实施例中，目的投屏设备可以提供投屏窗口移动功能，用户可以在需要对投屏窗口附近的屏幕显示内容进行触摸滑动操作时，移动投屏窗口，例如可以通过拖动投屏窗口的窗口边缘区域移动投屏窗口。另外，目的投屏设备也可以提供最小化投屏窗口功能，例如图11中的(a)所示的，可以在投屏窗口上增加功能栏，在功能栏中提供最小化控件2001，用户可以点击最小化控件2001最小化投屏窗口；如图11中的(b)所示，目的投屏设备可以将投屏窗口对应的最小化窗口2002靠屏幕边缘显示，用户可以通过点击该最小化窗口2002恢复显示投屏窗口。另外，功能栏中还可以提供用于关闭投屏窗口的关闭控件2003和用户缩放投屏窗口的缩放控件2004等其他控件。
为了方便用户更好的了解上述投屏反控时的操作区域，本实施例中，目的投屏设备可以进行相关的功能介绍，该功能介绍可以在用于介绍设备功能的APP(比如华为技术有限公司提供的“玩机技巧”APP)中提供。
图12为本申请实施例提供的另一种用户界面示意图，如图12中的(a)所示，以“玩机技巧”APP为例，用户打开“玩机技巧”APP后，对应的用户界面10中可以包括：搜索框101、功能推荐栏102和玩机精选栏103。其中，搜索框101可供用户搜索想要了解的功能；功能推荐栏102可以推荐一些新功能或热门功能等；玩机精选栏103中可以提供玩机技巧的各种分类选项，例如图中所示的“新功能”选项1031、“快速上手”选项1032、“影音娱乐”选项1033、“智慧生活”选项1034和“运动健康”选项1035等。
投屏反控介绍可以位于玩机精选栏103的其中一个分类下，例如可以在“新功能”选项1031对应的分类下。如图12中的(a)和(b)所示，用户可以点击“新功能”选项1031，打开对应的新功能界面20查看投屏反控介绍。
如图12中的(b)所示，新功能界面20中可以包括功能演示栏201和功能介绍栏202，功能演示栏201中可以采用短视频方式说明投屏反控操作和相关的边缘感应区域，例如图12中的(b)所示的，可以示出目的投屏设备端的边缘滑动手势对应的边缘感应区域(包括前述的区域B和区域S)，以便于用户更直观的了解边缘滑动手势反控功能。功能介绍栏202中可以采用文本方式说明边缘滑动手势反控功能，例如图12中的(b)所示的示例性文本：“从投屏窗口内的边缘感应区域或投屏窗口外的边缘感应区域向投屏窗口内滑动，均可以触发源投屏设备的边缘滑动手势”。
“玩机技巧”APP也可以在功能推荐栏103中提供投屏反控介绍对应的卡片，用户可以通过点击该卡片查看投屏反控介绍；另外，用户也可以在搜索栏102中搜索投屏反控介绍。
可以理解的是，上述界面只是一种示例性说明，界面中的各元素可以根据需要调整，“玩机技巧”APP在不同类型的终端设备上对应的界面可以有所不同。
为了满足用户的不同需求，提升用户体验，本实施例中，终端设备也可以提供区域S对应的边缘感应区域设置功能，具体可以在系统设置功能的其中一个选项下提供该功能，比如图13中的(a)所示的，可以在“辅助功能”选项对应的辅助功能界面30中增加投屏反控选项301，用户可以点击投屏反控选项301进入对应的投屏反控设置界面40(参见图13中的(b))，在该界面中进行边缘感应区域的设置。为了便于用户了解该设置功能，在投屏反控设置界面40中可以一并提供上述投屏反控介绍，即用户可以在上述“玩机技巧”APP中了解投屏反控功能的功能介绍，也可以在边缘感应区域设置功能中了解投屏反控功能的功能介绍。
如图13中的(b)所示，投屏反控设置界面40中可以包括功能介绍栏401和设置栏402，功能介绍栏401展示的内容与图12中的(b)所示的内容类似，其可以采用图片加文本的方式简要介绍投屏反控功能，例如，图片中可以示出区域B对应的边缘感应区域1和区域S对应的边缘感应区域2，文本可以为：“从边缘感应区域1或边缘感应区域2向投屏窗口内滑动，触发源投屏设备的边缘滑动手势”。设置栏402可以提供相关的控件供用户设置边缘感应区域2(即区域S)的宽度，其中，该控件可以是图中所示的滑动控件，控件两端可以显示滑动范围(此处的示例性范围为：0毫米～15毫米)；该控件也可以包括多个预设的区域宽度对应的单选控件，还可以是文本控件等其他类型的控件，具体都可以根据需要设置，本实施例对此不做特别限定。
下面介绍前述的第二种情况下的设备控制过程。
第二种：触摸滑动操作的起始位置位于投屏窗口内。
对于触摸滑动操作的起始位置位于投屏窗口内的情况，目的投屏设备可以将触摸滑动操作在投屏窗口内对应的触摸事件，进行坐标映射得到触摸滑动事件，然后发送给源投屏设备。
如图2所示，用户在目的投屏设备上针对投屏窗口进行触摸滑动操作时，容易出现箭头5所示的情况，即触摸滑动操作的起始位置位于窗口边缘区域外，对应的，源投屏设备从目的投屏设备接收的触摸滑动事件的起始位置位于屏幕边缘区域外，这样就不会触发边缘滑动手势。
为了提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率，本实施例中，源投屏设备可以在处理目的投屏设备发送的触摸滑动事件时，采用更大的热区(即屏幕边缘区域)进行边缘滑动手势的检测。
图14为本申请实施例提供的屏幕边缘区域的示意图，如图14所示，源投屏设备可以在开机时生成一屏幕边缘区域(此处称为第一区域A1)，在建立投屏连接后，可以再生成一屏幕边缘区域(此处称为第二区域A2)，其中，第一区域A1和第二区域A2均为从源投屏设备的屏幕边缘向内延伸形成的区域，第二区域A2的覆盖范围大于第一区域A1的覆盖范围。第二区域A2与第一区域A1类似，可以包括上下左右四个子区域中的多个区域；各子区域的宽度可以是对应的第一区域A1中的子区域的宽度的倍数，例如2倍。
源投屏设备在处理触摸滑动事件时，则可以如图15所示的，在检测到触摸滑动事件后，可以判断该触摸滑动事件是否是目的投屏设备发送的，若是，则可以将第二区域作为屏幕边缘区域，对接收到的触摸滑动事件进行边缘滑动手势的检测；若否，即该触摸滑动事件是用户在源投屏设备上触发的，则可以将第一区域作为屏幕边缘区域，对检测到的触摸滑动事件进行边缘滑动手势的检测。
也就是说，对于用户在源投屏设备上触发的触摸滑动事件和目的投屏设备发送的触摸滑动事件，源投屏设备在进行边缘滑动手势检测时，不同之处只是在于，采用的屏幕边缘区域的范围不同，其他的检测过程相同。对于任一触摸滑动事件，源投屏设备如果检测到边缘滑动手势，则可以执行检测到的边缘滑动手势对应的控制功能。
具体实现时，对于目的投屏设备发送的触摸滑动事件，可以增加一标记，源投屏设备可以基于该标记确定触摸滑动事件的来源。
继续以用户通过触摸滑动操作触发返回桌面手势为例，如图16中的(a)所示，投屏窗口上与源投屏设备200的第一区域A1和第二区域A2对应的窗口边缘区域分别为第三区域B1和第四区域B2。用户在目的投屏设备200上输入从第三区域B1外的第四区域B2开始向投屏窗口内滑动的触摸滑动操作(参见图中黑色箭头)，在目前的相关反控方案中，目的投屏设备200将触摸滑动操作对应的触摸滑动事件反馈给源投屏设备200后，源投屏设备200由于触摸滑动事件的起始位置未在第一区域A1内而无法触发边缘滑动手势，即用户的反控操作失败。而本实施例中，源投屏设备200基于第二区域A2对触摸滑动事件进行边缘手势检测，触摸滑动操作的起始位置位于第四区域B2内，其对应的触摸滑动事件的起始位置位于第二区域A2内，因而，源投屏设备200可以如图16中的(b)所示的，成功触发返回桌面手势，执行返回桌面的操作。源投屏设备200更新屏幕显示内容的同时，可以将更新后的屏幕显示内容发送给目的投屏设备200，目的投屏设备200对应更新投屏窗口中显示的屏幕显示内容。
也就是说，对于同一边缘滑动手势，用户可以在源投屏设备上从第一区域A1开始按要求滑动，触发该边缘滑动手势；在目的投屏设备上时，则可以从第二区域A2对应的第四区域B2开始按要求滑动，触发该边缘滑动手势，这样就可以方便用户进行反控操作，提高反控操作的可靠性。
同样的，为了方便用户更好的了解上述投屏反控时的操作区域，本实施例中，源投屏设备可以进行相关的功能介绍，继续以在“玩机技巧”APP的新功能界面中提供投屏反控介绍为例进行示例性说明。
图17示出了源投屏设备上新功能界面50的示意图，图17所示的界面与图12中的(b)所示的界面类似，不同之处只是在于功能演示栏和功能介绍栏所示的内容有所不同。如图17所示的，功能演示栏501可以分别示出源投屏设备端和目的投屏设备端的边缘滑动手势对应的感应区域。功能介绍栏502中的示例性功能介绍文本可以为：“从源投屏设备的边缘感应区域1向内滑，或从投屏窗口内的边缘感应区域2向内滑，均可以触发源投屏设备的边缘滑动手势。其中，边缘感应区域2在源投屏设备上对应的投屏感应区域3的宽度大于边缘感应区域1的宽度”。其中，边缘感应区域1即为前述的区域A1，边缘感应区域2即为前述的区域B2，投屏感应区域3即为前述的区域A2。
同样的，源投屏设备也可以提供投屏感应区域设置功能，具体设置方式与图13中边缘感应区域的设置方式类似。图18示出了源投屏设备上投屏反控界面60的示意图，图18中所示的界面与图13中的(b)所示的界面类似，不同之处只是在于功能介绍栏和设置栏所示的内容有所不同。如图18所示，功能介绍栏601展示的内容与图17所示的内容类似，其可以采用图片加文本的方式简要介绍投屏反控功能，例如，图片中可以示出区域A1对应的边缘感应区域1、区域B2对应的边缘感应区域2和区域A2对应的投屏感应区域3；文本可以为：“从边缘感应区域1向内滑或从边缘感应区域2向内滑，触发源投屏设备的边缘滑动手势”。设置栏602可以提供相关的控件供用户设置区域B2的宽度，其中，控件的具体设置方式可以参见图13中相关的描述，此处不再赘述。
本实施例提供的设备控制方法，目的投屏设备可以将用户从投屏窗口外滑动到投屏窗口内的触摸滑动操作产生的触摸滑动事件转换为源投屏窗口的边缘滑动事件，这样源投屏设备可以基于完整的边缘滑动事件进行边缘滑动手势的检测，从而可以提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率，进而可以提高反控操作的可靠性和用户体验。另外，源投屏设备采用第一区域作为屏幕边缘区域，对用户在源投屏设备上触发的触摸滑动事件进行边缘滑动手势的检测；采用比第一区域大的第二区域作为屏幕边缘区域，对接收到的触摸滑动事件进行边缘滑动手势的检测，这样也可以提高用户在目的投屏设备上触发源投屏设备的边缘滑动手势的成功率，进而提高反控操作的可靠性和用户体验。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种设备控制装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图19为本申请实施例提供的设备控制装置的结构示意图，如图19所示，本实施例提供的装置可以包括：显示模块310、输入模块320、处理模块330和通信模块340。
其中，显示模块310用于支持移动终端执行上述实施例中的界面显示操作和/或用于本文所描述的技术的其它过程。显示单元可以是触摸屏或其他硬件或硬件与软件的综合体。
输入模块320用于接收用户在移动终端的显示界面上的输入，如触摸输入、语音输入、手势输入等，输入模块用于支持终端执行上述实施例中源投屏设备和/或目的投屏设备接收用户输入的触摸滑动操作的过程和/或用于本文所描述的技术的其它过程。输入模块可以是触摸屏或其他硬件或硬件与软件的综合体。
处理模块330用于支持移动终端执行上述实施例中的源投屏设备和/或目的投屏设备的事件处理操作和/或用于本文所描述的技术的其它过程。
通信模块340用于支持移动终端执行上述实施例中源投屏设备与目的投屏设备之间的通信过程相关的操作和/或用于本文所描述的技术的其它过程。
本实施例提供的装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种芯片系统，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述方法实施例所述的方法。其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘或磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质可以包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种设备控制方法，其特征在于，应用于包括目的投屏设备和源投屏设备的系统，所述方法包括：
所述目的投屏设备显示所述源投屏设备的投屏窗口；
所述目的投屏设备响应于用户从所述投屏窗口外滑动到所述投屏窗口内的第一触摸滑动操作，生成第一触摸滑动事件；
所述目的投屏设备在所述第一触摸滑动操作的起始触摸点位于目标区域内的情况下，将所述第一触摸滑动事件转换为所述源投屏设备的边缘滑动事件，并向所述源投屏设备发送所述边缘滑动事件，其中，所述目标区域为从所述投屏窗口的边缘向外延伸预设距离形成的区域；
所述源投屏设备接收到所述边缘滑动事件后，根据所述边缘滑动事件更新屏幕显示内容。
2.根据权利要求1所述的方法，其特征在于，所述第一触摸滑动事件包括所述第一触摸滑动操作产生的一系列触摸事件，所述将所述第一触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
将所述第一触摸滑动事件中坐标位于目标区域内的触摸事件转换为所述源投屏设备的屏幕边缘事件；
根据所述屏幕边缘事件和所述第一触摸滑动事件中坐标位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
3.根据权利要求1所述的方法，其特征在于，所述第一触摸滑动事件包括所述第一触摸滑动操作产生的一系列触摸事件，所述将所述第一触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
根据目标事件生成触摸按下事件，所述目标事件为所述第一触摸滑动操作在所述投屏窗口内产生的第一个触摸事件，所述触摸按下事件为所述源投屏设备的屏幕边缘事件；
根据所述触摸按下事件和所述第一触摸滑动事件中位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
4.根据权利要求3所述的方法，其特征在于，所述根据目标事件生成触摸按下事件，包括：
在所述目标事件前插入所述触摸按下事件，所述触摸按下事件的坐标与所述目标事件的坐标相同。
5.根据权利要求3所述的方法，其特征在于，所述根据目标事件生成触摸按下事件，包括：
将所述目标事件转换为所述触摸按下事件。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
所述目的投屏设备在所述第一触摸滑动操作的起始触摸点位于目标区域外的情况下，响应所述第一触摸滑动事件，更新所述目的投屏设备的屏幕显示内容。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
所述源投屏设备响应于用户在所述源投屏设备上的第二触摸滑动操作，将第一区域作为屏幕边缘区域，对第二触摸滑动操作产生的第二触摸滑动事件进行边缘滑动手势的检测；
所述目的投屏设备响应于用户从所述投屏窗口内开始向内滑动的第三触摸滑动操作，生成所述源投屏设备对应的第三触摸滑动事件，并向所述源投屏设备发送所述第三触摸滑动事件；
所述源投屏设备接收到所述第三触摸滑动事件后，将第二区域作为屏幕边缘区域，对所述第三触摸滑动事件进行边缘滑动手势的检测；其中，所述第一区域和所述第二区域均为从所述源投屏设备的屏幕边缘向内延伸形成的区域，所述第二区域的覆盖范围大于所述第一区域的覆盖范围；
所述源投屏设备若检测到边缘滑动手势，则执行检测到的边缘滑动手势对应的控制功能，更新屏幕显示内容。
8.根据权利要求7所述的方法，其特征在于，所述边缘滑动手势为返回上一级手势、返回桌面手势或最近任务列表手势。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
所述源投屏设备向所述目的投屏设备发送所述屏幕显示内容；
所述目的投屏设备接收到所述屏幕显示内容后，在所述投屏窗口中显示所述屏幕显示内容。
10.一种设备控制方法，其特征在于，应用于目的投屏设备，所述方法包括：
显示源投屏设备的投屏窗口；
响应于用户从所述投屏窗口外滑动到所述投屏窗口内的触摸滑动操作，生成触摸滑动事件；
在所述触摸滑动操作的起始触摸点位于目标区域内的情况下，将所述触摸滑动事件转换为所述源投屏设备的边缘滑动事件，并向所述源投屏设备发送所述边缘滑动事件，其中，所述目标区域为从所述投屏窗口的边缘向外延伸预设距离形成的区域。
11.根据权利要求10所述的方法，其特征在于，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述将所述触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
将所述触摸滑动事件中坐标位于目标区域内的触摸事件转换为所述源投屏设备的屏幕边缘事件；
根据所述屏幕边缘事件和所述触摸滑动事件中坐标位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
12.根据权利要求10所述的方法，其特征在于，所述触摸滑动事件包括所述触摸滑动操作产生的一系列触摸事件，所述将所述触摸滑动事件转换为所述投屏窗口的边缘滑动事件，包括：
根据目标事件生成触摸按下事件，所述目标事件为所述触摸滑动操作在所述投屏窗口内产生的第一个触摸事件，所述触摸按下事件为所述源投屏设备的屏幕边缘事件；
根据所述触摸按下事件和所述触摸滑动事件中位于所述投屏窗口内的触摸事件，生成所述边缘滑动事件。
13.根据权利要求12所述的方法，其特征在于，所述根据目标事件生成触摸按下事件，包括：
在所述目标事件前插入所述触摸按下事件，所述触摸按下事件的坐标与所述目标事件的坐标相同。
14.根据权利要求12所述的方法，其特征在于，所述根据目标事件生成触摸按下事件，包括：
将所述目标事件转换为所述触摸按下事件。
15.根据权利要求10-14任一项所述的方法，其特征在于，所述方法还包括：
在所述触摸滑动操作的起始触摸点位于目标区域外的情况下，响应所述触摸滑动事件，更新所述目的投屏设备的屏幕显示内容。
16.根据权利要求10-15任一项所述的方法，其特征在于，所述方法还包括：
接收所述源投屏设备发送的与所述触摸滑动事件对应的屏幕显示内容，并在所述投屏窗口中显示所述屏幕显示内容。
17.一种设备控制方法，其特征在于，应用于源投屏设备，所述方法包括：
若接收到用户在所述源投屏设备上的触摸滑动操作，则将第一区域作为屏幕边缘区域，对所述触摸滑动操作产生的触摸滑动事件进行边缘滑动手势的检测；
若接收到目的投屏设备发送的触摸滑动事件，则将第二区域作为屏幕边缘区域，对接收到的所述触摸滑动事件进行边缘滑动手势的检测；其中，所述第一区域和所述第二区域均为从所述源投屏设备的屏幕边缘向内延伸形成的区域，所述第二区域的覆盖范围大于所述第一区域的覆盖范围；
执行检测到的边缘滑动手势对应的控制功能，更新屏幕显示内容。
18.一种终端设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求10-17任一项所述的方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求10-17任一项所述的方法。
CN202011548741.5A 2020-12-24 2020-12-24 设备控制方法和终端设备 Active CN114741039B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202011548741.5A CN114741039B (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备
CN202310864279.7A CN117093165A (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备
US18/258,893 US20240045640A1 (en) 2020-12-24 2021-12-10 Device Control Method and Terminal Device
JP2023538943A JP7605533B2 (ja) 2020-12-24 2021-12-10 デバイス制御方法及び端末デバイス
PCT/CN2021/137200 WO2022135186A1 (zh) 2020-12-24 2021-12-10 设备控制方法和终端设备
EP21909183.2A EP4242824A4 (en) 2020-12-24 2021-12-10 DEVICE CONTROL METHOD AND TERMINAL DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011548741.5A CN114741039B (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310864279.7A Division CN117093165A (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备

Publications (2)

Publication Number Publication Date
CN114741039A true CN114741039A (zh) 2022-07-12
CN114741039B CN114741039B (zh) 2023-09-08

Family

ID=82158794

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011548741.5A Active CN114741039B (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备
CN202310864279.7A Pending CN117093165A (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310864279.7A Pending CN117093165A (zh) 2020-12-24 2020-12-24 设备控制方法和终端设备

Country Status (5)

Country Link
US (1) US20240045640A1 (zh)
EP (1) EP4242824A4 (zh)
JP (1) JP7605533B2 (zh)
CN (2) CN114741039B (zh)
WO (1) WO2022135186A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221517A1 (zh) * 2022-05-20 2023-11-23 Oppo广东移动通信有限公司 导航控制方法及装置、终端设备、存储介质
WO2024131661A1 (zh) * 2022-12-21 2024-06-27 华为技术有限公司 设备管理方法及电子设备
WO2025002444A1 (zh) * 2023-06-30 2025-01-02 北京字跳网络技术有限公司 多媒体内容的投屏方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115857786B (zh) * 2023-02-27 2023-07-07 蔚来汽车科技(安徽)有限公司 用于实现触控交互的方法和触控交互设备
CN117170528B (zh) * 2023-10-19 2024-02-06 惠州市炬能量电子科技有限公司 一种基于边缘计算的光学触摸投屏方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223490A1 (en) * 2013-02-07 2014-08-07 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and method for intuitive user interaction between multiple devices
US20190295498A1 (en) * 2018-03-23 2019-09-26 Samsung Electronics Co., Ltd. Method for supporting user input and electronic device supporting the same
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110597474A (zh) * 2019-09-12 2019-12-20 联想(北京)有限公司 信息处理方法及电子设备
CN110618970A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 文件传输方法和电子设备
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备
CN110703966A (zh) * 2019-10-17 2020-01-17 广州视源电子科技股份有限公司 文件共享方法、装置、系统、相应设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076399A (ja) * 2009-09-30 2011-04-14 Fujitsu General Ltd 画面共有システム、画面共有システムにおけるポインタ表示方法及び画面共有プログラム
WO2012020868A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US9218125B2 (en) * 2010-09-24 2015-12-22 Blackberry Limited Portable electronic device and method of controlling same
US20140123080A1 (en) * 2011-06-07 2014-05-01 Beijing Lenovo Software Ltd. Electrical Device, Touch Input Method And Control Method
KR101339420B1 (ko) * 2011-10-05 2013-12-10 한국과학기술원 베젤 영역을 이용한 전자책 컨텐츠 제어방법 및 장치
US9164779B2 (en) 2012-02-10 2015-10-20 Nokia Technologies Oy Apparatus and method for providing for remote user interaction
CN105210023B (zh) * 2013-03-06 2018-10-26 诺基亚技术有限公司 装置及相关方法
US9851896B2 (en) * 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
US10129325B2 (en) * 2014-03-05 2018-11-13 ShowKit, Inc. Systems and methods for controlling a device via gestures received by a remote device
WO2015131917A1 (de) * 2014-03-06 2015-09-11 Unify Gmbh & Co. Kg Verfahren zum steuern einer anzeigeeinrichtung an den rand eines darzustellenden informationselements
US20160259544A1 (en) * 2015-03-04 2016-09-08 Artem Polikarpov Systems And Methods For Virtual Periphery Interaction
KR102481878B1 (ko) * 2015-10-12 2022-12-28 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 표시방법
CN105487805B (zh) * 2015-12-01 2020-06-02 小米科技有限责任公司 对象操作方法及装置
CN105892842A (zh) * 2015-12-14 2016-08-24 乐视移动智能信息技术（北京）有限公司 屏幕触控方法及装置
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
US20170195734A1 (en) * 2015-12-31 2017-07-06 Opentv, Inc. Systems and methods for enabling transitions between items of content based on multi-level gestures
CN111880870B (zh) * 2020-06-19 2024-06-07 维沃移动通信有限公司 控制电子设备的方法、装置和电子设备
CN114077411A (zh) * 2020-08-11 2022-02-22 华为技术有限公司 数据传输方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223490A1 (en) * 2013-02-07 2014-08-07 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and method for intuitive user interaction between multiple devices
US20190295498A1 (en) * 2018-03-23 2019-09-26 Samsung Electronics Co., Ltd. Method for supporting user input and electronic device supporting the same
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110673782A (zh) * 2019-08-29 2020-01-10 华为技术有限公司 一种应用于投屏场景的控制方法以及相关设备
CN110597474A (zh) * 2019-09-12 2019-12-20 联想(北京)有限公司 信息处理方法及电子设备
CN110618970A (zh) * 2019-09-12 2019-12-27 联想(北京)有限公司 文件传输方法和电子设备
CN110703966A (zh) * 2019-10-17 2020-01-17 广州视源电子科技股份有限公司 文件共享方法、装置、系统、相应设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221517A1 (zh) * 2022-05-20 2023-11-23 Oppo广东移动通信有限公司 导航控制方法及装置、终端设备、存储介质
WO2024131661A1 (zh) * 2022-12-21 2024-06-27 华为技术有限公司 设备管理方法及电子设备
WO2025002444A1 (zh) * 2023-06-30 2025-01-02 北京字跳网络技术有限公司 多媒体内容的投屏方法、设备及存储介质

Also Published As

Publication number Publication date
WO2022135186A1 (zh) 2022-06-30
EP4242824A4 (en) 2024-05-15
EP4242824A1 (en) 2023-09-13
JP7605533B2 (ja) 2024-12-24
US20240045640A1 (en) 2024-02-08
CN114741039B (zh) 2023-09-08
CN117093165A (zh) 2023-11-21
JP2024500493A (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
CN114741039B (zh) 设备控制方法和终端设备
CN115297199B (zh) 一种具有折叠屏的设备的触控方法与折叠屏设备
WO2020108356A1 (zh) 一种应用显示方法及电子设备
CN114115769B (zh) 一种显示方法及电子设备
WO2021185250A1 (zh) 图像处理方法及装置
US20160162241A1 (en) Method and electronic device for controlling display thereof
CN116360725B (zh) 显示交互系统、显示方法及设备
KR20150127989A (ko) 사용자 인터페이스 제공 방법 및 장치
CN110780929B (zh) 调用硬件接口的方法及电子设备
WO2021057699A1 (zh) 具有柔性屏幕的电子设备的控制方法及电子设备
CN113115439A (zh) 定位方法及相关设备
CN112130788A (zh) 一种内容分享方法及其装置
US20230087282A1 (en) Dual wi-fi connection method and electronic device
US20150103222A1 (en) Method for adjusting preview area and electronic device thereof
US10237087B2 (en) Method for controlling transmission speed and electronic device thereof
US10331334B2 (en) Multiple transparent annotation layers for use within a graphical user interface
CN117631939A (zh) 一种触控输入的方法、系统、电子设备及存储介质
CN116033333B (zh) 确定位置信息的方法、电子设备及可读存储介质
CN114253496B (zh) 一种显示方法及电子设备
CN116095225B (zh) 终端设备的图像处理方法及装置
WO2023071590A1 (zh) 输入控制方法及电子设备
CN110162349B (zh) 桌面启动器加速启动的方法、终端以及存储介质
CN116149501A (zh) 显示方法和电子设备
CN118138813A (zh) 一种光标控制方法和电子设备
CN119148912A (zh) 窗口控制方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant