[go: up one dir, main page]

CN111782098A - 一种页面导航方法、装置和智能设备 - Google Patents

一种页面导航方法、装置和智能设备 Download PDF

Info

Publication number
CN111782098A
CN111782098A CN202010632544.5A CN202010632544A CN111782098A CN 111782098 A CN111782098 A CN 111782098A CN 202010632544 A CN202010632544 A CN 202010632544A CN 111782098 A CN111782098 A CN 111782098A
Authority
CN
China
Prior art keywords
page
navigation
page navigation
focus
navigation command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010632544.5A
Other languages
English (en)
Inventor
周志顺
陈淑融
王岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202010632544.5A priority Critical patent/CN111782098A/zh
Publication of CN111782098A publication Critical patent/CN111782098A/zh
Priority to CN202011238921.3A priority patent/CN112148180B/zh
Priority to PCT/KR2021/008421 priority patent/WO2022005246A1/en
Priority to US17/366,631 priority patent/US12039151B2/en
Priority to EP21833897.8A priority patent/EP4158458A4/en
Priority to US18/750,324 priority patent/US20240338109A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施方式公开了一种页面导航方法、装置和智能设备。该方法包括：从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；分别执行所述第一页面导航命令和第二页面导航命令。本发明实施方式从多个信息源获取导航信息，可以基于多个页面导航命令实现协同导航，提高了导航效率。

Description

一种页面导航方法、装置和智能设备
技术领域
本发明涉及智能设备技术领域，更具体的说，涉及一种页面导航方法、装置和智能设备。
背景技术
页面导航是指将光标或者焦点框等焦点从页面上的一个位置移动到另外一个位置，比如用鼠标将光标从一个元素挪动到另外一个元素上。
通常，个人电脑配置有鼠标和键盘，现代移动设备配置有触摸屏，都可以用于快速移动焦点。但是目前依然存在很多不具备使用鼠标键盘和触摸屏的电子设备，比如需要使用遥控器方向键的电视(TV)和投影设备等大屏幕设备以及虚拟现实/增强现实(VR/AR)等异形设备，均不具备鼠标且无法使用触控。另外，对于传统设备，还存在因身体缺陷而无法使用鼠标键盘和触摸屏等外设的情形。
可见，现有技术中过度依赖鼠标、键盘和遥控器，具有导航信息源单一的缺点，不利于导航效率的提升。比如，人们通常使用键盘中的方向键将焦点从一个元素移动到另外一个元素，然而这需要经过路径上的所有元素，需要大量的按键操作，降低了导航效率。
发明内容
本发明提出一种页面导航方法、装置和智能设备，可以提高页面导航效率。
本发明实施方式的技术方案如下：
一种页面导航方法，该方法包括：
从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；
基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；
分别执行所述第一页面导航命令和第二页面导航命令。
在一个实施方式中，所述第一信息源包括下列中的至少一个：鼠标；键盘；遥控器；
所述第二信息源包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器。
在一个实施方式中，所述分别执行第一页面导航命令和第二页面导航命令包括：
执行所述第二页面导航命令以根据第二移动速度在页面中移动焦点，执行所述第一页面导航命令以根据第一移动速度在页面中移动焦点；
其中第二移动速度大于第一移动速度。
在一个实施方式中，所述基于所述第二导航信息生成第二页面导航命令包括：解析所述页面以确定兴趣点；基于所述第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。
在一个实施方式中，所述兴趣点包括可交互元素或不可交互元素。
在一个实施方式中，所述基于所述第二导航信息生成第二页面导航命令包括：解析包含多个TAB表的平铺页面以生成包含所述多个TAB表的层叠状态表；生成用于展示所述层叠状态表的第二页面导航命令；
所述分别执行所述第一页面导航命令和第二页面导航命令包括：执行所述第二页面导航命令，以展示所述层叠状态表；执行所述第一页面导航命令，以在所述层叠状态表的TAB表之间穿越焦点。
在一个实施方式中，所述展示层叠状态表包括下列中的至少一个：
以轮转显示方式展示层叠状态表；
以平铺显示方式展示层叠状态表；
以树状显示方式展示层叠状态表。
在一个实施方式中，所述分别执行所述第一页面导航命令和第二页面导航命令包括：
执行所述第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；
执行所述第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
一种页面导航装置，包括：
获取模块，用于从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；
命令生成模块，用于基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；
执行模块，用于分别执行所述第一页面导航命令和第二页面导航命令。
在一个实施方式中，所述第一信息源包括下列中的至少一个：鼠标；键盘；遥控器；
所述第二信息源包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器。
在一个实施方式中，执行模块，用于执行所述第二页面导航命令以根据第二移动速度在页面中移动焦点，执行所述第一页面导航命令以根据第一移动速度在页面中移动焦点；其中第二移动速度大于第一移动速度。
在一个实施方式中，命令生成模块，用于解析所述页面以确定兴趣点；基于所述第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。
在一个实施方式中，所述兴趣点包括可交互元素或不可交互元素。
在一个实施方式中，命令生成模块，用于解析包含多个TAB表的平铺页面以生成包含所述多个TAB表的层叠状态表；生成用于展示所述层叠状态表的第二页面导航命令；
执行模块，用于执行所述第二页面导航命令，以展示所述层叠状态表；执行所述第一页面导航命令，以在所述层叠状态表的TAB表之间穿越焦点。
在一个实施方式中，执行模块，用于执行下列中的至少一个：
以轮转显示方式展示层叠状态表；
以平铺显示方式展示层叠状态表；
以树状显示方式展示层叠状态表。
在一个实施方式中，执行模块，用于执行所述第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；执行所述第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
一种智能设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上任一项所述的页面导航方法。
一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上任一项所述的页面导航方法。
从上述技术方案可以看出，从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；基于第一导航信息生成第一页面导航命令，基于第二导航信息生成第二页面导航命令；分别执行第一页面导航命令和第二页面导航命令。可见，本发明实施方式从多个信息源获取导航信息，可以基于多个页面导航命令实现协同导航，提高了导航效率。
而且，通过执行第二页面导航命令可以实现快速移动焦点，通过执行第一页面导航命令可以实现精确调整焦点。
另外，通过层叠状态中的三维导航，可以显著减少穿梭时间。通过第一页面导航命令和第二页面导航命令的协同配合，基于切换焦点实现了快速移动焦点，可以显著减少按键次数。
附图说明
图1为根据本发明实施方式的页面导航方法的流程图。
图2为根据本发明实施方式利用辅助导航层与其他导航外设独立且互补地驱动焦点的示意图。
图3为根据本发明实施方式焦点快速导航到下一个兴趣元素的示意图。
图4为现有技术中方向键功能冲突导致导航失败的示意图。
图5为现有技术中连续空间导航在TAB之间穿梭的示意图。
图6为本发明实施方式结合辅助导航层实现三维导航的示意图。
图7为现有技术中输入单词的示意图。
图8为本发明实施方式多输入协同操作减少密集操作区的按键次数的示意图。
图9为本发明实施方式减少翻页反复操作需要的按键次数的示意图。
图10为本发明实施方式实现页面导航的架构示意图。
图11为根据本发明实施方式的页面导航装置的结构图。
图12为根据本发明智能设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
在本发明实施方式中，提出一种基于多输入协同操作的界面导航技术方案，整合除了现有导航外设(例如鼠标和方向键)之外的其他可用于导航的外设输入信息，并将这些信息转化为辅助导航输入，以与现有导航外设并发地协同控制焦点的移动。
进一步地，本发明实施方式还提出通过三维加速导航和密集区域备选焦点以加速导航的方法，可以显著减少按键次数，优化导航效率。
图1为根据本发明实施方式的页面导航方法的流程图。
如图1所示，该方法包括：
步骤101：从第一信息源获取第一导航信息，从第二信息源获取第二导航信息。
在这里，第一信息源优选为传统的导航外设，比如鼠标；键盘；遥控器；等等。第一导航信息为第一信息源提供的、用于实现导航的信息，比如键盘或遥控器上的方向按键触发事件，鼠标的单击触发事件，等等。
第二信息源可以实施为辅助导航外设，包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器；等等。第二导航信息为第二信息源提供的、用于实现导航的信息，比如二维摄像头检测的手势指令，语音麦克风检测的语音指令，等等。
以上示范性描述了第一信息源和第二信息源的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
步骤102：基于第一导航信息生成第一页面导航命令，基于第二导航信息生成第二页面导航命令。
在这里，基于第一导航信息生成第一页面导航命令包括：基于鼠标、键盘、遥控器等提供的触发事件生成相应的页面导航命令。比如，基于键盘或遥控器上的四个方向键上的各自触发事件，分别生成上下左右移动焦点的导航指令。基于第二导航信息生成第二页面导航命令包括：基于语音麦克风、二维摄像头、三维摄像头、红外摄像头、运动传感器、姿态传感器、可穿戴设备、远端移动设备上的共享传感器信息源、模拟数据发生器或模拟遥控器等提供的传感信息生成相应的页面导航命令。比如，基于语音麦克风检测的语音信息生成左移焦点的导航命令；基于姿态传感器检测的左手滑动信息生成左移焦点的导航命令，等等。
步骤103：分别执行第一页面导航命令和第二页面导航命令。
在这里，第一页面导航命令和第二页面导航命令相互独立，执行第一页面导航命令和第二页面导航命令的各自过程中并不共用硬件资源，因此第一页面导航命令和第二页面导航命令独立且互补地驱动焦点。
其中，步骤102中分别执行第一页面导航命令和第二页面导航命令的含义包括下列中的至少一个：(1)、先执行第一页面导航命令，再执行第二页面导航命令；(2)、先执行第二页面导航命令，再执行第一页面导航命令；(3)、同时执行第一页面导航命令和第二页面导航命令。
在一个实施方式中，步骤103中执行第二页面导航命令以根据第二移动速度在页面中移动焦点，执行第一页面导航命令以根据第一移动速度在页面中移动焦点；其中第二移动速度大于第一移动速度。
可见，通过执行第二页面导航命令可以实现快速移动焦点，通过执行第一页面导航命令可以实现精确调整焦点。
在一个实施方式中，步骤102中基于第二导航信息生成第二页面导航命令包括：解析页面以确定兴趣点；基于第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。优选地，兴趣点包括可交互元素或不可交互元素，等等。
因此，本发明实施方式通过执行控制焦点在兴趣点之间跳跃的第二页面导航命令，可以实现快速移动焦点，而且通过执行第一页面导航命令可以实现精确调整焦点。
在一个实施方式中，步骤102中基于第二导航信息生成第二页面导航命令包括：解析包含多个TAB表的平铺页面以生成包含多个TAB表的层叠状态表；生成用于展示层叠状态表的第二页面导航命令。步骤103中分别执行第一页面导航命令和第二页面导航命令包括：执行第二页面导航命令，以展示层叠状态表；执行第一页面导航命令，以在层叠状态表的TAB表之间穿越焦点。优选地，层叠状态表包括下列中的至少一个：以轮转显示方式展示层叠状态表；以平铺显示方式展示层叠状态表；以树状显示方式展示层叠状态表，等等
可见，本发明实施方式通过层叠状态中的三维导航，可以显著减少穿梭时间。
在一个实施方式中，步骤103中分别执行第一页面导航命令和第二页面导航命令包括：执行第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；执行第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
因此，本发明实施方式通过第一页面导航命令和第二页面导航命令的协同配合，基于切换焦点实现了快速移动焦点，可以显著减少按键次数。
因此，在本发明实施方式中，提供一种多输入协同操作页内导航的技术方案，在现有的第一信息源(比如方向键)被渲染引擎消耗用于实现网页功能或者空间导航不变的前提下，在系统全局的视角新增辅助导航层(对应于基于第二信息源实现的辅助导航功能)。通过辅助导航层整合除现有导航外设之外的其他可用于导航的外设输入信息，并将这些信息用于协作并加速导航，达到现有导航键无法独立完成的功能。由于新增的和已有的导航目标都是作用和驱动焦点元素，它们之间可以互相补充。同时，新增的辅助导航层是相对独立的子系统，不需要复用现有的导航键，对现有功能不冲突。另外，辅助导航可以是精确的也可以是模糊的，根据外设可提供的辅助信号，在现有导航基础上还可以提供加速功能。
图2为根据本发明实施方式利用辅助导航层与其他导航外设独立且互补地驱动焦点的示意图。
其中，除了鼠标、键盘和遥控器等对应于第一信息源的传统导航外设之外，本发明实施方式还新增了对应于第二信息源的辅助导航层。辅助导航层一方面收集并转换系统可用的传感信息，将其转换为导航信息；另一方面通过导航目标内容特征在抽象层上规划/优化导航路径；然后通过平台接口执行导航动作驱动光标或者焦点移动到导航目的位置。
下面描述本发明实施方式的典型实施例。
实施例1：
第一信息源实施为遥控器，第二信息源实施为姿态传感器，用户同时使用手势和遥控器快速移动浏览器上的焦点，比如光标。
如果页面是基于光标为主的导航驱动方式，那么点击遥控器上的四个方向键将以既定的步进相对缓慢地移动光标。在网页或者本地原生程序页面浏览的过程中，需要大量的点击(或者长按)方向键的操作来驱动光标移动。
本发明实施方式的辅助导航层通过将用户的手势动作信息转换成导航命令驱动光标移动。用户可以设置辅助导航层驱动光标的频度从而控制手势移动光标的速度比方向键的移动速度更快。比如，用户可以通过左手预定手势快速移动光标，同时利用右手的遥控器对光标位置做微调。因为两种导航方式并不复用资源，所以手势的导航可以随时开始或者停止。
实施例2：
第一信息源实施为遥控器，第二信息源实施为姿态传感器，用户同时使用手势和遥控器快速移动浏览器上的焦点，比如光标。
如果页面是基于光标为主的导航驱动方式，那么点击遥控器的四个方向键将以既定的步进相对缓慢地移动光标，在浏览的过程中需要大量的点击(或者长按)方向键的操作来驱动光标移动，其中有一个重要的影响因素是：通常情况光标的移动是连续的，即使是空白区域也需要消费多次点击以穿越。
图3为根据本发明实施方式焦点快速导航到下一个兴趣元素的示意图。本发明实施方式的辅助导航层根据当前屏幕内容的特征，将可交互元素(比如图片或视频)确定为兴趣点。辅助导航层在基于手势的导航过程中，将跳过路径上的空白和非兴趣元素，直接把光标设置到导航方向上的下一个兴趣元素上，接着用户可以根据自己的需要使用或者不使用遥控器方向键进一步微调。由于方向键并不受辅助导航层的影响，所以用户还可以将光标移回到空白位置。可选地，用户也可以设置兴趣点为所有可见元素，那么辅助导航层移动光标时仅跳过空白。
实施例3：
第一信息源实施为键盘，第二信息源实施为麦克风，用户使用语音移动卡住的焦点。
如果应用程序运行环境是基于空间导航的导航驱动方式，那么点击键盘的四个方向键将驱动焦点在可交互元素之间移动。一方面，由于互联网页面众多，网页内容作者在页面可访问性设计上的欠缺，某些网页组件已经占用这四个方向键，于是当焦点移动到这些元素上就无法通过四个方向键将焦点移走，比如很多网站的下拉框就有这个问题。另一方面，对于某些复杂组件，即使按照W3C的建议设计也会消耗方向键，比如播放控制器，常常使用上下键以控制音量，使用左右键控制播放进度条，那么一旦焦点移动到这样的组件上就无法再通过方向键将焦点移走。图4为现有技术中方向键功能冲突导致导航失败的示意图。
在本发明实施方式中，采用麦克风提供的语音导航作为辅助导航层。由于麦克风导航跟方向键导航是独立的，那么用户直接通过其他语音指令就可以移动卡住的焦点。而且，当焦点从卡住位置移开后，继续可以通过键盘的四个方向键驱动焦点在可交互元素之间移动。
实施例4：
用户通过使用辅助导航在页面内进行三维移动。
不论页面是WEB还是原生的，现在绝大多数的页面要么基于PC显示环境，要么基于移动设备，较少考虑大屏幕大显示区域的显示环境，更很少考虑无限显示区域(VR/AR)的环境。由于显示面积有限，页面常常分类/分页显示：比如大量类似YouTube的页面会根据不同的类型分成多个TAB页，当前只展示出一个TAB的内容；类似GOOGLE搜索结果的网页会拆分显示列表到多个页面中，当前只展示出一个子页面的内容；以及类似office软件顶部的功能菜单，都是用不同的TAB面板层叠起来一次只展示出一个面板。那么对于这种页面，为了从一个TAB页中的位置导航到另一个TAB页中的位置，不论是采用光标还是焦点导航，都需要先移动到TAB HEAD点击展开对应的TAB，然后再移动到对应TAB的对应位置，光标和焦点移动的路径很长，频繁操作的情况下让人身心疲惫。图5为现有技术中连续空间导航在TAB之间穿梭的示意图。
本发明实施方式引入的辅助导航可以让用户双手并用控制，比如左手手势触发进入三维展开状态，当前页面折叠的内容将以某种形式展开来(树形展开、平铺展开或者三维展开，等等)，右手接着在展开的TAB页之间直接穿透式导航，三维展开状态取消后，光标或者焦点已经跳到对应页面的对应位置。
举例，可以折叠在一起的TAB页比喻为一本书，假设蚂蚁要从第一页的坐标(10行，10列)走到第五页的坐标(10行，10列)。在现有技术中，它需要先从第一页的坐标(10行，10列)走到第一页的页边，然后再从第一页的页边走到第五页的页边，然后再从第五页的页边走到第五页的坐标(10行，10列)。
图6为本发明实施方式结合辅助导航层实现三维导航的示意图。
在本发明实施方式中，当进入三维展开模式后，相当于在坐标(10行，10列)的位置把整本书钻了一个洞，蚂蚁可以沿着这个洞直接从第一页的坐标(10行，10列)走4步就到达第五页的坐标(10行，10列)。而且，在退出三维展开状态后，洞被还原且书翻到了第五页，蚂蚁在第五页的坐标(10行，10列)上。
因此，本发明实施方式的三维焦点移动可以减少大量的遥控器按键导航，而展开模式正好可以充分利用大屏幕大显示区域和AR设备等无限显示区域的优点。
实施例5：
用户通过使用辅助导航在减少密集交互区的移动次数。
输入法界面是典型的密集交互区域，它可以是一个原生组件也可以是网页内容的一部分。初学打字的人知道，需要让每个手指头覆盖一小片区域，这样就可以通过减少手指头的移动距离来加快打字速度。即使在手机上，人们也是发现两个手指头输入要比一个手指头快非常多。然而，当用户使用遥控器的时候，相当于只有一个手指头操作。而且更糟糕的是这个手指头还不能跳跃，需要贴着输入法界面滑行经过两点间的每一个按键。
图7为现有技术中输入单词的示意图。当开始焦点位于字母“D”时，为了输入单词“DOG”,用户需要遥控器按3次回车键和12次方向键，总共15次按键操作才能完成输入，非常繁琐。
本发明实施方式的结合辅助导航的方式，让用户可以双手操作(多方输入)并能跳跃前进。本发明实施方式通过多输入协同操作的方法，在密集交互区引入备选焦点和激活焦点，用户可以设置两个或者多个备选焦点，任意时候其中有且只有一个作为激活焦点。用户通过额外的输入方式触发激活焦点在备选焦点之间切换，切换后方向键控制当前激活焦点移动，实现跳跃。
图8为本发明实施方式多输入协同操作减少密集操作区的按键次数的示意图。其中，预先设置引入两个备选焦点，分别为按键D和按键L。
典型的场景是：用户通过左手发出的手势指令触发备选焦点的切换，右手通过方向键驱动切换后的当前激活焦点继续导航。这样，当开始焦点位于字母“D”时，只需要按3次回车键、2次方向键和2次备选焦点切换操作就可以输入“DOG”，按键次数显著缩小，而且可以左右手协同操作。
进一步地，还可以利用备选焦点切换动作代替按回车键触发输入，从而更进一步减少按键动作，比如设定激活焦点移动后的备选焦点切换动作可以触发当前激活焦点下的元素直接输入，那么“D”和“O”的回车键都可以省略，总按键次数差不多能再缩小一半。
更进一步地，结合实施例4可以对翻页场景进行优化。
图9为本发明实施方式减少翻页反复操作需要的按键次数的示意图。
正常情况下符号和字母的输入需要移动到页面切换键进行翻页，应用实施例4的优化方法，往返翻页键的这段路程所需的按键次数都可以避免。其中，触发备选焦点切换的传感信号并不限于手势。可以根据不同设备和使用环境定制，例如VR和AR之类的极近距离操作环境，就可以考虑通过眼球运动的检测来触发备选焦点之间的切换，沿着用户眼球移动向量找到向量方向上最近的备选焦点将之变成当前激活焦点，又例如提供给特殊人群使用的异型设备，此时可以只是一个简单的开关。
以上示范性描述了本发明实施方式的典型实施例。本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明实施方式的保护范围。
可见，本发明涉及焦点等用户在电子浏览过程中的导航控制。在当前系统已有的传统外设基础上新增辅助导航层(或者称为全局辅助导航子系统)，它包括用户配置、传感信息整合、导航路径规划和导航命令执行等子模块。传感信息整合子模块负责整合当前系统可用的所有传感和仿真资源，并将之转换为格式化的辅助导航输入数据。导航路径规划子模块通过当前呈现内容的特征分析结果和导航输入数据进行辅助导航路径规划，并得到导航命令输出。导航命令执行子模块通过合适的系统接口触发导航执行。
本发明提供的辅助导航控制跟当前已有的导航控制是各自独立又相互补充的，它们互不依赖互不干扰，为用户提供更灵活的导航选择。由于跟现有导航控制不共用硬件资源，用户不需要复用当前的功能键即可实现辅助导航控制，能以简单顺滑的方式启用和退出辅助导航控制，用户可以随意调用辅助导航控制。同时，新增的辅助导航根据获取到的导航数据进行尽力而为的导航，用户可以根据其导航的精度配合现有导航资源使用。
图10为本发明实施方式实现页面导航的架构示意图。
基于图10可见，用户配置启用辅助导航子系统，并选择可用的传感信息源/或仿真信息源，并完成传感信息的适配调试。传感信息整合子模块启动。后台进程监听获取传感/仿真信息源的输入，并将其转换为导航指引数据输出。导航路径规划子模块接收到导航数据输入后，采样系统呈现内容，得到可导航元素的位置，分析导航路径得到目的导航位置，输出导航指令。导航命令执行模块根据传入的导航指令，调用对应的平台系统接口，触发光标和焦点移动，还可以触发页面展开或跳转等导航行为。
具体地，用户配置模块的主要功能包括：
(1)、用户决定是否开启辅助导航子系统；
(2)、枚举可用的所有传感资源和仿真资源，其中传感资源包括但不限于：本设备上装备的各种传感外设资源，比如语音麦克风，各种(二维、三维、红外)摄像头、运动传感器、姿态传感器等等。同时，还包括通过传感信息共享子系统获取到的外部的传感信息资源，比如通过蓝牙配对获取到的类似智能手表等可穿戴设备上的传感器信息、通过统一账号关联得到的远端移动设备上共享的传感器信息等。仿真资源包括但不限于：本系统或者其他相连系统上通过软件模拟出来的传感器数据，比如软件数据发生器模拟出的各种传感器信息，手机模拟遥控器发的导航按键信息，等等。
(3)、用户对选定的信息源进行调试，以进一步选择合适的采样频率(对应导航速度和灵敏度)，对于有大量连续输入的信息源，可以根据采样率丢弃数据帧，以调整灵敏度。可选地，还可以设置默认移动步长，即在没有兴趣元素的情况下，单纯的方向信息触发一次导航移动的距离。比如当传感源输入信息不能包含移动距离，只有几个特定的简单状态变化(对应成特定的方向)的时候，就类似于用户在遥控器上按方向键驱动光标移动的默认步长。在没有配置兴趣模型的时候，用户把辅助导航的默认步长设置成比较大的数值，每次的辅助导航命令能跳很大的距离，再配合遥控器上的方向键跳小距离，能起到快速调节和精细调节的配合效果(见实施例1)。
(4)、用于选择辅助导航的兴趣模型和启用加速三维导航。其中导航的兴趣模型包括是否设定兴趣元素：比如不设定、设定为可交互元素、设定为可见元素，或者设定为某类或者几类特定具体的元素，或者设定为具有某些特征的的元素，等等。加速三维导航用于简化折叠内容之间的导航步骤，用户可以设置加速三维导航的级别。
(5)、保存设置，功能开启。
传感信息整合模块的的主要功能包括：
(1)、根据用户配置模块的请求枚举可用传感器数据源和仿真数据源，其中跨系统间的传感信息共享机制和系统仿真属于外部模块技术，本发明不再赘述。
(2)、监听数据源，适配数据，并转换为统一的导航数据输出格式。其中当数据源输入的是简单状态，比如摄像头识别静态方向标志、静态手势，以及简单按键输入和模拟按键输入等，则输出为对应的方向：(方向类型，方向值)。表示在该方向上进行一次导航以移动单位步长或者以移动到该方向上的下一个兴趣元素；当输入源信息含速度变化的数据，类似鼠标，摄像头或者其他传感器识别标识体的运动轨迹，则其输入包含移动步长信息，则输出为：(矢量类型，方向值，移动距离)；当输入源信息是特定指令，例如指令跳转到某元素或者搜索关键字的元素；特定手势或语音以及功能按钮触发指定功能，比如直接跳回到表头，折叠页面展开等功能，则输出为：(指令类型，指令值，指令参数)。
(3)、将转换后的数据入队，并按预设的速率发送数据到导航路径规划模块，或者抛弃数据。
(4)、监听系统状态，发现数据源变化或者发现新数据源时，通知用户调整配置。
导航路径规划模块接收到传感信息整合数据模块的输入后，生成用于描述本次导航需的目的地的导航命令。
导航命令执行模块获取到当前是光标导航还是焦点导航：
(1)、如果是光标导航，通过导航命令执行模块获取当前光标的位置，然后处理传感信息整合数据模块输入。其中：(1.1)、如果收到方向类型输入且没有兴趣模型设置，则根据光标当前位置和默认步长计算目标位置，如目标位置超出视口边界则截断在视口边界处，并发送位置到导航命令执行模块；(1.2)、如果收到方向类型输入且设置了兴趣模型，则：首先从内容分析模块获取该兴趣模型对应的节点树；以当前点为起点，遍历该节点树，在目标方向上根据空间导航算法搜索最近节点，如果找到，则通过目标节点计算目标位置；如果在目标方向上找不到任何节点，则根据光标当前位置和默认步长计算目标位置，如目标位置超出视口边界则截断在视口边界处，并发送位置到导航命令执行模块；(1.3)、如果收到矢量类型的输入，则不论是否设置兴趣模型，都根据光标当前位置和矢量信息计算目标位置，如目标位置超出视口边界则截断在视口边界处，并发送位置到导航命令执行模块；(1.4)、如果收到指令类型输入，则查询指令列表，触发对应指令相关的计算。
(2)、如果是焦点导航，通过内容分析子模块获取当前焦点元素的位置，然后处理传感信息整合数据模块输入。其中：(2.1)、如果收到方向类型输入且没有兴趣模型设置，设置兴趣类型为可交互元素，跳到下一步；(2.2)如果收到方向类型输入且设置了兴趣模型，则：首先从内容分析模块获取到该兴趣模型对应的节点树；以当前焦点元素为起点，遍历该节点树，在目标方向上根据空间导航算法搜索最近节点，如果找到，则发送目标节点到导航命令执行模块；如果在目标方向上找不到任何节点，则根据当前焦点无法移动；(2.2)、如果收到矢量类型的输入，忽略矢量信息，跟方向类型输入一样处理；(2.4)、如果收到指令类型输入，则查询指令列表，触发对应指令相关的计算.
目前，几乎所有的操作系统平台都支持获取和设置光标位置，同时也都提供了内容的可访问性系统接口(比如Windows的MSAA/IAccessible,UIAExpress,IAccessible2，Mac OS X的NSAccessibility，Linux的AT-SPI，Android的Accessibility framework，iOS的UIAccessibility，等等)。通过光标设置的系统接口可以执行基于光标导航的导航命令，通过系统可访问性接口可以反向给内容元素设置焦点，从而执行基于焦点的导航命令。
导航命令执行模块主要功能包括：
(1)、获取平台顶层窗口作为目标上下文。
(2)、查询目标上下文是否设置光标的接口，如果是则说明基于光标导航，否则基于焦点导航。
(3)、注册平台系统提供的可访问性接口，开始查询并响应顶层应用程序的内容变化，构建与可访问节点树并做好与之交互的准备。
(4)、收到导航路径规划模块的输入之后：如果是基于光标导航，则调用平台设置光标的接口将光标设置到目标位置；如果是基于焦点的导航，则通过传入元素匹配查找到可访问节点树上对应的节点，通过节点发送设置焦点事件；该事件会通过平台的可访问接口通知到应用程序框架完成设置焦点的动作，并通过JS引擎将焦点设置事件向上通知，从而实现更顶层APP逻辑的同步。
内容分析子模块的主要功能包括：
(1)、首先基于导航命令执行模块构建的可访问节点树，通过兴趣模型过滤筛选构建一棵目标类型内容节点子树，并随时与之保持同步更新。
(2)、在可访问节点树不全和获取存在困难的时候，通过外部的视频和图像分析系统(比如，图10中的特征分析系统)周期性采样屏幕显示内容，并分析提取屏幕显示内容对象来协助构建内容节点树；
(3)、提供内容节点树遍历接口，为空间导航算法搜索下一焦点提供节点信息。
其中，功能(2)为可选功能。
对于特殊导航指令的执行，系统可以预设特殊导航执行，用户把语音或者手势等任意外部触发机制与这些预设导航指令进行关联，以加速焦点或者光标的移动。
当导航路径规划模块收到特殊导航指令的时候，指令流程分别如下：
(1)、回到表头指令：
步骤1：从当前焦点元素开始根方向遍历可访问节点树，找到第一个角色为表头类型的节点为目标节点。步骤2：如果当前上下文是基于光标的导航，则查询该节点的位置，发送该位置到导航命令执行模块。步骤3：如果当前上下文是基于焦点的导航，则直接将目标节点发送到导航命令执行模块。
(2)、同级表元素展开并快速三维导航指令：
步骤1：查询当前焦点位置，询当前焦点位置所在分类面板表头节点的标识，并将二者入栈缓存(TAB ID,START_POSITION)，截该分类面板缩略图并缓存(TAB_ID_SNAPSHOT)。步骤2：逐一遍历当前分类面板同级的其他所有分类面板表头节点，对表头节点设置焦点，并发送点击或者确认事件，触发该分类面板显示，截该分类面板缩略图并缓存，如果此时用户发送确认消息，则表示用户希望导航到当前面板，则停止面板遍历.当同级分类面板都遍历完了用户还没有发送确认信号，则进入步骤3。步骤3：层叠轮转展示各分类面板缩略图，直到用户发送确认选择某一个分类面板的信号或者退出信号。对于确认选择信号，则导航到当前缩略图对应的表，并设置焦点到该分类面板的START_POSITION对应的元素，然后退出三维导航模式。对于退出信号，则退出三维导航模式，将焦点设置回进入三维导航模式时的分类表的对应位置。步骤4：第一次在该同级分类面板进行三维导航后，各分类面板表头节点和对应缩略图都已缓存下来，之后再次有三维导航命令请求，则直接层叠轮转展示缓存好的各分类面板缩略图供用户选择，同步骤3。
而且，本发明实施方式针对密集操作区域(例如但不限于输入法面板)的优化流程包括：
步骤1：当检测到该类型面板出现应用程序顶层，则首先根据预设在对应初始位置上方绘制备选焦点标志，可以但不限于虚线框表示备选焦点，实线框表示当前激活焦点。初始化一个备选焦点数组，对每一个备选焦点记录状态信息：ID，是否为激活，位置(及其对应的可访问节点)。步骤2：通过导航命令执行模块的可访问节点树监测应用程序面板上实际焦点元素的移动，并更新当前激活焦点的位置(及其对应的可访问节点信息)，并更新导航标志(实框)的绘制；步骤3：当接收到备选焦点切换命令，则在备选焦点数组中查询目标备选焦点，将其设置为新的激活焦点：其中如果当前激活焦点之前有过移动，通过导航命令执行模块向当前元素发送确认信号触发输入；将当前激活焦点状态设置为非激活，面板上绘制的标志更新为备选焦点标志(虚框)；将新备选焦点状态更新为激活，其对应面板上绘制的标志更新为激活焦点标志(实框)；通过导航命令执行模块向应用程序设置新激活焦点元素对应的节点元素为焦点元素。
基于上述描述，本发明实施方式还提出了一种页面导航装置。
图11为根据本发明实施方式的页面导航装置的结构图。
如图11所示，页面导航装置，包括：
获取模块1101，用于从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；
命令生成模块1102，用于基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；
执行模块1103，用于分别执行所述第一页面导航命令和第二页面导航命令。
在一个实施方式中，所述第一信息源包括下列中的至少一个：鼠标；键盘；遥控器；所述第二信息源包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器。
在一个实施方式中，执行模块1103，用于执行所述第二页面导航命令以根据第二移动速度在页面中移动焦点，执行所述第一页面导航命令以根据第一移动速度在页面中移动焦点；其中第二移动速度大于第一移动速度。
在一个实施方式中，命令生成模块1102，用于解析所述页面以确定兴趣点；基于所述第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。优选地，所述兴趣点包括可交互元素或不可交互元素。
在一个实施方式中，命令生成模块1102，用于解析包含多个TAB表的平铺页面以生成包含所述多个TAB表的层叠状态表；生成用于展示所述层叠状态表的第二页面导航命令；执行模块1103，用于执行所述第二页面导航命令，以展示所述层叠状态表；执行所述第一页面导航命令，以在所述层叠状态表的TAB表之间穿越焦点。
在一个实施方式中，执行模块1103，用于执行下列中的至少一个：以轮转显示方式展示层叠状态表；以平铺显示方式展示层叠状态表；以树状显示方式展示层叠状态表，等等。
在一个实施方式中，执行模块1103，用于执行所述第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；执行所述第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
综上所述，本发明实施方式提出一种多输入设备协同操作触发光标或者焦点移动的页面内导航方案。引入全局辅助导航层以将现有导航信号的输入跟其他导航信号的输入隔离，辅助导航信号行使独立的导航规则，使得资源不冲突，并为多设备协同操作提供运行基础。而且，辅助导航层行使独立的规则可以顺滑地启用和和退出，例如实施例4和实施例5，用户不用中断当前的导航去唤起新增功能，新增导航功能和现有导航功能几乎是平行的。还有，辅助导航层的导航规则可以复杂或简单，目的是定制现有导航方式没法独立完成的操作。还有，本发明实施方式提出基于页面内隐藏面板展开的三维加速导航和基于备选焦点切换的密集操作区域加速导航。另外，隐藏面板展开的三维加速导航基于空间换时间的方法，通过缓存展开内容提供用户选择以减少用户的点击操作。另外，备选焦点切换的密集操作区域加速导航以输入法面板为例，基于增加操作并行度的考量，通过新增信号触发焦点跳跃，在频繁反复的操作路径上减少按键操作。不仅于此，全局辅助导航层实施的难点是通过兼容的方法跟当前呈现内容进行交互来达到移动焦点的目的。
本发明实施方式还提出了具有存储器-处理器架构的智能设备。
图12为根据本发明具有存储器-处理器架构的智能设备的结构图。
如图12所示，具有存储器-处理器架构的智能设备包括：处理器1201和存储器1202；其中存储器1202中存储有可被处理器1201执行的应用程序，用于使得处理器1201执行如上任一项所述的智能设备的页面导航方法。
其中，存储器1202具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器1201可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
总之，在本发明实施方式中，从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；基于第一导航信息生成第一页面导航命令，基于第二导航信息生成第二页面导航命令；分别执行第一页面导航命令和第二页面导航命令。可见，本发明实施方式从多个信息源获取导航信息，可以基于多个页面导航命令实现分别导航，提高了导航效率。
而且，通过执行第二页面导航命令可以实现快速移动焦点，通过执行第一页面导航命令可以实现精确调整焦点。
另外，通过层叠状态中的三维导航，可以显著减少穿梭时间。通过第一页面导航命令和第二页面导航命令的协同配合，基于切换焦点实现了快速移动焦点，可以显著减少按键次数。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种页面导航方法，其特征在于，该方法包括：
从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；
基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；
分别执行所述第一页面导航命令和第二页面导航命令。
2.根据权利要求1所述的页面导航方法，其特征在于，
所述第一信息源包括下列中的至少一个：鼠标；键盘；遥控器；
所述第二信息源包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器。
3.根据权利要求2所述的页面导航方法，其特征在于，
所述分别执行第一页面导航命令和第二页面导航命令包括：
执行所述第二页面导航命令以根据第二移动速度在页面中移动焦点，执行所述第一页面导航命令以根据第一移动速度在页面中移动焦点；
其中第二移动速度大于第一移动速度。
4.根据权利要求2所述的页面导航方法，其特征在于，
所述基于所述第二导航信息生成第二页面导航命令包括：解析所述页面以确定兴趣点；基于所述第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。
5.根据权利要求4所述的页面导航方法，其特征在于，
所述兴趣点包括可交互元素或不可交互元素。
6.根据权利要求2所述的页面导航方法，其特征在于，
所述基于所述第二导航信息生成第二页面导航命令包括：解析包含多个TAB表的平铺页面以生成包含所述多个TAB表的层叠状态表；生成用于展示所述层叠状态表的第二页面导航命令；
所述分别执行所述第一页面导航命令和第二页面导航命令包括：执行所述第二页面导航命令，以展示所述层叠状态表；执行所述第一页面导航命令，以在所述层叠状态表的TAB表之间穿越焦点。
7.根据权利要求6所述的页面导航方法，其特征在于，所述展示层叠状态表包括下列中的至少一个：
以轮转显示方式展示层叠状态表；
以平铺显示方式展示层叠状态表；
以树状显示方式展示层叠状态表。
8.根据权利要求2所述的页面导航方法，其特征在于，
所述分别执行所述第一页面导航命令和第二页面导航命令包括：
执行所述第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；
执行所述第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
9.一种页面导航装置，其特征在于，包括：
获取模块，用于从第一信息源获取第一导航信息，从第二信息源获取第二导航信息；
命令生成模块，用于基于所述第一导航信息生成第一页面导航命令，基于所述第二导航信息生成第二页面导航命令；
执行模块，用于分别执行所述第一页面导航命令和第二页面导航命令。
10.根据权利要求9所述的页面导航装置，其特征在于，
所述第一信息源包括下列中的至少一个：鼠标；键盘；遥控器；
所述第二信息源包括下列中的至少一个：语音麦克风；二维摄像头；三维摄像头；红外摄像头；运动传感器；姿态传感器；可穿戴设备；远端移动设备上的共享传感器信息源；模拟数据发生器；模拟遥控器。
11.根据权利要求10所述的页面导航装置，其特征在于，
执行模块，用于执行所述第二页面导航命令以根据第二移动速度在页面中移动焦点，执行所述第一页面导航命令以根据第一移动速度在页面中移动焦点；其中第二移动速度大于第一移动速度。
12.根据权利要求10所述的页面导航装置，其特征在于，
命令生成模块，用于解析所述页面以确定兴趣点；基于所述第二导航信息，生成用于控制焦点在兴趣点之间跳跃的第二页面导航命令。
13.根据权利要求12所述的页面导航装置，其特征在于，
所述兴趣点包括可交互元素或不可交互元素。
14.根据权利要求10所述的页面导航装置，其特征在于，
命令生成模块，用于解析包含多个TAB表的平铺页面以生成包含所述多个TAB表的层叠状态表；生成用于展示所述层叠状态表的第二页面导航命令；
执行模块，用于执行所述第二页面导航命令，以展示所述层叠状态表；执行所述第一页面导航命令，以在所述层叠状态表的TAB表之间穿越焦点。
15.根据权利要求14所述的页面导航装置，其特征在于，
执行模块，用于执行下列中的至少一个：
以轮转显示方式展示层叠状态表；
以平铺显示方式展示层叠状态表；
以树状显示方式展示层叠状态表。
16.根据权利要求10所述的页面导航装置，其特征在于，
执行模块，用于执行所述第二页面导航命令，以将页面中的预定的备选焦点切换为激活焦点；执行所述第一页面导航命令，以在页面中从所述激活焦点的位置处移动焦点。
17.一种智能设备，其特征在于，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至8中任一项所述的页面导航方法。
18.一种计算机可读存储介质，其特征在于，其中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至8中任一项所述的页面导航方法。
CN202010632544.5A 2020-07-02 2020-07-02 一种页面导航方法、装置和智能设备 Pending CN111782098A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010632544.5A CN111782098A (zh) 2020-07-02 2020-07-02 一种页面导航方法、装置和智能设备
CN202011238921.3A CN112148180B (zh) 2020-07-02 2020-11-09 一种页面导航方法、装置和智能设备
PCT/KR2021/008421 WO2022005246A1 (en) 2020-07-02 2021-07-02 Page navigation method and electronic device
US17/366,631 US12039151B2 (en) 2020-07-02 2021-07-02 Page navigation method and electronic device
EP21833897.8A EP4158458A4 (en) 2020-07-02 2021-07-02 Page navigation method and electronic device
US18/750,324 US20240338109A1 (en) 2020-07-02 2024-06-21 Page navigation method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010632544.5A CN111782098A (zh) 2020-07-02 2020-07-02 一种页面导航方法、装置和智能设备

Publications (1)

Publication Number Publication Date
CN111782098A true CN111782098A (zh) 2020-10-16

Family

ID=72758773

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010632544.5A Pending CN111782098A (zh) 2020-07-02 2020-07-02 一种页面导航方法、装置和智能设备
CN202011238921.3A Active CN112148180B (zh) 2020-07-02 2020-11-09 一种页面导航方法、装置和智能设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011238921.3A Active CN112148180B (zh) 2020-07-02 2020-11-09 一种页面导航方法、装置和智能设备

Country Status (4)

Country Link
US (2) US12039151B2 (zh)
EP (1) EP4158458A4 (zh)
CN (2) CN111782098A (zh)
WO (1) WO2022005246A1 (zh)

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288704B1 (en) 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
FR2861937A1 (fr) * 2003-10-30 2005-05-06 Thomson Licensing Sa Procede de navigation affichant une fenetre mobile, recepteur mettant en oeuvre le procede
US20060235698A1 (en) * 2005-04-13 2006-10-19 Cane David A Apparatus for controlling a home theater system by speech commands
JP4533791B2 (ja) 2005-04-19 2010-09-01 株式会社日立製作所 情報閲覧装置
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US7890885B2 (en) 2006-08-21 2011-02-15 International Business Machines Corporation Content navigational shortcuts for portal environments
US8858325B2 (en) * 2006-09-29 2014-10-14 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Team electronic gameplay combining different means of control
KR100898340B1 (ko) * 2007-12-10 2009-05-20 한국전자통신연구원 음성 송신 기능을 가지는 리모컨, 이를 이용한 ｅｐｇ 정보검색 시스템 및 방법
KR100912310B1 (ko) * 2008-04-17 2009-08-14 엘지전자 주식회사 사용자의 제스쳐를 검출하여 사용자 인터페이스를 제어하는방법
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US20100017742A1 (en) * 2008-07-20 2010-01-21 Rhodes Gary J Form input skip-field software tool
US8669941B2 (en) * 2009-01-05 2014-03-11 Nuance Communications, Inc. Method and apparatus for text entry
ES2454765T3 (es) * 2009-04-14 2014-04-11 Freedom Scientific Inc. Método de navegación de documentos
WO2011109893A1 (en) * 2010-03-11 2011-09-15 Flo Collection Inc. Method and system for arranging and storing clothing
US9104312B2 (en) 2010-03-12 2015-08-11 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
US20110307804A1 (en) * 2010-06-11 2011-12-15 Spierer Mitchell D Electronic message management system and method
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
KR20120013727A (ko) 2010-08-06 2012-02-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
TWI416374B (zh) * 2010-10-26 2013-11-21 Wistron Corp 輸入方法、輸入裝置及電腦系統
KR20120081452A (ko) * 2011-01-11 2012-07-19 삼성전자주식회사 그룹핑을 통한 아이콘 선택 방법 및 장치
US20120216117A1 (en) * 2011-02-18 2012-08-23 Sony Corporation Method and apparatus for navigating a hierarchical menu based user interface
EP4235365A3 (en) * 2011-08-05 2023-11-01 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
CN102955797A (zh) 2011-08-25 2013-03-06 联想(北京)有限公司 一种终端导航方法、终端导航装置及终端导航系统
US8831902B2 (en) 2011-09-22 2014-09-09 Tcl Lab (Us) Inc. Least click TV
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
WO2014028070A1 (en) * 2012-08-17 2014-02-20 Flextronics Ap, Llc Channel changer for intelligent television
US20140089772A1 (en) 2012-09-27 2014-03-27 Gururaj B. Shetty Automatically Creating Tables of Content for Web Pages
KR101473469B1 (ko) 2012-10-04 2014-12-18 크루셜텍 (주) 리모콘 장치 및 전자 기기의 동작 제어 방법
KR101621524B1 (ko) * 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR101984590B1 (ko) 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN103809898A (zh) * 2012-11-14 2014-05-21 宇瞻科技股份有限公司 智能型输入方法
KR20140085061A (ko) 2012-12-27 2014-07-07 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US20140350941A1 (en) 2013-05-21 2014-11-27 Microsoft Corporation Method For Finding Elements In A Webpage Suitable For Use In A Voice User Interface (Disambiguation)
CN103353897A (zh) 2013-07-23 2013-10-16 深圳市佳创软件有限公司 一种网页锚点导航方法及装置
CN106951481A (zh) 2013-09-24 2017-07-14 青岛海信电器股份有限公司 网页浏览器导航方法、网页浏览器导航装置和电视机
KR20170014353A (ko) 2015-07-29 2017-02-08 삼성전자주식회사 음성 기반의 화면 내비게이션 장치 및 방법
CN106570032B (zh) 2015-10-13 2020-06-09 阿里巴巴集团控股有限公司 一种控制网页页面的方法及装置
CN106210904A (zh) * 2016-08-01 2016-12-07 乐视控股（北京）有限公司 基于语音交互的信息查看方法及装置
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
CN106681648A (zh) 2016-11-21 2017-05-17 北京技德网络技术有限公司 用于计算机设备的手势导航方法
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US10203866B2 (en) 2017-05-16 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US11164576B2 (en) * 2018-09-04 2021-11-02 Google Llc Multimodal responses
CN110007815A (zh) 2018-12-26 2019-07-12 阿里巴巴集团控股有限公司 一种应用的导航方法及装置
CN109889878A (zh) * 2019-01-03 2019-06-14 百度在线网络技术（北京）有限公司 视频信息处理方法、装置、设备及计算机可读存储介质
CN109766073A (zh) 2019-01-25 2019-05-17 四川长虹电器股份有限公司 电视浏览器中语音操作网页内容导航的方法

Also Published As

Publication number Publication date
CN112148180B (zh) 2022-07-12
US20220004295A1 (en) 2022-01-06
EP4158458A4 (en) 2023-11-29
WO2022005246A1 (en) 2022-01-06
EP4158458A1 (en) 2023-04-05
US12039151B2 (en) 2024-07-16
CN112148180A (zh) 2020-12-29
US20240338109A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
US20180307321A1 (en) Build Status of a Buildable Product
KR102667413B1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
CN106687889B (zh) 显示器便捷式文本输入和编辑
US8432367B2 (en) Translating user interaction with a touch screen into input commands
EP2715499B1 (en) Invisible control
JP6450768B2 (ja) オンスクリーンキーボード用クイックタスク
US20100289743A1 (en) Laser pointer and gesture-based input device
KR101865425B1 (ko) 조절가능한 점진적인 이동 장치 거리뷰
US20140245205A1 (en) Keyboard navigation of user interface
KR20070029678A (ko) 그래픽 사용자 인터페이스 상에서 포인터를 네비게이션하는방법 및 매체
JP2012523633A (ja) コンピュータデバイス上のグリフエントリ
JP2009123197A (ja) 方法、プログラム、及びコンピュータ化されたシステム
US20130159940A1 (en) Gesture-Controlled Interactive Information Board
WO2013085528A1 (en) Methods and apparatus for dynamically adapting a virtual keyboard
US11544322B2 (en) Facilitating contextual video searching using user interactions with interactive computing environments
JP2021099887A (ja) 音声認識によるページ操作方法、装置、機器、媒体及びプログラム
EP3757739B1 (en) Method for display when exiting an application, and terminal
TWI703492B (zh) 控制使用者介面之方法、程式及裝置
US20180081622A1 (en) Information processing system and information processing method
US11978252B2 (en) Communication system, display apparatus, and display control method
CN112148180B (zh) 一种页面导航方法、装置和智能设备
CN110604918B (zh) 界面元素调整方法与装置、存储介质、电子设备
CN115640782A (zh) 用于文档演示的方法、装置、设备和存储介质
CN111801641B (zh) 采用物理操纵的对象创建系统和方法
Randhawa User Interaction Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201016

WD01 Invention patent application deemed withdrawn after publication