[go: up one dir, main page]

CN110443825A - 视觉追踪与人机互动系统及追随系统 - Google Patents

视觉追踪与人机互动系统及追随系统 Download PDF

Info

Publication number
CN110443825A
CN110443825A CN201810415614.4A CN201810415614A CN110443825A CN 110443825 A CN110443825 A CN 110443825A CN 201810415614 A CN201810415614 A CN 201810415614A CN 110443825 A CN110443825 A CN 110443825A
Authority
CN
China
Prior art keywords
image
module
image feature
feature
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810415614.4A
Other languages
English (en)
Inventor
蔡奇谥
冯彦彰
许光睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuwa Robotics Corp
Original Assignee
Nuwa Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuwa Robotics Corp filed Critical Nuwa Robotics Corp
Priority to CN201810415614.4A priority Critical patent/CN110443825A/zh
Publication of CN110443825A publication Critical patent/CN110443825A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视觉追踪与人机互动系统，包括：一摄像机，获取多个影像；一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一位置信息，以及将所述位置信息传送至一机器人移动模块或一接口互动模块。藉此，本申请可以避免需要容量过大且数据过多的影像，进而缩短机器人移动模块或接口互动模块的计算辨识时间，提升机器人或游戏机台的反应速度。

Description

视觉追踪与人机互动系统及追随系统
技术领域
本申请涉及一种视觉追踪与人机互动系统及追随系统，特别是涉及一种可以加速机器人反应的视觉追踪与人机互动系统及追随系统。
背景技术
机器人或游戏机台已发展至可与人类进行互动，例如藉由声音、按键或影像等方式来输入指令，其中以影像来输入指令，需要摄影机或多台不同方位的照相机提供影片或不同方位的图像，使机器人或游戏机台能够辨识目标物(人类)于何处及下达何种指令，但摄影机提供的影片或多台不同方位的照相机提供的图像，容量过大且数据过多，机器人或游戏机台需较多时间进行计算辨识，因此导致机器人或游戏机台反应迟钝，无法跟上目标物所下达的指令。
再者，目前机器人或游戏机台常藉由梯度方向直方图(HoG)特征提取技术在进行影像中的特征提取，但梯度方向直方图(HoG)特征提取技术的运算量大，且于每张影像的特征提取处理需执行两次梯度方向直方图(HoG)特征提取技术的计算，因此是特征提取计算过程中影响较大的部分。
因此，如何加速机器人或游戏机台的反应速度，仍有待解决。
申请内容
有鉴于上述问题，本申请的目的是提出一种视觉追踪与人机互动系统，其改良现有判断目标物指令的方法，以解决现有提供容量过大且数据过多的影像，因而机器人或游戏机台需较多时间进行计算辨识，导致机器人或游戏机台反应迟钝，无法跟上目标物所下达的指令的问题。
另外，有鉴于上述问题，本申请的目的是提出一种视觉追踪与人机互动系统，其改良现有特征提取计算过程，以解决现有梯度方向直方图(HoG)特征提取技术运算量大且多次，导致机器人或游戏机台反应迟钝，无法跟上目标物所下达的指令的问题的问题。
基于上述目的，本申请提供一种视觉追踪与人机互动系统，其特征在于，包括：一摄像机，获取多个影像；一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一位置信息，以及将所述位置信息传送至一机器人移动模块或一接口互动模块；其中当所述影像特征的所述位置信息传送至所述机器人移动模块时，若所述机器人移动模块判断所述影像特征位于一影像中的正中间区块时，则所述机器人移动模块做等加速度至最大速度前进；若所述机器人移动模块判断所述影像特征位于所述影像中的正上间区块，则所述机器人移动模块做等加速度至最大速度后退；若所述机器人移动模块判断所述影像特征位于所述影像中的左边，则所述机器人移动模块原地向左旋转；若所述机器人移动模块判断所述影像特征位于所述影像中的右边，则所述机器人移动模块原地向右旋转；若所述机器人移动模块判断所述影像特征位于所述影像中的指定位置时，所述机器人移动模块原地停止。
可选地，当所述影像特征的所述位置信息传送至所述接口互动模块时，所述接口互动模块将所述第一影像中的所述影像特征的位置信息设定为一显示接口的一图像的一原点，所述原点位于所述显示接口的中心。
可选地，所述接口互动模块判断一第N影像的所述影像特征的所述位置信息及一第N+1影像的所述影像特征的所述位置信息之间的一偏移量，且将所述偏移量乘上一数值，来控制所述图像的移动量。
可选地，所述影像特征为所述第一影像中面积最大的人脸。
可选地，所述视觉追踪模块以一梯度方向直方图特征提取技术来提取所述多个影像中的所述影像特征。
可选地，所述梯度方向直方图特征提取技术包括一梯度计算、一梯度方向量化及一梯度方向直方图计算。
可选地，于所述梯度方向直方图特征提取技术中建立对应于所述梯度方向量化的一方向投影找查表及对应于所述梯度方向直方图计算的一平面衰减权重找查表，来加速所述影像特征的提取。
可选地，所述摄像机每33ms获取所述影像。
可选地，当所述视觉追踪模块无法提取到所述影像中的所述影像特征时，则所述侦测模块重新接收所述摄像机所传送的一最新影像，并侦测所述最新影像中的一最新影像特征。
可选地，所述最新影像特征为所述最新影像中面积最大的人脸。
另外，基于上述目的，本申请提供一种追随系统，其特征在于，包括：一摄像机，获取多个影像，其中所述摄像机为不含影像深度的光学摄像机；一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一长度信息，以及将所述长度信息传送至一机器人移动模块，其中所述长度信息是所述影像特征的上缘与下缘之间的长度；其中当所述影像特征的所述长度信息传送至所述机器人移动模块时，若所述机器人移动模块判断所述影像特征的所述长度信息的长度变短时，则所述机器人移动模块做等加速度至最大速度前进；若所述机器人移动模块判断所述影像特征的所述长度信息的长度变长时，则所述机器人移动模块做等加速度至最大速度后退；若所述机器人移动模块判断所述影像特征的所述长度信息的长度未变时，所述机器人移动模块原地停止。
另外，基于上述目的，本申请提供一种视觉追踪与人机互动系统，其特征在于，包括：一摄像机，获取多个影像，其中所述摄像机为不含影像深度的光学摄像机且设置于一移动机器人上；一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一位置信息，以及将所述位置信息传送至一接口互动模块；其中当所述影像特征的所述位置信息传送至所述接口互动模块时，所述接口互动模块将所述第一影像中的所述影像特征的位置信息设定为一显示画面的一图像的一原点，所述原点位于所述显示画面的中心，所述接口互动模块判断一第N影像的所述影像特征的所述位置信息及一第N+1影像的所述影像特征的所述位置信息之间的一偏移量，且将所述偏移量乘上一数值，来控制所述图像的移动量。
根据上述，本申请通过机器人移动模块或接口互动模块简易判断影像特征的位置信息或长度信息来获得目标物所下达的指令，可以避免需要容量过大且数据过多的影像，进而缩短机器人移动模块或接口互动模块的计算辨识时间，提升机器人或游戏机台的反应速度。另外，本申请通过建立对应于梯度方向量化的方向投影找查表及对应于梯度方向直方图计算的平面衰减权重找查表，以避免过久的计算，可以达到加速影像特征的提取。
为了让上述目的、技术特征以及实际实施后的有益效果更为明显易懂，下文中将以较佳实施例结合对应相关的附图来进行更详细的说明。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图:
图1为本申请的一实施例的视觉追踪与人机互动系统及追随系统的示意图；
图2为本申请的一实施例的梯度方向直方图特征提取技术的示意图；
图3为本申请的一实施例的指令判断的示意图；
图4为本申请的一实施例的视觉追踪与人机互动的步骤流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，其中图1为本申请的一实施例的视觉追踪与人机互动系统及追随系统的示意图。如图所示，视觉追踪与人机互动系统，包括摄像机1、侦测模块2、视觉追踪模块3、机器人移动模块4以及接口互动模块5。摄像机1获取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)，例如通过单眼相机每33ms拍照一次来获取前方的影像(包含第一影像11、第N影像12、第N+1影像13、影像14)，摄像机可为不含影像深度的光学摄像机。侦测模块2接收摄像机1所传送的第一影像11并侦测第一影像11中的影像特征，例如通过人脸侦测模块接收单眼相机所传送的第一张照片(第一影像11)，且人脸侦测模块侦测第一影像11中的影像特征21，而影像特征21可为第一影像11中面积最大的人脸。视觉追踪模块3接收摄像机1所传送的多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)及侦测模块2所侦测的影像特征21，并提取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的影像特征12来进行追踪，且形成具有影像特征21的位置信息，例如视觉追踪模块3将所接收的多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)及影像特征21，通过梯度方向直方图特征提取(HoG Feature Extraction)技术31来提取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的影像特征21来进行追踪，且形成具有影像特征21的位置信息，如影像特征21位于影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的位置坐标的信息，以及视觉追踪模块3将位置信息传送至机器人移动模块4或接口互动模块5，而机器人移动模块4可为具有移动底盘及处理器的机器人，接口互动模块5可为具有显示器及处理器的游戏主机或机器人。
具体的，请参阅图1及图3，其中图3为本申请的一实施例的指令判断的示意图。如图所示，当视觉追踪模块3将影像特征21的位置信息传送至机器人移动模块4时，若机器人移动模块4判断影像特征21位于影像14中的正中间区块144时，则机器人移动模块4控制移动底盘，使机器人做等加速度至最大速度前进，直至机器人移动模块4判断影像特征21位于影像14中的指定位置142时，机器人移动模块4才控制移动底盘，使机器人停止。若机器人移动模块4判断影像特征21位于影像14中的正上间区块141，则机器人移动模块4控制移动底盘，使机器人做等加速度至最大速度后退，直至机器人移动模块4判断影像特征21位于影像14中的指定位置142时，机器人移动模块4才控制移动底盘，使机器人停止。若机器人移动模块4判断影像特征21位于影像14中的左边，则机器人移动模块4控制移动底盘，使机器人原地向左旋转，直至机器人移动模块4判断影像特征21位于影像14中的指定位置142时，机器人移动模块4才控制移动底盘，使机器人停止。若机器人移动模块4判断影像特征21位于影像14中的右边，则机器人移动模块4控制移动底盘，使机器人原地向右旋转，直至机器人移动模块4判断影像特征21位于影像14中的指定位置142时，机器人移动模块4才控制移动底盘，使机器人停止。若机器人移动模块4判断影像特征21位于影像14中的指定位置142时，机器人移动模块4原地停止。
通过机器人移动模块4简易判断影像特征21的位置信息来获得目标物(人类)所下达的指令，使目标物与机器人保持一定距离，如此可以避免需要容量过大且数据过多的影像，进而缩短机器人移动模块4的计算辨识时间，提升机器人的反应速度。
具体的，请参阅图1，当视觉追踪模块3将影像特征21的位置信息传送至接口互动模块5时，接口互动模块5将第一影像11中的影像特征21的位置信息设定为显示画面的图像的原点，而原点位于显示画面的中心，例如当游戏主机接收视觉追踪模块3所传来的第一影像11中的影像特征21的位置信息时，游戏主机将此影像特征21对应于游戏画面中一游戏人物，并且于一开始时此游戏人物是位于显示画面的中心(如长方形画面的形心位置或者X轴的中点)，换个角度说即为第一影像11中的影像特征21的位置信息为显示画面的图像的原点，而原点位于显示画面的中心。
接着，接口互动模块5判断第N影像12的影像特征21的位置信息及第N+1影像13的影像特征21的位置信息之间的一偏移量，且将偏移量乘上一数值，来控制图像的移动量，例如接口互动模块5判断第一影像11的影像特征21与第二影像的影像特征21的位置信息在X轴方向上偏移+1cm的距离量，因此接口互动模块5将偏移量+1cm乘上一数值(可依据游戏种类不同而有不同的数值)，来控制图像(游戏人物)于显示画面中的移动量。
通过接口互动模块5简易判断影像特征21的位置信息来获得目标物(人类)所下达的指令，使目标物与游戏人物同步等比移动，如此可以避免需要容量过大且数据过多的影像，进而缩短接口互动模块5的计算辨识时间，提升游戏画面的反应速度。
具体的，请参阅图1及图2，其中图2为本申请的一实施例的梯度方向直方图特征提取技术的示意图。如图所示，视觉追踪模块3以一梯度方向直方图特征提取技术31来提取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的影像特征21，例如以提取影像14中的影像特征21为例，输入影像14及第一影像11的影像特征21至梯度方向直方图特征提取技术31，而梯度方向直方图特征提取技术31包括梯度计算32(如式1)、梯度方向量化33(如式3)及梯度方向直方图计算34(如式5)。其中，于梯度方向直方图特征提取技术31中建立对应于梯度方向量化33的方向投影找查表35(如以式2来建立找查表)及对应于梯度方向直方图计算34的平面衰减权重找查表36(如以式4来建立找查表)，来加速于影像14中的影像特征21的提取。
式1：d＝[dx dy]T
其中d：影像梯度向量；dx：水平方向梯度值；dy：垂直方向梯度值。
式2：
其中ui：为默认第i个单位方向向量；θi：第i个单位方向之方向角。
式3：
其中最佳梯度方向量化自变量。
式4：
其中Cw：每一网格(Cell)的宽；Ch：每一网格的高；w(m，n)：每一网格之中(m,n)位置上的权重值；am：不为零且小于k之垂直方向权重值；bn：不为零且小于k之水平方向权重值；k：大于二之正整数。
式5：更新
其中Uc、Vc为影像平面上水平方向与垂直方向上的网格数量；W、H为影像平面的宽跟高；第(u,v)个网格中的第位置上之梯度大小累积值；mod(a，b)：a除以b之余数。
通过建立对应于梯度方向量化33的方向投影找查表35及对应于梯度方向直方图计算35的平面衰减权重找查表36，以避免过久的计算，可以达到加速影像特征21的提取。
请参阅图4，其是为本申请的一实施例的为本申请的一实施例的视觉追踪与人机互动的步骤流程图。如图所示，包含步骤S1～S4如下：
步骤S1：获取第一影像。例如，首先通过单眼相机拍照来获取前方一开始的影像。
步骤S2：侦测第一影像中的影像特征。例如通过人脸侦测模块接收单眼相机所传送的第一张照片(第一影像)，且人脸侦测模块侦测第一影像中的影像特征，而影像特征可为第一影像中面积最大的人脸。当人脸侦测模块将第一影像中的影像特征传送出去后，则人脸侦测模块关闭。
步骤S3：接收多个影像及第一影像中的影像特征，并判断是否能提取多个影像中的影像特征来进行追踪。例如通过单眼相机每33ms拍照一次来获取前方的多个影像，而视觉追踪模块将所接收的多个影像及第一影像中的影像特征，通过梯度方向直方图特征提取(HoG Feature Extraction)技术来提取多个影像中的影像特征来进行追踪，且形成具有影像特征的位置信息，如影像特征位于影像中的位置坐标的信息。
但是当视觉追踪模块无法提取到影像中的影像特征时，则侦测模块重新接收单眼相机所传送的最新影像，并再开启人脸侦测模块接收单眼相机所传送的最新影像，且人脸侦测模块侦测最新影像中的最新影像特征，而最新影像特征可为最新影像中面积最大的人脸。当人脸侦测模块将最新影像中的最新影像特征传送出去后，则人脸侦测模块又再次关闭。而视觉追踪模块再次接收的多个影像及最新影像中的最新影像特征，通过梯度方向直方图特征提取(HoG Feature Extraction)技术来提取多个影像中的最新影像特征来进行追踪，且形成具有最新影像特征的位置信息，如最新影像特征位于影像中的位置坐标的信息。
步骤S4：输出影像特征的位置信息。例如视觉追踪模块将位置信息传送至机器人移动模块或接口互动模块，而机器人移动模块可为具有移动底盘及处理器的机器人，接口互动模块可为具有显示器及处理器的游戏主机或机器人。
另外，请参阅图1，其中图1为本申请的一实施例的视觉追踪与人机互动系统及追随系统的示意图。如图所示，追随系统，包括摄像机1、侦测模块2、视觉追踪模块3以及机器人移动模块4。摄像机1获取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)，例如通过单眼相机每33ms拍照一次来获取前方的影像(包含第一影像11、第N影像12、第N+1影像13、影像14)，摄像机可为不含影像深度的光学摄像机。侦测模块2接收摄像机1所传送的第一影像11并侦测第一影像11中的影像特征，例如通过人脸侦测模块接收单眼相机所传送的第一张照片(第一影像11)，且人脸侦测模块侦测第一影像11中的影像特征21，而影像特征21可为第一影像11中面积最大的人脸。视觉追踪模块3接收摄像机1所传送的多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)及侦测模块2所侦测的影像特征21，并提取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的影像特征12来进行追踪，且形成具有影像特征21的长度信息，例如视觉追踪模块3将所接收的多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)及影像特征21，通过梯度方向直方图特征提取(HoG Feature Extraction)技术31来提取多个影像(包含第一影像11、第N影像12、第N+1影像13、影像14)中的影像特征21来进行追踪，且形成具有影像特征21的长度信息，如影像特征21的上缘与下缘之间的长度是长度信息，以及视觉追踪模块3将长度信息传送至机器人移动模块4，而机器人移动模块4可为具有移动底盘及处理器的机器人。
具体的，当影像特征21的长度信息传送至机器人移动模块4时，若机器人移动模块4判断影像特征21的长度信息的长度与预设长度相较变短时，则机器人移动模块4做等加速度至最大速度前进；若机器人移动模块4判断影像特征21的长度信息的长度与预设长度相较变长时，则机器人移动模块4做等加速度至最大速度后退；若机器人移动模块4判断影像特征21的长度信息的长度与预设长度相较未变时，机器人移动模块4原地停止。
基于上述，本申请通过机器人移动模块或接口互动模块简易判断影像特征的位置信息或长度信息来获得目标物所下达的指令，可以避免需要容量过大且数据过多的影像，进而缩短机器人移动模块或接口互动模块的计算辨识时间，提升机器人或游戏机台的反应速度。另外，本申请通过建立对应于梯度方向量化的方向投影找查表及对应于梯度方向直方图计算的平面衰减权重找查表，以避免过久的计算，可以达到加速影像特征的提取。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种视觉追踪与人机互动系统，其特征在于，包括：
一摄像机，获取多个影像；
一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；
一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一位置信息，以及将所述位置信息传送至一机器人移动模块或一接口互动模块；
其中当所述影像特征的所述位置信息传送至所述机器人移动模块时，若所述机器人移动模块判断所述影像特征位于一影像中的正中间区块时，则所述机器人移动模块做等加速度至最大速度前进；若所述机器人移动模块判断所述影像特征位于所述影像中的正上间区块，则所述机器人移动模块做等加速度至最大速度后退；若所述机器人移动模块判断所述影像特征位于所述影像中的左边，则所述机器人移动模块原地向左旋转；若所述机器人移动模块判断所述影像特征位于所述影像中的右边，则所述机器人移动模块原地向右旋转；若所述机器人移动模块判断所述影像特征位于所述影像中的指定位置时，所述机器人移动模块原地停止。
2.如权利要求1所述的视觉追踪与人机互动系统，其特征在于，当所述影像特征的所述位置信息传送至所述接口互动模块时，所述接口互动模块将所述第一影像中的所述影像特征的位置信息设定为一显示画面的一图像的一原点，所述原点位于所述显示画面的中心。
3.如权利要求2所述的视觉追踪与人机互动系统，其特征在于，所述接口互动模块判断一第N影像的所述影像特征的所述位置信息及一第N+1影像的所述影像特征的所述位置信息之间的一偏移量，且将所述偏移量乘上一数值，来控制所述图像的移动量。
4.如权利要求1所述的视觉追踪与人机互动系统，其特征在于，所述影像特征为所述第一影像中面积最大的人脸。
5.如权利要求1所述的视觉追踪与人机互动系统，其特征在于，所述视觉追踪模块以一梯度方向直方图特征提取技术来提取所述多个影像中的所述影像特征。
6.如权利要求5所述的视觉追踪与人机互动系统，其特征在于，所述梯度方向直方图特征提取技术包括一梯度计算、一梯度方向量化及一梯度方向直方图计算。
7.如权利要求6所述的视觉追踪与人机互动系统，其特征在于，于所述梯度方向直方图特征提取技术中建立对应于所述梯度方向量化的一方向投影找查表及对应于所述梯度方向直方图计算的一平面衰减权重找查表，来加速所述影像特征的提取。
8.如权利要求1所述的视觉追踪与人机互动系统，其特征在于，所述摄像机为单眼相机且每33ms获取所述影像。
9.如权利要求1所述的视觉追踪与人机互动系统，其特征在于，当所述视觉追踪模块无法提取到所述影像中的所述影像特征时，则所述侦测模块重新接收所述摄像机所传送的一最新影像，并侦测所述最新影像中的一最新影像特征。
10.如权利要求9所述的视觉追踪与人机互动系统，其特征在于，所述最新影像特征为所述最新影像中面积最大的人脸。
11.一种追随系统，其特征在于，包括：
一摄像机，获取多个影像，其中所述摄像机为不含影像深度的光学摄像机；
一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；
一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一长度信息，以及将所述长度信息传送至一机器人移动模块，其中所述长度信息是所述影像特征的上缘与下缘之间的长度；
其中当所述影像特征的所述长度信息传送至所述机器人移动模块时，若所述机器人移动模块判断所述影像特征的所述长度信息的长度变短时，则所述机器人移动模块做等加速度至最大速度前进；若所述机器人移动模块判断所述影像特征的所述长度信息的长度变长时，则所述机器人移动模块做等加速度至最大速度后退；若所述机器人移动模块判断所述影像特征的所述长度信息的长度未变时，所述机器人移动模块原地停止。
12.如权利要求11所述的追随系统，其特征在于，所述影像特征为所述第一影像中面积最大的人脸。
13.如权利要求11所述的追随系统，其特征在于，所述视觉追踪模块以一梯度方向直方图特征提取技术来提取所述多个影像中的所述影像特征。
14.如权利要求13所述的追随系统，其特征在于，所述梯度方向直方图特征提取技术包括一梯度计算、一梯度方向量化及一梯度方向直方图计算。
15.如权利要求14所述的追随系统，其特征在于，于所述梯度方向直方图特征提取技术中建立对应于所述梯度方向量化的一方向投影找查表及对应于所述梯度方向直方图计算的一平面衰减权重找查表，来加速所述影像特征的提取。
16.一种视觉追踪与人机互动系统，其特征在于，包括：
一摄像机，获取多个影像，其中所述摄像机为不含影像深度的光学摄像机且设置于一移动机器人上；
一侦测模块，接收所述摄像机所传送的一第一影像，并侦测所述第一影像中的一影像特征；
一视觉追踪模块，接收所述摄像机所传送的所述多个影像及所述侦测模块所侦测的所述影像特征，并提取所述多个影像中的所述影像特征来进行追踪，且形成具有所述影像特征的一位置信息，以及将所述位置信息传送至一接口互动模块；
其中当所述影像特征的所述位置信息传送至所述接口互动模块时，所述接口互动模块将所述第一影像中的所述影像特征的位置信息设定为一显示画面的一图像的一原点，所述原点位于所述显示画面的中心，所述接口互动模块判断一第N影像的所述影像特征的所述位置信息及一第N+1影像的所述影像特征的所述位置信息之间的一偏移量，且将所述偏移量乘上一数值，来控制所述图像的移动量。
17.如权利要求16所述的视觉追踪与人机互动系统，其特征在于，所述影像特征为所述第一影像中面积最大的人脸。
18.如权利要求16所述的视觉追踪与人机互动系统，其特征在于，所述视觉追踪模块以一梯度方向直方图特征提取技术来提取所述多个影像中的所述影像特征。
19.如权利要求18所述的视觉追踪与人机互动系统，其特征在于，所述梯度方向直方图特征提取技术包括一梯度计算、一梯度方向量化及一梯度方向直方图计算。
20.如权利要求19所述的视觉追踪与人机互动系统，其特征在于，于所述梯度方向直方图特征提取技术中建立对应于所述梯度方向量化的一方向投影找查表及对应于所述梯度方向直方图计算的一平面衰减权重找查表，来加速所述影像特征的提取。
CN201810415614.4A 2018-05-03 2018-05-03 视觉追踪与人机互动系统及追随系统 Pending CN110443825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810415614.4A CN110443825A (zh) 2018-05-03 2018-05-03 视觉追踪与人机互动系统及追随系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810415614.4A CN110443825A (zh) 2018-05-03 2018-05-03 视觉追踪与人机互动系统及追随系统

Publications (1)

Publication Number Publication Date
CN110443825A true CN110443825A (zh) 2019-11-12

Family

ID=68427714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810415614.4A Pending CN110443825A (zh) 2018-05-03 2018-05-03 视觉追踪与人机互动系统及追随系统

Country Status (1)

Country Link
CN (1) CN110443825A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790957B (zh) * 2022-04-06 2023-01-21 淡江大學學校財團法人淡江大學 一種多目標追蹤的高速數據關聯方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862453A (zh) * 2005-05-11 2006-11-15 凌阳科技股份有限公司 交互式影像游戏系统
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105809114A (zh) * 2016-02-29 2016-07-27 深圳市智美达科技股份有限公司 人脸检测方法及装置
CN105959625A (zh) * 2016-05-04 2016-09-21 北京博瑞爱飞科技发展有限公司 控制无人机追踪拍摄的方法及装置
CN106973220A (zh) * 2017-02-24 2017-07-21 小绿草股份有限公司 物件追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862453A (zh) * 2005-05-11 2006-11-15 凌阳科技股份有限公司 交互式影像游戏系统
CN101154110A (zh) * 2006-09-29 2008-04-02 三星电子株式会社 基于真实空间的图像来控制移动装置的方法、设备和介质
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105809114A (zh) * 2016-02-29 2016-07-27 深圳市智美达科技股份有限公司 人脸检测方法及装置
CN105959625A (zh) * 2016-05-04 2016-09-21 北京博瑞爱飞科技发展有限公司 控制无人机追踪拍摄的方法及装置
CN106973220A (zh) * 2017-02-24 2017-07-21 小绿草股份有限公司 物件追踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790957B (zh) * 2022-04-06 2023-01-21 淡江大學學校財團法人淡江大學 一種多目標追蹤的高速數據關聯方法

Similar Documents

Publication Publication Date Title
US12175681B2 (en) Image processing method and electronic device to improve an image compositing effect
CN109960401B (zh) 一种基于人脸追踪的动向投影方法、装置及其系统
US9348422B2 (en) Method for recognizing gestures and gesture detector
US9740281B2 (en) Human-machine interaction method and apparatus
CN106650682B (zh) 一种人脸追踪的方法及装置
KR20210111833A (ko) 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체
CN109981972B (zh) 一种机器人的目标跟踪方法、机器人及存储介质
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
EP3968626A1 (en) Photography method, photography apparatus, electronic device, and storage medium
JP2016035775A (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
EP4068752A1 (en) Photographing method and electronic device
US10866492B2 (en) Method and system for controlling tracking photographing of stabilizer
CN111602139A (zh) 图像处理方法、装置、控制终端及可移动设备
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
EP4000700A1 (en) Camera shot movement control method, device, apparatus, and storage medium
US20210120159A1 (en) Lens control method and apparatus and terminal
WO2017101496A1 (zh) 一种手势识别方法及装置
CN106713740A (zh) 定位跟踪摄像方法与系统
WO2023041013A1 (zh) 一种无人机拍摄方法、装置、无人机及存储介质
WO2021066392A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110443825A (zh) 视觉追踪与人机互动系统及追随系统
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN104378576B (zh) 一种信息处理方法及电子设备
WO2021075753A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN116630374B (zh) 目标对象的视觉跟踪方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191112

WD01 Invention patent application deemed withdrawn after publication