CN104504162A - 一种基于机器人视觉平台的视频检索方法 - Google Patents
一种基于机器人视觉平台的视频检索方法 Download PDFInfo
- Publication number
- CN104504162A CN104504162A CN201510028271.2A CN201510028271A CN104504162A CN 104504162 A CN104504162 A CN 104504162A CN 201510028271 A CN201510028271 A CN 201510028271A CN 104504162 A CN104504162 A CN 104504162A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- retrieval
- retrieval method
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000004438 eyesight Effects 0.000 title claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000004456 color vision Effects 0.000 claims abstract description 8
- 239000012634 fragment Substances 0.000 claims abstract description 7
- 239000003086 colorant Substances 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012876 topography Methods 0.000 claims description 6
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 238000011160 research Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器人视觉平台的视频检索方法。该方法包括：双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统；视频处理系统提取所述视频片段中每一个视频帧的视频指纹，具体的，将所述每一个视频帧的分辨率调整为320，检测视频帧中的特征点，围绕所述特征点检测局部图像，获取所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；依据灰度和色彩视觉词库，对所述视频指纹进行检索。本发明中，利用双目摄像头采集视频片段，提高了视频检索的准确性和灵活性，方便了用户进行视频自动获取与检索，通过建立视觉词库节省了每次检索的时间，提高了检索效率。
Description
技术领域
本发明涉及视频识别领域，尤其涉及一种基于机器人视觉平台的视频检索方法。
背景技术
机器人视觉平台，简称RobotEye，是一款机器人视觉检索系统，采集机器人或智能设备采集视觉数据并反馈给机器人或智能设备有价值的知识信息。上个世纪90年代以来，出现了基于内容的视频分析和检索研究，其目的就是通过对视频内容进行计算机处理、分析和理解，建立结构和索引，以实现方便有效的视频信息获取。因此，基于内容的视频分析与检索研究从一开始就得到了广泛的重视，并取得了丰硕的研究成果。
基于内容的视频分析从提出到现在，大致经历过3个阶段。第一阶段的研究主要集中在视频结构的分析和浏览上，其中涉及的关键技术有镜头边界检测、关键帧提取和场景的合并。第二阶段的研究主要围绕相似性检索展开，核心问题是特征的提取和特征空间距离的量度。前两个阶段的研究在一定程度上解决了视频检索和浏览的问题.并对视频管理和获取技术进行了有价值的探索。第三阶段的工作提出了面向语义的信息提取，这也是目前基于内容视频分析研究的热点。该阶段工作的根本目标是构建从底层特征到高层语义之间的桥梁，最终形成符合人类思维形式的信息索引和检索方式。
视频镜头的检测
镜头检测的关键是确定从镜头到镜头的转换处，并利用镜头之间的转换方式找到镜头图像之间的差别，镜头之间的转变包括切变、渐变和数字特技，针对不同的情况往往需要使用不同的算法。其中切变检测的算法最为成熟，渐变和数字特技的检测算法往往依赖一定的先验假设，技术还有待进一步完善。常用的自动镜头检测方法主要有以下几种：
(1)基于像素的镜头检测方法，利用视频两帧对应像素之间的差别来检测镜头边界，这种方法的缺点在于容易受到噪声的影响；
(2)基于像素平均值，方差等统计特征的镜头检测方法；
(3)基于视频特征的镜头检测方法，包括基于边缘特征的比较方法(提取视频每帧图像的边缘特征，通过检测边缘的突然变化来确定边界)，采用颜色比率特征(Color RatioFeature)的方法、基于光流特征的方法等，这些方法的计算复杂性都比较大；
(4)基于直方图的镜头检测方法，此方法利用视频帧图像的灰度直方图或者颜色直方图的比较来检测边界，在镜头检测的精度和速度之间达到了较好的平衡，因此使用最为普遍。
关键帧提取
在镜头分割以后，为提供给用户浏览.一般要进行镜头关键帧(Key Frame)的提取工作。一个镜头的关键帧就是反映该镜头主要内容的一帧图像或若干帧图像。关键帧的选取一方面必须能够反映镜头中的主要事件，因而描述应尽可能完全律确；另一方面，为便于管理，数据量应尽量小，且计算不宜太复杂。关键帧提取方法主要包括以下几种：
(1)最简单的关键帧提取方法是提取镜头固定位置上的帧作为关键帧。例如第一帧、中间帧或最后一帧，或者相隔固定帧数采样一帧，这种方法操作简单，但不够灵活，因此不能有效地反映镜头内容；
(2)较为复杂的方法包括基于内容复杂性、镜头活动性等特征来提取关键帧，这些方法能较为准确地反映镜头内容；
(3)较理想的方法是通过分析视频视觉内容(颜色直方网、运动信息)随时间的变化情况，确定所需关键帧的数日，并按照一定的规则为镜头抽取关键帧；
(4)还有一种常用的关键帧提取方法是采用图像拼接(Mosaic)技术，也称全景图生成技术，即对分割得到的镜头各帧进行拼接，融合镜头中多帧的背景信息，生成一个全景的拼接图像束代表视频片断的内容，虽然全景图能较为全面地反映镜头内容，但由于算法对前景运动的敏感，这种技术的应用受到一定的限制，还有其他方法，例如用无监督聚类技术来选择关键帧等。
基于内容的相似性检索
目前的视频检索主要依赖视频内容的相似性，称相似性检索。相似性检索要求用户提交感兴趣的视频片断，检索过程将样本片断与视频库中的其它片断作相似性比较，并按相似性大小返回检索结果。视频相似性检索的研究主要解决两个问题：如何提取反映视频内容的特征；如何度量特征之间的相似性。
在特征提取方面，目前的视频检索技术主要是从传统的图像检索技术直接或问接地继承过来的，颜色、纹理和形状是图像检索中广泛使用的底层特征，相应地，它们也是视频检索中十分重要的特征。但是，视频并不是简单的同像序列，相邻视频帧之间表现出非常强的相关性。在近期研究中，越来越多的工作开始利用视频的运动信息为视频检索提供时序线索，视频检索中使用的运动信息主要有物体运动轨迹、块运动矢量的主分量、时序纹理和摄像机运动几种在相似性量度方面。相似性量度一般可以分为局部匹配和全局匹配两种，局部相似性量度方法利用了视频片断间的时序关系，但仅局限在简单的线性关系上，更有计算复杂的缺点；相反全局相似性量度方法具有索引信息少、检索速度快等优点。但却对视频的时序关系缺乏描述，因此，更复杂的相似性量度方法被提出，例如运动物体轨迹、基于流形假设的最短特征线等。
基于内容的视频检索一直是计算机科学研究的热点和难点问题。目前该技术仍然只是对底层特征的检索，与人们思维中的高层语义概念相去甚远，如何跨越语义鸿沟还需要做更多的研究。
发明内容
本发明提供了一种基于机器人视觉平台的视频检索方法，提高了视频检索的准确性和灵活性，方便了用户进行视频自动获取与检索，提高了检索的效率。
本发明的目的是通过以下技术方案实现的：
一种基于机器人视觉平台的视频检索方法，其特征在于，该方法包括：
双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统；
视频处理系统提取所述视频片段中每一个视频帧的视频指纹，具体的，将所述每一个视频帧的分辨率调整为320，检测视频帧中的特征点，围绕所述特征点检测局部图像，获取所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；
依据灰度和色彩视觉词库，对所述视频指纹进行检索。
所述视频指纹为一组灰度值有差别的非连续的关键帧。
所述对视频指纹进行检索，包括：对视频中的关键帧、前后连续帧和指纹关键帧图片进行检索。
所述对视频中的关键帧、前后连续帧的检索包括，提取视频中的关键帧和前后连续帧，比较图像碎片的位移向量，出现差别的位移向量即为运动中的物体。
与现有技术相比，本发明实施例至少具有以下优点：
本发明实施例中，利用双目摄像头的灵活、精确的特点采集视频片段，提高了视频检索的准确性和灵活性，用户不需要复杂的操作也可以进行视频自动获取与检索，通过建立视觉词库，极大节约了用户每次检索的时间，提高了检索的效率，通过利用本方法进行视频的采集与检索，检索准确度高、灵活性大、操作方便。
附图说明
图1为本发明实施例提出的一种基于机器人视觉平台的视频检索方法的流程框图。
具体实施方式
如图1所示，为本发明实施例提出的一种基于机器人视觉平台的视频检索方法的结构框图，包括：
双目摄像头采集视频片段，并将视频片段传送给视频处理系统；视频处理系统提取视频片段中每一个视频帧的视频指纹，具体的，将每一个视频帧的分辨率调整为320，检测视频帧中的特征点，围绕特征点检测局部图像，获取局部图像中所有可使用的最强特征点，将最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；依据灰度和色彩视觉词库，对视频指纹进行检索。
视频指纹为一组灰度值有差别的非连续的关键帧。视频指纹提取的过程如下：
第一步，输入视频以一个固定的帧速率(每秒S帧)被重新采样，以应对帧速率的变化。
第二步中，每个重采样帧被转换为灰度，以使拟议的指纹识别方法足以抵抗色彩的变化，这种方法不仅适用于彩色视频的剪辑，也适用于经典的黑白电影。
第三步中，每个灰度帧的大小被调整，以使它的宽度和高度分别规范化为两个固定的值：X，Y。这一步骤使拟议的指纹识别方法能抵抗任何一个因素引起的大小变化。
第四步中，每个调整后的帧被分成了N行和M列，形成了N*M的矩阵。最后，矩阵中的每一块都被计算出它的质心梯度方向，进而每一帧都得到了一个三维的指纹向量。
上述的质心梯度方向为：在第k帧的坐标(x，y)位置处，用函数f(x，y，k)表示该点的亮度值，坐标(x，y)的梯度定义为：坐标(x，y)的f函数变化最快的方向就是梯度方向。
Gx＝f[x+1，y，k]-f[x-1，y，k]
Gy＝f[x，y+1，k]-f[x，y-1，k]
梯度矢量f也可用幅度函数r[x，y，k]和相位函数θ[x，y，k]来代替。
进一步的，对视频指纹进行检索，包括：检索视频中的关键帧、前后连续帧和指纹关键帧图片。视频指纹进行检索过程包括：
(1)指纹模化
在把拟议的指纹序列看作是一个平稳遍历过程的一次实现的前提下，指纹匹配有可能出现问题。我们注意到，相似的分析已用于水印检测，音频和视频指纹检测中。首先，一个指纹序列的所有质心{c[n，m，k]，1nN，1mM，1kK}是由它们的均值和标准差进一步规范的，规范后的指纹序列p是一个平均值为0，方差为1的随机过程。在满足各态历经的前提下，自相关函数R和Q可以由实际的指纹序列的时间平均自相关函数估计出，并且它们也用于在给定一个固定阈值时获得错误警报的概率。
(2)阈值T的确定
快速而易计算的指纹匹配可以用欧式距离平方获得，用μD和σD分别表示距离D的均值和标准差。在一般的假设下，距离D服从正态分布N(μD，σ^2D)。
检索视频中的关键帧、前后连续帧包括，提取视频中的关键帧和前后连续帧，比较图像碎片的位移向量，出现差别的位移向量即为运动中的物体，具体可参考OpenCV运动捕捉。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种基于机器人视觉平台的视频检索方法，其特征在于，该方法包括：
双目摄像头采集视频片段，并将所述视频片段传送给视频处理系统；
视频处理系统提取所述视频片段中每一个视频帧的视频指纹，具体的，将所述每一个视频帧的分辨率调整为320，检测视频帧中的特征点，围绕所述特征点检测局部图像，获取所述局部图像中所有可使用的最强特征点，将所述最强特征点用64维灰度和16维彩色来描述，并建立灰度和色彩视觉词库；
依据灰度和色彩视觉词库，对所述视频指纹进行检索。
2.如权利要求1所述的视频检索方法，其特征在于，所述视频指纹为一组灰度值有差别的非连续的关键帧。
3.如权利要求1所述的视频检索方法，其特征在于，所述对视频指纹进行检索，包括：检索视频中的关键帧、前后连续帧和指纹关键帧图片。
4.如权利要求3所述的视频检索方法，其特征在于，所述检索视频中的关键帧、前后连续帧包括，提取视频中的关键帧和前后连续帧，比较图像碎片的位移向量，出现差别的位移向量即为运动中的物体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510028271.2A CN104504162B (zh) | 2015-01-21 | 2015-01-21 | 一种基于机器人视觉平台的视频检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510028271.2A CN104504162B (zh) | 2015-01-21 | 2015-01-21 | 一种基于机器人视觉平台的视频检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104504162A true CN104504162A (zh) | 2015-04-08 |
| CN104504162B CN104504162B (zh) | 2018-12-04 |
Family
ID=52945559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510028271.2A Active CN104504162B (zh) | 2015-01-21 | 2015-01-21 | 一种基于机器人视觉平台的视频检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104504162B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485196A (zh) * | 2015-08-28 | 2017-03-08 | 意法半导体股份有限公司 | 视觉搜索方法、对应的系统、设备和计算机程序产品 |
| CN110083740A (zh) * | 2019-05-07 | 2019-08-02 | 深圳市网心科技有限公司 | 视频指纹提取及视频检索方法、装置、终端及存储介质 |
| CN111738171A (zh) * | 2020-06-24 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 视频片段检测方法、装置、电子设备及存储介质 |
| CN114782879A (zh) * | 2022-06-20 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176208A (zh) * | 2011-02-28 | 2011-09-07 | 西安电子科技大学 | 基于三维空时特征的鲁棒视频指纹方法 |
| CN102663015A (zh) * | 2012-03-21 | 2012-09-12 | 上海大学 | 基于特征袋模型和监督学习的视频语义标注方法 |
| US20140037133A1 (en) * | 2004-11-12 | 2014-02-06 | The University Court Of The University Of St. Andrews | System, method & computer program product for video fingerprinting |
| CN104050247A (zh) * | 2014-06-04 | 2014-09-17 | 上海美琦浦悦通讯科技有限公司 | 实现海量视频快速检索的方法 |
-
2015
- 2015-01-21 CN CN201510028271.2A patent/CN104504162B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037133A1 (en) * | 2004-11-12 | 2014-02-06 | The University Court Of The University Of St. Andrews | System, method & computer program product for video fingerprinting |
| CN102176208A (zh) * | 2011-02-28 | 2011-09-07 | 西安电子科技大学 | 基于三维空时特征的鲁棒视频指纹方法 |
| CN102663015A (zh) * | 2012-03-21 | 2012-09-12 | 上海大学 | 基于特征袋模型和监督学习的视频语义标注方法 |
| CN104050247A (zh) * | 2014-06-04 | 2014-09-17 | 上海美琦浦悦通讯科技有限公司 | 实现海量视频快速检索的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 钱卫等: "江苏IPTV监管系统内容监管思路及方法探讨", 《世界广播电视》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485196A (zh) * | 2015-08-28 | 2017-03-08 | 意法半导体股份有限公司 | 视觉搜索方法、对应的系统、设备和计算机程序产品 |
| US10585937B2 (en) | 2015-08-28 | 2020-03-10 | Stmicroelectronics S.R.L. | Method for visual search, corresponding system, apparatus and computer program product |
| CN110083740A (zh) * | 2019-05-07 | 2019-08-02 | 深圳市网心科技有限公司 | 视频指纹提取及视频检索方法、装置、终端及存储介质 |
| CN110083740B (zh) * | 2019-05-07 | 2021-04-06 | 深圳市网心科技有限公司 | 视频指纹提取及视频检索方法、装置、终端及存储介质 |
| CN111738171A (zh) * | 2020-06-24 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 视频片段检测方法、装置、电子设备及存储介质 |
| CN111738171B (zh) * | 2020-06-24 | 2023-12-08 | 北京奇艺世纪科技有限公司 | 视频片段检测方法、装置、电子设备及存储介质 |
| CN114782879A (zh) * | 2022-06-20 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
| CN114782879B (zh) * | 2022-06-20 | 2022-08-23 | 腾讯科技（深圳）有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104504162B (zh) | 2018-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12148204B2 (en) | Target detection method and apparatus | |
| CN107730515B (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| EP2224372A2 (en) | Grouping images by location | |
| US20050225678A1 (en) | Object retrieval | |
| Gong et al. | Advanced image and video processing using MATLAB | |
| CN112232199A (zh) | 基于深度学习的佩戴口罩检测方法 | |
| KR20190082593A (ko) | 영상 처리에 있어서의 객체 재인식을 위한 장치 및 방법 | |
| CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN116129129B (zh) | 一种人物交互检测模型及检测方法 | |
| CN105760472A (zh) | 视频检索方法及系统 | |
| WO2019083509A1 (en) | PEOPLE SEGMENTATIONS FOR BACKGROUND REPLACEMENTS | |
| CN113901922A (zh) | 一种基于隐式表征解耦网络的遮挡行人重识别方法及系统 | |
| CN104504162A (zh) | 一种基于机器人视觉平台的视频检索方法 | |
| Tiwari et al. | Machine learning approaches for face identification feed forward algorithms | |
| CN104504161B (zh) | 一种基于机器人视觉平台的图像检索方法 | |
| Wang et al. | Spatially prioritized and persistent text detection and decoding | |
| Jayanthiladevi et al. | Text, images, and video analytics for fog computing | |
| Ji et al. | End to end multi-scale convolutional neural network for crowd counting | |
| CN111931689B (zh) | 一种在线提取视频卫星数据鉴别特征的方法 | |
| Prabakaran et al. | Key frame extraction analysis based on optimized convolution neural network (ocnn) using intensity feature selection (ifs) | |
| CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
| Rani et al. | Object Detection in Natural Scene Images Using Thresholding Techniques | |
| CN113283279B (zh) | 一种基于深度学习的视频中多目标跟踪方法及装置 | |
| CN110830734B (zh) | 一种突变和渐变镜头切换识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200902 Address after: 2303, 23rd floor, building 1, yard 6, Dacheng Road, Fengtai District, Beijing 100071 Patentee after: Beijing Guodian Ruiyuan Technology Development Co., Ltd Address before: 101101 Beijing city Tongzhou District Jingdong No. 363 -7 cloud Patentee before: BEIJING ZFBOTS TECHNOLOGY Co.,Ltd. |