CN104240224B - 视频分析系统及方法 - Google Patents
视频分析系统及方法 Download PDFInfo
- Publication number
- CN104240224B CN104240224B CN201310244595.0A CN201310244595A CN104240224B CN 104240224 B CN104240224 B CN 104240224B CN 201310244595 A CN201310244595 A CN 201310244595A CN 104240224 B CN104240224 B CN 104240224B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- coefficient
- similarity
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种视频分析系统及方法。该方法包括：将一视频文件切分为多段视频；选取每段视频中的一帧作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数；确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个不同代表帧所在的两段视频合并为一段视频；分析所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零；以及在所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零时，确定每段视频中的起始帧对应的时间和结束帧对应的时间。采用本发明的视频分析系统及方法，无需对视频文件中的每相邻帧都进行比较，提高了视频分析的速度。
Description
技术领域
本发明涉及视频分析技术，特别涉及一种视频分析系统及方法。
背景技术
在生产阶段，需要对电子产品例如平板电脑等切换图片的速度进行分析，即测试电子产品的反应速度。现有的一种测试方法为电子产品自动播放一系列相似度较低的图片，再将电子产品自动播放图片的动作录制为一段视频。在图片播放完毕后，采用视频分析方法对录制的视频进行分析，以得到图片切换速度。目前，在视频分析学上，通常的做法是逐帧两两比较两帧图像的异同来确定视频变化中的关键帧，确定关键帧对应的时间，从而根据关键帧对应的时间来确定图片切换速度。现有的这种视频分析方法需要花费大量的时间。
发明内容
有鉴于此，本发明提供一种视频分析系统及方法，以解决上述技术问题。
一种视频分析系统，应用于一计算装置，所述系统包括：切割模块，用于将一视频文件切分为多段视频，每段视频中的第一帧与最后一帧的相似度系数大于零；计算模块，用于选取每段视频中的一帧作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数；合并模块，用于确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个不同代表帧所在的两段视频合并为一段视频；以及确定模块；所述计算模块还用于分析所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零，所述确定模块用于在所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零时，确定每段视频中的起始帧对应的时间和结束帧对应的时间。
一种视频分析方法，应用于计算装置，其特征在于，所述方法包括：将一视频文件切分为多段视频，每段视频中的第一帧与最后一帧的相似度系数大于零；选取每段视频中的一帧作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数；确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个不同代表帧所在的两段视频合并为一段视频；分析所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零；以及在所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零时，确定每段视频中的起始帧对应的时间和结束帧对应的时间。
在本发明中，将一视频文件分割为多段视频，且每段视频都仅包含一次变化过程，则可快速地判断每段视频中的起始帧和结束帧为所述视频文件中视频变化的关键帧。采用本发明的视频分析系统及方法，无需对视频文件中的每相邻帧都进行比较，提高了视频分析的速度。
附图说明
图1为本发明一种实施方式中视频分析系统的功能模块图。
图2为本发明一种实施方式中视频分析方法的流程图。
主要元件符号说明
| 视频分析系统 | 100 |
| 切割模块 | 10 |
| 计算模块 | 20 |
| 合并模块 | 30 |
| 确定模块 | 40 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参考图1，本实施方式中的视频分析系统100应用于一计算装置（未示意），用于对一视频文件进行分析，以快速找到该视频文件中视频变化的关键帧，根据关键帧对应的时间确定计算装置图片切换的速度。在本实施方式中，计算装置可为智能手机、平板电脑等，视频文件记录计算装置自动播放多张相似度较低的图片的播放过程。视频分析系统100包括执行于计算装置的切割模块10、计算模块20、合并模块30及确定模块40。各个模块的具体功能结合图2的视频分析方法进行说明。
步骤S201中，切割模块10用于将一视频文件切分为多段视频，每段视频中的第一帧与最后一帧的相似度系数大于零。在本实施方式中，计算两帧图像的相似度系数具体为：在两帧图像处于同一坐标系的同一位置的两个像素点的像素值的差值小于一预设值时，将所述两个像素点定义为相等像素点，以及将所述两帧图像中所有相等像素点的个数定义为所述两帧图像的相似度系数。切割模块10将视频文件切分为多段视频具体为：假设视频文件的视频长度为T，切割模块10设定一时间间隔t1，按照时间间隔t1将视频文件切分为第一段视频及第二段视频，第一段视频的视频长度为t1，第二段视频的视频长度为T-t1。如果第一段视频的第一帧与最后一帧的相似度系数大于零，则按照时间间隔t1继续对第二段视频进行切割。如果第一段视频的第一帧与最后一帧的相似度系数为零，则减小时间间隔t1，直至按照时间间隔t1得到的第一段视频的第一帧与最后一帧的相似度系数不为零。以此类推，直至将视频文件切分为多段视频，且多段视频中的第一帧与最后一帧的相似度系数都大于零。在本实施方式中，若多段视频中的第一帧与最后一帧的相似度系数都大于零，则代表每段视频记录的都是同一张图片的播放过程。
步骤S202中，计算模块20选取每段视频中的一帧，例如中间帧，作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数。
步骤S203中，合并模块30确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个代表帧所在的两段视频合并为一段视频。在本实施方式中，合并模块30先得到所有代表帧中每两个代表帧之间的相似度系数的倒数的矩阵，其中，所述矩阵中对角线上的元素为一段视频的代表帧与自身的相似度系数的倒数，所述矩阵中每一行中除对角线上的元素外的其他元素为其中一段视频的代表帧与其他段视频的代表帧的相似度系数的倒数。合并模块30找出矩阵中非对角线上的最小值，确定得到所述最小值的两个代表帧之间的相似度系数为最大。在本实施方式中，两个不同代表帧越相似，两个不同代表帧之间的相似度系数越大，则可确定得到最大的相似度系数的两个不同代表帧非常相似，两个不同代表帧所在的两段视频非常相似，可将两段视频进行合并。因为一视频文件在时间上是连续的，非常相似的两段视频一般来说在时间上也是连续的。
步骤S204中，计算模块20计算所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零。如果是，执行步骤S205，如果否，返回执行步骤S202。在本实施方式中，如果所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零，则代表每段视频仅包含一次变化过程，即记录一事件的开始与结束。在本实施方式中，如果所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零，则代表每段视频仅记录一张图片的播放。
步骤S205中，确定模块40确定每段视频中的起始帧对应的时间和结束帧对应的时间。在本实施方式中，因每段视频仅包含一次变化过程，则每段视频的起始帧和结束帧为视频文件中视频变化的关键帧。
步骤S206中，确定模块40还根据每相邻两段视频中前一段视频的结束帧对应的时间和后一段视频的起始帧对应的时间，确定后一段视频在前一段视频播放结束后延迟多长时间开始播放，并将多个确定的延迟时间的平均值输出。在本实施方式中，输出的平均值则为计算装置100图片切换的速度。
在本实施方式中，将一视频文件分割为多段视频，且每段视频都仅包含一次变化过程，则可快速地判断每段视频中的起始帧和结束帧为所述视频文件中视频变化的关键帧。采用本实施方式的视频分析系统及方法，无需对视频文件中的每相邻帧都进行比较，提高了视频分析的速度，从而可快速得到计算装置切换图片的速度。
Claims (10)
1.一种视频分析系统，应用于一计算装置，其特征在于，所述系统包括：
切割模块，用于将一视频文件切分为多段视频，每段视频中的第一帧与最后一帧的相似度系数大于零，其中，所述切割模块对视频进行切割的方法为：先按照预设时间间隔将视频文件切割为第一段视频和第二段视频，若切割出的第一段视频第一帧与最后一帧的相似度系数大于零，则按照所述预设时间间隔继续对第二段视频进行切割；若第一段视频的第一帧与最后一帧的相似度系数为零，则减小所述时间间隔并重新对所述视频文件进行切割，直至按照所述减小的时间间隔得到第一段视频的第一帧与最后一帧的相似度系数不为零，以此类推直至将视频文件切分为多段视频；
计算模块，用于选取每段视频中的一帧作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数；
合并模块，用于确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个不同代表帧所在的两段视频合并为一段视频；以及
确定模块；
所述计算模块还用于分析所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零，所述确定模块用于在所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零时，确定每段视频中的起始帧对应的时间和结束帧对应的时间。
2.如权利要求1所述的视频分析系统，其特征在于，计算两帧图像的相似度系数具体为：在两帧图像处于同一坐标系的同一位置的两个像素点的像素值的差值小于一预设值时，将所述两个像素点定义为相等像素点，以及将所述两帧图像中所有相等像素点的个数定义为所述两帧图像的相似度系数。
3.如权利要求1所述的视频分析系统，其特征在于，每段视频的中间帧为该段视频的代表帧。
4.如权利要求1所述的视频分析系统，其特征在于，所述合并模块还用于得到所有代表帧中每两个代表帧之间的相似度系数的倒数的矩阵，其中，所述矩阵中对角线上的元素为一段视频的代表帧与自身的相似度系数的倒数，所述矩阵中每一行中除对角线上的元素外的其他元素为其中一段视频的代表帧与其他段视频的代表帧的相似度系数的倒数，所述合并模块找出所述矩阵中非对角线上的最小值，确定得到所述最小值的两个代表帧的相似度系数为最大。
5.如权利要求1所述的视频分析系统，其特征在于，所述确定模块还根据每相邻两段视频中前一段视频的结束帧对应的时间和后一段视频的起始帧对应的时间，确定后一段视频在前一段视频播放结束后延迟多长时间开始播放，并输出多个确定的延迟时间的平均值。
6.一种视频分析方法，应用于计算装置，其特征在于，所述方法包括：
将一视频文件切分为多段视频，每段视频中的第一帧与最后一帧的相似度系数大于零，其中，对所述视频进行切割的方法为：先按照预设时间间隔将视频文件切割为第一段视频和第二段视频，若切割出的第一段视频第一帧与最后一帧的相似度系数大于零，则按照所述预设时间间隔继续对第二段视频进行切割；若第一段视频的第一帧与最后一帧的相似度系数为零，则减小所述时间间隔并重新对所述视频文件进行切割，直至按照所述减小的时间间隔得到第一段视频的第一帧与最后一帧的相似度系数不为零，以此类推直至将视频文件切分为多段视频；
选取每段视频中的一帧作为代表帧，计算所有代表帧中每两个代表帧之间的相似度系数；
确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数，并将得到所述最大的相似度系数的两个不同代表帧所在的两段视频合并为一段视频；
分析所有视频段中每相邻两段视频中的相邻两帧的相似度系数是否为零；以及
在所有视频段中每相邻两段视频中的相邻两帧的相似度系数都为零时，确定每段视频中的起始帧对应的时间和结束帧对应的时间。
7.如权利要求6所述的视频分析方法，其特征在于，计算两帧图像的相似度系数具体为：在两帧图像处于同一坐标系的同一位置的两个像素点的像素值的差值小于一预设值时，将所述两个像素点定义为相等像素点，以及将所述两帧图像中所有相等像素点的个数定义为两帧图像的相似度系数。
8.如权利要求6所述的视频分析方法，其特征在于，每段视频的中间帧为该段视频的代表帧。
9.如权利要求6所述的视频分析方法，其特征在于，确定每两个不同的代表帧之间的相似度系数中最大的一个相似度系数具体为：得到所有代表帧中每两个代表帧之间的相似度系数的倒数的矩阵，其中，所述矩阵中对角线上的元素为一段视频的代表帧与自身的相似度系数的倒数，所述矩阵中每一行中除对角线上的元素外的其他元素为其中一段视频的代表帧与其他段视频的代表帧的相似度系数的倒数，以及找出所述矩阵中非对角线上的最小值，确定得到所述最小值的两个代表帧的相似度系数为最大。
10.如权利要求6所述的视频分析方法，其特征在于，所述方法还包括：
根据每相邻两段视频中前一段视频的结束帧对应的时间和后一段视频的起始帧对应的时间，确定后一段视频在前一段视频播放结束后延迟多长时间开始播放，并输出多个确定的延迟时间的平均值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310244595.0A CN104240224B (zh) | 2013-06-20 | 2013-06-20 | 视频分析系统及方法 |
| TW102122440A TWI591497B (zh) | 2013-06-20 | 2013-06-24 | 視頻分析系統及方法 |
| US14/034,471 US9131227B2 (en) | 2013-06-20 | 2013-09-23 | Computing device with video analyzing function and video analyzing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310244595.0A CN104240224B (zh) | 2013-06-20 | 2013-06-20 | 视频分析系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104240224A CN104240224A (zh) | 2014-12-24 |
| CN104240224B true CN104240224B (zh) | 2018-04-27 |
Family
ID=52111001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310244595.0A Active CN104240224B (zh) | 2013-06-20 | 2013-06-20 | 视频分析系统及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9131227B2 (zh) |
| CN (1) | CN104240224B (zh) |
| TW (1) | TWI591497B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744355A (zh) * | 2016-01-28 | 2016-07-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种视频预提醒处理的方法、装置以及终端 |
| CN106027893A (zh) * | 2016-05-30 | 2016-10-12 | 广东欧珀移动通信有限公司 | 控制Live Photo生成的方法、装置及电子设备 |
| CN106454509B (zh) * | 2016-09-27 | 2019-09-27 | 深圳市茁壮网络股份有限公司 | 一种广告图像的检测方法及装置 |
| CN106603886B (zh) * | 2016-12-13 | 2020-08-18 | Tcl科技集团股份有限公司 | 一种视频场景区分方法及系统 |
| CN107071559A (zh) * | 2017-05-11 | 2017-08-18 | 大连动感智慧科技有限公司 | 基于关键帧同步的多视频对比系统 |
| CN108307248B (zh) * | 2018-02-01 | 2019-10-29 | 腾讯科技（深圳）有限公司 | 视频播放方法、装置、计算设备及存储介质 |
| CN108966004B (zh) * | 2018-06-27 | 2022-06-17 | 维沃移动通信有限公司 | 一种视频处理方法及终端 |
| CN111294644B (zh) * | 2018-12-07 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 视频拼接方法、装置、电子设备及计算机可读存储介质 |
| CN109862390B (zh) * | 2019-02-26 | 2021-06-01 | 北京融链科技有限公司 | 媒体流的优化方法和装置、存储介质、处理器 |
| CN111526424B (zh) * | 2020-04-30 | 2022-06-03 | 北京奇艺世纪科技有限公司 | 一种精彩视频段提取方法、装置、电子设备及存储介质 |
| CN111901600B (zh) * | 2020-08-06 | 2021-06-11 | 中标慧安信息技术股份有限公司 | 一种损失较低的视频压缩方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072342A (zh) * | 2006-07-01 | 2007-11-14 | 腾讯科技（深圳）有限公司 | 一种场景切换的检测方法及其检测系统 |
| CN101088280A (zh) * | 2004-12-23 | 2007-12-12 | 英特尔公司 | 视频图像中场景切换或相似图像的检测方法与算法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3320197B2 (ja) * | 1994-05-09 | 2002-09-03 | キヤノン株式会社 | 画像編集装置及びその方法 |
| JPH11146325A (ja) * | 1997-11-10 | 1999-05-28 | Hitachi Ltd | 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体 |
| KR100305591B1 (ko) * | 1998-07-22 | 2001-11-30 | 오길록 | 관절점기반동작정보를사용한동영상검색방법 |
| JP3897476B2 (ja) * | 1999-02-15 | 2007-03-22 | キヤノン株式会社 | 画像処理装置及びその方法、コンピュータ可読メモリ |
| US7075683B1 (en) * | 1999-02-15 | 2006-07-11 | Canon Kabushiki Kaisha | Dynamic image digest automatic editing system and dynamic image digest automatic editing method |
| US7224892B2 (en) * | 2001-06-26 | 2007-05-29 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
| JP2004056397A (ja) * | 2002-07-18 | 2004-02-19 | Canon Inc | 画像処理装置および方法 |
| JP5463739B2 (ja) * | 2009-06-03 | 2014-04-09 | ソニー株式会社 | 撮像装置、画像処理方法及びプログラム |
-
2013
- 2013-06-20 CN CN201310244595.0A patent/CN104240224B/zh active Active
- 2013-06-24 TW TW102122440A patent/TWI591497B/zh active
- 2013-09-23 US US14/034,471 patent/US9131227B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101088280A (zh) * | 2004-12-23 | 2007-12-12 | 英特尔公司 | 视频图像中场景切换或相似图像的检测方法与算法 |
| CN101072342A (zh) * | 2006-07-01 | 2007-11-14 | 腾讯科技（深圳）有限公司 | 一种场景切换的检测方法及其检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9131227B2 (en) | 2015-09-08 |
| TWI591497B (zh) | 2017-07-11 |
| CN104240224A (zh) | 2014-12-24 |
| US20140376882A1 (en) | 2014-12-25 |
| TW201506651A (zh) | 2015-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104240224B (zh) | 视频分析系统及方法 | |
| US12001477B2 (en) | System for matching alternate versions of a song | |
| EP3477506B1 (en) | Video detection method, server and storage medium | |
| US9607224B2 (en) | Entity based temporal segmentation of video streams | |
| EP3158772B1 (en) | Managing interactive subtitle data | |
| US11392619B2 (en) | Data storage method, device, server and storage medium | |
| CN101365102B (zh) | 基于视频内容识别的收视率统计的方法和系统 | |
| KR20170027648A (ko) | 오디오 지문에 근거한 실시간 모바일 광고를 동시에 주입하는 방법 및 장치 | |
| CN104284241B (zh) | 一种视频剪辑方法和装置 | |
| US8000823B2 (en) | Audio playback time estimating apparatus and method | |
| CN107155093B (zh) | 一种视频预览方法、装置及设备 | |
| US11990150B2 (en) | Method and device for audio repair and readable storage medium | |
| CN106488256B (zh) | 一种数据处理方法及装置 | |
| CN105828179A (zh) | 视频定位方法和装置 | |
| CN100593948C (zh) | 一种拼合视频的方法和装置 | |
| CN113191891A (zh) | 数据处理方法、装置及系统 | |
| CN104301805B (zh) | 一种视频时间长度的估计方法和装置 | |
| CN105228003A (zh) | 一种推送方法和推送系统 | |
| US9116864B2 (en) | Automatic abstract determination method of document clustering | |
| CN109543511B (zh) | 基于图纹突变帧和特征计算的视频识别方法、系统及装置 | |
| CN103646037A (zh) | 一种电子搜索结果的生成方法和装置 | |
| EP2784719A2 (en) | Moving picture data comparing method and apparatus | |
| CN106469206A (zh) | 推送信息的方法和装置 | |
| Zhu et al. | Rapid video shot detective based on the dichotomy | |
| Asian | Design of hardware accelerators for content based video indexing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |