[go: up one dir, main page]

WO2007128185A1 - Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure - Google Patents

Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure Download PDF

Info

Publication number
WO2007128185A1
WO2007128185A1 PCT/CN2007/000115 CN2007000115W WO2007128185A1 WO 2007128185 A1 WO2007128185 A1 WO 2007128185A1 CN 2007000115 W CN2007000115 W CN 2007000115W WO 2007128185 A1 WO2007128185 A1 WO 2007128185A1
Authority
WO
WIPO (PCT)
Prior art keywords
code stream
review
module
video
audio
Prior art date
Application number
PCT/CN2007/000115
Other languages
English (en)
French (fr)
Inventor
Zhong Luo
Original Assignee
Huawei Technologies Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co., Ltd. filed Critical Huawei Technologies Co., Ltd.
Publication of WO2007128185A1 publication Critical patent/WO2007128185A1/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17345Control of the passage of the selected programme
    • H04N7/17354Control of the passage of the selected programme in an intermediate station common to a plurality of user terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25883Management of end-user data being end-user demographical data, e.g. age, family status or address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key

Definitions

  • the so-called content filtering is to process and judge certain attributes of the content. These content attributes may include: the name of the content provider, the URL of the content (Universal Resource Locator, such as a web address), and the IP address of the content providing server. Etc., and the packet header information of the packet in the case where the media stream is encapsulated in a packet, the information in the packet, and the like. It can be seen that this processing and filtering is also carried out in a hierarchy from shallow to deep.
  • the prior art 1 has the following problems:
  • the deepest content filtering that is, the filtering of video and audio data itself, such as the recognition of images, identify harmful scenes. (Violence, pornography, etc.), harmful text information (subtitles), faces of specific people, etc.
  • DPF Deep Packet Filtering
  • the review code stream generating node disconnects and forwards the media stream when receiving the control signal.
  • the operator's access network may have multiple;
  • This review code stream requires that it contain all the information needed for content review of the original content stream, while at the same time - having the lowest possible bit rate, avoiding the extra overhead of the network due to censorship. It is acceptable if the overhead is only a fraction of a fraction of the original content stream or even lower.
  • the bit rate is as low as possible.
  • the recognition result of the automatic identification module shall be taken as the standard.
  • This technique can reduce the resolution of the image without completely decoding the original media stream, such as reducing the original CIF (Common Interchange Format) image to QCIF (Quarter CIF).
  • CIF Common Interchange Format
  • QCIF Quadrater CIF
  • the amount of data can be reduced.
  • r rh * rv, which is the product of the multiple of the resolution reduction in the horizontal direction and the vertical direction.
  • the amount of the review code stream generated by either method is only a few tenths or less of the original code stream, so that it occupies only a small amount of bandwidth and does not burden the existing system.
  • the I frame or the first frame and a certain number of adjacent frames may be directly intercepted to generate a video review code stream, for example, 2 frames or 3 frames adjacent to each other, generally No more than 5 frames;
  • the code stream generating node may intercept the corresponding adjacent frame data packet from the delayed original video stream and send it to the review center; or, in the review code stream generating node, create a cache module for each At time t, all video stream packets in the time window between time t and time t- ⁇ are buffered. This time window is actually a sliding window, as time t changes, no Discard outdated data and include new data.
  • the review code stream generating node 600 also includes a first portion related to video review, the first portion specifically comprising:
  • a second sub-module 60322 configured to copy a data packet that includes each I frame or the I frame and a certain number of frames before and after the video code stream, and then generate the video review code stream by using the copied I frame data packet;
  • a third sub-module 60323, configured to perform the process of reducing the spatial resolution of the video code stream to form the video review code stream; setting r is a multiple of the overall spatial resolution reduction, i rh*rv, ie equal to The horizontal and vertical resolutions are reduced by the product of the multiples, and the input video stream does not need to be completely decoded.
  • Each of the above sub-modules stores a corresponding processing program, and is respectively connected to the main control module 601.
  • the main control module 601 can call one of them to generate a video censorship stream, or call a sub-module pair in which the application can be combined.
  • the video review code stream is processed step by step to minimize the amount of data contained in the video censorship stream.
  • the data cache module is respectively connected to the data of the fixed time length ⁇ before the first sub-module 60321, the second sub-module 60322 or the fifth sub-module 60325, and the video review code stream of the Dangdang is generated by the video censorship stream.
  • the first sub-module 60321, the second sub-module Block 60322 or fifth sub-module 60325 retrieves the corresponding data packet from the data cache module.
  • the review code stream generating node 600 may further include a second part related to the audio review, the second part specifically including:
  • the audio replacement source library 6044 is connected to the second switch module 6043, and the second switch module 6043 turns on the audio replacement source library 6044 while disconnecting the audio stream; the audio replacement source
  • the library 6044 holds a plurality of innocuous pieces of audio content that can be used to replace harmful content, such as music, voice public service advertisements, and the like.
  • the replaced command is sent by the main control module 601.
  • the main control module 601 is controlled under the command of the content review center, and the content review center command is sent to the main control module 601 through the communication module 602;
  • the video bottom layer processing common module 607 is connected to each of the sub-modules included in the video protocol conversion module 6035 and the video review code stream generating module 6032 for storing the common processing program. Because in the process of video transcoding, different technologies may use some common technical modules. Such as squatting, entropy coding and entropy decoding, quantization and inverse quantization, DCT and inverse DCT. Also in trial These common modules are also needed during the code stream generation process. Therefore, in order to improve efficiency, these technologies are extracted to form a common module.
  • the review center can adopt a hierarchical setting method, and each level of review center generally includes the following main structures:
  • the video harmful content recognition sub-module may include: an automatic identification sub-unit for automatically identifying harmful content; and/or a manual identification unit for manually identifying harmful content, in which case it must be included An operating unit for receiving a recognition result;
  • the audio harmful content recognition includes an audio playback device and an operation unit for receiving the recognition result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

一种媒体流审查系统、 方法及审查码流生成节点设备 技术领域
本发明涉及多媒体通信技术, 特别涉及一种多媒体通信过程中, 对来自 流媒体源的媒体流进行审查的审查系统、 方法和一种用于该审查系统的审查 码流生成节点。 背景技术
流媒体 ( Streaming Media )作为一种基本的多媒体通信形式 , 派生出了众 多的多媒体通信业务形式: 会议电视 /可视电话, IPTV ( Internet Protocol Television, IP电视)、 VOD ( Video on Demand, 视频点播)、 即时通信等。 因 此流媒体将成为 NGN ( Next Generation Network, 下一代网络 )上的基本通信 形式。尤其是近几年来国内外 IPTV业务的快速兴起, 流媒体在网络上的应用 也在急速发展。
流媒体上的一类业务比如 IPTV和 VOD, 都是以提供视频音频内容为功 能的。 内容的范围非常广阔, 包括影视节目、 新闻、 体育比赛、 演唱会等等。 各个国家, 尤其是我国, 对于内容的安全和监控一直是高度重视的, 都有相 关的法律。 从保护未成年人角度出发, 各国也有相关的规定。 同时, 在运营 商 /ISP ( Internet Service Provider, 因特网服务提供商)和内容提供商那里也有 这样的需求。 国内即将大规模开展 IPTV的运营, 那么首先一个问题是如何保 证有效的内容监控和过滤, 实现有害内容的过滤。
对于内容安全, 通常的理解包括两个方¾ :
1、 对于内容的保护, 防止内容被没有权限的用户接收;
比如防止盗看电视节目等。 对于这类入侵, 有很多成熟技术, 比如加密 ( Encryption )和加扰(Scrambling ), 认证鉴权、 以及数字版权管理 DRM ( Digital Right Management )等。
2、 对于有害和非法内容的入侵的防范, 保护的对象是内容攻击的对象, 通常是受众。
这需要对于内容进行实时的审查, 借鉴目前在广播电视行业的做法, 主 要是把电视节 目 码流 ( 一般都是按照 DVB-T , Digital Video Broadcasting-Terrestrial 传送的, 视频音频的压缩格式是 MPEG-2、 MPEG=Moving Picture Experts Group, 一个国际标准组织)在从节目源(比如 卫星)传送到用户电视机或机顶盒 STB ( Set-Top Box ) 的路径上设置检查节 点, 进行人工审查。 当然随着技术的进步, 有些内容的审查可以有系统自动 完成或者半自动(人机结合)来完成。 人工审查一旦发现节目内容有问题, 就要采取措施, 停止该节目码流的传送, 并且(多数情况下)用一个临时替 代的节目来替代被中断的内容有害的节目, 比如公益广告或者字幕公告等等。 当然人工判断需要集合内容的上下文, 并且反应和处置需要一定的时间, 因 此必须有一个延迟装置来提供这个延时, 比如 5秒钟。
所谓内容过滤, 就是对于内容的某些属性进行处理和判断, 这些内容属 性可以包括: 内容提供商的名字、 内容的 URL ( Universal Resource Locator 通用资源定位器,例如网址)、 内容提供服务器的 IP地址等, 以及媒体流以数 据包封装情况下的数据包的包头(packet header )信息、 包中的信息等。 可以 看出, 这种处理和过滤也是按照由浅入深的层次进行的。
现有技术一主要是依据内容的外部特征, 或者叫做浅层特征来进行内容 过滤。 其中最典型的例子是 URL过滤, 其原理如图 1所示: 内容过滤设备位 于网络上的核心网和边缘接入网之间, 那么是来自内容源的媒体流到达接收 终端之间的必由^^关口, 在实际中, 可以和企业网的代理、 NAT ( Network Address Translator, 网络地址翻译设备 ) /FW ( Firewall, 防火墙)放在同一个 网络位置,对于宽带家庭用户的情况, 可以和 B AS ( Broadband Administration System,宽帶管理系统 ) /BRAS ( Broadband Registration and Admission System, 宽带注册和准入系统)、 DISLAM ( Digital Subsciber Line Access Multiplexers , 数字用户线接入复用器)放在同一个位置, 或者放在 ISP 的 POP ( Point of Presence, 存在点 )上。■ 过滤设备自己有内部数据库, 存有多个内容源 URL的信息, 根据这个数 据库就可以判断一部分内容源是否有害, 并屏蔽有害内容源、 放行无害内容 源。 同时, 还有很多提供第三方服务的内容分级服务商, 他们的数据库更加 丰富和专业, 内容过滤设备也可以和这种第三方服务商连接, 使用他们的服 务来进行 URL过滤。
现有技术一存在如下问题:
1、 错杀问题: 根据 URL过滤, 可能把无害的.内容过滤掉了, 比如有的 网站提供视频节目点播, 其中有些节目是有害的, 但是有些是健康的电影, 仅根据 URL无法区分;
2、 错放问题: 有些 URL可能因为在分级体制中被认为是资盾优良的网 站, 可能也会出问题(被黑客攻击冒充其网址, 或者自己有违法的企图等);
3、 采用 URL过滤, 通常也还需要第三方的评级体系, 这样的评级体系 是有的, 有些收费的评级服务商专门提供评級服务。 但是他们的结杲也不能 完全准确和穷尽网络上所有的内容。 并且网络上的内容也是经常变化的, 任 何一个评级体系也不可能及时跟上这些变化。
对于要求非常高的应用场景, 比如面向全国公众的 IPTV, 最好做到万无 一失, 因此最好采用最深层次的内容过滤, 即视频音频数据本身的过滤, 比 如对于图像的识别,识别其中的有害场景(暴力、 色情等)、有害文字信息(字 幕)、 特定人物的面孔等等。
要达到很高的过滤正确率, 必须深入到最深的层次, 即内容数据本身的 深度包过滤 DPF ( Deep Packet Filtering )。
现有技术二 DPF基于人工的深度内容设别, 这种情况下, 内容过滤设备 能够对于媒体流进行解码并将内容播放出来(假设加密不是问题, 因为加密 的问题可以通过通信设备的合法监听要求解决), 供人工监控者审查。 如杲发 现有问题, 监控者立即采取措施, 切断有害内容, 同时切换到一段无害的内 容比如公益广告等。 当然在内容过滤设备之后必须有一个相当大容量的延迟 设备,来延迟有害内容,给监控人员一定的判断和反应处置时间(比如 5秒)。 当然, 这个过程目前也可以釆用自动或者人机结合半自动的方法实现, 其实 现原理如图 2所示, 其中内容过虑设备设置在审查环节上。
现有技术二的基本思想是对的, 并且在广播电视领域实际应用了多年, 效果还是不错的。 但是要用于 IP ( Internet Protocol )网络上的流媒体内容服务 的内容审查, 还需要进行相当多的改进和完善。 问题主要有:
1、 IP网络的情况比广播电视网络在结构和网络拓朴上要复杂得多, 节目 也要多得多, 被审查的节目如果都传送到网络中心来, 则占用过多通信资源;
2、 IP网络的内容源多、 节目多, 如果在进行审查时都进行集中的解码处 理, 则解码的处理量太大, 对审查设备的容量要求过高, 现有设备无法满足。 发明内容
本发明实施例提供一种多媒体通信过程中, 对媒体流进行审查的审查系 统、 方法和一种用于该审查系统的审查码流生成节点, 以解决对现有流媒体 业务进行深度内容审查时如何减少系统资源占用的问题。
本发明实施例所述的媒体流内容审查系统包括:
审查码流生成节点, 用于延迟转发来自流媒体源的媒体流, 并根据该媒 体流生成审查码流;
审查中心, 通信连接所述审查码流生成节点, 用于审查从所述审查码流 生成节点接收的所述审查码流, 并在识别出该审查码流中包含有害内容时向 所述审查码流生成节点发送断开转发所述媒体流的控制信号。
其中, 所述的审查码流生成节点中包括:
第一通信模块, 用于通信连接所述审查中心, 向所述审查中心发送所述 审查码流并接收所述控制信号;
主控模块, 用于控制所述审查码流生成节点的运行并执行所述审查中心 的控制信号。
所述的审查码流生成节点还包括:
视频码流延迟模块, 用于延迟转发所述媒体流中的视频码流; 视频审查码流生成模块, 用于根据所述视频码流生成相应的视频审查码 流并通过所述第一通信模块发送给所述审查中心进行审查;
第一开关模块, 连接所述枧频码流延迟模块的输出端, 所述主控模块接 收到所述控制信号时触发该第一开关模块断开转发所述视频码流。
所述的审查码流生成节点还包括:
音频码流延迟模块, 用于延迟转发所述媒体流中的音频码流;
音频审查码流生成模块, 用于根据所述音频码流生成相应的音频审查码 流并通过所述笫一通信模块发送给所述审查中心进行审查;
第二开关模块, 连接所述音频码流延迟模块的输出端, 所述主控模块接 收到所述控制信号时触发该第二开关模块断开所述音频码流的转发。
本发明实施例还提供一种媒体流内容审查方法, 包括如下步驟: 审查码流生成节点根据来自流媒体源的媒体流生成审查码流并将该审查 码流发送给审查中心, 以及将所述媒体流延迟设定时间后转发;
审查中心在所述设定时间内识别该审查码流, 并在该审查码流中包含有 害内容时向审查码流生成节点发送控制信号;
审查码流生成节点接收到所述控制信号时断开转发所述媒体流。
本发明实施例提供的技术方案将审查中心和审查码流生成节点有机的结 合为流媒体审查系统中, 由审查码流生成节点根据大量原始码流生成数据量 相对较少的审查码流并发送给审查中心进行深度内容审查, 解决了目前 IPTV 或数字电视等流媒体业务的内容安全问题; 本发明的审查码流生成节点生成 的审查码流的数据量仅为原始码流的几十分之一甚至更少, 仅占用很少的带 宽, 因此减少了审查码流对通信资源的占用, 不会对现有系统造成负担。 附图说明
图 1为现有基于内容的 URL进行过滤的原理示意图;
图 2为现有流媒体内容的深度审查原理示意图;
图 3为本发明实施例提供的审查系统的结构示意图; 图 4为视频序列中帧和场景的关系示意图;
图 5为场景、 帧和视频码流中数据包之间的对应关系示意图;
图 6-图 8为本发明实施例提供的用于图 3所述审查系统的一种审查码流 生成节点结构示意图。 具体实施方式
本发明实施例提供的技术构思为: 设置审查码流生成节点将来自流媒体 源的媒体流延迟设定时间后再转发, 并根据该来自流媒体源的媒体流生成审 查码流, 将生成的审查码流发送给审查中心进行审查; 审查中心在设定时间 内识别该审查码流, 在识别出该审查码流中包含有害内容时向审查码流生成 节点发送控制信号, 审查码流生成节点接收到控制信号时断开转发所述媒体 流。
原理如图 3 所示, 将审查中心设置在运营商的核心网络中心, 该审查中 心与周边的审查码流生成节点通信连接, 审查码流生成节点可以单独设置, 也可以和其它现有网絡实体合并设置, 例如: 媒体网关或媒体资源服务器等。 审查码流生成节点可能相联的网絡有:
1、 本运营商的接入网络, 可以有多个;
2、 其它运营商的核心网络, 可以有多个;
3、 互联网 ( Internet )。
流媒体内容服务的内容源 (由流媒体服务器和周边设备组成, 比如 web 服务器, 负载均衡设备等)可以直接通过本运营商的接入网接入到核心网, 也可以通过其它运营商的核心网络或互联网接入到本运营商的核心网, 当然 还有一种情况, 就是内容源可能布署在本运营商核心网中央, 和内容审查中 心在相同的网给位置。
除了上述最后一种情况, 当审查码流生成节点单独设置时, 可以连接在 媒体网关之前或之后, 当审查码流生成节点和媒体网关合并设置时, 可以由 审查码流生成节点直接承担媒体网关的功能, 这样来自内容源的媒体流必须 经过各自所对应的审查码流生成节点, 一般情况下, 审查码流生成节点仅仅 进行编码转换, 包括两种情况:
1、跨协议的编码转换,比如 MPEG-2和 MPEG-4之间、 MPEG-2和 H.264 之间的转换等;
2、 同一个协议内部的编码转换, 比如在 H.264中, 从高比特率转换到低 比特率(接入网需要较低的比特率, 比如用户如果用的是 ISDN接入, 2B+D, 最高速率只能支持到 128kbps, 如果来自内容源的节目流为 768kbps, 那么就 需要进行这种转换)。
在本发明实施例中, 审查码流生成节点除了完成上述常规功能外, 还需 要能够根据原始内容媒体流, 产生一个审查媒体流发送给审查中心。 这样做 的必要性在于: 首先审查码流是必要的, 因为审查码流生成节点是分散在网 络边缘的, 不可能在每个审查码流生成节点位置派专业审查人员来进行审查, 审查最好是集中在少数几个审查中心进行。 这样就要求审查码流生成节点把 关于内容的一个"浓缩"或者"摘要"版本发送到内容审查中心去。这种审查码流 要求能够包含原始内容码流的在内容审查方面需要的全部信息, 同时又要有 - 尽可能低的比特率, 避免给网络因为审查带来额外的开销。 如果开销只有原 始内容码流的几十分之一甚至更低, 那么是可以接受的。
产生的审查媒体流可以同样看成是一种特殊的编码转换, 该编码转换的 要求是:
1、 尽可能保持原始内容码流的信息, 至少在人工观看的时候, 能够判定 内容的性质;
2、 比特率尽可能低。
因此, 本发明实施例根据设定的编码转化方法, 利用原始码流产生审查 码流并发送给审查中心。 在某些情况下, 审查码流的产生需要对于原始码流 进行解码, 然后再进行特殊的编码; 或者部分解码, 再进行特殊处理和编码; 或者完全不需要解码等等。 凡是需要解码的情况下, 解码都和审查码流生成 节点原有的编码转换需要的解码重用, 或者大部分重用, 尽量減少计算负担。 来自各处审查码流生成节点的审查媒体流被汇总到内容审查中心后, 审 查中心可以对审查码流进行人工识别或自动识别, 如果有害, 则要采取措施, 命令有问题内容所经过的审查码流生成节点进行如下处理:
1、 切断有害内容码流;
2、 用无害的备用替换内容码流进行替换, 这样用户仍然可以看到内容, 最常用的方式是插播广告等;
当然, 如果运营商的网络^ ί艮大, 审查中心也可以分级设置, 一个审查中 心负责网络一部分。 仍参阅图 3所示, 存在一个最高的 1级审查中心, 另夕卜, 最高审查中心中的审查专家的权威最高,对于存在疑问的内容,如果下面的 2 级审查中心无法判定, 可以交给最高审查中心利用人工识别进行判定。
2级或更低级的审查中心可以进行自动或者半自动的内容审查,如果无法 确定, 可以有 1级审查中心最后进行人工判定。
媒体流中一^:都包括视频码流和对应的音频码流, 下面首先给出音频审 查码流的产生方法, 基于现有技术, 音频审查码流的产生方法可以包括以下 三种:
一、 每隔时间周期 Τ, 从原始音频码流中抽取播放时间长度 L的音频数 据包,发送给内容审查中心。因为音频每单位时间采样点数固定,比如 44.1KHZ 等, 包和播放时间严格对应, 比如每个数据包对于 20ms或者 30ms时间等, 上述方法 4艮好实现。 对于审查人员他们每隔时间周期 T, 听到长度为 L的一 段声音;
二、 因为声音中加入有害的内容可能艮短, 周期检查容易漏掉。 这种情 况下, 可以发送全部的音频码流, 相当于把原始音频码流复制一份转发到内 容审查中心;
三、 要求全部监听的情况下, 为了降低带宽的消耗, 可以进行编码转换,
准中的音频编码部分标准)转换成 G.723.1 , 这样比特率降低到 5.3/6.3kbps。 虽 然很多宽频带音频信息(音乐等)损失了, 但是有害内容主要是人的语音, 因此影响不大。
视频审查码流的产生方法较为复杂, 可以包括以下几种:
一、 基于场景分割的视频审查码流产生方法
理想的情况下, 是对于视频的每个镜头或者叫做场景都抽去一帧代表图 像组成审查视频流。 每个场景中的图像变化都不是很大, 这样的抽检是最好 的。
参阅图 4, 图 4所示为视频序列中帧和场景的关系示意图, 对于通过过滤 节点的视频码流, 首先分割成不同的场景(Scerie ) , 将原来作为一个由多个 帧(Frame )組成的视频序列, 分割成不同场景组成的场景序列。 一个场景包 含不等个数的帧, 每个场景内部的各个帧在背景和前景上基本相同, 只是存 在一定的运动。 可以理解成一个镜头, 镜头切换的时候, 产生新的场景。
对于分割场景, 必须说明的是, 场景本来是在视频内容拍摄(镜头切换) 和制作(加入特效比如两个镜头之间的 3D过渡效果等)的时候已经产生了的。 在过滤节点上进行场景分割就是要把视频码流中的码流分成一段一段的, 每 一段对应于原来的一个场景。 当然因为目前的场景识别技术还不能做到 100% 的识别精度, 因此可能最终在过滤节点上分割出来的场景和视频码流中固有 的场景不完全一致, 但是不影响本发明实施例的应用。
参阅图 5 , 图 5为场景、 帧和视频码流中数据包之间的对应关系示意图, 因为视频码流是从流媒体服务器( Streaming Media Server )等设备发出来的, 是在压缩后进行了打包(Packetization, 和具体的打包协议无关)的, 包是按 照时间顺序发出的, 每个包都有对应的序列号或者时间戳(Time Stamp等) , 根据这些信息过滤节点就可以正确重构包的原来顺序, 从而把包和场景进行 对应。 因此, 最终是一个场景对应于一系列的视频数据包。
其实, 内容审查只要审查每个场景的第一帧就可以了, 这样就能够把所 有的场景分割出来, 在一个场景第一帧和下一个场景第一帧之间的所有帧都 属于该场景。 一般来说, 一个场景中存在至少一个 I帧(帧内编码帧), 所谓 I 帧是对于 P (预测编码帧)帧和 B帧(双向预测编码帧)而言的。 I帧的编码完 全由其本身决定, 而不需要依赖其他帧, 而 P帧要依赖其前面的参考帧才能解 码, B帧则要依赖其前后的参考帧才能解码。 因此 I帧的解码最为简单。 只要 是基于离散余弦变换 DCT ( Discrete Cosine Transform ) 变换 +熵编码思想的压 缩编码标准中, 比如 ITU H.26x系列和 MPEG系列, I帧的解码都只需要进行反 嫡编码, 去量化和反 DCT变换就可以了, 不需要运动补偿。 因此解码的计算 量最少。 其他类型的帧, 比如 P帧, 要从视频码流中解码该 P帧, 则需要解码 其前面若干个 P帧, 一直到前面离它最近的一个 I帧。 但是对于 I帧, 则只需要 解码该 I帧本身。 两相比较, 解码的复杂度相差巨大。 其实在编码器中, 虽然 标准一般没有强制规定, 但是一般来说, 在场景发生变化时都会加入 I帧, 场 景的第一帧往往就是 I帧。对于 H.264这类新的标准中,视频码流中可能没有完 整的 I帧, 而只是一个帧的某个部分进行帧内编码比如一个条带(Slice )可以 独立进行帧内编码。 对于可能不存在完整 I帧的这种情况, 可以定义一些修正 的选取准则: 比如选取存在帧内编码条带或者宏块 MB ( Macroblock )最多的 帧。 对于一般的编码协议, 都有标识机制来标识 I帧或者帧内编码的条带等。 比如在 ITU的 H.264标准中, 是通过瞬时解码刷新 IDR ( Instantaneous Decoding Refresh )标志来标识的。 因此过滤节点依据这些具体的标识就可以正确提取 I 帧或者帧内编码的条带 /宏块等。
当然, 也有可能在一个场景内 (镜头比较长), 存在多个 I帧, 那么规定 选取第一个 I帧。 于是, 把每个场景内的第一个 I帧对应的数据包复制一份转 发给内容审查中心。
本发明实施例用到的场景分割技术一般包括以下两种:
1、 通过视频数据包中的结构信息(比如运动向量)等对于图像中的运动 区域进行估计, 可以判断多大区域在运动、 运动方向, 运动模式(单向运动, 往复运动等等), 运动幅度大小等, 从而判断哪些帧在运动模式上比较相似, 运动模式相似的帧一般属于同一个场景;
2、 通过视频码流的统计信息进行分析, 将视频码流中比特率看成关于时 间的随机过程, 然后进行统计建模(Statistical Modelling ) , 从而利用统计模 型估算场景的开始和结束的位置。
以上两种技术都不需要解码, 因此都具有艮高的效率。
二、 根据视频码流中的所有 I帧生成视频审查码流的方法
对于一般的编码协议, 都有标识机制来标识 I帧或者帧内编码的条带等。 比如在 ITU的 H.264标准中,是通过 IDR ( instantaneous decoding refresh即瞬 时解码刷新)标志来标识的。 因此审查码流生成节点依据这些具体的标识就 可以正确提取 I帧或者帧内编码的条带 /宏块等。 本方法就是在原始码流中, 根据 I帧在数据包头信息中含有的标志, 识别 I帧, 顺序复制转发给内容审查 中心。
根据上述两种方法生成的视频审查码流被发送到审查中心后, 审查中心 可以自动识别部分有害内容, 并可以进一步结合人工识别的方法进行识别。
具体识别方法为,从视频审查码流中一次获取一个 I帧, 解码该 I帧并还原 该 I帧图像, 然后对该帧图像进行识别, 包括以下两种识别方式:
1、人工识别,将 I帧图像显示出来供人类监控者察看以实现人工过滤功能; 2、 自动识别,将 I帧图像输入自动识别模块中, 利用有害内容数据库进行 自动的比对识别, 如果发现马上切断视频码流的播放并报告给人类监控者进 行处理, 现有技术中可以进行自动识别的有害内容包括下述方面:
a、 对于有害的图像内容进行自动识别, 比如淫秽、 暴力等场景, 该图像 识别技术属于成熟的已有技术;
b、 对于有害的叠加文字或者符号进行识别。 首先经过处理, 将文字或者 符号所在区域定位出来, 然后识别是垂直方向还是水平方向, 再具体进行文 字和背景的分割, 最后把处理的结果送入一个已有的光学文字识别 OCR
( Optical Character Recognition )模块进行识别。 将识别结果和数据库进行匹 配, 如果和数据库中的有害判断条件匹配成功, 则确定为有害叠加文字或者 符号, 该叠加文字或者符号的识别技术属于成熟的已有技术;
c、 对于图像中可能存在的特定人脸进行识別, 将该帧图像直接送入已有 的人脸识别模块进行识别。 当然已有人脸识别模块的数据库中的数据由内容 监控部门自行建立, 其中可以根据需要存储各类人脸: 嫌疑犯、 重要人物、 恐怖分子等, 该人脸识别技术属于成熟的已有技术。
当人工识别和自动识别同时采用时, 可以定义判断条件:
1、 完全以自动识别模块的识别结果为准。
2、 完全以人类监控者的识别结果为准。
3、 介于两者之间的, 要同时参考以上两种识别结果, 给出联合判决。 一 个实施例是: 基于分数的加权平均。 自动识别模块和人类监控者不但要判定 是否有害, 还有给出有害的分数, 比如从 0-100, 有害程度越高, 分数越高, 0 表示无害。 那么将自动识别模块的分数和人类监控者的分数加权相加如下:
S ( WMXSM+WHXSH ) / ( WM+WH )
其中 WM和 WH表示自动识别模块和人类监控者的权值。 两者之间的相 对大小表示了更加信任自动识别模块还是人类, SM和 SH分别表示自动识别模 块和人类给出的分数。如果最终得到的综合分数 大于一个给定的值,比如 50, 那么联合判决是有害, 否则是无害, 如果仅有一方识别出有害内容并给出了 有害内容的分值, 则可以默认另一方对该内容给出的分值为 0。
三、 基于重新量化 DCT系数的视频审查码流产生办法
对于每一帧的 DCT系数进行重新量化, 用比原来量化步长大的新量化步 长对于从数据包中提取的 DCT系数进行量化, 达到降低数据量的结果, 具体 步骤包括:
1、 提取每个数据包中的 DCT系数, 按照数据包结构信息中的量化步长 进行反量化;
2、 按照新的量化步长进行重新量化, 得到新的 DCT系数量化结果;
3、 将量化结果打包发送给内容审查中心, 同时要注意变更数据包中结构 信息中的量化步长为新的量化步长。
同时,还可以通过在上述步骤 1-3中丟弃原来视频的色度分量对应的 DCT 系数(U,V / CbCr分量), 只进一步降低数据量。 如果按照 4:2:2采样率计算, 通过丟弃色度分量系数, 又至少可以降低一半的数据量。 四、 基于降低图像分辨率的视频审查码流产生办法
这种技术可以在不需要对于原始媒体流完全解码的情况下, 将图像的分 辨率降低,比如从原来的 CIF ( Common Interchange Format )图像降低到 QCIF ( Quarter CIF ), 原则上可以把数据量降低到 1 / r。 r是分辨率降低的倍数, r=rh*rv, 即等于水平方向和垂直方向分辨率降低倍数的乘积。
五、 基于降低帧率的视频审查码流产生办法
将原始内容码流的帧率降低, 一般是丟弃视频序列中的 P帧和 B帧还有 PB帧。 通过丟弃这些帧达到降低帧率, 从而降低比特率的目的。
上述五种方法中, 任何一种方法产生的审查码流数据量仅为原始码流的 几十分之一甚至更少, 因此仅占用很少的带宽, 不会对现有系统造成负担。
在上述方法一、 方法二和方法五中, 审查中心对于视频审查码流进行审 查时, 例如确定视频码流中的场景性质、 定位字幕或者其它叠加文字图形符 号信息等, 需要相继的若干帧来精确分析, 才能达到识别的目的。 对于由 I 帧或者场景中第一帧, 或者通过降低帧率等方法获得的视频审查码流发送给 审查中心后, 审查中心需要在审查过程中反馈是否需要补充某个帧的前后的 相邻帧。 如果没有这些相邻帧, 审查中心不能精确进行分析和识别, 为避免 上述情况, 可以有以下解决方法:
1、 对于方法一、 方法二, 可以根据经验, 直接截取所述 I帧或第一帧以 及前后一定数目相邻几帧生成视频审查码流, 例如前后相邻的各 2帧或 3帧, 一般不多于 5帧;
2、 对于方法一、 方法二和方法五, 审查中心在审查过程中, 对于无法清 楚识别的内容, 通知审查码流生成节点将需要进一步补充审查的设定帧的若 干数目相邻帧数据包发送给审查中心。
审查码流生成节点接到通知后, 可以从延迟发送的原始视频码流中截取 相应的相邻帧数据包并发送给审查中心; 或者, 审查码流生成节点中再建立 一个緩存模块,对于每个时刻 t,緩存 t时刻至 t-δ时刻之间时间窗口内的所有 视频码流数据包。这个时间窗口其实是一个滑动窗口, 随着时刻 t的变化, 不 断丟弃过时的数据, 纳入新的数据。
这个緩存模块其实緩存固定时间长度 δ的数据, 因为压缩码流在单位时 间内的数据量是变化的, 因此緩存中数据量也是随时间变化的。 那么如果在 时刻 产生的视频审查码流数据包被审查中心接收, 如果发现仅仅凭借视频 审查码流中的数据无法精确识别, 审查中心则通过通信方式请求视频审查码 流生成节点发送对应帧的相邻帧, 比如前面的 l-ka帧, 共1 帧, 后面的 l-kp 帧, 共 kp帧, 因为存在时间对应关系, 而单位时间内的帧数是可控制的, 因 此可以得到对应的时间对应关系, 所需要的时间是 to -t 到 to +tp.如果视频审 查码流生成节点来自审查中心的请求并开始处理的时刻是 to +td,那么只要满 足:
ta, < δ- td并且 tp,< td
审查码流生成节点就可以在缓存中找到需要的相邻帧对应的数据包, 把 这些数据包发送给审查中心就可以了。 参数 δ决定了緩存数据量的大小(虽 然不是严格的, 因为压缩码流在单位时间内的数据量是变化的, 因此緩存中 数据量也是随时间变化的。), 它越大对于请求前后相邻帧的命中率越高, 但 是对于视频审查码流生成节点设备的成本和效率的影响越大, 因此必须有一 种折衷。 另外, 随着相关的识别处理技术的日益发展, 需要的 1¾和1¾将会越 来越小, 对应的 ^和 tp也将会越来越小, 从而对于 δ大小的要求会随着技术 进步日益降低。 甚至可以到 0, 即完全不需要緩存。 緩存模块根据每个时刻 t 和参数 δ, 即根据数据包上的时间戳信息来决定哪些数据包需要緩存的。 当然 在实现中, 也可以采用前后多少帧来作为度量的单位。 比如就规定緩存当前 处理帧前面的 ka帧和后面的 kp帧。
上述方法中, 需要在视频审查码流生成节点和审查中心之间的通信中, 增加对于如下信令的支持: 审查中心告诉视频审查码流生成节点, 需要发送 前后相邻帧数据的请求和相应的参数: 和{或者等价的]¾和]¾。
上述五种方法可以单独使用, 也可以配合使用, 例如: 对^^据方法一生 成的视频审查码流进一步利用方法四进行降低分辨率的处理后再发送, 可以 有很多种组合应用模式, 这里不——描述。
如果审查码流生成节点对延迟转发的视频码流的处理方法和正在采用的 视频审查码流的生成方法一样时, 可以直接延迟转发视频审查码流, 不再进 行重复处理。 ' 如图 6所示, 图 6为本发明实施例提出的用于实现媒体流内容审查的审 查码流生成节点 600的一种结构示意图, 包括:
主控模块 601 ,该模块是本装置的中心模块,起到控制全部其它模块运行 的作用, 和其它所有模块或子模块都有连线;
通信模块 602, 作为常规的审查码流生成节点 600, 受到审查码流生成节 点 600的控制设备的控制, 那么审查码流生成节点 600和它的这个控制设备 之间要交换信息。 控制命令和数据上报采用的通信协议可以是 H.248/MGCP (Media Gateway Control Protocol)等。 同时, 作为具有内容审查功能的审查码 流生成节点 600, 还要和媒体审查中心进行通信, 接受后者的控制, 并且向后 者上报信息。 因为, 内容审查设备之间的信令在国际标准組织中是没有定义 的(因为是全新的东西), 因此, 可以釆用两种办法解决信令问题: 完全重新 定义一套; 或者基于 H.248 MGCP等协议进行扩展, 定义新的 Package (包)、 Profile和 Method (方法)等。
该审查码流生成节点 600还包括与视频审查相关的第一部分, 该第一部 分具体包括:
1、视频码流延迟模块 6031,用于延迟转发来自流媒体服务器的视频码流, 延迟的时间长度可以设定, 或者采用缺省的延迟时间长度。 目的是为了给视 频审查码流的产生、 传送到内容审查中心、 审查人员进行判断和反应并且下 达命令、 再到审查码流生成节点 600接到命令后采取动作的整个过程预留充 分的时间;
2、 视频审查码流生成模块 6032, 连接所述通信模块 602, 用于根据来自 流媒体服务器的视频码流生成相应的视频审查码流并通过所述通信模块 602 发送; 3、第一开关模块 6033,连接所述主控模块 601 ,用于根据该主控模块 601 的触发信号断开所述视频码流的转发;
4、 视频替换片源库 6034, 连接所述第一开关模块 6033, 该第一开关模 块 6033在断开所述视频码流的同时,接通该视频替换片源库 6034,该视频替 换片源库 6034中保存有多个可供用于替换有害内容的无害内容片断, 比如公 益广告、 提示字幕、 动画短片等等。 替换的命令由主控模块 601发出, 当然 主控模块 601 又是在内容审查中心的命令下进行控制的, 内容审查中心的命 令通过通信模块 602发送到主控模块 601;
5、 视频协议转换模块 6035, 连接所述第一开关模块 6033, 用于对该第 一开关模块 6033输出的视频码流进行编码协议转换, 该模块采用已有技术, 对于输入视频码流进行所需要的编码转换。 包括但是不限于下述处理:
a、 压缩编码协议之间的转换, 比如 MPEG-2到 H.264等;
b、 同一种编码协议内部编码参数之间的转换: 帧率、 空间分辨率等; c、错误健壮性( Error Resilient )的编码转换: 通过审查码流生成节点 600 的转换, 使得原来没有加传送保护措施的输入视频码流加上要求的传送保护 措施, 比如 FEC等; 或者原来保护强度的调整;
d、其它编码转换: 比如插入叠加文字和图形符号,如本地运营商台标等。 参阅图 7所示, 根据前述的视频审查码流生成方法, 视频审查码流生成 模块 6032中可以至少包括如下之一子模块:
第一子模块 60321 , 用于对所述视频码流进行场景分割后,提取出每个场 景的开始图像帧和结束图像帧, 然后复制每一个场景中包含第一个帧或者第 一个帧以及前后一定数目帧的数据包, 该一定数目根据识别精度等因素确定, 利用复制的 I帧数据包生成所述视频审查码流,对于没有完整 I帧的情况需要 特殊处理, 比如选择帧内编码条带或者宏块最多的那个帧;
第二子模块 60322, 用于复制所述视频码流中包含每一个 I帧或者该 I帧 以及前后一定数目帧的数据包,然后利用复制的 I帧数据包生成所述视频审查 码流; 第三子模块 60323 ,用于将所述视频码流进行降低空间分辨率的处理后形 成所述视频审查码流; 设定 r是整体空间分辨率降低的倍数, i=rh*rv, 即等于 水平方向和垂直方向分辨率降低倍数的乘积, 对于输入的视频流不需要完全 进行解码。 在一般情况下, rh和 rv都是整数, 但是, rh和 rv也可以是任意有 理数(对于无理数比如 sqrt ( 2 )、 sqrt ( 3 )等可以用有理数近似, 比如 sqrt ( 2 ) =1.414、 sqrt(3)=1.732等);
第四子模块 60324,用于将所述视频码流进行降低帧率的处理后形成所述 视频审查码流, 本模块对于输入的视频流不需要完全进行解码, 降低的倍数 r 必须是整数;
. 第五子模块 60325,用于利用加大的量化步长重新将所述视频码流进行量 化处理后形成所述视频审查码流。
参阅图 7所示, 图 7给出了其中一种并行连接示意图, 事实上, 视频审 查码流生成模块 6032中只要包含其中一个子模块, 就可以完成本发明实施例 的目的。
上述每一个子模块中分别存储有相应的处理程序, 并分别连接到主控模 块 601 ,主控模块 601可以调用其中之一用于生成视频审查码流,或调用其中 可以组合应用的子模块对视频审查码流进行分步处理, 尽量降低视频审查码 流中包含的数据量。
参阅图 6、图 7所示,视频审查码流由第一子模块 60321、第二子模块 60322 或第五子模块 60325产生时, 第一子模块 60321、 第二子模块 60322或第五子 模块 60325还分别连接视频码流延迟模块 6031 , 在收到审查中心的通知时, 从中截取补充审查所需要的数据包并通过通信模块 602再发送给审查中心。
当然, 如前所述, 视频审查码流生成模块 6032中还可能包括:
数据緩存模块,分别连接在笫一子模块 60321、第二子模块 60322或笫五 子模块 60325之前, 用于緩存固定时间长度 δ的数据, 当当箭的视频审查码 流是由视频审查码流生成笫一子模块 60321、第二子模块 60322或第五子模块 60325产生时, 如果审查中心需要缓存数据, 则第一子模块 60321、 第二子模 块 60322或第五子模块 60325从数据緩存模块中获取相应的数据包。
如果审查码流生成节点 600中已经包含了第三子模块 60323、第四子模块 60324或第五子模块 60325 , 已经包含的子模块的输出端还可以直接连接到视 频码流延迟模块 6031的输入端, 这样, 根据主控模块 601的控制, 当视频审 查码流的生成方式和视频码流的常规协议转换的处理方法相同时, 为避免重 复处理, 根据主控模块 601的控制, 视频协议转换模块 6035可以停止工作, 视频码流延迟模块 6031直接将视频审查码流进行延迟转发给目的地。
审查码流生成节点 600 中还可以包括与音频审查相关的第二部分, 该第 二部分具体包括:
6、音频码流延迟模块 6041 ,用于延迟转发来自流媒体服务器的音频码流; 延迟的时间长度可以设定, 或者采用缺省的延迟时间长度。 目的是为了给音 频审查码流从产生、 被传送到内容审查中心、 审查人员进行判断和反应并且 下达命令、 再到审查码流生成节点 600接到命令后采取动作的整个过程预留 充分的时间;
7、 音频审查码流生成模块 6042, 连接所述通信模块 602, 用于根据所述 音频码流生成相应的音频审查码流并通过所述通信模块 602发送;
8、第二开关模块 6043,连接所述主控模块 601 ,用于根据该主控模块 601 的触发信号断开所述音频码流的转发。
9、 音频替换片源库 6044, 连接所述第二开关模块 6043, 该第二开关模 块 6043在断开所述音频码流的同时,接通该音频替换片源库 6044; 该音频替 换片源库 6044中保存有多个可供用于替换有害内容的无害音频内容片断, 比 如音乐、 语音公益广告等等。 替换的命令由主控模块 601发出, 当然主控模 块 601 又是在内容审查中心的命令下进行控制的, 内容审查中心的命令通过 通信模块 602发送到主控模块 601 ;
10、 音频协议转换模块 6045, 连接所述第二开关模块 6043 , 用于对该第 二开关模块 6043输出的音频码流进行编码协议转换。
根据前述的音频审查码流生成方法, 音频审查码流生成模块 6042中至少 包括如下之一子模块:
音频码流复制子模块 60421 ¾用于将所述音频码流直接复制为所述音频审 查码流;
音频码流节选子模块 60422,用于根据设定的间隔时间段节选所述音频码 流, 并利用节选出的音频码流生成所述音频审查码流;
音频码流编码转换子模块 60423,用于将所述音频码流重新编码转换为低 比特率的音频审查码流。
参阅图 8, 图 8给出了同时包含三个模块的连接示意图, 事实上, 音频审 查码流生成模块 6042中只要包含其中一个子模块, 就可以实现本发明实施例 的目的。
同样, 上述任何一个子模块中分别存储有相应的处理程序, 并同时连接 主控模块 601 ,主控模块 601可以调用其中一个子模块执行当前处理,其中每 一个子模块的输出端可以直接连接音频延迟模块的输入端, 当音频审查码流 生成方法和音频协议转换模块 6045采用的处理方法相同时,为避免重复处理, 根据主控模块 601的控制, 音频协议转换模块 6045停止工作, 音频延迟模块 直接将音频审查码流延迟转发给目的地。
本发明实施例的审查码流生成节点 600还包括:
11、 内容录制模块 605 , 用于录制并保存指定时段的媒体流, 对于指定的 视频音频流进行指定时间范围的录制, 以备以后检索 (比如查找违法犯罪证 据等 )使途。 内容审查中心可以通过指令指定对于哪个视频或者音频流进行 录制, 从什么时候开始到什么时候结束;
12、 日志报告模块 606, 分别连接该审查码流生成节点 600的其他模块或 子模块, 用于生成审查码流生成节点 600的运行日志和艮告生成; ·
13、 视频底层处理公共模块 607, 分别连接视频协议转换模块 6035和视 频审查码流生成模块 6032中包含的每一个子模块, 用于存储公共处理程序。 因为在视频编码转换过程中, 不同的技术可能都使用到一些公共的技术模块。 比如下釆样、 熵编码和熵解码、 量化和反量化、 DCT和反 DCT等。 同样在审 查码流生成过程中, 也需要使用到这些公共模块。 因此为了提高效率, 把这 些技术提取出来, 形成一个公共模块。
14、 音频底层处理公共模块 608, 分别连接音频协议转换模块 6045和音 频审查码流生成模块 6042, 用于存储公共处理程序。 因为在音频编码转换过 程中, 不同的技术可能都使用到一些公共的技术模块。 比如下采样、 熵编码 和嫡解码、 量化和反量化、 预测参数估计等等。 同样在审查码流生成过程中, 也需要使用到这些公共模块。 因此为了提高效率, 把这些技术提取出来, 形 成一个公共模块。
审查中心可以采用分级设置的方法, 每一级审查中心一般包括以下主要 结构:
主控模块, 用于控制审查中心的运行;
第二通信模块, 用于通信连接审查码流生成节点 600的第一通信模块, 接收所述审查码流并发送所述控制信号; 并用于和上一级审查中心进行通信; 解码还原模块, 用于解码并还原所述审查码流; 当然, 这里分别包括视 频审查码流解码还原子模块和音频审查码流解码还原子模块;
有害内容识别模块, 用于识別还原的审查码流中是否包含有害内容; 判决模块 连接所述有害内容识别模块用于在识别出有害内容时产生所 述控制信号并通过所述第二通信模块发送给所述审查码流生成节点 600。
相应的, 有害内容识别模块也可以分别包括有害视频内容识别子模块和 有害声音识别子模块;
根据具体的识别方式, 视频有害内容识别子模块可以包括: 自动识别子 单元, 用于对有害内容进行自动识别; 和 /或人工识别单元, 用于对有害内容 进行人工识别, 这时, 必须包括用于接收识别结果的操作单元;
音频有害内容识别中包括音频播放装置和用于接收识别结果的操作单 元。
对于在核心网内部的内容源, 其网络位置更加靠近某个内容审查中心 , 该内容源发出的内容媒体流首先经过内容审查中心, 再到达审查码流生成节 点 600。 这种情况下, 审查码流如果由下面的审查码流生成节点 600产生, 效 率就比较低了。 为了解决这个问题, 可以在和这个内容源相连的审查中心中 内置一个审查码流生成节点 600,或者在内容源和审查中心之间连接一个审查 码流生成节点 600, 用于生成该内容源的审查码流并发送给审查中心。
本发明实施例的上述方法中, 有害内容的特定分级标准和相应的识别标 准根据实际应用场景确定, 具体标准或识别方法并不限定本发明实施例的保 护范围。
通过本发明实施例的应用, 可以解决目前 IPTV, 数字电视等多媒体业务 中的内容安全问题, 保证这些业务提供的安全可靠, 既给电信广电运营商 /内 容提供商和设备厂商带来巨大的经济利益, 也同时保证了社会特别是未成年 人不受有害视频内容的毒害, 社会效益更为显著。
显然, 本领域的技术人员可以对本发明实施例进行各种改动和变型而不 脱离本发明实施例的精神和范围。 这样, 倘若本发明实施例的这些修改和变 型属于本发明实施例权利要求及其等同技术的范围之内, 则本发明实施例也 意图包含这些改动和变型在内。

Claims

权 利 要 求
1、 一种媒体流内容审查系统, 其特征在于, 包括:
至少一个审查码流生成节点, 用于延迟转发来自流媒体源的媒体流, 并 根据该媒体流生成审查码流;
审查中心, 通信连接所述审查码流生成节点, 用于审查从所述审查码流 生成节点接收的所述审查码流, 并在识别出该审查码流中包含有害内容时向 所述审查码流生成节点发送断开转发所述媒体流的控制信号。
2、 如权利要求 1所述的系统, '其特征在于, 所述的审查码流生成节点中 包括:
第一通信模块, 用于通信连接所述审查中心, 向所述审查中心发送所述 审查码流并接收所述控制信号;
主控模块, 用于控制所述审查码流生成节点的运行并执行来自所述审查 中心的控制信号。
3、 如权利要求 2所述的系统, 其特征在于, 所述的审查码流生成节点包 括:
视频码流延迟模块, 用于延迟转发所述媒体流中的视频码流;
视频审查码流生成模块, 用于根据所述视频码流生成相应的视频审查码 流并通过所述第一通信模块发送给所述审查中心进行审查;
第一开关模块, 连接所述视频码流延迟模块的输出端, 所述主控模块接 收到所述控制信号时触发该第一开关模块断开转发所述视频码流。
4、 如权利要求 3所述的系统, 其特征在于, 所述视频审查码流生成模块 至少包括如下之一:
第一子模块, 用于对所述视频码流进行场景分割后, 复制每一个场景中 包含第一个帧的数据包或者第一个帧以及前后一定数目帧的数据包, 然后将 复制的数据包顺序组合为所述视频审查码流;
第二子模块, 用于复制所述视频码流中包含每一个帧内编码桢的数据包 或者该帧内编码帧以及前后一定数目帧的数据包, 然后将复制的数据包顺序 组合为所述视频审查码流;
第三子模块, 用于将所述视频码流进行降低空间分辨率的处理后形成所 述枧频审查码流;
第四子模块, 用于将所述视频码流进行降低帧率的处理后形成所述视频 审查码流; '
第五子模块, 用于利用加大的量化步长重新将所述视频码流进行量化处 理后形成所述视频审查码流。
5、 如权利要求 4所述的系统, 其特征在于, 当所述视频审查码流生成模 块中包含有第一子模块、 第二子模块或第五子模块时, 被包含的每一个子模 块同时连接所述视频码流延迟模块; 或者被包含的每一个子模块前连接有数 据緩存模块, 用于緩存设定时段的视频码流。
6、 如权利要求 4所述的系统, 其特征在于, 当所述视频审查码流生成模 块中包含有第三子模块、 第四子模块或第五子模块时, 所述的审查码流生成 节点还包括: 视频底层处理公共模块, 分别连接第三子模块、 第四子模块或 第五子模块, 用于存储公用视频处理程序。
7、 如权利要求 2或 3所述的系统, 其特征在于, 所述的审查码流生成节 点包括:
音频码流延迟模块, 用于延迟转发所述媒体流中的音频码流;
音频审查码流生成模块, 用于根据所述音频码流生成相应的音频审查码 流并通过所述第一通信模块发送给所述审查中心进行审查;
第二开关模块, 连接所述音频码流延迟模块的输出端, 所述主控模块接 收到所述控制信号时触发该第二开关模块断开所述音频码流的转发。
8、 如权利要求 7所述的系统, 其特征在于, 所述的审查码流生成节点还 包括: 音频底层处理公共模块, 分别连接音频审查码流生成模块, 用于存储 公用音频处理程序。
9、如权利要求 7所述的系统, 其特征在于, 所述音频审查码流生成模块 中至少包括如下之一:
音频码流复制子模块, 用于将所述音频码流直接复制为所述音频审查码 流;
音频码流节选子模块, 用于根据设定的间隔时间段节选所述音频码流, 并利用节选出的音频码流顺序组合为所述音频审查码流;
音频码流编码转换子模块, 用于将所述音频码流重新编码转换为低比特 率的音频审查码流。
10、 如权利要求 2所述的系统, 其特征在于, 所述的审查码流生成节点 包括: 内容录制模块, 用于录制指定时段的媒体流。
11、 如权利要求 3或 4所述的系统, 其特征在于, 所述的审查码流生成 节点包括:
视频替换片源库, 连接所述第一开关模块的输入端, 该第一开关模块在 断开所述视频码流的同时, 接通该视频替换片源库; 和 /或
视频协议转换模块, 连接所迷第一开关模块的输出端, 用于对该第一开 关模块输出的视频码流进行编码协议转换的处理。
12、 如权利要求 7所述的系统, 其特征在于, 所述的审查码流生成节点 包括:
音频替换片源库, 连接所述第二开关模块的输入端, 该第二开关模块在 断开所述音频码流的同时, 接通该音频替换片源库; 和 /或
音频协议转换模块, 连接所述第二开关模块的输出端, 用于对该第二开 关模块输出的音频码流进行编码协议转换的处理。
13、 如权利要求 2所述的系统, 其特征在于, 所述的审查码流生成节点 还包括: 日志报告模块, 分别连接该系统的其它模块, 用于生成系统的运行 曰志。
14、 如权利要求 2所述的系统, 其特征在于, 所述第一通信模块还同时 通信连接所述审查码流生成节点的控制设备。
.
15、 如权利要求 2所述的系统, 其特征在于, 所述审查中心包括: 第二通信模块, 用于通信连接所述第一通信模块, 接收所述审查码流并 发送所迷控制信号;
解码还原模块, 用于解码并还原所述审查码流;
有害内容识别模块, 用于识别还原的审查码流中是否包含有害内容; 判决模块, 连接在所述有害内容识别模块和第二通信模块之间, 用于在 识别出有害内容时产生所述控制信号并通过所述第二通信模块发送。
16、 如权利要求 15所述的系统, 其特征在于, 所述有害内容识别模块中 包括:
自动识别子模块, 用于对有害内容进行自动识别; 和 /或
人工识別子模块, 用于对有害内容进行人工识别。
17、 如权利要求 15或 16所述的系统, 其特征在于, 所述审查中心分级 设置, 用于逐级审查所述媒体流中是否包含有害内容。
18、 一种审查码流生成节点, 其特征在于, 包括:
通信模块, 用于实现通信; : 视频码流延迟模块 , 用于延迟转发来自流媒体源的视频码流;
视频审查码流生成模块, 用于根据所述来自流媒体源的视频码流生成相 应的视频审查码流并通过所述通信模块发送;
主控模块, 用于通过所述通信模块收到断开转发所述视频码流的控制信 号时输出触发信号;
第一开关模块, 连接所述视频码流延迟模块的输出端, 用于根据所述主 控模块的触发信号断开转发所述视频码流。
19、 如权利要求 18所述的审查码流生成节点, 其特征在于, 所述审查码 流生成节点还包括:
音频码流延迟模块, 用于延迟转发来自流媒体源的音频码流;
音频审查码流生成模块, 用于根据所述音频码流生成相应的音频审查码 流并通过所述通信模块发送;
第二开关模块, 连接所述音频码流延迟模块的输出端, 所述主控模块收 到所述控制信号时, 还向该第二开关模块输出所述触发信号, 该第二开关模 块根据所述触发信号断开转发所述音频码流。
20、 如权利要求 18所述的审查码流生成节点, 其特征在于, 所述视频审 查码流生成模块至少包括如下之一:
笫 子模块, 用于对所述视频码流进行场景分割后, 复制每一个场景中 包含第一个帧的数据包或者第一个帧以及前后一定数目帧的数据包, 然后将 复制的数据包顺序组合为所述视频审查码流;
第二子模块, 用于复制所述视频码流中包含每一个帧内编码帧的数据包 或者该帧内编码帧以及前后一定数目帧的数据包, 然后将复制的数据包顺序 组合为所述视频审查码流;
第三子模块, 用于将所述视频码流进行降低空间分辨率的处理后形成所 述视频审查码流;
第四子模块, 用于将所述视频码流进行降低帧率的处理后形成所述视频 审查码流;
第五子模块, 用于利用加大的量化步长重新将所述视频码流进行量化处 理后形成所述视频审查码流。
21、 如权利要求 20所述的审查码流生成节点, 其特征在于, 当所述视频 审查码流生成模块中包含有第一子模块、 第二子模块或笫五子模块时, 被包 含的每一个子模块同时连接所述视频码流延迟模块; 或者被包含的每一个子 模块之前连接有数据緩存模块, 用于緩存设定时段的视频码流。
22、 如权利要求 20所述的审查码流生成节点, 其特征在于, 当所述视频 审查码流生成模块中包含有第三子模块、 第四子模块或第五子模块时, 所述 的审查码流生成节点还包括: 视频底层处理公共模块, 分别连接视频码流延 迟模块和被包含的每一个子模块, 用于存储公用视频处理程序。
23、 如权利要求 19所述的审查码流生成节点, 其特征在于, 所述音频审 查码流生成模块中至少包括如下之一:
音频码流复制子模块, 用于将所述音频码流直接复制为所述音频审查码 流;
音频码流节选子模块, 用于根据设定的间隔时间段节选所述音频码流, 并利用节选出的音频码流顺序组合为所述音频审查码流;
音频码流编码转换子模块, 用于将所述音频码流重新编码转换为低比特 率的音频审查码流。
24、 如权利要求 19所述的审查码流生成节点, 其特征在于, 所述的审查 码流生成节点还包括: 音频底层处理公共模块, 分别连接音频码流延迟模块 和音频审查码流生成模块, 用于存储公用音频处理程序。
25、 如权利要求 18或 19所述的审查码流生成节点, 其特征在于, 所述 审查码流生成节点还包括: 内容录制模块, 用于录制指定时段的媒体流。
26、 如权利要求 18所述的审查码流生成节点, 其特征在于, 所述审查码 流生成节点还包括:
视频替换片源库, 连接所述第一开关模块的输入端, 该第一开关模块在 断开所述视频码流的同时, 接通该替换视频源库; 和 /或
视频协议转换模块, 连接所述第一开关模块的输出端, 用于对该第一开 关模块输出的视频码流进行编码协议转换的处理。
27、 如权利要求 19所述的审查码流生成节点, 其特征在于, 所述审查码 流生成节点还包括:
音频替换片源库, 连接所述第二开关模块的输入端, 该第二开关模块在 断开所述音频码流的同时, 接通该替换音频源库; 和 /或
音频协议转换模块, 连接所述第二开关模块的输出端, 用于对该第二开 关模块输出的音频码流进行编码协议转换的处理。
28、 如权利 18要求所述的审查码流生成节点, 其特征在于, 所述审查码 流生成节点还包括: 日志报告模块, 分别连接该审查码流生成节点的其他模 块或子模块, 用于生成审查码流生成节点的运行日志。
29、 一种媒体流内容审查方法, 其特征在于, 包括如下步骤:
审查码流生成节点将来自流媒体源的媒体流延迟设定时间后转发, 以及 根据来自流体媒源的媒体流生成审查码流并将该审查码流发送给审查中心; 审查中心在所述设定时间内识别该审查码流, 并在该审查码流中包含有 害内容时向审查码流生成节点发送控制信号;
审查码流生成节点接收到所述控制信号时断开转发所迷媒体流。
30、 如权利要求 29所述的方法, 其特征在于, 所述媒体流包括枧频码流 和音频码流, 以及所迷审查码流包括视频审查码流和音频审查码流。
31、 如权利要求 30所述的方法, 其特征在于, 所述视频审查码流的生成 方法包括:
对所述视频码流进行场景分割后, 复制每一个场景中包含第一个帧的数 据包或者第一个帧以及前后一定数目帧的数据包, 然后将复制的数据包顺序 组合为所述视频审查码流;
复制所述视频码流中包含每一个帧内编码帧的数据包或者该帧内编码帧 以及前后一定数目帧的数据包, 然后将复制的数据包顺序组合为所述视频审 查码流; 或
将所述视频码流进行降低帧率的处理后形成所述视频审查码流。
32、 如权利要求 31所述的方法, 其特征在于, 所述方法还包括: 审查中心在所述设定时间内识别所述审查码流时, 对于需要补充审查的 设定帧, 通知审查码流生成节点补充发送所述设定帧的若干数目相邻帧数据 包;
审查码流生成节点从延迟发送的视频码流中截取相应的相邻帧数据包并 发送给审查中心。
33、 如权利要求 31所述的方法, 其特征在于, 所述视频审查码流的生成 方法还包括:
将所述枧频码流进行降低空间分辨率的处理后形成所述视频审查码流; 或
利用加大的量化步长重新将所述视频码流进行量化处理后形成所述视频 审查码流。
34、 如权利要求 30所述的方法, 其特征在于, 所迷音频审查码流的生成 方法包括:
将所述音频码流直接复制为所述音频审查码流;
根据设定的间隔时间段节选所述音频码流, 并利用节选出的音频码流生 成所述音频审查码流; 或
将所述音频码流重新编码转换为低比特率的音频审查码流。
PCT/CN2007/000115 2006-04-30 2007-01-11 Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure WO2007128185A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNA2006100790227A CN1968137A (zh) 2006-04-30 2006-04-30 一种媒体流审查系统及审查码流生成节点设备
CN200610079022.7 2006-04-30

Publications (1)

Publication Number Publication Date
WO2007128185A1 true WO2007128185A1 (fr) 2007-11-15

Family

ID=38076703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2007/000115 WO2007128185A1 (fr) 2006-04-30 2007-01-11 Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure

Country Status (2)

Country Link
CN (1) CN1968137A (zh)
WO (1) WO2007128185A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2219337A1 (en) * 2008-01-23 2010-08-18 Huawei Technologies Co., Ltd. Method and system for content categorization
CN113784153A (zh) * 2016-12-06 2021-12-10 谷歌有限责任公司 检测相似直播流媒体项的方法、系统和计算机可读介质
CN114071194A (zh) * 2020-08-05 2022-02-18 达音网络科技(上海)有限公司 可扩展多级协作内容审核技术

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164083B (zh) * 2011-04-18 2016-02-10 中兴通讯股份有限公司 令牌桶的刷新方法及装置
CN103945272B (zh) * 2013-01-23 2018-03-06 腾讯科技(北京)有限公司 一种视频交互方法、装置和系统
CN105933289A (zh) * 2016-04-08 2016-09-07 苏州花坞信息科技有限公司 一种在线广播平台
CN108124191B (zh) * 2017-12-22 2019-07-12 北京百度网讯科技有限公司 一种视频审核方法、装置及服务器
CN111327912B (zh) * 2018-12-13 2022-06-28 中国电信股份有限公司 直播处理方法、装置、系统和计算机可读存储介质
CN110007894B (zh) * 2019-03-29 2021-01-15 百度在线网络技术(北京)有限公司 用于发送音频信息的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195135A (en) * 1991-08-12 1993-03-16 Palmer Douglas A Automatic multivariate censorship of audio-video programming by user-selectable obscuration
WO2000045291A1 (en) * 1999-01-28 2000-08-03 Koninklijke Philips Electronics N.V. System and method for analyzing video content using detected text in video frames
CN1636388A (zh) * 2001-03-30 2005-07-06 皇家菲利浦电子有限公司 视频节目中基于多媒体内容信息的父母控制系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195135A (en) * 1991-08-12 1993-03-16 Palmer Douglas A Automatic multivariate censorship of audio-video programming by user-selectable obscuration
WO2000045291A1 (en) * 1999-01-28 2000-08-03 Koninklijke Philips Electronics N.V. System and method for analyzing video content using detected text in video frames
CN1636388A (zh) * 2001-03-30 2005-07-06 皇家菲利浦电子有限公司 视频节目中基于多媒体内容信息的父母控制系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2219337A1 (en) * 2008-01-23 2010-08-18 Huawei Technologies Co., Ltd. Method and system for content categorization
EP2219337A4 (en) * 2008-01-23 2011-01-26 Huawei Tech Co Ltd METHOD AND SYSTEM FOR CLASSIFYING CONTENTS
US8533314B2 (en) 2008-01-23 2013-09-10 Huawei Technologies Co., Ltd. Method and system for content categorization
US8719332B2 (en) 2008-01-23 2014-05-06 Huawei Technologies Co., Ltd. Method and system for content categorization
US9195737B2 (en) 2008-01-23 2015-11-24 Huawei Technologies Co., Ltd. Method and system for content categorization
CN113784153A (zh) * 2016-12-06 2021-12-10 谷歌有限责任公司 检测相似直播流媒体项的方法、系统和计算机可读介质
CN113784153B (zh) * 2016-12-06 2024-06-25 谷歌有限责任公司 检测相似直播流媒体项的方法、系统和计算机可读介质
CN114071194A (zh) * 2020-08-05 2022-02-18 达音网络科技(上海)有限公司 可扩展多级协作内容审核技术
CN114071195A (zh) * 2020-08-05 2022-02-18 达音网络科技(上海)有限公司 可扩展多级协作内容审核技术
CN114071194B (zh) * 2020-08-05 2024-04-23 达音网络科技(上海)有限公司 可扩展多级协作内容审核技术
CN114071195B (zh) * 2020-08-05 2024-06-21 达音网络科技(上海)有限公司 可扩展多级协作内容审核技术

Also Published As

Publication number Publication date
CN1968137A (zh) 2007-05-23

Similar Documents

Publication Publication Date Title
WO2007128185A1 (fr) Système et procédé de censure de flux multimédia et appareil de noeud de génération de flux de code de censure
WO2007128234A1 (fr) Procédé et noeud de filtrage de flux vidéo
Nightingale et al. HEVStream: a framework for streaming and evaluation of high efficiency video coding (HEVC) content in loss-prone networks
TWI458340B (zh) 用於多工視訊分量之發信號資料
KR100844224B1 (ko) 영상 통신 에러를 처리하는 방법 및 장치
KR101396628B1 (ko) 인코딩된 비디오 데이터의 스트리밍
Frnda et al. Impact of packet loss and delay variation on the quality of real-time video streaming
CN109788314B (zh) 一种视频流数据传输的方法和装置
Perez et al. Effect of packet loss in video quality of experience
JP2003533953A (ja) ビデオ符号化方法
CN109756789B (zh) 一种音视频数据包的丢包处理方法和系统
CN110324580B (zh) 一种基于视联网的监控视频播放方法及装置
KR101062882B1 (ko) 예측 및 비예측 데이터 프레임을 전송하는 방법 및디바이스
KR20160007564A (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
JP4983917B2 (ja) 動画像配信システム、変換装置および動画像配信方法
CN101489101B (zh) 一种ip电视频道切换处理方法、装置和系统
EP2308215B1 (en) Thinning of packet-switched video data
WO2007131445A1 (en) A method, a system and a apparatus for censoring video code stream
CN110324667B (zh) 一种新型视频流的播放方法和系统
Nishikawa et al. No-reference PSNR estimation for quality monitoring of motion JPEG2000 video over lossy packet networks
He et al. End-to-end video quality analysis and modeling for video streaming over IP network
CN115883855B (zh) 播放数据处理方法、装置、计算机设备和存储介质
Surati et al. Evaluate the Performance of Video Transmission Using H. 264 (SVC) Over Long Term Evolution (LTE)
Mu et al. A Discrete perceptual impact evaluation quality assessment framework for IPTV services
Palaniappan et al. N-way video communication over enterprise networks based on adaptive bit stream extraction in scalable video coding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07702047

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07702047

Country of ref document: EP

Kind code of ref document: A1