[go: up one dir, main page]

CN109271542A - 封面确定方法、装置、设备及可读存储介质 - Google Patents

封面确定方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109271542A
CN109271542A CN201811140229.XA CN201811140229A CN109271542A CN 109271542 A CN109271542 A CN 109271542A CN 201811140229 A CN201811140229 A CN 201811140229A CN 109271542 A CN109271542 A CN 109271542A
Authority
CN
China
Prior art keywords
candidate image
information
file
entity
cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811140229.XA
Other languages
English (en)
Inventor
赵翔
李鑫
刘霄
李旭斌
孙昊
文石磊
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811140229.XA priority Critical patent/CN109271542A/zh
Publication of CN109271542A publication Critical patent/CN109271542A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种封面确定方法、装置、设备及可读存储介质。其中,方法包括:获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;获取所述文件的内容信息;计算各候选图像显示的实体的信息与文件的内容信息的相关度;从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面,使得确定的封面贴合文件的主要内容,实现图文相符;而且,通过智能确定相关度高的封面,可以节省人工选封面的人力成本,选取的优质封面能够提升用户点击率。

Description

封面确定方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及计算机视觉技术,尤其涉及一种封面确定方法、装置、设备及可读存储介质。
背景技术
封面原指书刊外面的一层,有时特指印有书名、著者或编者、出版者名称等的第一面。近些年,网页、视频、电子漫画书、电子图集等电子文件大量涌现,一般采用图像作为这些文件的封面。
现有技术一般从文件中任意选取一张图像作为封面,例如,从视频中任意选取一个视频帧作为该视频的封面,又例如,从网页中任意选取一张图像作为该网页的封面。
由于文件中的图像往往有很多且图像内容庞杂,导致现有方法选取的封面质量低,与文件的关联性低。
发明内容
本发明实施例提供一种封面确定方法、装置、设备及可读存储介质,以使得确定的封面贴合文件的主要内容,实现图文相符。
第一方面,本发明实施例提供了一种封面确定方法,包括:
获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;
获取所述文件的内容信息;
计算各候选图像显示的实体的信息与文件的内容信息的相关度;
从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面。
第二方面,本发明实施例还提供了一种封面确定装置,该装置包括:第一获取模块,用于获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;
第二获取模块,用于获取所述文件的内容信息;
计算模块,用于计算各候选图像显示的实体的信息与文件的内容信息的相关度;
确定模块,用于从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现任一实施例所述的封面确定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的封面确定方法。
本发明实施例中,通过获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息,获取所述文件的内容信息,计算各候选图像显示的实体的信息与文件的内容信息的相关度,从而得到候选图像的实体的信息与内容信息的关联程度;通过从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面,从而根据候选图像的实体信息与内容信息的关联程度确定封面,使得确定的封面贴合文件的主要内容,实现图文相符;而且,通过智能确定相关度高的封面,可以节省人工选封面的人力成本,选取的优质封面能够提升用户点击率。
附图说明
图1是本发明实施例一提供的一种封面确定方法的流程图;
图2是本发明实施例二提供的一种封面确定方法的流程图;
图3是本发明实施例三提供的一种封面确定方法的流程图;
图4是本发明实施例四提供的一种封面确定装置的结构图;
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种封面确定方法的流程图,本实施例可适用于确定文件的封面的情况。可选地,可以响应于对文件的内容信息的修改操作或者对候选图像集合的修改操作,执行本实施例提供的封面确定方法;也可以在对文件进行拉取或者分发时,执行本实施例提供的封面确定方法;还可以周期性执行本实施例提供的封面确定方法。
该方法可以由封面确定装置来执行,该装置可以由硬件和/或软件构成,并一般集成在电子设备中,具体包括如下操作:
S110、获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息。
可选地,本实施例中的文件包括但不限于视频文件、图集、漫画书、音频文件和网页。相应地,文件的候选图像集合包括文件中的至少两张图像的集合和/或文件关联的至少两张图像的集合,可选地,文件关联的图像可以是用户针对该文件输入的图像。
本实施例将从这些图像中确定封面图像,为了方便描述和区分,将这些图像称为候选图像,候选图像构成的集合称为候选图像集合。
在一示例中,该文件为视频文件,则从视频文件中按照设定频率抽取至少两个视频帧,作为候选图像集合。设定频率可以预先设置,例如1秒抽取1个视频帧、2秒抽取一个视频帧。进一步地,从视频文件中的预设时间段按照设定频率抽取至少两个视频帧。基于视频文件的开头部分和结尾部分一般是广告、序幕等与视频内容关联不大的视频帧,预设时间段可以是视频文件的中部时间段,例如30%-70%时间段,以便抽取到与视频内容关联较大的视频帧。
在另一示例中,该文件为音频文件,则获取音频文件关联的歌手图像、唱片图像等的集合。
在获取到文件的候选图像集合之后,从候选图像集合的各候选图像中获取显示的实体的信息。例如,候选图像显示的实体包括候选图像显示的人物、物体、场景等。可选地,实体的信息是文本类型的信息,包括人物姓名、物体名称、场景信息等。
S120、获取文件的内容信息。
其中,文件的内容信息指能够体现文件主要内容的信息,可选地,文件的内容信息是文本类型的信息,例如文件的标题内容信息,文件的摘要内容信息、文件的简介内容信息、文件的类别信息等。
值得说明的是,S110和S120可以先后执行,或者并列执行,操作顺序不进行限定。
S130、计算各候选图像显示的实体的信息与文件的内容信息的相关度。
本实施例中,相关度指实体的信息与内容信息的关联程度,或者也可以称为相似度。
可选地,分别计算各候选图像显示的实体的信息与文件的内容信息的相关度。相关度计算方法包括但不限于余弦相似度、欧氏距离、皮尔逊相关性和斯皮尔曼等级相关系数。
S140、从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面。
本实施例中,与文件的内容信息相关度越大,对应的候选图像越能够表征文件的内容,也就越符合文件的封面要求。
为了从候选封面集合中确定最符合封面的图像,预先设置第一预设要求。可选地,第一预设要求包括相关度大于等于预设阈值,或者相关度最大。相应地,确定相关度大于等于预设阈值的候选图像作为文件的封面;或者,确定候选图像集合中相关度最大的候选图像作为文件的封面。如果大于等于预设阈值的候选图像有多个,则选取任意一个候选图像作为文件的封面。
本发明实施例中,通过获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息,获取文件的内容信息,计算各候选图像显示的实体的信息与文件的内容信息的相关度,从而得到候选图像的实体的信息与内容信息的关联程度;通过从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面,从而根据候选图像的实体信息与内容信息的关联程度确定封面,使得确定的封面贴合文件的主要内容,实现图文相符;而且,通过智能确定相关度高的封面,可以节省人工选封面的人力成本,选取的优质封面能够提升用户点击率。
进一步地,实体的信息可以是文本类型的信息,文件的内容信息也可以是文本类型的信息,文本是一种高维的语义空间,能够准确表征实体的信息和内容信息;接着,通过计算两个文本类型的信息的相关度,能够较精确地得到候选图像与文件的关联程度,进而提高封面确定的准确性。
实施例二
图2是本发明实施例二提供的一种封面确定方法的流程图。本发明实施例在上述各实施例的技术方案的基础上进行细化。
进一步地,将操作“从各候选图像中获取显示的实体的信息”细化为“识别各候选图像显示的实体,得到各候选图像中实体的描述信息;将各候选图像中实体的描述信息或者描述信息中的关键词作为各候选图像显示的实体的信息”,以将实体的信息具体化为实体的描述信息或者描述信息中的关键词。
进一步地,将操作“计算各候选图像显示的实体的信息与文件的内容信息的相关度”细化为“将文件的内容信息生成第一文本向量;将每个候选图像显示的实体的信息生成第二文本向量;根据第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度”,以通过文本向量计算相关度。
如图2所示的一种封面确定方法,包括:
S210、获取文件的候选图像集合。
S220、识别各候选图像显示的实体,得到各候选图像中实体的描述信息。
可选地,描述信息是文本类型的信息,包括人物的姓名描述信息、物品的名称描述信息、场景的描述信息等。
可选地,将各候选图像输入至实体识别模型,得到各候选图像中实体的描述信息。可选地,实体识别模型可以是卷积神经网络模型。实体识别模型至少包括:人脸识别模型、物品识别模型以及姿态识别模型中的一种。
可选地,人脸识别模型用于对各候选图像中的人脸进行公众人物姓名识别,输出识别到的公众人物姓名。物品识别模型用于对各候选图像进行多类通用物品分类,输出识别到的物品名称,例如山、桌子、海洋等。姿态识别模型用于对各候选图像进行姿态识别,输出识别到的姿态,例如踢足球、跳广场舞、在跑步机上跑步等。
S230、将各候选图像中实体的描述信息或者描述信息中的关键词作为各候选图像显示的实体的信息。
可选地,通过自然语言处理(Natural Language Processing,NLP)技术对描述信息进行切词,得到描述信息关键词,作为实体的信息。例如,从描述信息“在跑步机上跑步”中得到关键词“跑步机”和“跑步”。
S240、获取文件的内容信息。
可选地,文件的内容信息包括文件内容本身或者内容关键词。
可选地,通过自然语言处理(Natural Language Processing,NLP)技术对文件内容,例如标题、摘要、简介或者类别,进行切词,得到内容关键词,作为文件的内容信息。例如,从标题“电视剧A大结局”得到关键词“电视剧A”和“大结局”。
S250、将文件的内容信息生成第一文本向量。
可选地,采用向量空间模型将文件的内容信息映射为N维向量。进一步地,将文件内容本身或者内容关键词映射为N维文本向量,称为第一文本向量。当内容关键词有多个时,第一文本向量包括对应各关键词的多个向量。
S260、将每个候选图像显示的实体的信息生成第二文本向量。
可选地,采用向量空间模型将实体的信息映射为N维向量。进一步地,将实体的描述信息或者描述信息中的关键词映射为N维文本向量,称为第二文本向量。当描述信息中的关键词有多个时,第二文本向量包括对应各关键词的多个向量。
S270、根据第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度。
可选地,对于每个第二文本向量,计算第一文本向量中的每个向量和各第二文本向量中的每个向量的相关度,选取最大的相关度,作为最终的相关度。
可选地,采用余弦相似度计算两个文本向量间的相关度:以第一文本向量中每个向量和各第二文本向量中每个向量的夹角为考量角度,分别以两向量的内积(各对应元素相乘求和)比两向量的模的积为计算结果,得到两个文本向量间的余弦相似度,将各第二文本向量中最大的余弦相似度分别作为各候选图像显示的实体的信息与文件的内容信息的相关度。
可选地,计算第一文本向量和各第二文本向量的距离的倒数,作为各候选图像显示的实体的信息与文件的内容信息的相关度。
具体地,采用NLP技术计算第一文本向量中的每个向量和各第二文本向量中的每个向量的距离,例如字面距离、莱文斯坦距离、Jaro距离等,将各第二文本向量中最小距离的倒数分别作为各候选图像显示的实体的信息与文件的内容信息的相关度。
可见,第一文本向量与第二文本向量越接近,相关度越高,对应的候选图像被确定为封面的概率越大。
S280、从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面。
本实施例中,通过将各候选图像中实体的描述信息或者描述信息中的关键词作为各候选图像显示的实体的信息,将文件的内容信息生成第一文本向量,将每个候选图像显示的实体的信息生成第二文本向量,根据第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度,从而根据文本向量计算相关度,提高了相关度计算的准确性,进而提高封面确定的准确性。
实施例三
图3是本发明实施例三提供的一种封面确定方法的流程图。本发明实施例在上述各实施例的技术方案的基础上进行了优化。
进一步地,追加操作“获取各候选图像的画质信息”,以及将“从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面”细化为“根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分;从候选图像集合中,确定得分满足第二预设要求的候选图像作为文件的封面”,以通过画质信息和相关度综合确定封面。
如图3所示的一种封面确定方法,包括:
S310、获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息。
S320、获取文件的内容信息。
S330、获取各候选图像的画质信息。
可选地,画质信息包括但不限于清晰度、美观度和有无文字。
可选地,将各候选图像输入至画质识别模型,得到候选图像的画质信息。画质识别模型可以是卷积神经网络模型。画质识别模型至少包括:美观度识别模型、清晰度识别模型和文字识别模型中的一种。
可选地,美观度识别模型用于对各候选图像进行美观度识别,输出美观度。美观度识别模型的训练过程包括:获取多张图像样本,并标注各图像样本的美观度1-10,数值越高说明越美观。根据多张图像样本和美观度对美观度识别模型进行训练,使美观度识别模型的输出逼近标注的美观度。
清晰度识别模型用于对各候选图像进行清晰度识别,输出清晰度。清晰度识别模型的训练过程包括:获取多张图像样本,并标注各图像样本的清晰度1-10,数值越高说明越清晰。根据多张图像样本和清晰度对清晰度识别模型进行训练,使清晰度识别模型的输出逼近标注的清晰度。
文字识别模型用于对各候选图像进行文字存在性识别,输出有无文字,例如1表示无文字,0表示有文字。
可见,画质信息值越大,说明画质越好,对应的候选图像被确定为封面的概率越大。
值得说明的是,S330可以在获取文件的候选图像集合之后、S350之前执行,本实施例仅提供了一种可选的执行顺序。
S340、计算各候选图像显示的实体的信息与文件的内容信息的相关度。
S350、根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分。
可选地,对各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息进行加权求和,得到各候选图像的得分。
其中,当画质信息包括多个信息时,画质信息的权重包括每个信息分别对应的权重。可选地,画质信息的权重和相关度的权重可以根据实际封面要求设置。例如,封面要求更贴近文件内容,则将相关度的权重设置得较大。又例如,封面要求画质更好,则将画质信息的权重设置得较大。
可选地,画质信息的权重和相关度的权重还可以通过学习得到。具体包括以下三步操作:
第一步:获取多张图像样本和对应的目标得分。
可选地,从样本文件中获取多张图像样本,例如从样本视频中抽取多个视频帧。人工根据画质信息和相关度对每张图像样本打分,作为目标得分。例如0-4分,分值越大表示越符合封面要求。
第二步:获取每张图像样本显示的实体的信息与文件的内容信息的相关度和每张图像样本的画质信息。
采用上述各实施例提供的方法获取每张图像样本显示的实体的信息与文件的内容信息的相关度,以及每张图像样本的画质信息,此处不再赘述。
第三步:通过每张图像样本显示的实体的信息与文件的内容信息的相关度,以及每张图像样本的画质信息拟合目标得分,得到实体的信息的权重和画质信息的权重。
可选地,采用逻辑斯谛回归拟合目标得分。逻辑斯蒂回归是针对线性可分问题的一种易于实现而且性能优异的分类模型,是使用最为广泛的分类模型之一。首先构建预测函数Z是相关度和画质信息的加权和,权重为变量。φ(Z)是预测值。接着,将目标得分映射至0-1之间,通过梯度下降法,使得预测值逼近目标得分的映射值,从而得到合适的权重。
S360、从候选图像集合中,确定得分满足第二预设要求的候选图像作为文件的封面。
可选地,确定得分大于等于预设分数的候选图像作为文件的封面;或者,确定候选图像集合中得分最大的候选图像作为文件的封面。如果得分大于等于预设分数的候选图像有多个,则从中选取任一张候选图像作为文件的封面。
本实施例中,通过根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分,从而综合相关度和画质信息,确定文件的封面,使得确定的封面贴合文件内容的同时,画质也较好。
在上述各实施例中,从各候选图像中获取显示的实体的信息之后,还包括:根据各候选图像显示的实体的信息,判断对应的候选图像的合法性。相应地,从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面包括:从候选图像集合中,确定相关度满足第一预设要求且合法的候选图像作为文件的封面。
可选地,预先收集不合法信息,例如毒品信息、赌博信息、暴力信息、色情信息等。如果实体的信息与不合法信息一致,则判定对应的候选图像不合法;如果实体的信息与不合法信息不一致,则判定对应的候选图像合法。进而,确定相关度满足第一预设要求且合法的候选图像作为文件的封面,这样可以保证选取的封面的合法性。
实施例四
图4是本发明实施例四提供的一种封面确定装置的结构图。本发明实施例适用于确定文件的封面的情况。如图4所示,该装置具体包括:第一获取模块410、第二获取模块420、计算模块430和确定模块440。
第一获取模块410,用于获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;
第二获取模块420,用于获取文件的内容信息;
计算模块430,用于计算各候选图像显示的实体的信息与文件的内容信息的相关度;
确定模块440,用于从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面。
本发明实施例中,通过获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息,获取文件的内容信息,计算各候选图像显示的实体的信息与文件的内容信息的相关度,从而得到候选图像的实体的信息与内容信息的关联程度;通过从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面,从而根据候选图像的实体信息与内容信息的关联程度确定封面,使得确定的封面贴合文件的主要内容,实现图文相符;而且,通过智能确定相关度高的封面,可以节省人工选封面的人力成本,选取的优质封面能够提升用户点击率。
进一步地,实体的信息是文本类型的信息,文件的内容信息也是文本类型的信息,文本是一种高维的语义空间,能够准确表征实体的信息和内容信息;接着,通过计算两个文本类型的信息的相关度,能够较精确地得到候选图像与文件的关联程度,进而提高封面确定的准确性。
可选地,第一获取模块410在从各候选图像中获取显示的实体的信息时,具体用于:识别各候选图像显示的实体,得到各候选图像中实体的描述信息;将各候选图像中实体的描述信息或者描述信息中的关键词作为各候选图像显示的实体的信息。进一步地,第一获取模块410在识别各候选图像显示的实体,得到各候选图像中实体的描述信息时,具体用于:将各候选图像输入至实体识别模型,得到各候选图像中实体的描述信息,实体识别模型至少包括:人脸识别模型、物品识别模型以及姿态识别模型中的一种。
可选地,计算模块430在计算各候选图像显示的实体的信息与文件的内容信息的相关度时,具体用于:将文件的内容信息生成第一文本向量;将每个候选图像显示的实体的信息生成第二文本向量;根据第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度。进一步地,计算模块430在根据第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度时,具体用于:计算第一文本向量和各第二文本向量的距离的倒数,作为各候选图像显示的实体的信息与文件的内容信息的相关度。
可选地,确定模块440在从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面时,具体用于:确定相关度大于等于预设阈值的候选图像作为文件的封面;或者,确定候选图像集合中相关度最大的候选图像作为文件的封面。
可选地,该装置还包括第三获取模块,用于获取各候选图像的画质信息。相应地,确定模块44在从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面时,具体用于:根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分;从候选图像集合中,确定得分满足第二预设要求的候选图像作为文件的封面。
可选地,第三获取模块在获取各候选图像的画质信息时,具体用于:将各候选图像输入至画质识别模型,得到候选图像的画质信息,画质识别模型至少包括:美观度识别模型、清晰度识别模型和文字识别模型中的一种。
可选地,确定模块440在根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分时,具体用于:对各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息进行加权求和,得到各候选图像的得分。
可选地,该装置还包括训练模块,用于在对各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息进行加权求和之前,获取多张图像样本和对应的目标得分;获取每张图像样本显示的实体的信息与文件的内容信息的相关度和每张图像样本的画质信息;通过每张封面样本显示的实体的信息与文件的内容信息的相关度和每张封面样本的画质信息拟合目标得分,得到实体的信息的权重和画质信息的权重。
可选地,该装置还包括判断模块,用于从各候选图像中获取显示的实体的信息之后,根据各候选图像显示的实体的信息,判断对应的候选图像的合法性。相应地,确定模块440在从候选图像集合中,确定相关度满足第一预设要求的候选图像作为文件的封面时,具体用于:从候选图像集合中,确定相关度满足第一预设要求且合法的候选图像作为文件的封面。
可选地,文件的内容信息为文件的标题内容信息。第一获取模块410在获取文件的候选图像集合时,具体用于:从视频文件中按照设定频率抽取至少两个视频帧,作为候选图像集合。
本发明实施例所提供的封面确定装置可执行本发明任意实施例所提供的封面确定方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与设备/终端/服务器12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的封面确定方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任一实施例所提供的封面确定方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种封面确定方法,其特征在于,包括:
获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;
获取所述文件的内容信息;
计算各候选图像显示的实体的信息与文件的内容信息的相关度;
从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面。
2.根据权利要求1所述的方法,其特征在于,所述从各候选图像中获取显示的实体的信息,包括:
识别各候选图像显示的实体,得到各候选图像中实体的描述信息;
将各候选图像中实体的描述信息或者描述信息中的关键词作为各候选图像显示的实体的信息。
3.根据权利要求2所述的方法,其特征在于,所述识别各候选图像显示的实体,得到各候选图像中实体的描述信息,包括:
将各候选图像输入至实体识别模型,得到各候选图像中实体的描述信息,所述实体识别模型至少包括:人脸识别模型、物品识别模型以及姿态识别模型中的一种。
4.根据权利要求1所述的方法,其特征在于,所述计算各候选图像显示的实体的信息与文件的内容信息的相关度,包括:
将所述文件的内容信息生成第一文本向量;
将每个候选图像显示的实体的信息生成第二文本向量;
根据所述第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一文本向量和各第二文本向量,计算各候选图像显示的实体的信息与文件的内容信息的相关度,包括:
计算所述第一文本向量和各第二文本向量的距离的倒数,作为各候选图像显示的实体的信息与文件的内容信息的相关度。
6.根据权利要求1所述的方法,其特征在于,所述从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面,包括:
确定相关度大于等于预设阈值的候选图像作为所述文件的封面;或者,
确定候选图像集合中相关度最大的候选图像作为所述文件的封面。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
获取各候选图像的画质信息;
相应的,从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面包括:
根据各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息,计算各候选图像的得分;
从候选图像集合中,确定得分满足第二预设要求的候选图像作为所述文件的封面。
8.根据权利要求7所述的方法,其特征在于,所述获取各候选图像的画质信息,包括:
将各候选图像输入至画质识别模型,得到所述候选图像的画质信息,所述画质识别模型至少包括:美观度识别模型、清晰度识别模型和文字识别模型中的一种。
9.根据权利要求7所述的方法,其特征在于,所述根据各候选图像显示的实体的信息与文件的内容信息的相关度以及对应的画质信息,计算各候选图像的得分,包括:
对各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息进行加权求和,得到各候选图像的得分。
10.根据权利要求9所述的方法,其特征在于,在对各候选图像显示的实体的信息与文件的内容信息的相关度,以及对应的画质信息进行加权求和之前,还包括:
获取多张图像样本和对应的目标得分;
获取每张图像样本显示的实体的信息与文件的内容信息的相关度,以及每张图像样本的画质信息;
通过每张封面样本显示的实体的信息与文件的内容信息的相关度,以及每张封面样本的画质信息拟合目标得分,得到实体的信息的权重和画质信息的权重。
11.根据权利要求1-6任一项所述的方法,其特征在于,从各候选图像中获取显示的实体的信息之后,还包括:
根据各候选图像显示的实体的信息,判断对应的候选图像的合法性;
相应的,从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面包括:
从候选图像集合中,确定相关度满足第一预设要求且合法的候选图像作为所述文件的封面。
12.根据权利要求1-6任一项所述的方法,其特征在于,所述文件的内容信息为所述文件的标题内容信息,并且,获取文件的候选图像集合包括:
从视频文件中按照设定频率抽取至少两个视频帧,作为候选图像集合。
13.一种封面确定装置,其特征在于,包括:
第一获取模块,用于获取文件的候选图像集合,并从各候选图像中获取显示的实体的信息;
第二获取模块,用于获取所述文件的内容信息;
计算模块,用于计算各候选图像显示的实体的信息与文件的内容信息的相关度;
确定模块,用于从候选图像集合中,确定相关度满足第一预设要求的候选图像作为所述文件的封面。
14.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-12中任一所述的封面确定方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-12中任一所述的封面确定方法。
CN201811140229.XA 2018-09-28 2018-09-28 封面确定方法、装置、设备及可读存储介质 Pending CN109271542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811140229.XA CN109271542A (zh) 2018-09-28 2018-09-28 封面确定方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811140229.XA CN109271542A (zh) 2018-09-28 2018-09-28 封面确定方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109271542A true CN109271542A (zh) 2019-01-25

Family

ID=65199086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811140229.XA Pending CN109271542A (zh) 2018-09-28 2018-09-28 封面确定方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109271542A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918513A (zh) * 2019-03-12 2019-06-21 北京百度网讯科技有限公司 图像处理方法、装置、服务器及存储介质
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN110457523A (zh) * 2019-08-12 2019-11-15 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN111918130A (zh) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 视频封面确定方法、装置、电子设备及存储介质
CN112231504A (zh) * 2020-09-30 2021-01-15 北京三快在线科技有限公司 确定封面图片的方法、装置、电子设备及存储介质
CN112561334A (zh) * 2020-12-16 2021-03-26 咪咕文化科技有限公司 阅读对象的评分方法、装置、电子设备及存储介质
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112866801A (zh) * 2021-03-11 2021-05-28 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN113157963A (zh) * 2021-04-28 2021-07-23 维沃移动通信有限公司 图像筛选方法、装置电子设备及可读存储介质
CN113254696A (zh) * 2021-06-30 2021-08-13 腾讯科技(深圳)有限公司 一种封面图像获取方法及装置
CN113343832A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质
CN113591513A (zh) * 2020-04-30 2021-11-02 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN114219948A (zh) * 2021-11-08 2022-03-22 北京百度网讯科技有限公司 图像中的颜色处理方法、装置、电子设备及存储介质
CN114398549A (zh) * 2022-01-13 2022-04-26 腾讯科技(深圳)有限公司 文本信息的推荐方法、装置、服务器及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140469A1 (en) * 2003-05-15 2006-06-29 Warren Joel E Method for communicating and matching electronic files for financial transactions
CN105389593A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于surf特征的图像物体识别方法
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN106973324A (zh) * 2017-03-28 2017-07-21 深圳市茁壮网络股份有限公司 一种海报生成方法及装置
CN107832725A (zh) * 2017-11-17 2018-03-23 北京奇虎科技有限公司 基于评价指标的视频封面提取方法及装置
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端
CN108415961A (zh) * 2018-02-06 2018-08-17 厦门集微科技有限公司 一种广告图片推荐方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140469A1 (en) * 2003-05-15 2006-06-29 Warren Joel E Method for communicating and matching electronic files for financial transactions
CN105389593A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于surf特征的图像物体识别方法
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN106973324A (zh) * 2017-03-28 2017-07-21 深圳市茁壮网络股份有限公司 一种海报生成方法及装置
CN107832725A (zh) * 2017-11-17 2018-03-23 北京奇虎科技有限公司 基于评价指标的视频封面提取方法及装置
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端
CN108415961A (zh) * 2018-02-06 2018-08-17 厦门集微科技有限公司 一种广告图片推荐方法及装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918513A (zh) * 2019-03-12 2019-06-21 北京百度网讯科技有限公司 图像处理方法、装置、服务器及存储介质
US11475588B2 (en) 2019-03-12 2022-10-18 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and device for processing image, server and storage medium
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN110457523A (zh) * 2019-08-12 2019-11-15 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN110457523B (zh) * 2019-08-12 2022-03-08 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN111143613B (zh) * 2019-12-30 2024-02-06 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN113591513B (zh) * 2020-04-30 2024-03-29 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN113591513A (zh) * 2020-04-30 2021-11-02 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN111918130A (zh) * 2020-08-11 2020-11-10 北京达佳互联信息技术有限公司 视频封面确定方法、装置、电子设备及存储介质
CN112231504A (zh) * 2020-09-30 2021-01-15 北京三快在线科技有限公司 确定封面图片的方法、装置、电子设备及存储介质
CN112561334A (zh) * 2020-12-16 2021-03-26 咪咕文化科技有限公司 阅读对象的评分方法、装置、电子设备及存储介质
CN112613293A (zh) * 2020-12-29 2021-04-06 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112613293B (zh) * 2020-12-29 2024-05-24 北京中科闻歌科技股份有限公司 摘要生成方法、装置、电子设备及存储介质
CN112866801A (zh) * 2021-03-11 2021-05-28 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN112866801B (zh) * 2021-03-11 2023-10-03 北京小米移动软件有限公司 视频封面的确定方法、装置、电子设备及存储介质
CN113157963A (zh) * 2021-04-28 2021-07-23 维沃移动通信有限公司 图像筛选方法、装置电子设备及可读存储介质
CN113343832A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质
CN113343832B (zh) * 2021-06-01 2024-02-02 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质
CN113254696A (zh) * 2021-06-30 2021-08-13 腾讯科技(深圳)有限公司 一种封面图像获取方法及装置
CN114219948A (zh) * 2021-11-08 2022-03-22 北京百度网讯科技有限公司 图像中的颜色处理方法、装置、电子设备及存储介质
CN114398549A (zh) * 2022-01-13 2022-04-26 腾讯科技(深圳)有限公司 文本信息的推荐方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN109271542A (zh) 封面确定方法、装置、设备及可读存储介质
CN108829893B (zh) 确定视频标签的方法、装置、存储介质和终端设备
US11816888B2 (en) Accurate tag relevance prediction for image search
CN109117777B (zh) 生成信息的方法和装置
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN109840321B (zh) 文本推荐方法、装置及电子设备
CN110245259B (zh) 基于知识图谱的视频打标签方法及装置、计算机可读介质
CN108009228B (zh) 一种内容标签的设置方法、装置及存储介质
US10235623B2 (en) Accurate tag relevance prediction for image search
US9411830B2 (en) Interactive multi-modal image search
US8577882B2 (en) Method and system for searching multilingual documents
CN112395420A (zh) 视频内容检索方法、装置、计算机设备及存储介质
JP7132962B2 (ja) 画像処理方法、装置、サーバ及び記憶媒体
JP6361351B2 (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
US20110078176A1 (en) Image search apparatus and method
CN111475603A (zh) 企业标识识别方法、装置、计算机设备及存储介质
CN102043843A (zh) 一种用于基于目标应用获取目标词条的方法与获取设备
CN114880496B (zh) 多媒体信息话题分析方法、装置、设备及存储介质
CN107679070B (zh) 一种智能阅读推荐方法与装置、电子设备
CN107861948B (zh) 一种标签提取方法、装置、设备和介质
EP2786272A1 (en) Topic extraction and video association
EP4336379A1 (en) Tracking concepts within content in content management systems and adaptive learning systems
CN107844531B (zh) 答案输出方法、装置和计算机设备
CN112417845A (zh) 一种文本评价方法、装置、电子设备及存储介质
CN113407775B (zh) 视频搜索方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination