[go: up one dir, main page]

CN110135462B - 一种基于上下文信息的艺术画风格分类方法 - Google Patents

一种基于上下文信息的艺术画风格分类方法 Download PDF

Info

Publication number
CN110135462B
CN110135462B CN201910311265.6A CN201910311265A CN110135462B CN 110135462 B CN110135462 B CN 110135462B CN 201910311265 A CN201910311265 A CN 201910311265A CN 110135462 B CN110135462 B CN 110135462B
Authority
CN
China
Prior art keywords
style
artistic
label distribution
label
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910311265.6A
Other languages
English (en)
Other versions
CN110135462A (zh
Inventor
杨巨峰
程明明
陈丽怡
折栋宇
孙晓晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201910311265.6A priority Critical patent/CN110135462B/zh
Publication of CN110135462A publication Critical patent/CN110135462A/zh
Application granted granted Critical
Publication of CN110135462B publication Critical patent/CN110135462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文信息的艺术画风格分类方法,属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息,利用这些信息生成标签分布并用于训练卷积神经网络,即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练,从而解决艺术画风格分类的问题。在艺术画分类任务中,大多数方法都仅仅利用图像特征进行分类,而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题,通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布,并将其作为卷积神经网络的输入标签,而后同时优化分类损失函数和标签分布损失函数,最终应用于艺术画风格分类的任务中。

Description

一种基于上下文信息的艺术画风格分类方法
技术领域
本发明属于计算机视觉技术领域,涉及到一种将艺术风格的上下文信息应用于训练卷积神经网络的方法,更具体地,涉及一种基于上下文信息的艺术画风格分类方法。
背景技术
近几年,深度学习的快速发展对计算机视觉领域很多问题都起到了巨大的推动作用。在艺术画风格分类任务中,卷积神经网络也被广泛用于提取艺术画的图像特征。在以往的工作中,研究者们更注重于提取各种类型的图像的特征对艺术画进行分类,包括视觉描述符特征以及深度特征。Robert Sablatnig等人在文献1中提出了一个微型肖像画分类系统提取笔画的结构特征,它使用三种不同的特征,即颜色、区域形状和笔触结构,实现了半自动分类。此外,文献2研究了多种局部特征和全局特征在艺术画分类任务中的效果,如词袋模型、局部二值模式描述符、场景特征描述符、分层梯度方向直方图等,并将多个特征进行组合显着提高了分类准确率。文献3中,Kuan-Chuan Peng等人使用深度学习方法并证明跨层特征对艺术画分类任务取得良好效果。文献4提出了一种多尺度卷积神经网络,它介绍了一种生成更多训练样本的方法,即假设艺术画的标签是可继承的,将一幅艺术画分割为多张子图,并从原始图像和分割得到的子图像中提取多尺度的特征用于分类。文献5也提出了一种基于多尺度特征的方法,它可以自动提取图像中的感兴趣区域,使用多尺度密集的卷积特征来描述图像整体和感兴趣区域,并使用Fisher向量分别编码两种特征用于计算艺术画的类别。
现有的方法大多专注于寻找艺术画中具有区分性的图像特征,却忽视了艺术画的风格是受多方面因素影响的,不仅仅是图像本身。与大多数细分类任务不同,艺术画风格的发展是一个连续的过程,新的艺术风格可以是已有艺术风格的继承或者突破,这就导致一些艺术风格之间具有很强的相似性。此外,艺术专家们在分析一幅绘画的风格时往往会考虑它的历史背景、政治、宗教和其他因素的影响。因此,艺术画风格的发展是由多因素促成的。在观察中我们发现,某些情况下风格的发展是微妙的,同一时期产生的风格往往具有高度的相似性,对于源自不同发源地的一些风格往往会存在明显的差异。在传统深度学习方法中,艺术画分类工作往往使用单一的一个标签描述实例,这不能很好地将影响艺术画风格分类的多个因素作为输入结合到网络中。此外,艺术画可以被划分为多种风格(如印象主义、巴洛克、立体主义、表现主义等),每种风格之间是具有联系的,例如巴洛克风格通常被认为是从文艺复兴风格演变而来的。
为了将影响艺术画分类的多种信息应用到网络训练中,我们使用标签分布代替单标签的输入,并提出一种基于艺术史背景信息生成标签分布的方法。标签分布学习使用一定数量的连续标签来描述一个实例,通过定义每个标签的值来表示其描述实例的程度,现已被应用于情感预测、人脸年龄估计等任务中。在文献6中,研究者们证明了标签分布学习在多个研究领域的优越性,包括年龄估计、头部姿势估计、多标签分类和语义分割。文献7利用情感类别之间的模糊性和关系来生成情感分布,并开发一个多任务深层框架,共同优化分类和分布的预测。
以上的工作为我们提出的基于上下文信息的艺术画风格分类方法提供了灵感与技术基础。我们系统地研究了影响艺术画风格的三种因素,即起源时间、发源地、所属艺术运动,并将这些信息转化为标签分布作为卷积神经网络的输入用于学习艺术画的风格特征。
现有技术文献:
文献1:Robert Sablatnig,Paul Kammerer,and ErnestineZolda.1998.Hierarchical classification of paintings using face-and brushstroke models.In International Conference on Pattern Recognition.
文献2:Fahad Shahbaz Khan,Shida Beigpour,Joost Weijer,and MichaelFelsberg.2014.Painting-91:A large scale database for computational paintingcategorization.Machine Vision&Applications25,6(2014),1385–1397.
文献3:Kuan-Chuan Peng and Tsuhan Chen.2015.Cross-layer features inconvolutional neural networks for generic classification tasks.In IEEEInternational Conference on Image Processing.
文献4:Kuan-Chuan Peng and Tsuhan Chen.2015.A framework of extractingmultiscale features using multiple convolutional neural networks.In IEEEInternational Conference on Multimedia and Expo.
文献5:Rao Muhammad Anwer,Fahad Shahbaz Khan,Joost van de Weijer,andJorma Laaksonen.2016.Combining holistic and part-based deep representationsfor computational painting categorization.In ACM International Conference onMultimedia Retrieval.
文献6:Bin-Bin Gao,Chao Xing,Chen-Wei Xie,Jianxin Wu,and XinGeng.2017.Deep label distribution learning with label ambiguity.IEEETransactions on Image Processing26,6(2017),2825–2838.
文献7:Jufeng Yang,Dongyu She,and Ming Sun.2017.Joint image emotionclassification and distribution learning via deep convolutional neuralnetwork.In International Joint Conference on Artificial Intelligence.
发明内容
本发明的目标是将艺术风格的上下文信息结合到卷积神经网络训练过程中解决艺术画的风格分类问题。同时提出一种标签分布生成方法,将三种艺术史背景信息高效地结合起来作为卷积神经网络的输入,通过训练网络最终预测出一幅艺术画的风格类别。
需要解决的技术问题是收集每种风格的上下文信息(包括起源时间、发源地和所属艺术运动),将上述信息转化为标签分布来描述多种风格之间的关系,将艺术史信息结合到网络中,并同时优化分类损失函数和分布损失函数来学习艺术画的风格。
本发明的技术方案如下:
a.对于目标任务的艺术画数据集,根据数据集中的风格类别收集每种风格的起源时间、发源地(国家)以及所属的艺术运动信息;
b.使用步骤a中得到的起源时间信息,分别根据起源时间的先后顺序和具体起源年份基于高斯分布生成两种时间标签分布;
c.使用步骤a中得到的发源地(国家)信息生成地点标签分布;
d.使用步骤a中得到的所属艺术运动信息生成艺术运动标签分布;
e.使用步骤b、c、d中得到的两种时间标签分布、地点标签分布和艺术运动标签分布生成多因素的标签分布,用于表示三种历史信息所反应的风格之间的关系;
f.使用步骤b、c、d、e中得到的任一种标签分布作为卷积神经网络输入图像的标签,在训练过程中同时优化分类损失函数和分布损失函数,学习艺术画的风格特征,用于预测一幅艺术画的风格类别。
其中,步骤b中生成时间因素标签分布时,使用时间顺序和具体起源时间分别生成两种时间分布的标签,并在步骤e中采用加权求和的方式得到最终的时间标签分布。
此外,为了便于f步骤中的网络训练,在步骤b、c、d、e中需要对生成的标签分布进行归一化操作,使得生成的标签分布各项相加和为1。
进一步的,本发明对于每种风格的起源时间、发源地(国家)和所属的艺术运动信息,根据目标任务数据集的类别名称进行收集。
进一步的,本发明对于根据起源时间顺序生成时间因素标签分布,按照每种风格起源时间的先后顺序编号计算生成标签分布,这一过程不考虑具体的起源时间。对于根据具体起源时间生成时间因素标签分布,使用每种风格的起源时间年份(若无法确定具体年份可以使用近似年份代替)计算生成标签分布,这一过程不考虑起源时间顺序。
进一步的,对于生成的地点标签分布,与目标风格属于同一发源地(国家)的风格所对应的标签值被定义为一个固定值,其它标签值被定义为零。对于生成的艺术运动标签分布,与目标风格属于同一艺术运动的风格所对应的标签值被定义为一个固定值,其它标签值被定义为零。
进一步的,本发明通过同时优化分类损失函数和分布损失函数,并使用权重来平衡两种损失函数的占比,在网络训练中学习艺术画的风格特征,从而实现结合艺术历史信息进行艺术风格的预测。
本发明的有益效果为:本方法能够有效地将艺术风格的历史信息转化为标签分布来辅助艺术画的风格分类,并且可以应用于不同的艺术画数据集和模型,具有一定的鲁棒性。本方法可以低成本、快速地根据收集的三种艺术风格信息生成标签分布,在同时优化分类损失函数和分布损失函数的过程中学习艺术画的风格特征。总的来说,本发明从一个全新的角度入手解决艺术画的风格分类问题,利用每种风格的起源时间、发源地和所属艺术运动的信息生成标签分布辅助风格的分类,将艺术中影响风格分类的历史信息与深度学习模型相结合并用于训练卷积神经网络,相信该方法可以很好地应用在艺术画风格的预测任务中。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明:
图1为基于上下文信息的艺术画风格分类方法的流程图。
图2为基于上下文信息的艺术画风格分类方法的示意图。
图3为本发明在Painting91数据集上的实验效果图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细说明。
步骤一,对于给定的一个艺术画数据集S,其中共包含d种艺术风格,分别收集每种艺术风格的起源时间t(尽可能精确到年)、发源地b(国家)和所属的艺术运动m。
步骤二,对于数据集S中每一类风格的所有图片,定义一组标签分布表示历史背景下艺术画风格之间的联系。首先,我们分别生成时间、地点和艺术运动相关的单因素标签分布。
时间分布分为两种。第一种时间分布根据风格起源时间的先后顺序生成,根据顺序序号(即1、2、3……)采用高斯函数生成一组标签分布,确保目标风格对应的标签值最大。第二种时间分布使用每种风格的实际起源年份生成标签分布,采用高斯函数与第一种时间分布生成方法类似。在生成第二种时间分布之前,我们先使用对数计算使风格的起源时间标准化,用于缩小相邻风格之间的时间间隔,以便采用高斯函数计算处理后的风格起源时间来生成第二种时间分布。
在生成地点标签分布时,将目标风格对应的标签值赋值为1,在同一个国家起源的其他风格对应的标签值被赋予0.1到0.4之间的一个固定值,其它起源于不同国家的风格赋值为0。
类似地,对于艺术运动标签分布,将目标风格赋值为1,所属同一个艺术运动的其他风格被赋予0.1到0.4之间的一个固定值,所属不同艺术运动的风格赋值为0。
最后,对于每种生成的标签分布进行归一化操作,以确保分布总和为1。
步骤三,对于多因素标签分布,我们对两种时间分布加权求和,并与地点标签分布、艺术运动标签分布相加。最后,对得到的标签分布进行归一化处理作为多因素标签分布(即综合分布)。
步骤四,在使用步骤二、三中生成的标签分布进行训练时,需要同时优化分类任务和分布任务。对于分类任务,我们计算实际风格和预测风格之间的损失,并通过最小化softmax函数来进行优化;对于分布任务,我们使用Kullback-Leibler(KL)损失来最小化KL距离。最终的损失函数由两种损失加权求和得到。本发明在训练时可以根据需要选择不同的基础网络。
通过上述方法,我们可以将上下文的信息,如起源时间、发源地和所属艺术运动,转化为一组标签输入到卷积神经网络中辅助视觉特征进行学习,最终预测艺术画的风格种类。
图2展示了本方法的示意图,其中对于算法在各阶段的核心问题、训练过程以及系统输入和输出都有很形象的描述。图2和图1表达同样的意思,只是抽象层次不同,主要是帮助理解图1中各个部分。
图3展示了本发明在Painting91数据集上的实验效果。Painting91数据集共包含13种不同的艺术风格对应图中数字1-13,这里的实验基于VGGNet实现。图中三幅艺术画使用VGGNet均分类错误,而本发明可以准确识别其艺术风格。

Claims (9)

1.一种基于上下文信息的艺术画风格分类方法,用于将艺术风格的上下文结合到卷积神经网络中预测艺术画的风格,其特征在于,包括:
a.对于目标任务的艺术画数据集,根据数据集中的风格类别收集每种风格的起源时间、发源地以及所属的艺术运动信息;
b.使用步骤a中得到的起源时间信息,分别根据起源时间的先后顺序和具体起源年份基于高斯分布生成两种时间标签分布;
c.使用步骤a中得到的发源地信息生成地点标签分布;
d.使用步骤a中得到的所属艺术运动信息生成艺术运动标签分布;
e.使用步骤b、c、d中得到的两种时间标签分布、地点标签分布和艺术运动标签分布生成多因素的标签分布,用于表示三种历史信息所反应的风格之间的关系;
f.使用步骤b、c、d、e中得到的任一种标签分布作为卷积神经网络输入图像的标签,在训练过程中同时优化分类损失函数和分布损失函数,学习艺术画的风格特征,用于预测一幅艺术画的风格类别。
2.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
对于每种风格的起源时间、发源地和所属的艺术运动信息,根据目标任务数据集的类别名称进行收集。
3.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
对于根据起源时间顺序生成时间因素标签分布,按照每种风格起源时间的先后顺序编号计算生成标签分布,这一过程不考虑具体的起源时间。
4.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
对于根据具体起源时间生成时间因素标签分布,使用每种风格的起源时间年份计算生成标签分布,这一过程不考虑起源时间顺序,若无法确定具体年份使用近似年份代替。
5.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
对于生成的地点标签分布,与目标风格属于同一发源地的风格所对应的标签值被定义为一个固定值,其它标签值被定义为零。
6.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
对于生成的艺术运动标签分布,与目标风格属于同一艺术运动的风格所对应的标签值被定义为一个固定值,其它标签值被定义为零。
7.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
为了生成多因素标签分布,将两种时间标签分布加权求和作为最终的时间标签分布,并与另外两种标签分布相加作为多因素标签分布。
8.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
为了便于卷积神经网络的训练,在生成标签分布后,采用归一化操作使标签分布中每一项之和为1。
9.根据权利要求1所述的基于上下文信息的艺术画风格分类方法,其特征在于:
通过同时优化分类损失函数和分布损失函数,并使用权重来平衡两种损失函数的占比,在网络训练中学习艺术画的风格特征,从而实现结合艺术历史信息进行艺术风格的预测。
CN201910311265.6A 2019-04-18 2019-04-18 一种基于上下文信息的艺术画风格分类方法 Active CN110135462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910311265.6A CN110135462B (zh) 2019-04-18 2019-04-18 一种基于上下文信息的艺术画风格分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910311265.6A CN110135462B (zh) 2019-04-18 2019-04-18 一种基于上下文信息的艺术画风格分类方法

Publications (2)

Publication Number Publication Date
CN110135462A CN110135462A (zh) 2019-08-16
CN110135462B true CN110135462B (zh) 2022-12-20

Family

ID=67570294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910311265.6A Active CN110135462B (zh) 2019-04-18 2019-04-18 一种基于上下文信息的艺术画风格分类方法

Country Status (1)

Country Link
CN (1) CN110135462B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118852A (zh) * 2021-12-03 2022-03-01 华人运通(上海)云计算科技有限公司 一种基于会议纪要的任务分配方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014320A1 (en) * 2001-07-16 2003-01-16 Roughmix, Inc. Method of promoting a recording by providing rough mixes over the internet
US6896520B2 (en) * 2002-09-27 2005-05-24 Artapalooza, Llc. System and method for encouraging an understanding of visual art
US8015069B2 (en) * 2006-11-20 2011-09-06 Autocart Llc System and method for asset utilization
US10067669B1 (en) * 2017-07-13 2018-09-04 King Fahd University Of Petroleum And Minerals Online character recognition
CN109117948B (zh) * 2017-10-30 2021-10-19 上海寒武纪信息科技有限公司 画风转换方法及相关产品

Also Published As

Publication number Publication date
CN110135462A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
Zheng et al. Prompt vision transformer for domain generalization
Ren et al. Visual semantic segmentation based on few/zero-shot learning: An overview
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN105701508B (zh) 基于多级卷积神经网络的全局‑局部优化模型及显著性检测算法
CN107766894A (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN108765383B (zh) 基于深度迁移学习的视频描述方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN113592894A (zh) 一种基于边界框和同现特征预测的图像分割方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
CN108985298B (zh) 一种基于语义一致性的人体衣物分割方法
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
CN113807176A (zh) 一种基于多知识融合的小样本视频行为识别方法
Saqib et al. Intelligent dynamic gesture recognition using CNN empowered by edit distance
Akhlaghi et al. Farsi handwritten phone number recognition using deep learning
CN114266750A (zh) 一种基于注意力机制神经网络的日常物体材质识别方法
CN109858501A (zh) 一种两相流流型特征提取方法
Bai et al. DHRNet: a dual-branch hybrid reinforcement network for semantic segmentation of remote sensing images
CN110135462B (zh) 一种基于上下文信息的艺术画风格分类方法
Zhang et al. Deep learning based human body segmentation for clothing fashion classification
CN118172787B (zh) 一种轻量级文档版面分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant